для интенсивной работы с большими данными и облачных приложений Коноплев ВВ 1 Боярский МН Назиров РР ID: 395823
Download Presentation The PPT/PDF document "SCARP: масштабируемая и ..." is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
Slide1
SCARP: масштабируемая и отказоустойчивая платформа легкой виртуализации для интенсивной работы с большими данными и облачных приложений
Коноплев В.В.1, Боярский М.Н., Назиров Р.Р.Институт космических исследований РАН, Москва, 117997, Россия1 E-mail: v.konoplev@cosmos.ru
«Методы суперкомпьютерного моделирования»
Таруса. 17-19 ноября 2015.Slide2
Архитектурная концепция комплекса SCARP
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 2 из 15Slide3
Целевые характеристики SCARPОтказоустойчивость с полным аппаратным дублированиемТиповые аппаратные компоненты (
commodity hardware)Свободное открытое программное обеспечениеРабота в широком профиле нагрузок и сценариевОднородный высокопроизводительный доступ с клиентовСвободное перераспределение дискового пространстваМасштабируемость до нескольких петабайт
Производительность порядка нескольких ГБ/
c
Повышенная надежность хранения данных
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр.
3
из 15Slide4
Обеспечение отказоустойчивости систем хранения на«
commodity hardware»
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр.
4
из 15Slide5
Генеалогическое древо SCARP
Год
RAID
Linux
1987
Virtuozzo
2002
FS
Lustre
2003
OpenVZ
FS ZFS
2005
SSD
2007
ZFS v10
2008ZFSonLinuxZFS OSD20122013SCARP
Brian
Behlendorf
Ведущий разработчик
ZFS on Linux
Lawrence Livermore National Laboratory
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр.
5
из 15Slide6
Организация комплекса SCARP в ИКИ РАН
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 6 из 15Slide7
Модуль данныхДо четырех 60-ти дисковых корзин (Etegro Fastor
JS300 G3)Полезный объем до 680 ТБ при использовании HDD SAS 4TBГруппы RAIDZ-3 из 19 дисков.*) Иллюстрация с сайта производителя https://www.etgro.ru
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр.
7
из 15Slide8
Оценка вероятности потери данных в хранилищев следствие отказа дисковХарактеристики хранилища
Объем хранилища – 1 петабайт Срок хранения – 10 лет Объем дисков – 4 терабайта Наличие дисков горячего резерваSlide9
Особенности организации файловых систем в SCARP
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 9 из 15Slide10
Моментальные снимки в SCARP
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 10 из 15Slide11
Схема доступа для контейнеров OpenVZ к параллельному хранилищу
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 11 из 15Slide12
Результаты нагрузочного тестирования
Для одного потока
Интегрально
Запись (МБ/
c
)
234
~ 1500
Перезапись (МБ/
c
)
166
н/д
Чтение (МБ/
c
)
413
~ 2000 Создание (1/c)
318
2079
Удаление
(1/c)
2197
3387
Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 12 из 15Slide13
Текущие ограничения и недостаткиНе работает поддержка синхронного журнала на SSD
(ждем обновлений ZFS/Lustre)Монтирование ФС Lustre возможно только от корня (несущественно при использовании контейнеров)Проблемы с проверкой целостности
Lustre
при использовании
ZFS
(
ждем ближайшее обновление в
2.5.4)
Проблемы с использованием
RDMA
для
OpenVZ
(
требуется запуск непосредственно на физ. серверах
)
Проблемы с размещение файлов-образов
для контейнеров OpenVZ в ФС Lustre (используем реэкспорт по NFS, ждем ядра Linux 3.+)Методы суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 13 из 15Slide14
Текущие приложения комплекса SCARP в ИКИ РАНДанные и приложения дистанционного зондирования Земли из космосаБазы данных рентгеновских источников для астрофизики высоких энергий (
SRG)Данные проектов планетарных исследований (Venera Express и д.р.)Корпоративное облачное хранилище ИКИ РАН SeaFileМетоды суперкомпьютерного моделирования. 17-19.11.15. Таруса. стр. 14 из 15Slide15
Вопросы? Коментарии?