Описание подходов "СетьПроекта" к построению инфраструктуры архива геолого-геофизических данных на платформе KADME Whereoil

1. Инфраструктура хранения
для универсальной платформы
KADME WhereOil
Всеволод Шабад, «СетьПроект»

2. 2
Ключевые функции KADME Whereoil
Функции работы с данными
•загрузка
•(до)атрибутирование
•хранение
•поиск
•выдача
Режимы работы
•ручной
•автоматический
Хранение
•локально
•распределённо

3. 3
Комплекс универсальных требований
Функциональность
Производительность
Надёжность
Масштабируемость
Безопасность
Экономичность

4. 4
Особенности требований KADME
Огромные объемы данных
Территориальная распределённость
Множество смежных систем
•в том числе, очень странных и древних

5. 5
KADME: функциональные требования
Хранение:
•баз данных
•файлов
Доступ:
•блочный
•файловый (CIFS)
•файловый (NFS)
Авторизация доступа:
•Active Directory
•LDAP
Целостное резервное копирование
•мгновенные снимки, группы консистентности

6. 6
KADME: требования производительности
Быстрый произвольный доступ
•БД, мелкие файлы
Быстрый последовательный доступ
•крупные файлы (сейсмика)
•баз данных
•файлов
Снимки без потерь производительности
Конкретные цифры зависят от конкретного
заказчика!

7. 7
KADME: требования надёжности
Устойчивость к отказам «железа»
Устойчивость к отказам ЦОДа в целом
Устойчивость к отказам носителей информации
Устойчивость к ошибкам персонала
Допустимые потери данных и допустимые
простои сервиса зависят от конкретного
заказчика!

8. 8
KADME: требования масштабируемости
Готовность к росту:
•объемов данных
•размеров отдельных файлов
•количества файлов
•количества сайтов
•скоростей работы
•количества смежных систем
•количества пользователей
Нелинейный рост стоимости и сложности по
мере роста требований!

9. 9
KADME: требования безопасности
Возможность разграничения доступа
•authentication
•authorization
•accounting
Возможность криптозащиты данных
Возможность криптозащиты каналов связи
У разных заказчиков и в разных странах
и требования разные!

10. 10
KADME: требования экономичности
Низкая стоимость создания системы
Низкая стоимость расширения системы
Низкая стоимость хранения данных

11. 11
Возможности СХД NetApp FAS
Функциональность:
•унифицированный доступ
•SAN FC, iSCSI --- СУБД
•NAS (NFS 4.1, SMB 3.0) --- файлы
•авторизация доступа:
•Active Directory
•LDAP
•Kerberos
•целостное резервное копирование
•мгновенные снимки
•без потери производительности
•целостные на уровне приложений (SQL,
Oracle, Exchange, …)
•группы консистентности (через NetApp ZAPI)

12. 12
Возможности СХД NetApp FAS
Производительность:
•быстрый произвольный доступ
•оптимизация записи
(WAFL, RAID-DP)
•оптимизация чтения
(FlashCache)
•быстрый
последовательный
доступ
•снимки без потерь
производительности

13. 13
Возможности СХД NetApp FAS
Надёжность:
•дублированы все компоненты
•кластеризация (до 24 контроллеров)
•репликация SnapMirror (sync, async, semi-sync)
•RAID-DP (допустимы двойные отказы дисков)
•disk scrubbing
•NFS 4.1, SMB 3.0 (NAS), ALUA (FC)
•развитые средства резервного копирования
•SnapMirror (снимки)
•SnapVault (+хранилище снимков)
•SnapProtect (+ленты, + агенты для
приложений)
IDC --- надёжность 99,999%

14. 14
Возможности СХД NetApp FAS
Расширяемость:
•2200→3200→6200,
общая ОС, общие полки
•до 24 узлов
в кластере
•до 1440 дисков на 1600000
пару контроллеров 1400000
•до 15 тыс. дисков 1200000
1000000
на кластер
800000
•ёмкость до 69 ПБ
600000
на кластер
400000
•файлы размером
200000
до 20 ПБ
0
NFS IOPS
4
8
12
16
20
24

15. 15
Возможности СХД NetApp FAS
Безопасность:
•возможности разграничения доступа
•authentication
•Active Directory, LDAP, Kerberos
•authorization
•accounting
•делегирование администрирования (MultiStore)
•криптозащита данных на дисках
•криптозащита каналов связи (SSH, SSL)
•«песочница» (FlexClone)

16. 16
Возможности СХД NetApp FAS
Экономичность:
•RAID-DP (надёжность RAID-6,
производительность RAID-10)
•дедупликация
•компрессия
•мгновенные снимки

17. 17
Преимущества перед EMC Isilon
Эффективность хранения:
•RAID-DP, компрессия, дедупликация
Производительность NFS IOPS
(максимальные конфигурации):
•1’112’705 (EMC Isilon)
•1’512’784 (NetApp FAS) +36%
Масштабируемость и экономичность
•см. следующий слайд
Полноценная поддержка клиентов MS Windows
•в т. ч. Active Directory и SMB 3.0
Непрерывность работы во всех ситуациях

18. 18
Масштабируемость и экономичность
NetApp
FAS
EMC
Isilon
250 000
NFS IOPS
дисков ТБ
288
48
672
500 000
NFS IOPS
дисков ТБ
576
96
172.3 1344
1 000 000
NFS IOPS
дисков ТБ
1152
192
344.5 3360
864
Из http://www.spec.org/sfs2008/results/sfs2008nfs.html

19. 19
Что лучше — лента или диск?
Надёжность хранения
Стоимость носителя
Возможность дедупликации и компрессии
Количество и размер объектов восстановления
Скорость чтения и записи (max/min)
Риск потери и компрометации носителя
Наличие каналов связи между площадками
Нагрузка на перекрытия

20. 20
Вместе мы — сила!

21. 21
Действуем?
http://www.netproject.ru