«Вычислительная и коммуникационная инфраструктура Академгородка и СО РАН» Максим Александрович Городничев, м.н.с. ИВМиМГ СО РАН

1. Институт вычислительной математики и математической геофизики СО РАН
www.sscc.ru
Сибирский суперкомпьютерный центр
www2.sscc.ru
Совет по супервычислениям при президиуме СО РАН
Вычислительная и коммуникационная
инфраструктура Академгородка
и СО РАН
Максим Александрович Городничев
maxim@ssd.sscc.ru
http://ssd.sscc.ru

2. О чем будет разговор
• Какие компьютеры нужны науке?
• Задачи вычислительных центров СО РАН и
развитие вычислительных ресурсов
• Коммуникационная инфраструктура
Академгородка
• Потребности в развитии сетей связи

3. Компоненты научного метода
• Теория
• Натурный эксперимент
• Компьютерное моделирование

4. «Страна, желающая победить в конкуренции,
должна победить в вычислениях»
Deborah Wince-Smith, Президент Совета
по конкурентоспособности США
Из Указа Президента РФ от 7 июня 2011г № 899
• Приоритетные направления развития науки, технологий и
техники Российской Федерации
п.3 «Информационно-телекоммуникационные системы»
• Перечень критических технологий Российской
Федерации
п. 18 «Технологии и программное обеспечение
распределенных и высокопроизводительных
вычислительных систем»

5. Потребности в вычислительных мощностях на
примере задачи моделирования климата
Лишь атмосфера, период 100 лет:
1017 операций*
Производительность компьютеров
измеряется в операциях в секунду:
1 Pflops = 103 Tflops = 106 Gflops
= 1015 операций в секунду
Потребности в производительности:
Решить задачу за час: 27,8 Tflops
Решить задачу за 12 часов: 2,3 Tflops
Wikipedia
Решить задачу за месяц: 0,04 Tflops
*В.В. Воеводин. Вычислительная математика и структура
алгоритмов. М.:МГУ, 2006: сетка с ячейкой 1°, 40 слоев по
высоте, шаг по времени -- 10 минут.

6. Рейтинги производительности
вычислительных систем (в Tflops)
Top-50 СНГ, сентябрь 2011 Top-500, ноябрь 2011
http://top50.supercomputers.ru http://top500.org
Поз. Организация Ppeak Pmax Поз. Страна Ppeak Pmax
1 МГУ 1373,06 674,11 1 Япония 11280,38 10510,00
2 Курчатовский 123,65 101,21 2 Китай 2566,00 4701,00
институт
3 США 2331,00 1759,00
3 Челябинск, 117,67 100,33
ЮУрГУ 9 Франция 1254,55 1050,00
10 Томск, ТГУ 62,35 42,53 12 Германия 1043,94 831,40
23 НГУ 29,28 17,32 18 Россия 1373,06 674,11
31 Красноярск, 13,06 16,87 19 Великобр 829,03 660,24
СФУ итания
32 ССКЦ 30,01 12,55
Ppeak – по спецификации процессоров
ИВМиМГ+ИЦиГ
СО РАН Pmax – на тесте Linpack

7. Распределение производительности
вычислительных систем в списке Top-500 по странам
http://top500.org

8. Суперкомпьютерные центры СО РАН
•Омск
•Новосибирск
•Томск
•Красноярск
•Иркутск
Google Maps

9. Основные направления деятельности суперцентров
Сибирского отделения РАН
• Обеспечение работ институтов СО РАН и университетов Сибири
по математическому моделированию в фундаментальных и
прикладных исследованиях
• Обучение специалистов СО РАН и студентов университетов
методам параллельных вычислений на суперкомпьютерах,
методам моделирования больших задач
• Интеграция вычислительных ресурсов Суперцентров
СО РАН
Координация работ по развитию суперкомпьютерных центров СО
РАН, осуществляется Советом по супервычислениям при
Президиуме СО РАН

10. Примеры задач, решаемых в СО РАН

11. Суперкомпьютерное моделирование эволюции
галактик и протопланетных дисков
ИВМиМГ СО РАН, ИК СО РАН, Новосибирск

12. Моделирование карбонатных резервуаров
Расчет проводился на 512
процессорах.
Работа заняла первое место в
Конкурсе проектов в сфере
высокопроизводительных
вычислений под девизом
«Невозможное стало возможным»,
организованного корпорацией Intel
совместно с Российской корпорацией
нанотехнологий («РОСНАНО») в 2010
году.
ИВМиМГ СО РАН, Новосибирск

13. Моделирование обтекания перспективных
спускаемых космических аппаратов
ИТПМ СО РАН, Новосибирск

14. Исследование конформационной
подвижности мутантных форм белков
ИЦиГ СО РАН, Новосибирск
Предсказаны потенциальные сайты связывания иона Zn2+, включающие в
себя аминокислоты, не характерные для нормального сайта связывания
цинка в белке P53, а также было предсказано положение иона Zn2+ в
найденных потенциальных сайтах.

15. Моделирование движения людей
и расчет эвакуации
в задачах пожарной безопасности
ИВМ СО РАН, Красноярск
 Непрерывно-дискретная
полевая модель движения
людей во время пожара
является весьма
ресурсоемкой.
 Для моделирования движения
одного человека в течение 1
мин. требуется около 20*107
расчетных шагов.
 При решении практических
задач эвакуации количество
человек измеряется сотнями и
тысячами.

16. Теоретическое исследование перспектив использования
графеноподобной планарной структуры BС3 в качестве анодов
для построения нового типа литий-ионных аккумуляторов
ИВМ СО РАН, Красноярск
Геометрическая структура ВС3
с адсорбированным литием Зависимость энергии адсорбирования лития
внутри графита и ВС3 от его массовой доли

17. Развитие ресурсов центров и
решаемые задачи

18. ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт динамики систем и теории управления СО РАН
ДЕЙСТВУЮЩИЕ ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
Кластер GPU-серверов Вычислительный кластер Вычислительный кластер
“TESLA” «Blackford» МВС-1000/16
Общее число GPU – 8 40 CPU Quad-Core Intel Xeon 32 CPU Intel Xeon DP,
Число потоковых ядер – E5345,
1920 интерконнект – 2 x Gigabit
интерконнект – Myrinet 2000 &
Интерконнект – Ethernet Gigabit Ethernet
GigaEthernet Пиковая производ. ~ 1,5 TFlops Пиковая производительность
Rpeak (GPU): 7,45 TFlops Реальная производ.(HPL) – 924 ~ 0,17 TFlops
(SPI) GFlops
624 GFlops (DPI)
РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ
Запускается первая очередь кластерной
вычислительной системы нового поколения на базе
архитектуры x86_64
(16-core CPU AMD Opteron 6276 Bulldozer) общей
пиковой производительностью 33,7 Tflops
Прогнозная реальная производительность на тесте
LINPACK
> 27 TFlops

19. ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт динамики систем и теории управления СО РАН
РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ
Кластер
на базе AMD
Bulldozer
33,7 TFlops
Кластер
Кластер “Blackford” на базе Intel Xeon QC
МВС-1000 Серверы
1,5 TFlops на базе
0,17 TFlops
GPU Tesla
7,45 TFlops (SPI)

20. ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт динамики систем и теории управления СО РАН
ОБЛАСТИ ПРИМЕНЕНИЯ РЕСУРСОВ РАСПРЕДЕЛЕНИЕ МАШИННОГО ВРЕМЕНИ
• Биоинформатика, геномика, Лимнологический институт СО РАН
филогенетика (биоинформатика, геномика, филогенетика,
биология рыб, …)
• Физика твердого тела, ~50%
квантовая химия Институт динамики систем
и теории управления СО РАН (дискретная
математика, криптография, физика плазмы,
• Физика высоких энергий, …)
теория поля ~25%
Институт геохимии им. А.П. Виноградова СО
• Дискретная математика, РАН
криптоанализ (квантово-химические расчеты, физика
твердого тела)
• Оптимальное управление, ~20%
методы оптимизации ИрИХ СО РАН, ИГУ, ИрГТУ и другие
~5%

21. КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт вычислительного моделирования СО РАН
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
1. МВС-1000/146 – производительность
0.65 Тflops, модернизирована в 2011 г.
2. МВС-1000/16 – тренажер
3. IBM System x 3755 (СФУ) –
производительность 1 Тflops
4. Tesla C-2050 - три вычислительных
комплекса, каждый
производительностью 1 Тflops
5. Flagman RX 240T –
производительность 8.24 Тflops,
закуплен по проекту РФФИ в 2011 г.

22. КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт вычислительного моделирования СО РАН
СТАТИСТИКА МВС-1000/146
Направления
Запусков Вклад в
научных Организация
задач загрузку (%)
исследований
Молекулярная
1500 ИФ СО РАН 84
динамика
Молекулярная
1050 ИХХТ СО РАН 14
динамика
Динамика
вязких и 220 ИВМ СО РАН 1
сыпучих сред
Газодинамика 87 ИВМ СО РАН 0.3
ИВМ СО РАН,
Прочее 2770 1
СибГТУ и др.
Всего 5540 100

23. ТОМСКИЙ НАУЧНЫЙ ЦЕНТР
Институт сильноточной электроники СО РАН
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
Кластер на базе процессоров Intel Itanium2 –
5 вычислительных узлов (ВУ) + 1 управляющий
узел (УУ)
Характеристики ВУ кластера:
- 2 процессора Intel Itanium2 Madison,
1595.706 Mгц;
- оперативная память 4 Гб;
- жесткий диск 40 Гб (SCSI);
- сеть: Mellanox SDR Infiniband, Gigabit
Ethernet.
Вычисл-ная система на базе Tesla/Fermi – 4 ВУ +
1 УУ:
- 2 ВУ с Tesla C2050;
- 1 ВУ с Tesla C2070;
- 1 ВУ с 2 Tesla C1060 (~ 1 ТФлопс каждый);
- Quadro NVS 290;
- сеть: Gigabit Ethernet.
Текущее состояние
СИСТЕМА ПЕРЕДАЧИ ДАННЫХ сетевой инфраструктуры ТНЦ СО РАН
1) В 2011 году был реализован вариант расширения полосы пропускания данных с томским научно-образовательным
комплексом за счет увеличения числа параллельных каналов, а также построение дополнительных линий связи.
Выполненные работы дают возможность подключать вычислительные кластеры университетов как минимум на скоростях 1 Гб.
2) Запущен внешний поток ННЦ СО РАН – ТНЦ СО РАН для возможности подключения высокопроизводительных
вычислительных ресурсов ТНЦ СО РАН и университетов Томска к распределенной GRID-сети СО РАН.

24. ТОМСКИЙ НАУЧНЫЙ ЦЕНТР
Институт сильноточной электроники СО РАН
РЕШАЕМЫЕ ЗАДАЧИ
• Разработка и реализация параллельных вычислений
на распределенных вычислительных системах в рамках метода
подвижных клеточных автоматов (ПКА).
ИФПМ СО РАН
• Параллельная реализация алгоритма решения задач динамики пучков
заряженных частиц для самосогласованного электромагнитного поля
методом "частицы-в-ячейках" в r-z геометрии. ИСЭ СО РАН
• Моделирование развития пробоя газонаполненного диода импульсом
напряжения наносекундной длительности.
ИСЭ СО РАН
• Тестовый запуск модели Weather Research and Forecast
(WRF ARW) версии 3.0 в многопроцессорном режиме
на кластере SGI Altix-4700 РСМЦ ЗС УГМА (г.Новосибирск),
ИМКЭС СО РАН

25. ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Омский филиал Института математики СО РАН
ОСНОВНАЯ ТЕХНИЧЕСКАЯ БАЗА
2-х модульный суперкомпьютерный кластер Tesla
Meijin. Построен с использованием
четырехъядерного процессора Intel Core i7
Extreme на базе вычислителей NVIDIA Tesla C1060.
Кластер в настоящее время состоит из 2 узлов,
каждый из которых содержит по 3 вычислителя
NVIDIA Tesla C1060;
Телекоммуникационные возможности
компьютерной сети, созданной по проекту КС
«ОКНО»;
Кластерный суперкомпьютер МВС-1000/128
перенесен из ОФ ИМ СО РАН на факультет
компьютерных наук Ом ГУ для обеспечения
учебного процесса.

26. ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Омский филиал Института математики СО РАН
РЕШАЕМЫЕ ЗАДАЧИ
• Ведется разработка точного алгоритма решения USApHMP. В
настоящее время реализована процедура локального поиска для
USApHMP на основе технологии CUDA.
• Квадратичная задача о назначениях с минисуммным критерием
для произвольного графа связей на древовидной сети с
применением параллельного алгоритма динамического
программирования.
• Разрабатываются параллельные многопоточные алгоритмы
формирования табличных представлений данных по технологии
OLAP.
• Создание моделирующих программ для стохастических моделей
динамики социально-значимых заболеваний и выявления больных
индивидуумов.

27. СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт вычислительной математики и математической геофизики СО РАН
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
576 (2688 ядер)
Кластер HKC-160 !!! NEW процессоров
(hp rx1620) Кластер Intel Xeon
Е5450/E5540/X5670
гибридной
168 процессор. архитектуры 80 процессор.
CPU (X5670) –
Itanium 2,
HKC-30T+GPU HKC-30T 480 ядер;
1,6 ГГц;
InfiniBand, 120 процессор.
Gigabit Ethernet (GE); GPU (Tesla M 2090) –
> 1 ТФлопс 61440 ядер.
Общая пиковая
производ.
115 ТФлопс
GigabitEthernet
Сеть
ИВМиМГ GE InfiniBand
СИСТЕМЫ ХРАНЕНИЯ
GE
……………
…………… ДАННЫХ (СХД)
Сеть
Internet ННЦ
СХД для НКС-30Т
36 Тбайт (max - 120 Тбайт)
Системное Параллельная
файловая система
Общематематическое
!!! NEW IBRIX
Прикладное (ППП)
для НКС-30Т
32 Тбайта
Сервер с общей памятью
(hp DL980 G7)
Сервер 4 процессора (40 ядер) Intel Е7-4870,
с общей памятью ОП - 512 Гбайт , 384 ГФлопс.
(hp DL580 G5) Max: 8 процессоров (80 ядер), СХД
4 процессора для НКС-160
(16 ядер) 2048 ГБайт, 768 ГФлопс
3,2 Тбайт
Intel Xeon Quad
Core Х7350, 2.93 ГГц;
СХД сервера с общей памятью
256 ГБайт - общая память;
9 Тбайт (max-48 Тбайт)
187,5 ГФлопс

28. СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт вычислительной математики и математической геофизики СО РАН
РОСТ Гибридный
ВЫЧИСЛИТЕЛЬНЫХ кластер
115 ТФлопс
РЕСУРСОВ
НКС-30Т
30 ТФлопс
116
ТФлопс
НКС-30Т 31 2012 г.
16,5 ТФлопс ТФлопс
17,5 2011 г.
ТФлопс
НКС-30Т 7,1 2010 г.
4,8 ТФлопс ТФлопс
2009 г.
5,8
ТФлопс НКС-160
> 1 ТФлопс
> 1 ТФлопс 2008 г.
2007 г.
МВС-1000/128М
0,247
ТФлопс НКС-160
0,246 2006 г. 1 ТФлопс
ТФлопс
2005 г. НКС-160
МВС-1000/32 НКС-160

29. СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт вычислительной математики и математической геофизики СО РАН
ИСПОЛЬЗОВАНИЕ ПРОЦЕССОРНОГО ВРЕМЕНИ 2011 г. (часы)
ОРГАНИЗАЦИИ НКС-160 НКС-30T ∑ %
ИЦиГ 2401720,56 2401720,56 47,65
ИВМиМГ 8006,70 888407,04 896413,74 17,79
ИХиХТ (Красноярск) 126673,66 380176,56 506850,22 10,06
ИК 42701,40 400436,88 443138,28 8,79
НГУ 12157,30 134954,88 147112,18 2,92
ИХКиГ 37188,62 88826,16 126014,78 2,50
ИТПМ 59904,45 61830,24 121734,69 2,42
ИЯФ 25591,94 59264,64 84856,58 1,68
ИТ 176,74 62445,84 62622,58 1,24
СИСТЕМА 0,19 56874,24 56874,43 1,13
ИАТЭ (Обнинск) 54518,88 54518,88 1,08
ИХБиФМ 33858,96 33858,96 0,67
ИНХ 20860,80 20860,80 0,41
НГТУ 18734,13 89,76 18823,89 0,37
ИВТ 17819,28 17819,28 0,35
ИНГиГ 1316,84 10297,92 11614,76 0,23
НИЦЭВТ (Москва) 10430,88 10430,88 0,21
ИКЗ (Тюмень) 1605,49 8327,04 9932,53 0,20
СибНИА 6730,63 6730,63 0,13
ИФП 4945,44 4945,44 0,10
ИМ 1572,42 4,32 1576,74 0,03
Комп. Котес 916,51 916,51 0,02
ОФ ИМ (Омск) 437,28 437,28 0,01
Другие 134,76 2,40 137,16 0,003
ИТОГО 343411,76 4696530 5039941,76 100,00
Статистика по кластерам
(НКС-160 + НКС-30Т)
2009 2010 2011
∑ производительность (тфлопс) 7,1 17,5 31,0
∑ CPU (час.) 1 924 308,38 2 908 834,93 5 039 941,76
∑ количество заданий 38 914 39 750 35 952
29

30. Суперкомпьютерная сеть
ННЦ СО РАН сегодня
Целевая программа «Телекоммуникационные и мультимедийные ресурсы
Сибирского отделения РАН»
Результат
ИВТ СО РАН
Новосибирск

31. Потребности в развитии сетей связи:
задачи
• Перенос данных между вычислительными
системами, доступ пользователей к данным
• Объединение вычислительных систем для
решения сверхбольших задач и разделения
ресурсов
• Распределение задач между
вычислительными системами с целью
балансировки нагрузки

32. Объединение суперкомпьютеров
0 1 2 … n-2 n-1
в NumGrid
Кластер 1 TCP/IP
NG-Gateway
TCP/IP WAN
NG-Gateway Время решения волнового уравнения
Кластер 2 явным методом, сек.
TCP/IP
«P (NxS)» означает «всего P ядер,
из них N на кластере ССКЦ и S – на
кластере НГУ»
n n+1 n+2 …

33. Потребности в развитии сетей связи:
ориентиры
• GridMPI (Япония): 1-10 Гб/с на расстоянии до
500 миль позволяют объединять
суперкомьютеры для совместного решения
задач
• Abilene Network (США):10 Гб/с между 230
центрами в 2004 г.
• TeraGrid (США) (проект 2004-2011): 10 Гб/с
между вычислительными центрами
• National LambdaRail (США): 10 Гб/с -> 40 Гб/с ->
100, 280 центров

34. Спасибо за внимание!