1. Коммерческий ЦОД De Novo:
история большой стройки
Геннадий Карпов
Директор по технологиям
Киев, 2010 г.
2. Коммерческие ЦОД: предпосылки
формирования рынка в Украине
• К 2007 г. «серверные комнаты» перестали удовлетворять
требованиям ИТ-оборудования и непрерывности бизнеса
• Физические, организационные и финансовые ограничения
на создание собственного ЦОД в приемлемые сроки
• Повышение уровня зрелости ИТ-инфраструктуры, переход к
промышленным моделям эксплуатации информационных
систем
• Невозможность удовлетворить потребность за счет
ресурсов хостинг-центров
2
3. Чего не хватает хостинг-центрам
• возможность аренды физически изолированного полезного
объема (модуля) с контролируемым физическим доступом;
• соответствие локальным стандартам (например,
требованиям НБУ к серверным помещениям банков),
наличие соответствующих сертификатов;
• недостаточный уровень доступности сервисов, наличие окна
обслуживания (плановый останов), отсутствие SLA
• возможность размещения современного высокоплотного
оборудования (серверы-лезвия);
• возможность размещения оборудования enterprise-класса
(габариты и удельная нагрузка на пол, плотность
энергопотребления и тепловыделения);
• возможность организации широкополосных универсальных
каналов связи (типа DC-DC) к другому ЦОД.
3
4. ЦОД De Novo:
базовые принципы дизайна
• Соответствие локальным стандартам и требованиям регуляторов
рынка (прежде всего Национального Банка Украины)
• Физическая изолированность арендуемых помещений (модульность)
• Уровень не ниже Tier III по уровню доступности сервиса и окну
обслуживания
• Централизованное производство ресурсов (холод, энергия) с их
последующим распределением по потребности между арендаторами
модулей
• Пригодность для установки современного и перспективного ИТ-
оборудования: средняя мощность на стойку 8КВт, максимальная -
>15КВт
• Масштабирование «на ходу»: все пути распределения ресурсов
создаются на первом этапе, масштабирование выполняется
исключительно за счет емкости ресурсных групп (ИБП, чиллеры, ДГ)
• Все системы ЦОД вписаны в периметр здания
4
5. ЦОД De Novo: основные параметры
2117 м2 модули: 728 м2
Площадь
(+720 м2 на крыше) офис: 271 м2
Электр. мощность (общая/IT-нагрузка) 3300/1650 КВт
Энерговводы 2 независимых высоковольтных + группа ДГ
Количество модулей (единица аренды) 11L + 20S + 1H
Типы модулей S : 4 стойки/30КВт, L: 8 стоек/60КВт, H: 50 стоек/400КВт
2 независимые оптоволоконные трассы к центру
Телекоммуникации
коммутации L9, суммарно 800 Gb
Рабочая температура окружающей
от -35 до +40 oC
среды
Соответствие стандартам TIA-942 III, требования НБУ
6. ЦОД De Novo: некоторые факты
• ~240 серверных стоек (суммарная емкость модулей и MDA)
• 80 прецизионных кондиционеров APC по 40 КВт
• ~ 80 км. оптоволоконных пар OM-3, ~50 км. витой пары STP
• 600 оптических и 200 медных пассивных портов в MDA
• ~800 м гидромагистралей (d>300мм)
• 96 видеокамер системы наблюдения
• 35 датчиков VESDA (раннее обнаружение дыма)
• 120 тонн воды (внутренний контур), 36 м3 гликоля (внешний
контур)
• Служба эксплуатации – 29 сотрудников, физическая охрана – 8
человек + группа быстрого реагирования
6
7. Спецификация S (x20) и L (x11) модулей
Площадь S-14 м2, L-24 м2,
Энерговводы 2 независимых через ФЗП-фильтры
фронт→тыл
Топология резервированного
низ→верх
прецизионного охлаждения IT- универсальная:
фронт→верх
оборудования
фронт/низ/тыл→верх
Мощность IT-оборудования S-30/40 КВт, L-60/80 КВт
Максимальная плотность мощности 20 KBт/стойка
Количество стоек S-4, L-8
Нагрузка на фальшпол 1500 кг (распределенная), 500 кг (точечная)
Возможность установки enterprise-стоек да
1Gb Ethernet и 2Gb Fibre Channel в режиме
Телекоммуникации
прозрачных битовых потоков к центру коммутации L9
центры коммутации ЦОД (2 шт.) + межмодульные
Кабельные коммуникации
коммуникации (при необходимости)
Экранирование согласно требованиям Национального Банка Украины
Пожаротушение и сигнализация автономное автоматическое газовое, VESDA
Автономная огнестойкость 1 час
7
8. Этапы проекта: на что ушло 3 года
Привлечение
Продажи
инвестиций
Бизнес- Финансовая Детализация продуктового ряда, модель Разработка SLA
модель модель продаж и договора
Технологическая Эскизный Рабочий Эксплуатационные
концепция проект проект процессы и регламенты
Выбор площадки Разрешительные процедуры
Конкурсные процедуры
Поставка оборудования
Строительные и
монтажные работы
Наладка и
испытания
Формирование
службы эксплуатации
2008 Инвестиции 2009 Анонс 2010 Первый
8
клиент
9. Организационная структура проекта
ИНВЕСТОРЫ
Управляющий комитет
Конкурсные процедуры
Проектная группа
Представитель службы
проектировщик
Руководитель проекта
Генеральный
эксплуатации
Главный системный архитектор
Архитектор Архитектор Архитектор Архитектор
(энергетика) (механика) (безопасность) (ИТ и телеком)
Архитектурно-строительный надзор (сайт-менеджер)
De Novo
Исполнители подсистем
9
10. Что мы вынесли из собственного
опыта (бизнес)
• Заказчики склонны предъявлять к коммерческому ЦОД
значительно более жесткие требования чем к собственному,
но при этом не всегда готовы платить за их выполнение
• Качество SLA – определяющий фактор в регулировании
отношений с корпоративных Заказчиком
• Процесс миграции в коммерческий ЦОД – сам по себе
сложный проект, сопряженный с существенными рисками
10
11. Какой ЦОД вам предлагают?
SLA – лучший индикатор уровня ЦОД
Обязательно обратите внимание на:
• перечень, определения и метрики сервисов, а также возможность
их объективного контроля;
• наличие окна обслуживания (для Tier III/IV окно обслуживания = 0);
• допустимое время аварийной недоступности сервисов;
• степень ответственности провайдера за нарушение SLA.
11
12. Что мы вынесли из собственного
опыта (технологии)
• Создание ЦОД к ИТ отношения практически не имеет, это
большая стройка сложного инженерного объекта
• Конечные характеристики ЦОД на 95% определяются
качеством проектирования
• Термическое моделирование существенно снижает риски
ошибок проектирования
• Комплексные нагрузочные испытания ЦОД – нетривиальная
задача, требующая тщательного планирования и
специализированного оборудования
• Проектирование и внедрение процессов эксплуатации ЦОД
уровня III/IV не менее сложная задача чем создание самого
ЦОД
12
13. Откровения бывалых:
опыт проектной группы
• Реконструкция здания всегда приносит сюрпризы. Не экономьте на
обследовании архитектурных конструкций, существующих инженерных
коммуникаций и ресурсов здания.
• Проработайте несколько вариантов планирования помещений.
Правильное категорирование помещений по пожароопасности и
взрывоопасности может существенно повлиять на бюджет проекта.
• Будьте в курсе всех технических решений проектировщика, чтобы не
получить по факту сюрприз.
• Тщательно подготовленный RFP – главное условие получения
сравнимых коммерческих предложений конкурсантов.
• При выборе исполнителей подсистем выбирайте лучших среди
лучших, не пытайтесь экономить «по-мелкому».
• Минимизируйте количество подрядных организаций. Их управляемость
и интегральное качество работы падает пропорционально квадрату их
количества.
13
14. Фотогалерея
(фото сделаны в течении последних двух месяцев перед сдачей в
эксплуатацию, степень готовности различных подсистем отличается)
14
26. Результаты термального
моделирования
Тип Максимальная нагрузка на
Максимальная нагрузка на стойку
модуля модуль
без InRow с InRow без InRow с InRow
S 30 KW 40 KW 20 KW 25 KW
L 60 KW 80 KW 20 KW 25 KW
H 400 KW 500 KW 20 KW 25 KW
26
27. S & L модули. Топология охлаждения
Изоляция холодных и горячих коридоров гарантирует равномерное
охлаждения ИТ-оборудования и высокую энергоэффективность
2-2.4 m
4m CRAH
1.7 m 0.92 m
0.8 m
27
28. S & L модули. Топология охлаждения
enterprise-оборудования
Опциональный фальшпотолок улучшает охлаждение оборудования
enterprise-класса
0.6 m
Enterprise CRAH
Server
28
29. Выбор теплоносителя внешнего контура
Вода риск замерзания
Раствор этанола пары этанола взрывоопасны
Раствор
этиленгликоль токсичен
этиленгликоля
Раствор самый дорогой, но единственно
пропиленгликоля приемлемый вариант
29
30. Нагрузочные испытания
• Как превратить в тепло
1.65 МВт энергии?
• Как сохранить топологию
воздушных потоков?
• Как обеспечить
аварийную защиту?
30
32. Сеть DC-DC: точка доступа на L9
Альтернативная точка доступа к сети ЦОД создана в коммутационном центре L9,
в котором присутствуют большинство крупных телеком-операторов Украины.
Полоса пропускания L9-ЦОД – до 800Gb в режиме прозрачного битового потока
по протоколам 1GbE, 10GbE, 2Gb FC.
32
34. Источники концепции службы
эксплуатации ЦОД
Лучшие
практики
Наш опыт и
ITIL/ITSM отечественные
реалии
Рекомендации
Процессы
Uptime Institute Здравый
эксплуатации
и смысл
ЦОД
TIA-942
35. Модель службы эксплуатации ЦОД
обращения Процессы: управление
мониторинг доставка сервиса
таймеры • инциденты трансформация
• проблемы
события • конфигурации действия
• изменения
Ресурсы
Модель сорсинга
Служба эксплуатации Внешние ресурсы
