В докладе пойдет речь о том, как происходит развертывание и управление серверами в проекте Одноклассники, какие этапы проходит каждый сервер с момента его закупки до запуска в работу. Более подробно будут рассмотрены вопросы мониторинга и автоматического управления конфигурацией. Доклад будет полезен как начинающим администраторам, которые смогут почерпнуть в нем идеи для автоматизации инфраструктуры, так и профессионалам, которым интересен опыт высоконагруженных проектов. Видео: http://broadcast.comdi.com/broadcast/player/stream/?streamKey=qgrcbqtqp4dd2d8gtm9z ( кликните на название доклада )

2. Управление тысячами
серверов в

3. Знакомство с проектом

4. Одноклассники
www api
mobile xmpp

5. Немного статистики
200 M зарегистрированных пользователей
40 M уникальных пользователей в день
6 M одновременно на сайте
240 Гбит/с трафика
более 1 ПБ данных

6. Команда
100 разработчиков и тестировщиков
25 системных администраторов и инженеров
8 специалистов по мониторингу
дизайнеры, менеджеры, правление и др.

7. Инфраструктура
4 центра обработки данных
150 км оптических линий
более 5000 серверов (95% Linux)

9. Эйфелева башня 5000 серверов
300 м 350 м

10. Управление

11. Этапы
Планирование
Монтаж
Развертывание
Конфигурация
Ввод в работу

12. Планирование
выбор центра обработки данных
планирование размещения в стойке
планирование сетевой инфраструктуры
назначение имени и IP-адреса
занесение информации в CMDB

13. CMDB
База данных управления конфигурацией
(configuration management database, CMDB) —
репозиторий всех компонентов информационной
системы. CMDB помогает понять взаимосвязи
между этими компонентами и отслеживать их
конфигурации. CMDB — основной компонент
процесса управления конфигурацией.

14. Развитие CMDB
+ + +

15. CMDB в Одноклассниках
автоматическое планирование
автоматическая проверка оборудования
связи между объектами
интеграция со всеми системами
журнализация изменений
отчеты

16. Интеграция с CMDB
DNS
финансовые системы
система развертывания
системы мониторинга (Zabbix, Cacti)
системы бизнес-анализа и статистики
системы конфигурации и управления порталом
система предоставления доступа

17. Этапы
Планирование
Монтаж
Развертывание
Конфигурация
Ввод в работу

18. Развертывание
Clonezilla
выделенный VLAN
интеграция с CMDB
автоматическое определение MAC адреса
автоматический перевод в рабочий VLAN

19. Этапы
Планирование
Монтаж
Развертывание
Конфигурация
Ввод в работу

20. Управление конфигурацией
локальное управление
удаленное управление
удаленное выполнение команд
централизованное управление

21. Централизованное
управление
Multi SSH
DSSH

22. Централизованное управление

23. Требования
интеграция с CMDB
контроль и журнализация изменений
масштабирование и резервирование
мониторинг и отчеты
разделение доступа

24. Почему ?
производительность
масштабируемость
безопасность
гибкость
популярность

25. Версии
Community edition (Core)
open source (GPL3)
Enterprise edition (Nova)
коммерческая поддержка
веб-интерфейс (отчеты, мониторинг и др.)

26. Компоненты
cf-agent выполняет политики
cf-execd запускает агента по расписанию
cf-monitord собирает статистическую информацию
cf-serverd обслуживает сетевые соединения
cf-runagent вызывает агента на удаленных хостах

27. Клиент – сервер
свой протокол 5308/tcp
аутентификация
авторизация
шифрование
передача файлов
только pull

28. Политики
git репозиторий на HUB
каждые 5 минут:
git pull
копирование политик
splaytime = 4

29. Git mirror

30. Hub fail

31. Hub fail

32. Master fail

33. Master fail

34. Мониторинг
MySQL на HUB
каждые 5 минут:
INSERT INSERT SELECT
каждую минуту:
SELECT
раз в сутки чистка

36. Итоги
Планирование
Монтаж
Развертывание
Конфигурация
Ввод в работу

37. Дополнительная информация
Блог компании Одноклассники
http://habrahabr.ru/company/odnoklassniki/
CFEngine
http://cfengine.com/
Chef
http://www.opscode.com/chef/
Puppet Labs
http://puppetlabs.com/

38. Спасибо за внимание!

39. А л е к с е й Ч уд о в
ведущий системный
администратор, Одноклассники
a l e k s e y. c h u d o v @ o d n o k l a s s n i k i . r u