1. Сотни серверов, десятки компонент: автоматизация раскладки и конфигурирования Дмитрий Росляков, Евгений Чернов

2. www.mail.ru 2 бинарные файлы данные пакет компонента Файлы конфигурации

3. www.mail.ru 3

4. Indexer Searcher Spider www.mail.ru 4

5. Описание компонента Name SVN Build-server Build Check-build Package Config Path Pre/post – install scripts Параметры Сборки Параметры Установки www.mail.ru 5 www.mail.ru 5

7. SVN =svn://mail.ru/search.mail.ru

8. Build-server = s1.mail.ru s2.mail.ru

9. Build = ./configure && make spider

10. Check-build = make test-spider

11. Package = pack/spider.tgz

12. Config =conf/spider.xml

13. Path = ~/spider/

14. Pre-install = ./check_lib.sh

15. Post-install = ./post-install.shName SVN Build-server Build Check-build Package Config Path Pre/post – install scripts Параметры Сборки Параметры Установки www.mail.ru 6

16. Иерархия ролей www.mail.ru 7 Описание Роли Name Components Servers Dependencies Checks Events Use <comp_name>_settings <comp_name>_macros

17. www.mail.ru 8 SADCo (System for Automatical Deployment and Configuration) Установка компонентов роли “searcher”: ./sadco --role=searcher install www.mail.ru 8 www.mail.ru 8 www.mail.ru 8

18. www.mail.ru 9 SADCo (System for Automatical Deployment and Configuration) Установка компонентов роли “searcher”: ./sadco --role=searcher install Конфигурирование компонента “daemon” роли “searcher”: ./sadco --role=searcher --component=daemon configure www.mail.ru 9 www.mail.ru 9

19. www.mail.ru 10 SADCo (System for Automatical Deployment and Configuration) Установка компонентов роли “searcher”: ./sadco --role=searcher install Конфигурирование компонента “daemon” роли “searcher”: ./sadco --role=searcher --component=daemon configure Откатить к предыдущей версии все компоненты роли “searcher” на сервере s1.mail.ru: ./sadco --role=searcher --server=s1.mail.ru rollback www.mail.ru 10

20. www.mail.ru 11 SADCo (System for Automatical Deployment and Configuration) Установка компонентов роли “searcher”: ./sadco --role=searcher install Конфигурирование компонента “daemon” роли “searcher”: ./sadco --role=searcher --component=daemon configure Откатить к предыдущей версии все компоненты роли “searcher” на сервере s1.mail.ru: ./sadco --role=searcher --server=s1.mail.ru rollback Удалить компонент “daemon” роли “searcher” на сервере s1.mail.ru: ./sadco -r searcher -c daemon -s s1.mail.ru remove

21. www.mail.ru 12 Процесс выкладки компонента SVN checkout checkout Sources Sources Сборочные сервера build build package configs package configs Package Backups Config Backups pack. v.1 config. v.1 package configs pack. v.2 config. v.2 SADCo config. v.3 pack. v.3 pack. v.4 да Изменился? pack. v.5 да да pre-install pre-config pre-install pre-config … Боевой кластер install configure install configure post-install post-config post-install post-config

22. www.mail.ru 13 Шаблонконфигурационного файла ..%VISIBLE%...%HEIGHT%..........%TYPE%................%SUMMARY%............... Роль 1 Роль 2 ....TRUE......750px...............XML.................SomeTool............... ....FALSE.....500px...............HTML................OtherTool............... VISIBLE = TRUE HEIGHT = 750px TYPE = XML SUMMARY = SomeTool VISIBLE = FALSE HEIGHT = 500px TYPE = HTML SUMMARY = OtherTool Часть описания роли

24. Корректность

25. Скорость

26. НадежностьК1, r1 К2, r1 К3, r1 День 1 К1, r2 К3, r2 День 2 ? К1, r3 К2, r3 День 3 К1, r4 К2, r4 День 4

28. Корректность

29. Скорость

30. НадежностьК1, r1 К2, r1 К3, r1 День 1 К1, r2 К3, r2 День 2 К2, r1 К1, r3 К2, r3 День 3 К3, r2 К1, r4 К2, r4 День 4 К3, r2 www.mail.ru 15

31. www.mail.ru 16 Транзакционность выкладки К1 К2 К3 1 2 3 1 2 3 На уровне сервера На уровне кластера На уровне роли

33. failed-configure

34. finish-configure

35. start-install

36. failed-install

37. finish-install

38. start-rollback

39. failed-rollback

40. finish-rollbackРоль 1: depends = Роль 2, Роль 3, Роль 4 Роль 2: depends = Роль 3

41. www.mail.ru 18 Посылка сигналов самому себе Описание обработчика событий: Роль 1 events: start-install = /etc/init.d/httpd stop finish-install = /etc/init.d/httpd start restart = /etc/init.d/httpd restart start-install Типичные примеры использования: Необходимо выполнить некоторые pre/post-install действия (остановка / запуск обновляемых служб). Создание собственных сигналов для управления компонентами Перезапуск apache на всех серверах роли Роль 1: ./sadco --role=“Роль 1” --signalrestart

42. www.mail.ru 19 Синхронизация обработки сигнала restart Роль Одновременный перезапуск restart restart Последовательный Перезапуск (+ возможна задержка) Роль 5 мин. restart restart restart 5 мин.

43. www.mail.ru 20 Управление раскладкой Типичные проблемы управления раскладкой: Авторизация и идентификация пользователя. Запрет / разрешение на одновременную выкладку разных ролей.

44. www.mail.ru 21 Клиент - серверная архитектура SADCo Daemon install configure chernov ivanov petrov

46. Indexers: Р3, Р6, Р7, Р12, Р13

48. Роль может входить в несколько групп

50. Открытость портов

51. Настройки ядра

53. После установки

54. Прерывать установку в случае ошибки

56. Подробное логирование (на случай аварии)

57. История установок

58. Возможность узнать текущее состояние роли (какие компоненты, каких версий на каких серверах установлены)

59. Возможность узнать состояние сервера (какие роли установлены)indexer optimizer idx1.mail.ru package: 19/04/2011 18:03 chernov 16507 configs: 20/04/2011 13:24 chernov 16548 indexer idx1.mail.ru package: 19/04/2011 18:03 chernov 16507 configs: 19/04/2011 18:03 chernov 16507

61. Система откатов и транзакционность выкладки

62. Сигналы / события ролей

63. Клиент - серверная архитектура и управление очередью