Moscow Atlassian Meetup. «Как мы растили-растили, и наконец вырастили бамбуковую ферму» Стас Дашковский, Engineer, DevOps Tooling, Align Technology.

1. Как мы растили-растили, и
наконец вырастили
бамбуковую ферму
Стас Дашковский
Engineer, DevOps Tooling, Align Technology

2. Несколько слов о нашей компании
• Компания предоставляет инновационный способ исправления
прикуса
• Много специфических (внутриполостные сканеры, моделирование
ортодонтических операций, ПО станков) и неспецифических (CRM,
биллинг, промо-сайты) продуктов
• Много различных:
• проектов
• технологий (C++, C#, Java, Ruby, iOS)
• Тестов
• Много windows
• Специфические требования от госрегуляторов(FDA и другие), в том
числе к QA и CI

3. Кратко о Bamboo для тех, кто не знает
• Bamboo – это сервер CI, оркестратор билд-серверов
• К головному серверу подключаются машины, на которых и
выполняются задачи (компиляция, сборка, тесты) - агенты
• Единица сборки – план. План описывает сборку одного продукта (или
его части)
• План состоит из стадий (stages), выполняемых последовательно
• Стадии состоят из работ (jobs), выполняемых внутри стадии
параллельно. Каждая работа – на своем агенте.
• Работа – набор последовательных операций (выкачать исходники,
запустить скрипт, скачать файл и т.п)

4. Общая конфигурация Bamboo
• Используем уже более 4х лет
• Выбрали из-за интеграции с JIRA и Fisheye
• 90+ агентов
• Половина агентов в Калифорнии, половина
в Москве
• Артефакты хранятся прямо на сервере
Bamboo
• База на MySQL
• Используем для сборки, деплоя, запуска
тестов, сбора статистики
• Учимся на своих ошибках
Статистика сборок за III квартал 2015
Упавших (в том числе тесты) 16674
Успешных 25785
Зависло 1178
Активных планов 673
0
10
20
30
40
50
60
70
80
90
100
2012 2013 2014 2015
Количество сборочных агентов

5. Маленькие проблемы большой bamboo
• ssh-proxy – не пролезают большие репозитории (5Gb+)
• Использование собственных скриптов
• Ограниченная функциональность по сборке из веток
• Параметризация внутри сборочных скриптов
• Сложность взаимодействия внутри сборки между работами
• Использование файлов и артефактов, сторонних сервисов ключ-значение
• Ограниченный API
• Лезьте прямо в базу
• Ставьте плагины

6. Большие проблемы большой фермы
• >40 параллельных билдов, >70 remote агентов – странные
эффекты (по словам разработчиков bamboo – виновата ActiveMQ)
• Пропажа логов и артефактов
• Неконсистентность билдов
• Недоступность агентов
• Растут требования к серверу
• Cложно администрировать capability

7. Не повторяйте наших ошибок
• Большие логи складывать в файлы, а не выводить в консоль
• Использовать менеджмент артефактов на базе отдельных решений
• Управлять фермой агентов при помощи CM-системы (chef, ansible,
etc) даже для небольшой фермы. Иначе они очень быстро выходят
из-под контроля
• Процедуру сборки — в код, и версионировать вместе с кодом
• Права доступа и нотификации назначать через группы

8. А теперь парочка историй про наши поделки,
которые кажутся нам интересными.

9. Интеграция с JIRA
«Обратный» релиз версии – из билда в JIRA
Разработчик переводит тикет в заданный статус с версией
1.0.0.next_build.
1. Билд успешно прошел, запускаем наш скрипт последним шагом
2. Ищем версию “next build” в JIRA-проекте, например 1.0.0.next_build
3. Переименовываем ее в необходимую (например 1.0.0.2). В тикетах она
тоже переименуется.
4. Если надо, то релизим или архивируем предыдущую (1.0.0.1)
5. Создаем новую версию 1.0.0.next_build
6. Смотрим тикеты, которые были переведены в статус уже после начала
билда, и проставляем им только что созданную версию 1.0.0.next_build
7. Переводим тикеты с версией 1.0.0.2 в заданный статус

10. Тесты на bamboo
Самовосстанавливающиеся тестовые среды
Stage 1:
Поиск выключенной VM из списка
Откат к заданному снапшоту
Включение ВМ
VSphere
Stage 2:
Может запуститься только на машине из
списка
Запускает тесты
Выключает машину если ОК
Тестовая VM

11. Тесты на bamboo: Callback из тестовой системы
Запуск тестов
Формируется json с заданием,
исходя из параметров запуска,
в том числе url manual stage
Кластер тестовой системы
Запускает тесты
По окончании post-запрос к серверу
bamboo для запуска manual stage
“Manual Stage”:
Сбор данных о тестах,
визуализация, нотификация

12. Спасибо! Задавайте ваши вопросы!
sdashkovsky@aligntech.com - пишите мне
www.invisalign.com - сайт нашей компании