Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
•
2 gefällt mir•5,302 views
* Yasen (Yet Another Search Engine) – первоначальная архитектура поискового движка. * Немного о старой схеме деплоя и её боли – buildbot, chef, git, monit, haproxy. * Docker – простота и мощь в одной команде. * Настраиваем запуск демона – что нужно знать. * Dockerfile – проблемы и решения. * Swarm, Kubernetes, Rancher – обзор вариантов оркестрации. * Простой путь – docker-compose, и как его готовить. * Разбираемся с сетью – bridge, host, overlay, macvlan, none. * Root или не root в контейнере? Выбираем подходящее решение. * Shared volumes и проблема права доступа к файлам. * User namespaces – как и зачем? * Docker и linux capabilities – добавляем безопасности. * Нюансы ограничения ресурсов контейнеру: memory, cpu, swap. * Stateful & Stateless в docker * Автоматизация деплоя через docker-compose. * Итоговая архитектура и процесс выкатки в production.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (19)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Ähnlich wie Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales) (20)
Mehr von Ontico
Mehr von Ontico (20)
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
- 1. Миграция поискового движка в Docker Дмитрий Кузьменков www.aviasales.ru
- 2. aviasales.ru
- 3. ++ 1 500 000 поисков в день aviasales.ru
- 4. ++ 1 500 000 поисков в день ++ 1 000 поисков в минуту в пики aviasales.ru
- 5. ++ 1 500 000 поисков в день ++ Поиск – опрос 200 партнеров в realtime ++ 1 000 поисков в минуту в пики aviasales.ru
- 6. ++ 1 500 000 поисков в день ++ 15 000 предложений в одном ответе ++ Поиск – опрос 200 партнеров в realtime ++ 1 000 поисков в минуту в пики aviasales.ru
- 7. ++ 1 500 000 поисков в день ++ 15 000 предложений в одном ответе ++ Поиск – опрос 200 партнеров в realtime ++ 1 минута на отдачу билетов ++ 1 000 поисков в минуту в пики aviasales.ru
- 8. Yasen – что за зверь?
- 9. Yasen – что за зверь? ++ Yet Another Search ENgine
- 10. Yasen – что за зверь? ++ Yet Another Search ENgine ++ Python 3.4 & Tornado 4.2
- 11. Yasen – что за зверь? ++ Yet Another Search ENgine ++ 8 серверов ++ Python 3.4 & Tornado 4.2
- 12. Yasen – что за зверь? ++ Yet Another Search ENgine ++ 8 серверов ++ Python 3.4 & Tornado 4.2 ++ Первый ответ за 200 ms
- 13. Как оно работает
- 20. Как оно работает HAProxy bee.0 bee.1 bee.2 bee.3 MySQL Postgres Redis RabbitMQ ant.0 ant.1 Redis watcher configs queue
- 21. Пчела (bee)
- 22. Пчела (bee) ++ Обслуживает HTTP-запросы на поиск
- 23. Пчела (bee) ++ Обслуживает HTTP-запросы на поиск ++ Асинхронная на Tornado
- 24. Пчела (bee) ++ Обслуживает HTTP-запросы на поиск ++ Асинхронная на Tornado ++ Цикл жизни 30 минут
- 25. Пчела (bee) ++ Обслуживает HTTP-запросы на поиск ++ Асинхронная на Tornado ++ Цикл жизни 30 минут ++ 16 пчел на одной ноде
- 27. Наблюдатель (watcher) ++ 1 процесс на одну ноду
- 28. Наблюдатель (watcher) ++ 1 процесс на одну ноду ++ Следит за изменениями файлов настроек
- 29. Наблюдатель (watcher) ++ 1 процесс на одну ноду ++ Следит за изменениями файлов настроек ++ Обновляет настройки пчел в runtime
- 30. Муравей (ant)
- 31. Муравей (ant) ++ Приоритеты: low, normal, high
- 32. Муравей (ant) ++ Приоритеты: low, normal, high ++ Шлёт информацию о найденных билетах в Redis
- 33. Муравей (ant) ++ Приоритеты: low, normal, high ++ Шлёт информацию о найденных билетах в Redis ++ Сохраняет статистику в разные базы данных
- 34. Муравей (ant) ++ Приоритеты: low, normal, high ++ Шлёт информацию о найденных билетах в Redis ++ Сохраняет статистику в разные базы данных ++ Stateless
- 36. Очередь (burlesque) ++ 1 процесс на одну ноду
- 37. Очередь (burlesque) ++ 1 процесс на одну ноду ++ Go + leveldb
- 38. Очередь (burlesque) ++ 1 процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write
- 39. Очередь (burlesque) ++ 1 процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write ++ Простой HTTP-интерфейс для работы
- 40. Очередь (burlesque) ++ 1 процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write ++ Простой HTTP-интерфейс для работы ++ Opensource: https://github.com/KosyanMedia/burlesque
- 41. Что же не так?
- 42. Что же не так? ++ Время на подъем сервиса для разработки
- 43. Что же не так? ++ 2 часа на деплой всей системы ++ Время на подъем сервиса для разработки
- 44. Что же не так? ++ 2 часа на деплой всей системы ++ Monit – тупит на большом количестве процессов ++ Время на подъем сервиса для разработки
- 45. Что же не так? ++ 2 часа на деплой всей системы ++ Chef – настройка серверов ++ Monit – тупит на большом количестве процессов ++ Время на подъем сервиса для разработки
- 46. Контейнеризация?
- 47. Зачем?
- 48. Зачем? ++ Единое окружение везде
- 49. Зачем? ++ Единое окружение везде ++ Сборка образа где угодно
- 50. Зачем? ++ Единое окружение везде ++ Ориентирован на DevOps ++ Сборка образа где угодно
- 51. Зачем? ++ Единое окружение везде ++ Ориентирован на DevOps ++ Никаких правок на горячую в коде production ++ Сборка образа где угодно
- 52. Зачем? ++ Единое окружение везде ++ Ориентирован на DevOps ++ Никаких правок на горячую в коде production ++ Простота отката ++ Сборка образа где угодно
- 53. Оркестрация?
- 56. ++ Kubernetes ++ Rancher ++ Swarm Оркестрация?
- 57. Kubernetes
- 59. Kubernetes ++ By Google ++ Хорош для большого количества хостов
- 60. Kubernetes ++ By Google ++ Хорош для большого количества хостов ++ Сложность
- 61. Rancher
- 63. Rancher ++ Функциональный web-интерфейс ++ Работает с другими оркестрациями
- 64. Rancher ++ Функциональный web-интерфейс ++ Работает с другими оркестрациями ++ Относительно молодой
- 65. Swarm
- 66. Swarm ++ Идет в комплекте с Docker
- 67. Swarm ++ Идет в комплекте с Docker ++ Самый легкий из всех альтернатив
- 68. Swarm ++ Идет в комплекте с Docker ++ Самый легкий из всех альтернатив ++ Прост в использовании
- 69. В поисках серебряной пули
- 70. В поисках серебряной пули ++ Хочется прозрачности
- 71. В поисках серебряной пули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать
- 72. В поисках серебряной пули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка
- 73. В поисках серебряной пули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка ++ Вероятность вернуться к прошлой инфраструктуре
- 74. В поисках серебряной пули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка ++ Вероятность вернуться к прошлой инфраструктуре ++ Время, время, время…
- 75. Docker – это же просто!
- 76. Docker – это же просто! ++ docker build
- 77. Docker – это же просто! ++ docker build ++ docker-compose
- 78. Docker – это же просто! ++ docker build ++ docker-compose ++ BASH объединяет <3
- 79. Docker – это же просто! ++ docker build ++ docker-compose ++ profit! ++ BASH объединяет <3
- 80. Dockerfile – сердце контейнера
- 81. Dockerfile – сердце контейнера ++ Простой набор команд
- 82. Dockerfile – сердце контейнера ++ Простой набор команд ++ RUN
- 83. Dockerfile – сердце контейнера ++ Простой набор команд ++ RUN ++ COPY
- 84. Dockerfile – сердце контейнера ++ Простой набор команд ++ RUN ++ COPY ++ ENV
- 85. Dockerfile – сердце контейнера ++ Простой набор команд ++ RUN ++ COPY ++ ENV ++ To be continued...
- 87. Проблемы? Конечно! ++ Root по умолчанию
- 88. Проблемы? Конечно! ++ Root по умолчанию ++ Наследуется от одного образа
- 89. Проблемы? Конечно! ++ Root по умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои
- 90. Проблемы? Конечно! ++ Root по умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои ++ COPY всегда root
- 91. Проблемы? Конечно! ++ Root по умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои ++ COPY всегда root ++ COPY в конце или “прощай, кэш”
- 93. Контейнерный root ++ Root в контейнере = root на host-машине
- 94. ++ Создаваемые файлы тоже root Контейнерный root ++ Root в контейнере = root на host-машине
- 95. ++ Создаваемые файлы тоже root Контейнерный root ++ Root в контейнере = root на host-машине ++ Процесс может не встать из-под root
- 96. ++ Создаваемые файлы тоже root Контейнерный root ++ Root в контейнере = root на host-машине ++ Процесс может не встать из-под root ++ Non-root – наш выбор
- 97. Linux capabilities по умолчанию
- 98. Linux capabilities по умолчанию ++ chown ++ dac_override ++ fowner ++ fsetid ++ kill ++ setgid ++ setuid ++ setpcap ++ net_bind_service ++ net_raw ++ sys_chroot ++ mknod ++ audit_write ++ setfcap ++ man capabilities(7)
- 100. Добавляя безопасности ++ --cap-add & --cap-drop для управления
- 101. Добавляя безопасности ++ --cap-add & --cap-drop для управления ++ --cap-drop=all, когда это возможно
- 102. Добавляя безопасности ++ --cap-add & --cap-drop для управления ++ --cap-drop=all, когда это возможно ++ Никаких --privileged
- 103. А как же stateful?
- 104. А как же stateful? ++ Проблем нет только у stateless
- 105. А как же stateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки
- 106. А как же stateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки ++ Более сложный – etcd, consul, redis
- 107. А как же stateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки ++ Более сложный – etcd, consul, redis ++ Комбо – забираем состояние с мастер-ноды
- 108. Разделяй и используй
- 109. Разделяй и используй ++ Общие папки на host-машине
- 110. Разделяй и используй ++ Общие папки на host-машине ++ VOLUME внутри контейнера
- 111. Проблема записи
- 112. Проблема записи ++ Неразбериха с правами на файлы
- 113. Проблема записи ++ Неразбериха с правами на файлы ++ ARG USER_ID=1000 for the rescue
- 114. Проблема записи ++ Неразбериха с правами на файлы ++ ARG USER_ID=1000 for the rescue ++ docker build --build-arg USER_ID="$(id -u)"
- 115. User namespaces
- 116. User namespaces ++ Появились с версией 1.10
- 117. User namespaces ++ Появились с версией 1.10 ++ Root контейнера = non uid-0 на host-машине
- 118. User namespaces ++ Появились с версией 1.10 ++ Root контейнера = non uid-0 на host-машине ++ По умолчанию отключено
- 119. User namespaces ++ Появились с версией 1.10 ++ Root контейнера = non uid-0 на host-машине ++ По умолчанию отключено ++ --userns-remap в опциях запуска демона
- 120. А сети такие разные
- 121. А сети такие разные ++ Bridge
- 122. А сети такие разные ++ Bridge ++ Host
- 123. А сети такие разные ++ Bridge ++ Host ++ Overlay
- 124. А сети такие разные ++ Bridge ++ Host ++ Overlay ++ Macvlan
- 125. А сети такие разные ++ Bridge ++ Host ++ Overlay ++ Macvlan ++ None
- 126. Network mode: bridge
- 127. Network mode: bridge ++ На самом деле NAT
- 128. Network mode: bridge ++ На самом деле NAT ++ Отдельный локальный IP для контейнера
- 129. Network mode: bridge ++ На самом деле NAT ++ Отдельный локальный IP для контейнера ++ Изоляция порта внутри контейнера
- 130. Network mode: bridge ++ На самом деле NAT ++ Отдельный локальный IP для контейнера ++ Изоляция порта внутри контейнера ++ Суёт свой хвост в iptables – админы недовольны
- 131. Network mode: host
- 132. Network mode: host ++ Сеть хост-машины как есть в контейнере
- 133. Network mode: host ++ Сеть хост-машины как есть в контейнере ++ Host port = container port
- 134. Network mode: host ++ Сеть хост-машины как есть в контейнере ++ Host port = container port ++ Свобода iptables от вмешательств Docker
- 135. Network mode: host ++ Сеть хост-машины как есть в контейнере ++ Host port = container port ++ Свобода iptables от вмешательств Docker ++ Наш выбор!
- 137. Network mode: overlay ++ Multi-host сеть прямо из коробки
- 138. Network mode: overlay ++ Multi-host сеть прямо из коробки ++ Swarm mode (1.12+) или кастомная настройка кластера
- 139. Network mode: overlay ++ Multi-host сеть прямо из коробки ++ Swarm mode (1.12+) или кастомная настройка кластера ++ Пока что всё ещё сыроват
- 141. Network mode: macvlan ++ Свежачок с 1.12, kernel v3.9–3.19 and 4.0+
- 142. Network mode: macvlan ++ Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс
- 143. Network mode: macvlan ++ Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Каждому контейнеру уникальный MAC
- 144. Network mode: macvlan ++ Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Каждому контейнеру уникальный MAC ++ Прямой доступ к другим контейнерам, минуя gateway
- 145. Network mode: macvlan ++ Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Нет доступа из контейнера к хост-машине по IP ++ Каждому контейнеру уникальный MAC ++ Прямой доступ к другим контейнерам, минуя gateway
- 146. Network mode: none
- 147. Network mode: none ++ Нет сети – нет проблем!
- 148. Network mode: none ++ Нет сети – нет проблем! ++ Лучший вариант – если сеть не нужна
- 149. Limit everything
- 150. Limit everything ++ CPU: --cpu-shares, --cpuset-cpus
- 151. Limit everything ++ CPU: --cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation
- 152. Limit everything ++ CPU: --cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness
- 153. Limit everything ++ CPU: --cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness ++ Storage: --device-read-bps, --device-write-bps
- 154. Limit everything ++ CPU: --cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness ++ Storage: --device-read-bps, --device-write-bps ++ И это далеко не всё
- 155. Собираем всё вместе
- 156. Собираем всё вместе ++ Динамический docker-compose.yml
- 157. Собираем всё вместе ++ Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template
- 158. Собираем всё вместе ++ Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template ++ Множим контейнеры через генератор конфига
- 159. Собираем всё вместе ++ Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template ++ Множим контейнеры через генератор конфига ++ scale bee=10 ant=1 goqueue=1
- 160. Шаблонизируем
- 161. Шаблонизируем ++ Секция docker-compose как шаблон
- 162. Шаблонизируем ++ Секция docker-compose как шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения
- 163. Шаблонизируем ++ Секция docker-compose как шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения
- 164. Шаблонизируем ++ Секция docker-compose как шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения ++ Все константы и настройки – env.sh
- 165. Шаблонизируем ++ Секция docker-compose как шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения ++ Все константы и настройки – env.sh ++ Сборка всех шаблонов в один на чистом BASH
- 166. Шаблон муравья
- 167. Шаблон муравья ++ %SEQUENCE% – номер контейнера
- 168. Шаблон муравья ++ %SEQUENCE% – номер контейнера ++ ${VAR} – окружение из env.sh
- 169. Шаблон муравья ++ %SEQUENCE% – номер контейнера ++ ${VAR} – окружение из env.sh ++ export BEE_PORT=${BEE_PORT:-7089}
- 170. Деплой на сервер
- 171. Деплой на сервер ++ Забираем свежий код из git
- 172. Деплой на сервер ++ Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению
- 173. Деплой на сервер ++ Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению ++ Собираем все образы
- 174. Деплой на сервер ++ Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению ++ Собираем все образы ++ Запускаем контейнеры – docker-compose --no-build up
- 175. А если несколько?
- 176. А если несколько? ++ Сервера, окружения, scale – cluster.yml
- 177. А если несколько? ++ Сервера, окружения, scale – cluster.yml
- 178. Выкатка на ферму
- 179. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1
- 180. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах
- 181. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах
- 182. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait
- 183. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait ++ Success or fail? Шлем в slack
- 184. Выкатка на ферму ++ grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait ++ Success or fail? Шлем в slack
- 185. В сухом остатке
- 186. В сухом остатке ++ 50 человеко-часов на написание системы
- 187. В сухом остатке ++ Полная миграция за 150 человеко-часов ++ 50 человеко-часов на написание системы
- 188. В сухом остатке ++ Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ 50 человеко-часов на написание системы
- 189. В сухом остатке ++ Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ Масштабирование в одном месте ++ 50 человеко-часов на написание системы
- 190. В сухом остатке ++ Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ Масштабирование в одном месте ++ Автоматизация настройки dev-окружения ++ 50 человеко-часов на написание системы
- 191. Было Стало
- 192. ++ 8 мощных серверов ++ 24 дешевые машинки Было Стало
- 193. ++ 8 мощных серверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker Было Стало
- 194. ++ 8 мощных серверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое Было Стало
- 195. ++ 8 мощных серверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое ++ DevOps настраивают окружение ++ Developers управляют окружением Было Стало
- 196. ++ 8 мощных серверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое ++ DevOps настраивают окружение ++ Developers управляют окружением ++ Ручной scale процессов ++ Scale по необходимости деплоем Было Стало