Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Денис Иванов
Ähnlich wie Денис Иванов (20)
Mehr von CodeFest
Mehr von CodeFest (20)
Денис Иванов
- 2. 2GIS WebAPI
- 3. Данные 3
- 4. Данные • 8 стран • 300 городов • 50 тыс населенных пунктов 4
- 5. Данные • 8 стран • 300 городов • 50 тыс населенных пунктов • 5 млн организаций 5
- 6. Данные • 8 стран • 300 городов • 50 тыс населенных пунктов • 5 млн организаций • 50 млн гео-объектов И еще много всего 6
- 7. Чиселки 7
- 8. Чиселки • 30 млн. пользователей в месяц 8
- 9. Чиселки • 30 млн. пользователей в месяц • 2000 RPS 9
- 10. Чиселки • 30 млн. пользователей в месяц • 2000 RPS • 3 датацентра 10
- 11. Одна нода • 16 CPU • 16 GB RAM • Минимальная нагрузка - 50% • 18 штук 11
- 13. Проблемы 13
- 14. Проблемы • Долго отрабатывают запросы (95% - 500ms) 14
- 15. Проблемы • Долго отрабатывают запросы (95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи 15
- 16. Проблемы • Долго отрабатывают запросы (95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком 16
- 17. Проблемы • Долго отрабатывают запросы (95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает 17
- 18. Проблемы • Долго отрабатывают запросы (95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает • Много команд разработчиков, сервисов, интеграций 18
- 19. Проблемы • Долго отрабатывают запросы (95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает • Много команд разработчиков, сервисов, интеграций • Много тестов, которые долго работают 19
- 20. Решения 20
- 21. Решения • Поддерживать существующее и жить дальше 21
- 22. Решения • Поддерживать существующее и жить дальше • Переписать всё нафиг 22
- 23. Решения • Поддерживать существующее и жить дальше • Переписать всё нафиг • Подумать и распилить приложение на независимые куски 23
- 24. Сервисная архитектура (SOA) — модульный подход к разработке программного обеспечения, основанный на использовании распределённых, слабо связанных заменяемых компонентов, оснащённых стандартизированными интерфейсами для взаимодействия по стандартизированным протоколам 24
- 25. Микросервисная архитектура • Малый размер • Тонкое масштабирование • Быстрый деплой • Лёгкость тестирования (Мок) • Любой язык 25
- 26. Микросервисная архитектура • Десятки приложений вместо одного • Сложность интеграционного тестирования 26
- 27. Поехали!
- 41. Что сделали? • Дикую новую архитектуру • Написали роутер на go 41
- 42. Что сделали? • Дикую новую архитектуру • Написали роутер на go • Базовый контейнер на busybox 42
- 43. Что сделали? • Дикую новую архитектуру • Написали роутер на go • Базовый контейнер на busybox • Начали пилить SDK 43
- 44. STOP!
- 46. Как распилить? • Выделить каждую группу методов в отдельный сервис 46
- 47. Как распилить? • Выделить каждую группу методов в отдельный сервис • Начать с самого мелкого и несвязного сервиса 47
- 48. Как распилить? • Выделить каждую группу методов в отдельный сервис • Начать с самого мелкого и несвязного сервиса • Постепенно выделять сервисы, переходя к более крупным 48
- 49. Прототип 49
- 50. Прототип • Тяжелый метод - поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а 50
- 51. Прототип • Тяжелый метод - поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala 51
- 52. Прототип • Тяжелый метод - поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala • SLA - 95% за 300ms 52
- 53. Прототип • Тяжелый метод - поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala • SLA - 95% за 300ms • Тачка - 4 ядра (по 2.7), 4 гига 53
- 54. Бенчмарк 54
- 55. Бенчмарк Реализация SLA Смерть php 30 rps 40 rps php7 70 rps 80 rps java 160 rps 180 rps scala 180 rps 200 rps 55
- 56. Scala vs Java 56
- 57. Scala vs Java • Те же библиотеки + свои 57
- 58. Scala vs Java • Те же библиотеки + свои • Меньше кода, чем на Java 58
- 59. Scala vs Java • Те же библиотеки + свои • Меньше кода, чем на Java • Много success-story в микросервисах 59
- 60. Scala vs Java • Те же библиотеки + свои • Меньше кода, чем на Java • Много success-story в микросервисах • Асинхронность и многопоточность намного проще из коробки + сторонние библиотеки 60
- 61. Scala vs Java • Те же библиотеки + свои • Меньше кода, чем на Java • Много success-story в микросервисах • Асинхронность и многопоточность намного проще из коробки + сторонние библиотеки • В компании есть несколько команд, использующих Scala на продакшене 61
- 62. Интеграция
- 66. Библиотечки 66
- 73. Spray path("api" / "1.0" / "some" / "method") { parameters('id.as[String]) { id => val response = DoSomeWork(id) onSuccess(response) { content => complete(content) } } } 01. 02. 03. 04. 05. 06. 07. 08. 73
- 74. Spray json case class User(name: String, isOk: Boolean) implicit val UserFormatter = jsonFormat2(User) val json = """{"name": "Denis", "isOk": true}""" val user = json.parseJson.convertTo[User] 01. 02. 03. 04. 05. 06. 07. 74
- 75. Typesafe config databases { catalog { host = "127.0.0.1" port = 5432 timeout = 5s ssl = true } } 01. 02. 03. 04. 05. 06. 07. 08. 75
- 76. Инвентарь 76
- 77. Инвентарь • Scala - основной язык для микросервисов 77
- 78. Инвентарь • Scala - основной язык для микросервисов • TeamCity - сборка и деплой 78
- 79. Инвентарь • Scala - основной язык для микросервисов • TeamCity - сборка и деплой • Ansible - деплой 79
- 80. Тестирование 80
- 81. Тестирование • Функциональные и интеграционные тесты на ваш продукт, которые у вас должны быть 81
- 82. Тестирование • Функциональные и интеграционные тесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling 82
- 83. Тестирование • Функциональные и интеграционные тесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling • gor 83
- 84. Тестирование • Функциональные и интеграционные тесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling • gor • Простой скрипт, кидающий запрос на 2 хоста и делающий diff 84
- 85. CI/CD 85
- 86. CI/CD • Сборка - 2 минуты 86
- 87. CI/CD • Сборка - 2 минуты • Тесты (с нагрузкой) - 5-10 минут 87
- 88. CI/CD • Сборка - 2 минуты • Тесты (с нагрузкой) - 5-10 минут • Деплой - 5 минут 88
- 89. CI/CD • Сборка - 2 минуты • Тесты (с нагрузкой) - 5-10 минут • Деплой - 5 минут • Серверов - 6 вместо 18 (по 2 в каждом ДЦ) 89
- 90. Одна нода • 4 CPU • 4 GB RAM • Средняя нагрузка - 5% • Максимальная нагрузка - 30% 90
- 92. Что дальше? 92
- 94. Что дальше? • Продолжать распиливать сервисы • Двигаться к поставленной цели 94
- 95. Итоги 95
- 97. Итоги • Поменьше велосипедов • Ставьте себе четкие, достижимые цели в короткий срок 97
- 98. Итоги • Поменьше велосипедов • Ставьте себе четкие, достижимые цели в короткий срок • Делайте задачи итеративно 98
- 99. Итоги • Поменьше велосипедов • Ставьте себе четкие, достижимые цели в короткий срок • Делайте задачи итеративно • Решайте проблемы по мере из возникновения 99
- 100. Итоги • Поменьше велосипедов • Ставьте себе четкие, достижимые цели в короткий срок • Делайте задачи итеративно • Решайте проблемы по мере из возникновения • Преждевременная оптимизация - зло 100