1. 1BREST
Дизайн
отказоустойчивых
систем
22 апреля 2018

2. 2BREST
О докладчике
Dzmitry Nichyparuk
Software Engineering Team Leader
С ЭПАМ с 2010
Экспертиза: Web Applications and Services
Технологии: .NET, JavaScript, NodeJS
Область интересов: Software Architecture

3. 3BREST

4. 4BREST
Стабильность системы
Отказоустойчивая система продолжает обрабатывать транзакции даже
когда импульсные помехи, постоянная нагрузка или неисправность
отдельных узлов нарушают нормальный процесс обработки транзакций.
Стабильность: компоненты системы не только продолжают работу, но и
дают пользователю возможность закончить работу.

5. 5BREST
Основные опасности для долговечности систем:
• утечки памяти
• рост объемов данных
Как правило не обнаруживается при тестировании.
Долговечность
Долговечная система способна обрабатывать
транзакции долгое время.
Долговечная система
Но как “долго”?

6. 6BREST
К отказу может привести как и внезапные импульсы, так
и чрезмерная нагрузка.
Всегда найдется компонент, который откажет раньше
других и начнет создавать нагрузку на другие элементы
системы.
Нагрузка - катализатор для роста трещин.
• Режим отказа - это фактор, послуживший триггером
дефекта, способ распространения отказа и результат
повреждения.
• Безопасные режимы отказов - ограничители трещин,
защищающие компоненты от выхода из строя
Трещины и режимы отказов

7. 7BREST

8. 8BREST
• Чем выше нагрузка и чем сложнее интеграционные связи, тем, как правило, выше скорость
распространения трещин (отказов).
• Сильная взаимосвязь может быть
• в коде самого ПО
• в меж-системных вызовах
• в общих ресурсах
• Менее связная архитектура наоборот сработает как амортизатор, уменьшая влияние
ошибки, а не увеличивая его.
• На каждом этапе цепочки отказ можно:
• остановить
• замедлить
• ускорить
Распространение трещин

9. 9BREST
Системы имеют свойство ломаться
Есть факторы, которые предвидеть невозможно.
И что можно с ними сделать?

10. 10BREST

11. 11BREST
Каждый сетевой канал ставит под угрозу стабильность системы
Проблемы канала связи могу стать проблемой вашего приложения
Точки интеграции
Паттерны
• предохранитель (circuit breaker)
• квитирование (hand shaking)
• связующее ПО
Защита точек интеграции
Тестирование
• Stub-ы, эмулирующие отказы точек интеграции

12. 12BREST
• Передача файла (File transfer)
• Общая база данных (Shared DB)
• Удаленный вызов процедуры (Remote procedure call)
• Обмен сообщениями (Message, BUS)
Возможные схемы интеграции

13. 13BREST

14. 14BREST
Отказ под нагрузкой
Выход одного сервера из строя ставит под угрозу остальные: вся освободившаяся нагрузка
ложится на их плечи
• Шаблон перегородок
• Предохранитель
Защита
Катализаторы отказа
• Утечки ресурсов
• Скрытые дефекты

15. 15BREST

16. 16BREST
Каскадные отказы
Каскадный отказ возникает, когда трещина возникая в
одном слое или компоненте вызывает проблемы в
вызывающем слое или компоненте.
Это возможно при наличии механизма перехода
отказа из одного слоя в другой - неправильная
работа в вызываемом слое провоцирует отказы в
вызывающем
Защищайте границы от средств передачи трещин
Используйте паттерны
• предохранитель
• тайм-ауты.
Защита

17. 17BREST

18. 18BREST
• Пользователи потребляют трафик
• Пользователи потребляют память
• Пользователи - это расходы на обслуживание
• Нежелательные пользователи
• программы-анализаторы
• грабберы каталогов (системы конкурентной разведки)
• пауки поисковиков
....
• Злоумышленники
Прямой угрозы пользователи конечно же не несут, но создаваемая ими нагрузка
повышает вероятность сбоя.
Пользователи

19. 19BREST

20. 20BREST
• Держите открытым канал общения с отделом маркетинга.
• Планируйте акции
• Готовьте отдельные экземпляры сервисов под специальные предложения
• Ссылки со специальными предложениями должны вести на специальные “легкие” страницы
• Защищайте общие ресурсы
Хороший маркетинг может “уронить” систему очень быстро

21. 21BREST
• Переход к архитектуре без общего ресурса
• Один процесс выйдя из под контроля при наличии общего ресурса может вывести из игры остальные
экземпляры.
• Замена пессимистических блокировок оптимистическими
• Отдельный фрагмент сети под опасный трафик для случая с неоднородной нагрузкой
• Быстрый отказ - позволит освободить ресурсы для транзакций не связанных с общим ресурсом
Общий ресурс - узкое место

22. 22BREST
Справедлив для отношений
• Многие к одному
• Многие к нескольким
Двух-точечная связь.
• Nсоед = n* (Nузлов^2)
Приемлемость такой скорости роста сложности зависит от
конечного масштаба системы
Альтернативы:
• Очередь сообщений
• Передача сообщений по подписке
• Групповая TCP/UDP рассылка
• Широковещательная рассылка UDP
Эффект масштабирования

23. 23BREST

24. 24BREST
Несбалансированные мощности
Перегрузка внешней системой Защита
Внутренняя система система
• Шаблон “квитирование” – обратная
связь для внешней системы
• Переборки – резервирование ресурсов
для внутренних операций
Внешняя система
• Шаблон “предохранитель” – снизит
нагрузку на внутреннюю систему

25. 25BREST
Несбалансированные мощности
Тестирование
• Не ограничивайтесь стандартной нагрузкой при тестировании.
– Найдите самую ресурсоемкую операцию, типовую нагрузку и удвойте ее.
• Убедитесь что система ведет себя предсказуемо.
– Устойчивая система замедлит свою работу либо быстро завершит ее, если не сможет выполнить
транзакцию за отведенное время.
– После снятия нагрузки система начнет функционировать в обычном режиме.
– Аварийное завершение, зависшие потоки, бессмысленные ответы показывают, что система не выживет.
• Тестировать стоит оба интерфейса
– внешний сервис, когда внутренний не отвечает
– внутренний сервис, когда нагрузка выше расчетной

26. 26BREST

27. 27BREST
Причина медленных ответов
• избыточный спрос - нет резерва мощности для обработки входящих запросов
• утечки памяти (GC) - высокая загрузка ЦПУ может быть обусловлена не работой над
транзакциями, а работой сборщика мусора, дефрагментацией памяти.
• Медленное реагирование распространяется вверх - как постепенно нарастающий каскадный
отказ и ответы ведут к росту трафика
– Избавляйтесь от общих ресурсов и узких мест
– Используйте принцип быстрого отказа
Медленная реакция
Медленный ответ намного хуже, чем отказ в соединении или возвращение ошибки!

28. 28BREST

29. 29BREST
SLA-инверсия
SLA - соглашение об уровне доступа
• Изоляция партнеров
• Внедрение предохранителей
Работа с SLA-инверсией

30. 30BREST

31. 31BREST
• Не полагайтесь на поставщика, что он вернет ожидаемо ограниченный набор данных. В какой-
то момент этих данных может стать слишком много.
• Огромные наборы данных - причина медленной реакции (долгих ответов)
• Используйте реальные наборы данных при тестировании
Огромные наборы данных
• Ограничение размера ответа в запросе (LIMIT, TOP)
• Прерывание обработки результата, если данных слишком много
Защита приложения
Что произойдет, когда БД неожиданно вернет 1 млн записей, а приложение явно не
ограничивает набор результатов?

32. 32BREST

33. 33BREST
Предохранитель

34. 34BREST
• при защите от отказов в точках интеграции
• при каскадных отказах
• при несбалансированной производительности
• медленных ответах
Предохранители
Эффективны
Используйте предохранители вместе с таймаутами
• таймауты укажут на проблемы с точкой интеграции
• предохранитель предотвратит обращения к проблемной точке интеграции
Комбинируйте

35. 35BREST

36. 36BREST
Таймауты
• с шаблоном “предохранитель”
• с шаблоном “быстрый отказ”
Комбинируйте
В случае
• наличия точек интеграции
• блокированных потоков
• медленных ответов
Для восстановления после неожиданных отказов
• Иногда зависшую операцию проще отменить и перезапустить
Эффективны
Позволяют устранить или смягчить влияние трещин на систему

37. 37BREST

38. 38BREST
Переборки реализуют идею изоляции повреждений.
Применив этот шаблон в системе вы разделите систему на части и не дадите отказу возникшему в
одной ее части, разрушить всю систему.
Наиболее распространенный вид изоляции - физическая избыточность:
• несколько серверов
• несколько приложений
• отдельные фермы для важных задач
• разделение через привязку к процессору или группе процессоров
• разделение пулов потоков
• виртуальные машины
Переборки

39. 39BREST
• Шаблон переборок позволяет распределить вычислительную мощность с целью сохранения
частичной функциональности в случае проблем.
• Определяя границы следует оценить влияние ф-циональных возможностей на бизнес и
рассмотреть эти данные в рамках архитектуры.
• Разбиение системы на группы означает, что каждой отдельной группе нужны резервные
мощности - это больше чем при объединении всех сервисов.
Переборки

40. 40BREST

41. 41BREST
• Шаблон быстрого отказа повышает общую стабильность системы не допуская медленных
ответов.
• Позволяют поддерживать вычислительную мощность противодействуя пустым расходам
процессорного времени.
Быстрый отказ
Преимущества
• В комплексе с таймаутами быстрые отказы позволяют предотвратить каскадные отказы.
Комбинируйте

42. 42BREST

43. 43BREST
Квитирование - попытка сервера защитить себя путем регулировки внешней нагрузки.
• Сервер может отказаться от предлагаемой работы, если он испытывает недостаток ресурсов
• Клиент может проверить готовность сервиса принять его запрос через запрос “проверки здоровья”
Квитирование особенно полезно в случаях несбалансированной вычислительной мощности
• Использование предохранителя на клиенте и быстрого отказа или квитирования на сервере
• Использование квитирования на паре клиент-сервер
Квитирование
Квитирование - передача от одного устройства к другому сигнала, удостоверяющего
наличие связи с этим устройством.
Пример: HTTP (503) - Сервис недоступен

44. 44BREST

45. 45BREST
• СПО позволяет связывать сервисы изначально не предназначенные для совместной работы.
• Хорошо сделанное СПО одновременно интегрирует и разделяет системы.
Связующее ПО
• Лицензии на ПО
• Плата за трафик
СПО влияет на стоимость продукта!
Преимущества

46. 46BREST

47. 47BREST
• Изучайте внимательно требования.
• Согласовывайте уровень защиты элементов системы.
• Смотрите на все внешние зависимости с недоверием.
• Используйте паттерны стабильности.
• Тестируйте режимы отказов
• Инфраструктурные
• Отказы в точках интеграции или ненадежных внутренних системах
Отказы неизбежны

48. 48BREST
THANK
YOU