Управление миллионами метрик таит в себе множество сложностей. Это вопросы автоматизации, масштабируемости, интеграции с другими системами и многое другое. Хочется максимально всё автоматизировать — один раз настроил и забыл. Возможно ли это? Я подробно расскажу о накопленном практическом опыте использования Zabbix в самых жестоких условиях различных сценариев, расскажу на реальных примерах о том, как справиться с мониторингом тысяч удалённых точек, как не заблудиться в десятках миллионов триггеров и осилить динамические среды. Тут и о производительности нужно серьёзно задуматься. Zabbix обладает целым набором функциональности, которая позволяет упростить жизнь отдела мониторинга. Конечно, подробности можно найти в документации, только не всегда понятно, как это правильно использовать. Цель доклада — поделиться практическим опытом, это бесценно!

1. Zabbix и миллионы
метрик
Алексей Владышев

2. Обо мне
Алексей Владышев
Автор Zabbix
CEO и Архитектор
Twitter: @avladishev

3. Мониторинг
Начало

4. История
Сбор данных
Zabbix server

5. История
Анализ
Сбор данных
Zabbix server

6. История
Анализ
Сбор данных
Оповещения
Zabbix server

7. Zabbix агент?

8. Zabbix агент?
Минусы
- Установка
Плюсы
+ Доступ к любым метрикам доступным OS
+ Гибкость на уровне коммуникаций (пассивные и активные проверки)
+ Очень маленький и быстрый, нет влияния на саму систему
+ Легко расширить функциональность модулями и скриптами
…много ещё…

9. Zabbix агент?
Минусы
- Установка
Плюсы
+ Доступ к любым метрикам OS
+ Гибкость на уровне коммуникаций (пассивные и активные проверки)
+ Очень маленький и быстрый, нет влияния на саму систему
+ Легко расширить функциональность модулями и скриптами
…много ещё…

10. 95% используют
Zabbix агента

11. Метрики
CPU load
Free disk space
WEB server state
Анализ в режиме
реального времени

12. Анализ в режиме
реального времени
Метрики
CPU load
Free disk space
WEB server state
Триггеры
CPU load > 5
Free disk space < 10%
WEB server state = 0 (down)

13. 100 хостов

14. 500 хостов

15. 1000 хостов

16. Как управлять
конфигурацией?

17. Шаблон - это набор
параметров для мониторинга

18. Шаблон - это набор
параметров для мониторинга
Linux сервер? Используем Template Linux
Процессор, диски, сеть, память
MySQL? Используем Template MySQL
Доступность, TPS, статус репликации

19. Шаблон - это набор
параметров для мониторинга
Linux сервер? Используем Template Linux
Процессор, диски, сеть, память
MySQL? Используем Template MySQL
Доступность, TPS, статус репликации

20. Linux серверы
Сервер 1
Сервер 2
Сервер 3
Одинаковые, но разные

21. Одинаковые, но разные
Linux серверы
/
/data
/tmp
/
/tmp
/
/home
/data
/tmp
Сервер 1
Сервер 2
Сервер 3

22. Одинаковые, но разные
Linux серверы
/
/data
/tmp
/
/tmp
/
/home
/data
/tmp
Template Linux 1
Template Linux 2
Template Linux 3
Сервер 1
Сервер 2
Сервер 3

23. Низкоуровневое
обнаружение
Один шаблон
Template Linuх
с одним правилом
обнаружения
Сервер 1
Сервер 2
Сервер 3

24. Низкоуровневое
обнаружение
Один шаблон
Template Linuх
с одним правилом
обнаружения
Сервер 1
Сервер 2
Сервер 3
/
/data
/tmp
/
/tmp
/
/home
/data
/tmp

25. Один шаблон мониторинга для разных устройств!
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер

26. Масштабирование

27. 11 terabits на выходе
80 точек присутствия

28. 25.000 хостов

29. 6.000.000 метрик
3.000.000 триггеров
90 прокси
Производительность Zabbix
7.510 проверок в секунду (NVPS)
25.000 хостов

30. Результат проверки = 50 байт
Limelight: 26ГБ в день
2TB история, максимум 6 месяцев
Размер базы данных

31. Что выбрать?

32. Что выбрать?
VS

33. Более 1.000.000 метрик
и объём данных от 1TB

34. Более 1.000.000 метрик
и объём данных от 1TB
1 место:
2 место:
3 место: Oracle & DB2 5 %

35. Более 1.000.000 метрик
и объём данных от 1TB
1 место: MySQL 80 %
2 место: PostgreSQL 15 %
3 место: Oracle & DB2 5 %

36. Управление
Zabbix server

37. Управление
Zabbix server
Сентябрь
Октябрь
Ноябрь
Zabbix server
Партиционирование

38. А если хостов
ещё больше?

40. 60.000 хостов

41. 60.000 хостов
2.000.000 метрик
20.000.000 триггеров
6TB история
40 прокси
Производительность Zabbix
21.000 проверок в секунду (NVPS)

42. Автоматизация

43. Сетевое обнаружение
Сеть
Обнаружен DNS
Обнаружен Zabbix Agent
ZabbixОбнаружен HTTP сервер

44. Авторегистрация
Я - новый сервер
Metadata: Linux/MySQL
Zabbix
Сеть
Агент

45. Управление агентами
Управление конфигурацией
Привязка к шаблонам, добавление хостов

46. Распределённый
мониторинг

48. 200.000 хостов

49. 200.000 хостов
5.000.000 метрик
2.000.000 триггеров
Минимум 5ТB история
11.000 прокси
Производительность Zabbix
20.000 проверок в секунду (NVPS)

50. Новый магазин!
Реестр

51. Прокси
Новый магазин!
Реестр

52. Zabbix
Прокси
Новый магазин!
Zabbix API
Реестр

53. Так, а теперь переходим
на Zabbix 3.0!

54. Проще, чем кажется
Обратная совместимость с агентами
Но не с прокси!
Автоматическое обновление структуры базы
Таблицы с историей не трогаем
Не ломаем API

55. Hosts Metrics Triggers Proxy DB
25К 6М 3М 45
60К 2М 20М 40
200К 5М 2М 11К

56. Итог

57. Итог
Не надо бояться
200.000 хостов
6.000.000 метрик, 20.000.000 триггеров
Терабайты истории
11.000 прокси
Автоматизация и HA
Не забываем о выборе правильного железа для Zabbix

58. Итог
Не надо бояться
200.000 хостов
6.000.000 метрик, 20.000.000 триггеров
Терабайты истории
11.000 прокси
Автоматизация и HA
Не забываем о выборе правильного железа для Zabbix

59. Спасибо!
Приходите на стенд!
Лотерея дважды в день!
Twitter: @avladishev
Email: alex@zabbix.com