Using graphite and grafana to monitor, visualise and collect metrics

1. Использование Graphite и Grafana
Левон Авакян / WoT Server
Reliability /
l_avakyan@wargaming.net
Собираем метрики
1
Devops.Events

2. Содержание 2
• Зачем нужно собирать метрики?
• Как можно собирать метрики?
• Разбираем Graphite по частям
• Вопросы производительности. Go-carbon
• Graphana. Основные фичи
О чем мы будем говорить
Devops.Events

3. Зачем нужно собирать метрики?
Немного о бизнесе и архитектуре
3
Devops.Events

4. Бизнес 4
Функциональные требования
Как мы поймем что делаем
правильно?
Devops.Events

5. Архитектура 5
Нефункциональные требования
Как мы поймем что мы делаем
хорошо?
Devops.Events

6. Нефункциональные требования 6
То что можем померять runtime
• Доступность
• Надежность
• Расширяемость
• Производительность
Devops.Events

7. Надежность 7
Мониторинг и все такое
Как мы поймем что все
технически хорошо?
Devops.Events

8. Как можно собирать метрики?
Pull&Push стратегии
8
Devops.Events

9. Источники метрик 9
Где брать данные
• Логи
• БД
• Приложение
• ОС
• Сторонние приложения
Devops.Events

10. Pull 10
• Система мониторинга забирает данные у
приложения сама
Примеры:
• Zabbix
• Nagios
Devops.Events

11. Push 11
• Приложение отправляет данные о себе
Примеры:
• Prometey
• Graphite
Devops.Events

12. Graphite
Разбираем Graphite по частям
12
Devops.Events

13. Graphite 13
• carbon - Twisted демон, слушающий данные
• whisper - Хранилище для временных рядов ( time-
series data). Концепция циклический БД
• graphite webapp - Веб приложение на основе Django
для построения дашбородов
Вид изнутри
http://graphite.readthedocs.io/en/latest/index.html
Devops.Events

14. Graphite 14
Devops.Events

15. Graphite 15
• carbon-cache.py - принимает метрики по многим протоколам и
как можно быстрее записывает их
• carbon-relay.py – репликация и шардинг
• carbon-aggregator.py – работает перед carbon-cache, собирая
метрики до того как отправить их в хранилище
• carbon-aggregator-cache.py – два предыдущих демона в одном
Вид изнутри
http://graphite.readthedocs.io/en/latest/index.html
Devops.Events

16. Переходим к практике
А как это работает?
16
Devops.Events

17. Диаграмма последовательности работы с Grpahite 17
Devops.Events

18. Statsd 18
• statsd – простой демон, созданный для того чтобы
собирать и агрегировать метрики.
• Должна существовать клиентская реализация для
работы statsd в приложении. В связи с огромной
популярностью формат statsd стал де-факто
протоколом для сбора и агрегации метрик.
• Приложение по UDP шлет метрики в statsd, сам же
statsd собирает их и отправляет на бэкенд.
Вид изнутри

19. Statsite 19
Сервер метрик. Реализация statsd на С.
(https://github.com/statsite/statsite)
• Быстрый и надежный
• Минимизирует потребление памяти
• Поддерживает большое количество бэкендов
Вид изнутри
Devops.Events

20. Statsite 20
Пример использования
>>> import statsd
>>> c = statsd.StatsClient('localhost', 8125) # statsite host and port (udp)
>>> c.incr('foo') # Increment the 'foo' counter.
>>> c.timing('stats.timed', 320) # Record a 320ms 'stats.timed'.
>>> import statsd
>>> c = statsd.StatsClient('localhost', 8125, prefix='foo') # statsite host and
port (udp)
>>> c.incr('bar') # Will be 'foo.bar' in statsite/graphite.
Devops.Events

21. Пример реализации для falcon 21
def wrapper(func, timer_name):
@wraps(func)
def wrapped(*args, **kwargs):
with statsd.timer(timer_name):
res = func(*args, **kwargs)
return res
return wrapped
class StatsReportingAPI(type): # Use this a a __metaclass__ for any resource you want to automatically
report request timings
def __new__(meta, classname, bases, classDict):
newClassDict = {}
for attributeName, attribute in classDict.items():
if attributeName.startswith('on_') and type(attribute) == FunctionType:
key = '%s.%s.%s' % (
classDict['__module__'],
classname,
attributeName
)
attribute = wrapper(attribute, key)
newClassDict[attributeName] = attribute
return type.__new__(meta, classname, bases, newClassDict)

22. Statsite configuration 22
[statsite]
port = 8125
udp_port = 8125
log_level = INFO
log_facility = local0
flush_interval = 10
timer_eps = 0.01
set_eps = 0.02
stream_cmd = python sinks/statsite_graphite_sink.py graphite_host 2004 your.app.prefix
[histogram_api]
prefix=api
min=0
max=100
width=5
[histogram_default]
prefix=
min=0
max=200
width=20 Devops.Events

23. Сбрасываем метрики в графит 23
• Читаем stdin. На вход plain text вида
key|val|timestampn
• Собираем данные, пакуем с помощью pickle
• Раз в N секунд отправляем собранные метрики
sinks/statsite_graphite_sink.py graphite
Devops.Events

24. Вопросы производительности
go-carbon
24
Devops.Events

25. Работаем в продакшене 25
• Метрик становится больше
• Хотим хранить более точные данные
• Метрики собираем, посмотреть становится
проблематично
• Основная проблема I/O
Devops.Events

26. Ищем альтернативы 26
carbon-cache go-carbon
Использует одно ядро Один демон использует множество
ядер
Много опций для конфигурации Написан на Go
Поставляет в коробке Мало опций для конфигурации
Работает примерно в 4 раза
быстрее*
Devops.Events

27. Ищем альтернативы 27
carbon-relay carbon-ng-relay carbon-c-relay
Написан на twisted Написан на Go Написан на С
Нативный Web-panel Расширенное
управление кластером
Лайф апдейты
Агригаторы
В 2-3 раза быстрее
carbon relay*
На порядок быстрее
carbon-ng-relay*
Devops.Events

28. Итоговая конфигурация 28
2M метрик
Host HW: 14Tb ssd, Xeon(R)
CPU E5-2695 v4
Devops.Events

29. Graphana
Основные фичи
29
Devops.Events

30. Grafana 30
Open-source решение для построение дашбордов и
различных графиков для Graphite, Elastic Search,
OpenTSDB, Prometheus and InfluxDB.
https://grafana.com/
Devops.Events

31. Grafana 31
• Панели
• Графики/Гистограммы
• Одиночные метрики
• Таблицы
• Хитмапы
• Списки дашбордов
• Дашборды
• Шаблонизация дашбордов
• Аннотации
• Плейлисты
• Поиск/шаринг дашбордов
• Автоматизированные дашборды
• Экспорт/Импорт
• JSON модель
Основные фичи
Devops.Events

32. Grafana 32
• Источники данных
• Graphite
• Prometheus
• Elasticsearch
• InfluxDB
• OpenTSDB
• MySQL
• AWS Cloudwatch
• TestData
• Алертинг ( version > 4.0)
• Поддержка правил
• Внутрение метрики
• Нотификации
• Поддержка плагинов
Основные фичи
Devops.Events

33. Grafana 33
Основные фичи
Devops.Events

34. Grafana 34
Основные фичи
Devops.Events

35. Спасибо
Левон Авакян (l_avakyan@wargaming.net)
35
Devops.Events