Monitoring of huge Drupal site. Tools and tips

1. Monitoring huge Drupal
Tools & Tips
Konstantin Chaus
Drupal developer
ext_kch@jysk.com
JYSK

2. Веб-сайт мониторинг
Это процесс постоянного тестирования и проверки того,
что конечные пользователи нормально взаимодействуют
с веб-сайтом (приложением).
Веб-сайт мониторинг используется бизнесом для уверенности,
что веб-сайт (приложение) функционирует как ожидалось и
справляется с нагрузками.

3. Цели мониторинга:
1. Знать что сайт доступен
2. Минимизировать downtime
3. Оптимизировать нагрузку
4. Сравнивать между релизами
5. Искать потенциальные проблемы
6. Тестировать новое

4. Уровни мониторинга:
Server
CPU, RAM, Disk, IO, Network
Application
httpd, php, mysql, redis,
memcached, Drupal
Client
JS, AJAX, browsers, DOM
External
Mail, Solr, Replication,
other external services

5. Server
CPU, RAM, Disk, IO, Network

6. Application
 status page
 access log (per vhost)
 error log (per vhost)
 status page
 slow response log (per socket)
 error log (per socket)
 admin/reports/status
 syslog (module + rsyslog)
 dblog (module)
 Drupal
Web Server
 PHP-FPM

7. Application
 slow query log
 error log
 general log (file, table)
 jet profiler
 percona tools
 debug log
# memcached OPTIONS -v > file
 MySQL
 Memcached

8. Client
window.onerror
AJAX -> callback
 Cross browser & mobile devices
 Speed, debugging
 Monitor JS errors

9. External
Кастомный трекинг внешних сервисов

10. Чего не хватает?
 Средние показатели работы серверов
 Среднее время отработки запроса на сервере
 Среднее время построения страницы в бразуере
 Среднее время по каждому отдельному сервису
 Оповещение по разным каналам (mail, sms, mobile app)
 Статистика

11. Свой велосипед?

12. Monitoring Services

13.  Сервис сбора и анализа статистики
 Актуальная статистика в реальном времени
 Удобный инструмент для анализа

14. Как это работает

15. Как это выглядит

16. Server. Overview

17. Server. Graph view

18. Application (APM)
Интеграция:
 модуль PHP (агент)
 процесс, который отправляет статистику (демон)
Поддерживает:
 PHP, Ruby, Java, .NET, Node.js, Python
 MySQL, Memcached, Redis, Mongo

19. Overview (dashboard)
 Время ответа, нагрузка, ошибки, ...
 Можно создавать свои рабочие столы

20. Transactions. Overview

21. Transaction

22. Transaction. Profile stats

23. Transaction. Summary

24. Transaction. Profiling

25. Databases

26. Memcached

27. MySQL

28. MySQL. Query stats

29. MySQL. Slow queries

30. Drupal integration
 modules
 hooks
 views

31. PHP Errors

32. Deployment tags
В релиз процедуру добавляем простой
curl запрос на аккаунт приложения и получаем
статистику релизов

33. Browser. Overview
Интеграция:
 настройка модуля PHP
 функция PHP в коде
 Java Script сниппет

34. Browser. JS errors
 статистика ошибок Java Script
 можно посмотреть stack trace
 статистика ошибок по браузерам

35. JS error stack trace
Не всегда есть stack trace
Показывает похожие ошибки, что помогает установить закономерности

36. Browser. Page views
Можно посмотреть медленные сессии – подобно firebug

37. External
Статистика подобна транзакциям
Видно сервисы, от которых сильные зависимости

38. Alerts
Можно настроить при каких показателях приложения
слать email (sms, notification) счастья и
можно настроить кого именно и как-именно
Вы хотите осчастливить))

39. Alert channels

40. Alert. Ping configuration
Настроить URL который будет
проверятся на доступность и если он недосутпен –
сработает Alert

41. Plugins

42. Insights
Transactions = backend
PageViews = frontend
NRQL> удобный язык построения запросов по всей статистике

43. Examples. Performance
 уменьшение downtimes
 уменьшение response time
 уменьшение жестких внешних зависимостей

44. Examples. External
Яркий пример того, как внешний сервис портил
статистику и приводил к downtime!

45. Examples. Test new module
Внедрение модуля autoslave на некоторых сайтах
После второго релиза в статистике появился Memcached

46. Examples. Test new feature
Внедрение новой фичи на фронтэнде
Быстро откатились

47. New Relic
• Отличная документация
• Быстрая интеграция и настройка
• Встроенная поддержка Drupal
• Удобный инструмент для анализа
• Очень гибкое API
• Мобильное приложение (Android, IOS)

48. Вопросы.