http://www.brownbaglunch.fr/baggers.html#Olivier_BAZOUD Monitoring: regarder votre application à la loupe! Regarder fonctionner votre application sous toutes les coutures. Nous verrons comment alimenter Graphite, un excellent outil de métrologie, dans une architecture java (je peux m'adapter à vote langage): collectd, jmxtrans, metrics, statsd,.. afin de prendre des mesures au niveau du système, de l'applicatif, des batchs et du métier (KPI). Nous aborderons ensuite la corrélation tous ces métriques de façon très visuelle et comment réveiller vos sysadmins en cas d'urgence ;)

1. Monitoring
BBL Kyriba
Vendredi 29 Novembre

2. Sommaire
Principes
Monitoring
Dashboard
Alerting
Conclusion

3. Intervenant
Olivier Bazoud @obazoud
Developpeur
Spring-*/JEE, DevOps, Node.js
Scala bientôt ;)
Co-auteur de “Spring Batch in Action”

4. Et vous ?

5. Principes

6. Principes
Comment se comporte mon application en
production ?
Comment analyser les problèmes ?
Comment anticiper le “capacity planning” de la
plate forme ?

7. Principes
● Business
○ nombre de virements, de connexions, workflow
● Application
○ consommation mémoire, temps de traitement
● Systèmes
○ load, swap, interface réseau

8. Principes
Partager les informations
● Dev
● Ops
● PO
● Direction

9. Principes
“Si ce n’est pas monitoré, ça ne va pas en
production!”
“Si tu ne peux pas le mesurer, tu ne peux pas l’
améliorer!”
“Metric Driven Development”

10. Monitoring

12. Graphite
“Graphite is an enterprise-scale monitoring tool
that runs well on cheap hardware.”

13. Graphite
Permet de
1. Stocker les “numeric time-series”
2. Visualiser des graphes
N’est pas un collecteur de données

14. Graphite
Mode Push
Stockage fichiers
URL API: graphes, json, csv
Fonctions

15. Graphite
http://graphite.readthedocs.org/en/latest/who-is-using.html

16. Graphite
whisper
Ecr
it
en p
ytho
n
carbon (cache/relay/ aggregation)
graphite-web

17. Graphite
visualise
metric
lire dans le
cache
cache
Carbon
Graphite Web
whisper
whisper
collecteurs
écrire
lire
FS

18. Carbon
“The plaintext protocol”
echo "local.my.metric 123.45 `date +%s`" | nc localhost 2003
“The pickle protocol”
[(path, (timestamp, value)), ...]
AMQP
TCP
UDP

19. Carbon
cache
aggregator
relay

20. Carbon cache
Réceptionne les métriques
Stockage en mémoire
○ Si le cache est tué, perte des métrics du cache
Ecriture sur disque via whisper

21. Carbon aggregator
Calcul des aggrégations de métriques
○ avg, min, max, pourcentile, ...
Réduction des I/O

22. Carbon relay
Réplication
➔ Basé sur des règles
“Sharding”
➔ “Consistent hashing”
➔ “Scale horizontally”
Carbon
Relay
Carbon
Cache
Carbon
Cache
Carbon
Cache

23. Carbon
● MAX_CACHE_SIZE
○ Taille du cache
● MAX_CREATES_PER_MINUTE
○ Permet de réduire les I/O
● MAX_UPDATES_PER_SECOND
○ Permet de réduire les I/O

24. Whisper
“Whisper is a fixed-size database (...). It provides fast,
reliable storage of numeric data over time. Whisper allows
for higher resolution (seconds per point) of recent data to
degrade into lower resolutions for long-term retention of
historical data.”
http://graphite.readthedocs.org/en/latest/whisper.html

25. Whisper
Création à la demande
1 métric = 1 fichier
Métric “dev.ks.load.shortterm”
-> ./dev/ks/load/shortterm.wsp

26. Whisper
Header + Zones de retention
http://www.aosabook.org/en/graphite.html

27. Whisper
[carbon]
pattern = ^load.
retentions = 10s:1d,1m:7d,4m:30d
1 point toutes les 10s pendant 1 jour
1 point par minute pendant 7 jours
1 point tous les 4 minutes pendant 30 jours
346
Ko

28. Whisper
[carbon]
pattern = ^load.
retentions = 10s:1d,30s:7d,5m:30d,15m:1y
1 point toutes les 10s pendant 1 jour
1 point toutes les 30s pendant 7 jours
1 point tous les 4 minutes pendant 30 jours
1 point tous les 15 minutes pendant 1 an
850
Ko

29. Whisper
[carbon]
pattern = ^load.
retentions = 10s:1d,30s:30d,2m:1y
1 point toutes les 10s pendant 1 jour
1 point toutes les 30s pendant 30 jours
1 point tous les 2 minutes pendant 1 an
4.1 M
o

30. Whisper
[carbon]
pattern = ^load.
retentions = 10s:15d,30s:180d,1m:3y
1 point toutes les 10s pendant 15 jours
1 point toutes les 30s pendant 180 jours
1 point tous les minutes pendant 3 ans
26 M
o

31. Whisper
Aggrégations lors changement de rétention:
min
max
sum
avg

32. Graphite web
Apache / Django
SQLite3 / MySQL
● Options
○ LDAP
○ Memcached
○ Email

33. Graphite web
➔
➔
➔
➔
➔
➔
Composer des graphes
URL API: PNG, JSON, CSV
Fonctions Aggrégation pré-calculer
Blacklist / Whitelist / Rewrite
Dashboard
Graph templates

34. Graphite web

35. Graphite web

36. Auto Monitoring

37. Fonctions

38. Fonctions
Transformer
Combiner
Calculer
~ 90 fonctions

39. Fonctions
/render/?width=800&height=600&target=dev.
monitoring.load.load.shortterm
/render/?
width=800&height=600&target=nonNegativeDe
rivative(dev.monitoring.load.load.shortterm)

40. Fonctions
derivative()
integral()
summarize()
sumSeries()
drawAsInifinite()
alias()
…
scale()
nonNegativeDerivative()
timeShift()
nPercentile()
mostDevian
color()
...
https://graphite.readthedocs.org/en/latest/functions.html

41. Fonctions
alias
color
dashed
constantLine

42. Fonctions
drawAsInfinite(“events.deploy.back”)

43. Fonctions
timeShift
http://obfuscurity.com/2012/04/Unhelpful-Graphite-Tip-10

44. Fonctions
● Pie

45. Nomenclature des métriques
${env}.${host}.${category..}.[path..].metricName
Exemple
dev.monitoring.load.load.shortterm

46. Scaling: Retour d’expérience
●
●
●
●
●
●
●
1 VM “graphite” + 25 VMs
~ 22 000 métrics - ~ 9 500 répertoires
~ de 500 à 2000 métrics/VM
~ 300 à 1.1 Go/VM
~ 13 Go global
~ 100 000 points/s
~ 10mn de cache avant écriture

47. Collectors

48. Collecteurs
Collectd
(système)
JMXTrans
(application)
KS
Metrics
(business)
Graphite

49. Collectd
Démon qui recueille périodiquement des
statistiques de performance du système
Ecrit en C

50. Collectd
Plugins
Load, CPU, Interface,Swap, ...

51. JMXTrans
Données JMX de la JVM -> Graphite
MBean
Standalone ou Embedded

52. JMXTrans

53. Metrics
“Metrics is a Java library which gives you
unparalleled insight into what your code does in
production”

54. Metrics
● Gauges, Counters, Meters, Histogram,
Timers, HealthCheck
Extensions
➢ Jetty, Logback, Log4j, HttpClient, …
Third Party
➢ Spring, Spring Batch ;)
➢ Akka (en cours)

55. Statsd
“Simple daemon for easy stats aggregation”
Node.js
Envoi en UDP les données vers Graphite

56. Logster
“Parse log files, generate metrics for Graphite”
Python / Crontab
Facile

57. Logster

58. DIY
Python, Ruby, Node.js, Bash, ...
Oracle, RabbitMQ, JBoss, ...

59. Dashboard

60. Graphite

61. Dashboards War

62. Graphitus
“A simple, client-side, JSON-based Graphite
logical-dashboard UI built with bootstrap and
underscore.js”

63. Graphitus

64. Alerting

66. Nagios
Pont Nagios - Graphite via l’URL JSON

67. Nagios

68. Seyren

69. Seyren
● Ecrit en Java
● Pull http / Real time
● Alertes
○ Email, PagerDuty
○ HipChat, Hubot, Flowdock, IRCCat
○ PushOver (mobile notifications)

70. Skyline
“Skyline is a real-time* anomaly detection*
system*”
https://github.com/etsy/skyline

71. Skyline

72. Conclusion

73. Conclusion
Vision des environnements (production)
Mesurer / Visualiser / Améliorer
Partager des métriques / Dashboards
Alertes

74. Questions ?

75. Next step: Logs ?

76. ROTI
Intéressant, j'ai
appris des
choses
Excellent !
Encore !
Bien,
mais
sans
plus
Bof,
j'ai
baillé
J'ai
perdu
mon
temps

77. Archives

78. Alternatives ?

79. Alternatives
Graphite :)
● Ceres storage
○ “Eventually Fixed Size”
○ Moins de place
● Cassandra ?

80. Alternatives
NewRelic
SAAS, Agent, Trace
Blueflood
Rackspace, Java, Cassandra
Sensu
Monitoring, Alerting, Ruby, Redis, RabbitMQ
https://github.com/monitoringsucks/tool-repos

81. Alternatives
Ganglia
OpenTSDB
InfluxDB
Time series database, http, cluster (en
cours)
https://github.com/monitoringsucks/tool-repos