Tech Talk CodiLime 27.03.2019 Łukasz Maksymczuk: Monitoring: Prometheus and Influx

1. MONITORING
Łukasz Maksymczuk
Codilime
Cloudify team

2. REQUIREMENTS
Fetching metrics
Storage
Instrumentation
Alerting
Graphs

3. WHAT TO USE?
Prometheus
InfluxData
...nagios?
Grafana

4. MONITORING WITH
PROMETHEUS
global:
scrape_interval: 15s
scrape_configs:
- job_name: 'prometheus'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9090']

5. Znaczna część prezentacji to hands-on przykłady/dema. Kolejne slajdy zawierają notatki używane w przykładach. Te
notatki nie były widoczne w oryginalnej prezentacji.
Źródła prezentacji są na . Źródło samej prezentacji (i notatki) w .html jest być
może mało ciekawe, ale warto spojrzeć na przykładowe/użyte w przykładach configi .yml
Speaker notes
https://github.com/tehasdf/monitoring-talk

6. MONITORING WITH
PROMETHEUS
- job_name: 'node'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9100']

7. Uruchamianie prometheusa:
UI: http://127.0.0.1:9090/metrics
Showcase możliwości query language prometheusa:
Node exporter - metryki hostów
Uzycie z grafaną - ma wbudowane source dla prometheusa
Przykład instrumentacji aplikacji w pythonie
Speaker notes
docker run --net host prom/prometheus
docker run --net host -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
# po prostu ściągnij wartość
promhttp_metric_handler_requests_total
# wartości z ostatnich 5 minut - range vector
promhttp_metric_handler_requests_total[5m]
# interval - 1m
promhttp_metric_handler_requests_total[5m:1m]
# funkcje - suma, średnia
sum(promhttp_metric_handler_requests_total)
avg(promhttp_metric_handler_requests_total)
# rate - wymaga range vector
rate(promhttp_metric_handler_requests_total[5m])
docker run --net host prom/node-exporter
docker run --net host prom/node-exporter --web.listen-address=":9101"
# przykładowe query, z filtrem
node_cpu_seconds_total{cpu="1"}[5m]
rate(node_cpu_seconds_total{cpu="0", mode="user"}[5m])
docker run --net host grafana/grafana
docker build -f app.dockerfile . -t app1
docker run --net host -v $(pwd):/app:ro app1 uwsgi --http 0.0.0.0:5000 --wsgi-file app.py --callable app

8. Alerty - alertmanager
docker run --net host -v $(pwd)/alertmanager.yml:/tmp/alertmanager.yml prom/alertmanager --config.file=/tmp/alertmanager.yml

9. MONITORING WITH INFLUX

10. Speaker notes
docker exec -it tik_influxdb_1 influx --precision rfc3339
show field keys from cpu;
show tag keys from cpu;
select cpu, mean(usage_idle) from cpu;
select mean(usage_idle) from cpu group by cpu, time(10m);
docker run --net host influxdb
telegraf --config telegraf.conf
SELECT cumulative_sum(value) FROM "request"

11. INFLUX + PROMETHEUS?

12. Połączenie przez telegraf z input/output pluginem,
https://github.com/influxdata/telegraf/tree/master/plugins/inputs/prometheus
Speaker notes

13. Q&A

14. THANKS!