令和 4 年 4 月に開催した「KLab インフラ 特集 〜クラウド移行してコンテナも使ってるけど、オンプレもまだまだ現役だよ〜」のセッション資料です。 https://klab-tech-meetup.connpass.com/event/243087/

1. Ganglia の UI に
Grafana を追加する話
DSAS運用担当 宮崎

2. Ganglia の UI に
Grafana を追加する話

3. Ganglia
● 分散監視システム
3

4. Ganglia
4
Server
CPU
メモリ
I/O
ネットワーク
ミドルウェア
Ganglia
Ganglia
データベース
収集
Server
Server
Ganglia
(UI)
ganglia monitoring core
ganglia monitoring core
ganglia web

5. Ganglia Web
5
● 画面例
○ 既存環境で使っている UI
■ Ganglia Web の派生版

6. Ganglia の UI に
Grafana を追加する話

7. Grafana
7
Grafana
アプリ
ログ
データベース
警報
通知

8. Grafana
8
● 画面例
○ Grafana demo

9. Ganglia の UI に
Grafana を追加する話

10. Grafana を追加
● なぜ Grafana を使いたいのか
● なぜ Grafana に置換ではなく、追加なのか
10

11. Grafana を追加
● なぜ Grafana を使いたいのか
● なぜ Grafana に置換ではなく、追加なのか
11

12. なぜ Grafana を使いたいのか
● UIだけでも刷新したい
○ 既存環境で使っている UI が古くさい
12

13. なぜ Grafana を使いたいのか
● UIだけでも刷新したい
○ 多数のグラフがあるとページ全体の表示に時間がかかる
■ グラフ 1 枚 = 画像データ 1 つ = リクエスト 1 回
13
画像リクエスト
画像リクエスト
画像リクエスト
画像リクエスト
画像リクエスト 画像リクエスト

14. なぜ Grafana を使いたいのか
● 良さそうであれば完全移行できる(かも)
○ 既存環境で使っている UI と同等の情報が得られれば…
14

15. Grafana を追加
● なぜ Grafana を使いたいのか
● なぜ Grafana に置換ではなく、追加なのか
15

16. なぜ Grafana に置換ではなく、追加なのか
● 既存環境で使っている UI はそのままにしたい
○ 当面の間ユーザは移行してもいいし移行しなくてもいい
■ いわゆる並存期間
16
Grafana
Ganglia
(UI)

17. なぜ Grafana に置換ではなく、追加なのか
● 戻しやすい
○ うまくいかなかったら削除すればよい
17
Grafana
Ganglia
(UI)

18. 今回の内容
● どうにかして Grafana から Ganglia につなぐ
○ ただし、できるだけ Ganglia 側には手を入れない
● 既存環境で使っている UIと同等の情報を
Grafana で得られるようにする
18

19. 今回の内容
● どうにかして Grafana から Ganglia につなぐ
○ ただし、できるだけ Ganglia 側には手を入れない
● 既存環境で使っている UIと同等の情報を
Grafana で得られるようにする
19

20. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
1.Grafana から「何か」を経由して Ganglia につなぐ
20

21. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
1.Grafana から「何か」を経由して Ganglia につなぐ
21

22. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
○ Grafana の datasource として Ganglia を指定
22

23. Grafana datasource
● datasource とは
○ Grafana がデータを取得する先のこと
● 公式サポートの datasource
23
● Alertmanager
● AWS CloudWatch
● Azure Monitor
● Elasticsearch
● Google Cloud Monitoring
● Graphite
● InfluxDB
● Loki
● Microsoft SQL Server
● MySQL
● OpenTSDB
● PostgreSQL
● Prometheus
● Jaeger
● Zipkin
● Tempo
● Testdata

24. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
○ Grafana の datasource として Ganglia を指定
■ 公式には存在しない
■ datasource として動くプラグインを実装する必要がある
24

25. datasource として動くプラグイン（例）
● Simple JSON Datasource
25
https://github.com/grafana/simple-json-
datasource

26. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
○ Grafana の datasource として Ganglia を指定
■ 公式には存在しない
■ datasource として動くプラグインを実装する必要がある
26
ちょっと大変そう……
プラグインの実装：保留

27. Grafana から Ganglia につなぐ
1.Grafana から直接 Ganglia につなぐ
1.Grafana から「何か」を経由して Ganglia につなぐ
27

28. Grafana から Ganglia につなぐ
2.Grafana から「何か」を経由して Ganglia につなぐ
○ Ganglia につながりやすそうな「何か」を
Grafana の datasource として指定
○ datasource として動くプラグインを実装しなくてもよい
28

29. Grafana datasource
● datasource とは
○ Grafana がデータを取得する先のこと
● 公式サポートの datasource
29
● Alertmanager
● AWS CloudWatch
● Azure Monitor
● Elasticsearch
● Google Cloud Monitoring
● Graphite
● InfluxDB
● Loki
● Microsoft SQL Server
● MySQL
● OpenTSDB
● PostgreSQL
● Prometheus
● Jaeger
● Zipkin
● Tempo
● Testdata

30. Grafana datasource
● datasource とは
○ Grafana がデータを取得する先のこと
● 公式サポートの datasource
30
● Alertmanager
● AWS CloudWatch
● Azure Monitor
● Elasticsearch
● Google Cloud Monitoring
● Graphite
● InfluxDB
● Loki
● Microsoft SQL Server
● MySQL
● OpenTSDB
● PostgreSQL
● Prometheus
● Jaeger
● Zipkin
● Tempo
● Testdata
👉

31. Graphite
● 数値の時系列データの格納
● データのグラフ化
31

32. Graphite
● 構成
a. 時系列データベースそのもの
b. この時系列データベースを読み書きするためのもの
c. 時系列データベースにアクセスするための Web UI
■ Graphite Web
32
Grafana: ここにアクセスしてデータを取得

33. Graphite Web
● 時系列データベースにアクセスするための Web UI
○ 公式サポートのデータベース
■ Whisper
● Graphite を構成する時系列データベース
■ Ceres
33
Ganglia はサポート外

34. Graphite Web
● 時系列データベースにアクセスするための Web UI
○ サポート外のデータベースへアクセスする仕組みを持つ
34

35. サポート外のデータベースへ
アクセスする仕組み（例）
● Cyanite Finder
35
https://github.com/brutasse/graphite-cyanite

36. Graphite Web
● 時系列データベースにアクセスするための Web UI
○ サポート外のデータベースへアクセスする仕組みを持つ
36
実 装
Ganglia へアクセスできるようになった
Grafana datasource plugin を
実装するより簡単そう

37. Grafana から Ganglia に つなぐ
37
Grafana
Graphite
(Web)
Ganglia
datasource
Graphite
サポート外のデータベースへ
アクセスする仕組み
を使って Ganglia にアクセス
既存環境は
変更なし

38. 今回の内容
● どうにかして Grafana から Ganglia につなぐ
○ このとき Ganglia 側にはできるだけ手を入れない
● 既存環境で使っている UIと同等の情報を
Grafana で得られるようにする
38
Complete

39. 今回の内容
● どうにかして Grafana から Ganglia につなぐ
○ このとき Ganglia 側にはできるだけ手を入れない
● 既存環境で使っている UIと同等の情報を
Grafana で得られるようにする
39
Complete

40. 既存環境で使っている UI
40
● Ganglia Web の派生版
● いにしえのときより
つかわれている
ひでんのたれぐらふ

41. 既存環境で使っている UI
41
● 40種類超のグラフ
○ プロジェクト単位
■ 全体のネットワーク帯域,
リクエスト数, レスポンスタイム
■ ミドルウェアの情報
● HTTPサーバ,データベース, key value store, …
■ サーバの状況
○ サーバ単位
■ CPU利用率などの情報
■ ミドルウェア情報

42. Grafana 上で画面の作りこみ
42

43. Grafana 上で画面の作りこみ
43
● グラフ描画の式の変換
● 同種類の情報を対象サーバ全てで表示
● 他プロジェクトでも再利用可能にする

44. Grafana 上で画面の作りこみ
44
● グラフ描画の式の変換
● 同種類の情報を対象サーバ全てで表示
● 他プロジェクトでも再利用可能にする

45. グラフ描画に対する式の変換 (例)
● 既存UI におけるグラフ生成命令
DEF:'cpu_user'='～/cpu_user.rrd':'sum':AVERAGE
DEF:'cpu_nice'='～/cpu_nice.rrd':'sum':AVERAGE
DEF:'cpu_system'='～/cpu_system.rrd':'sum':AVERAGE
DEF:'cpu_idle'='～/cpu_idle.rrd':'sum':AVERAGE
DEF:'cpu_wio'='～/cpu_wio.rrd':'sum':AVERAGE
AREA:'cpu_user'#3333bb:'User'
STACK:'cpu_nice'#ffea00:'Nice'
STACK:'cpu_system'#dd0000:'System'
STACK:'cpu_wio'#ff8a60:'WAIT'
STACK:'cpu_idle'#e2e2f2:'Idle'
● Grafana: Graphiteの関数
aliasSub(aliasSub(aliasByNode(～.～.
～.cpu_{user,nice,system,idle,wio}.sum, 3), 'cpu_', ''),
'wio', 'wait')
45

46. 自動化
46

47. 手作業
47
40種類超

48. Grafana 上で画面の作りこみ
48
● グラフ描画の式の変換
○ 手作業
● 同種類の情報を対象サーバ全てで表示
● 他プロジェクトでも再利用可能にする

49. 同種類の情報を対象サーバ全てで表示
● 既存UI ● Grafana
○ repeat panels
49

50. Grafana 上で画面の作りこみ
50
● グラフ描画の式の変換
○ 手作業
● 同種類の情報を対象サーバ全てで表示
○ repeat panels
● 他プロジェクトでも再利用可能にする

51. 他プロジェクトでも再利用可能にする
● 変数とテンプレート
51

52. Grafana 上で画面の作りこみ
52
● グラフ描画の式の変換
○ 手作業
● 同種類の情報を対象サーバ全てで表示
○ repeat panels
● 他プロジェクトでも再利用可能にする
○ 変数とテンプレート

53. 結果
53

54. 54
既存環境で使っている
UI
Grafana

55. 55

56. 56

57. 57

58. 58

59. まとめ
59

60. まとめ
● どうにかして Grafana から Ganglia につなぐ
○ Grafana → Graphite → Ganglia の順でアクセス
■ Graphite から Ganglia にアクセスする仕組みを実装
● 既存環境で使っている UIと同等の情報を
Grafana で得られるようにする
○ 手作業で同等のグラフを移植
○ repeat panels, 変数・テンプレートの機能を使用
60

61. おわり
61