ニフクラエンジニア交流会で発表された、LTの資料です。

1. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ストレージ監視とかのはなし
～だいたいOOOが便利だという話～
20171011_NiftyCloud_Meetup_LTSRE部 吉村

2. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
話題
今日はニフティクラウドのストレージ監視の話をします
登場するかもしれないソフトウェア

3. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
自己紹介
名前
• 吉村 晃
仕事
• 富士通クラウドテクノロジーズ (ニフティ2014年入社)
• インフラSRE部
• ストレージ寄り(≠物理)の運用・監視などを主に担当
業務でよくお世話になるもの

4. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
そもそも、なぜ私たちは監視することになったか
 時は2015年夏、ストレージチームは悩んでいた(私は新人でした)
• ディスクが・コントローラが・筐体が(理解し難い理由で)壊れ
た！！！！！！
• ストレージのファームウェアにバグが！！！！！！！！！
• 容量が尽きそう！！！
• なんか性能出てないんですけど系QA！！ ！= 精神的ダメージ度合い
※ 当時の問題は基本的に解決済みとなり、現状とは異なります
 そうだ、監視システムをつくろう！
• 監視システムはなかったのか？ → もちろんあった。でも不満がいくつか
• そのときの(雑な)要件 : 秒単位の、いろんなデータを、手間無く見れる

5. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
つくった
監視VM
slave001
管理用VM
Master
管理用VM
Backup
監視VM
slave002
監視VM
slave003
Zookeeper
クラスタ
Storages
Zabbix Server
MariaDB
ES1 Kibana
Influxdb1 Grafana Bosun
データ取得
ZabbixSender
いろいろな機器があります

6. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
意図したところ
監視VM
slave001
管理用VM
Master
管理用VM
Backup
監視VM
slave002
監視VM
slave00X
Zookeeper
クラスタ
Zabbix Server
MariaDB
ES1 Kibana
Influxdb1 Grafana Bosun
データ取得
ZabbixSender
(かんりがめんどうだし)
Mesosで監視自体の
可用性・拡張性Get
(あたらしいのこわいので)
Zabbixでデータ冗長化
(らくしてデータみたいから)
Grafanaのダッシュボード
(データつかいまわしたいから)
Kafkaにいったん集約
Storages
いろいろな機器があります

7. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
われわれが得たもの
圧倒的ダッシュボード群
VMから見たレイテンシ
ストレージ機器の性能値情報
ストレージ機器のログ
(特定操作のタイミング表示なども)

8. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
われわれが得たもの
ストレスフリー
VMから見たレイテンシ
ストレージ機器の性能値情報
ストレージ機器のログ
(特定操作のタイミング表示なども)
秒単位の
複数データを
手間無く(数秒で)
みれる

9. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
でも、これってじつは

10. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
気づいてしまったか
(すごいダッシュボードつくるくん)
がすごいのでは

11. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
とつぜんのGrafana Good/Bad
Grafanaのいいとこ
• いろいろなデータソース(DB)対応
• GUIでクエリ作れるので手書きしなくていい
• テンプレートとかアノテーションとかアラートとかの良さ
Grafana微妙なとこ
• 複数データソースが1グラフに並ばない
• (当然)データソースの構造がわかってないと使えず・・・

12. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Grafanaはいろんなデータソース読める
公式で34データソースらしい
MySQLもあると聞きました

13. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Query Editor
クエリもGUIである程度追従してくれる
Influxdb
Prometheus

14. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Template, Annotation, Alert
テンプレート
アノテーション
アラート

15. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
さいごに
 監視は大事。でもログデータ見るのはもっと大事だと思います
• Grafana使うと色々捗ります。どうせなら楽しく監視しましょう
 ニフティクラウドのストレージ監視はこれらのソフトに強く支えられています
紹介できませんでしたが
Influxdbもいいやつですよ

17. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
参考 : 全体図
監視VM
slave001
管理用VM
Master
管理用VM
Backup
監視VM
slave002
監視VM
slave003
Zookeeper
クラスタ
Mesosクラスタ(監視拡張性/冗長化を担保)
Zabbix Server
MariaDB
Zabbix(監視データ冗長化 担当)
Elastic + Kibana
(容量視覚化)
ES1 Kibana
Influxdb + Grafana + Bosun
(保存用) (ダッシュボード) (アラート)
Influxdb1 Grafana Bosun
データ取得
ZabbixSender
Storages
いろいろな機器があります