【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
•Als PPTX, PDF herunterladen•
4 gefällt mir•6,957 views
【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 講師：畠泰三(NECネッツエスアイ) アジェンダ： - はじめに - ログ管理 - OpenStack監視 - まとめ
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
Ähnlich wie 【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月) (20)
Mehr von VirtualTech Japan Inc.
Mehr von VirtualTech Japan Inc. (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
- 2. 2 はじめに
- 9. コントローラノード コントローラノード 運用している環境 9 OpenStackコントローラ × 3台 , コンピュート x 2台 (OpenStack-Ansible Kilo) ログ分析 x １台 , 監視 x 1台 コントローラ glance galera keystone nova controller neutron horizon heat memcached rabbitmq コンピュート nova compute ログ分析 監視 Zabbix Hatohol Kibana Elasticserch
- 13. 13 ログ 監視
- 15. ログ分析② 出力パターンの揺れ 15 ログ名 タグ付けパターン タグ付け結果 neutron- dnsmasq.log ^(?<time>.+[0-9]{2}(:[0- 9]{2}){2}) (?<process>[^ ]+)[(?<pid>[0- 9]+)]:s(?<message>.+)$ [time] May 7 14:13:28 [process] dnsmasq-dhcp [pid] 19663 [message] DHCPACK(ns-09 ・・・ neutron-ha- tool.log ^(?<time>[0-9]{2}-[0-9]{2}s[0- 9]{2}:[0-9]{2}) (?<process>[^ ]+) (?<type>[^ ]+) (?<message>.+)$ [time] 05-17 18:55 [process] neutron-ha-tool [type] DEBUG [message] list_agents: {u‘a・・・ neutron-dhcp- agent.log ^(?<time>[0-9]{4}-[^ ]* [^ ]*) (?<pid>[^ ]*) (?<level>[^ ]*) (?<message>.*)$ [time] 2016-05-17 17:00:39.106 [pid] 2853 [level] ERROR [message] oslo_messaging._・・・ 同じコンポーネントでもサービス毎にフォーマットの揺れがあり
- 16. について 16 Fluentdとは・・・TREASURE DATA社が開発している ログファイルの収集・転送・集約が行えるOSS ログに正規表現でタグを付けし意味を付与し、収集・集約ができる <source> type tail path /var/log/nova/nova-compute.log pos_file /var/log/td-agent/nova-compute.log format /^(?<time>[0-9]{4}-[^ ]* [^ ]*) (?<pid>[^ ]*) (?<level>[^ ]*) (?<message>.*)$/ time_format %Y-%m-%d %H:%M:%S.%L tag nova.log.nova-compute.log </source> 設定例
- 17. について 17 Elasticserchとは・・・elastic社が開発している ビックデータの蓄積・解析が行えるOSS Kibanaによって解析結果の可視化が可能 "nova": { "properties": { "@timestamp": { "format": "strict_date_optional_time||epoch_millis", "type": "date" }, "level": { "type": "string" }, "pid": { "type": "string" }, "log_tag": { "type": "string" }, "message": { "type": "string“ ・ ・
- 18. どう集めた？ 18 ログ分析サーバ Log 1 Log 2 Log 3 ① コンポーネントのログを収集 ② ログの内容を正規表現でタグ付け ③ ログサーバに転送・集約 ④ Elasticserchに格納 ① ② ③ ④ fluentdを使って 各コンポーネントからログ収集
- 19. なんでタグをつけるの？ 19 2016-07-15 17:27 Warning nova.scheduler… Compute_service Error ・・ 2016-07-15 18:00 Error nova.api… API_service ・・ Elasticserchでタグ単位でデータの絞り込み・解析可能 time: 2016-07-15 17:27 level: Warning message: nova.scheduler~Error time: 2016-07-15 18:00 level: Error message: nova.API~ MessageにErrorを含む ログ＝１件 タグ付け 結果
- 20. 20 Demo
- 21. どうチェックする？ 21 ログに [ignore]タグを付加 表示したい項目をルール定義 問題無いログに[ignore]タグ付与 して保存 ↓ Kibanaのルールで[ignore]タグを 除外して表示 ① 過去[1日]の[Level]が[Error] 以上のログを表示 ② 過去[1日]の[message]に [nova]と[~~~]を含むログを表示 Blackリスト ルール ① ルール ② Whiteリスト
- 22. 22 ログ 監視
- 24. 24 OpenStack-Ansible プロセス名 実際に動いているプロセス名 nova-api nova-api-os- compute nova-api-metadata nova-api-os- compute nova-api keystone keystone-ad keystone-se keystone-ad keystone-pu keystone-all ディストリビューション毎・インストール方法によって 監視対象プロセス確認及び監視対象の変更が必要。 監視② プロセス名が変わる
- 27. 27 まとめ
- 28. できたこと [共通] • 手順/設定ファイル公開 • 基盤構築手順 確立 [ログ分析] • 34ファイル分のfluentd設定ファイル作成 • Kibanaでログ分析開始 [監視] • OpenStackの監視ポイント (プロセス・ポート・API・MessageQue)洗い出し/監視項目定義28
- 29. 今後の取り組み • Chaosmonky等で、常に障害を発生させる。 →監視アイテムやタグ付けルールの精度向上 • ログ解析ツール(Kibana)のユースケース/ルールの検討 • fluentdとKibanaのBlack/White リスト の追加 FluentFormatterの調査・検証・組み込み • API監視の深掘り – API応答速度、複数API組み合わせた処理の監視 29
- 30. 30 宣伝
- 34. 34 資料
- 36. について 36 Hatoholとは・・・MIRACLE LINUX社が開発しているOSS 複数のZabbix・NagiosのGUIを１つにまとめて表示ができる Zabbix Zabbix Zabbix 表示している Zabbixの 画面多いな。。 リージョンA リージョンB リージョンC Zabbix Zabbix Zabbix リージョンA リージョンB リージョンC 複数のZabbixか ら監視データを取 得・集約 運用ダッシュ ボード （Hatohol） Hatoholに登録されて いる Zabbixが持つ監視 データを閲覧可能 フィルタ