OpenStack Collab Lab. Building OpenStack Production Next step

1. How to deploy & operate
OpenStack Production
日本仮想化技術株式会社
VitrualTech.jp
2016/7/6

2. Today’s agenda
• OpenStack Collab Lab.
• Building OpenStack Production
• Next step
2

3. OpenStack collab lab
3
VTJ was begining 2016/3 with Broadband Tower.

4. Open Open Open
http://openstack-lab.enterprisecloud.jp 注
https://github.com/openstack-lab
4
注：http://openstack-lab.enterprisecloud.jp は現在準備中です

5. Today’s agenda
• OpenStack Collab Lab.
• Building OpenStack Production
• Next step
5

6. Building OpenStack Production 1
6
サーバ#1 サーバ#2 サーバ#3 サーバ#4 サーバ#5 サーバ#6 サーバ#7
IA Server × 7
HP BladeSystem c3000
BL460c G7
CPU: Xeon E5540 2P/8C
Memory: 32GB
Disk: SSD 256GB or HDD 300GB

7. Building OpenStack Production 2
7
サーバ#1 サーバ#2 サーバ#3 サーバ#4 サーバ#5 サーバ#6 サーバ#7
Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu
Using OpenStack-ansible (Kilo version)
OpenStack-Ansibleで作るOpenStack HA環境
http://enterprisecloud.jp/installguide-openstack-ansible/
http://www.slideshare.net/VirtualTech-JP/openstackansible
openstack-ha-openstack-20163
コントローラ
ノード
コンピュート
ノード

8. Building OpenStack Production 3
8
OpenStack
Management NW
（VLAN ID:2811）
VXLAN NW
(VLAN ID:2812)
Host NW
(VLANタグなし）
em2
.10〜12
172.28.1.0/24
br-vlan
VLAN NW
br-vlan
br-vxlan
em1.2811
em2.
2812
em1
em1.2811
em2.
2812
172.29.236.0/22
172.29.240.0/22
.10
em1
.62〜64
br-mgmt br-mgmt
br-vxlan
em
2×3台 ×2台
.65〜66
コントローラノード コンピュートノード
.13〜14
Global IP

9. Building OpenStack Production 4
9
サーバ#1 サーバ#2 サーバ#3 サーバ#4 サーバ#5 サーバ#6 サーバ#7
Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu
Monitoring:
Zabbix 3.0 + Hatohol 16.04
Log management&analyze:
Elasticsearch + Fluentd + Kibana
コントローラ
ノード
コンピュート
ノード
監視 ログ

10. Ex. Operation flow for alerting
10
サーバ#1 サーバ#2 サーバ#3 サーバ#4 サーバ#5 サーバ#6 サーバ#7
Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu
コントローラ
ノード
コンピュート
ノード
監視 ログ
Zabbixエージェント
Zabbix
3.0
Hatohol
16.04
Redmine
3.2.0
SlackZabbix では、プロセス監視やポート監視の他に
API死活監視やMQのQueue Depthなどを追加
Hatoholは、複数のZabbix監視サーバを束ねる
運用ダッシュボード的な使い方を検討中

11. Ex. Operation flow for log management
11
サーバ#1 サーバ#2 サーバ#3 サーバ#4 サーバ#5 サーバ#6 サーバ#7
Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu Ubuntu
コントローラ
ノード
コンピュート
ノード
監視 ログ
fluentd
Elastic
Search
Kibana

12. OpenStackのコマンド及びHorizonから操作を行うと各コンポーネントのAPIが叩か
れ、APIサーバからMessageQueに命令リクエストが送信される
APIサービスダウン時は、命令リクエストが送信できず、操作不能となる。
API monitoring
12
nova-
API
Message
Que
Horizon
コマンド
参考：http://openstack.jp/assets/files/20121216/osc2012cloudjosugamqpv2-121216085708-phpapp02.pdf
API
API
API
nova-
scheduler
nova-
compute
nova-boot
リクエスト
nova-boot
実行
APIがダウンしているため、
nova-bootリクエストが
MeesageQueに送信されない
リクエスト
はないな
新規
リクエストは
ないな
リクエストが
来るまで何も
しない

13. nova-boot
リクエスト
OpenStackのコンポーネント及びサービス間の通信は全てMessageQueを介して
行われるため、キューが溜まりやすい特徴がある。
キューが溜まりすぎると命令リクエストが正常に処理されず、OpenStack全体の動
作が不安定となりやすい
MessageQue monitoring
13
nova-
API
Message
Que
参考：http://openstack.jp/assets/files/20121216/osc2012cloudjosugamqpv2-121216085708-phpapp02.pdf
nova-
scheduler
cinder-
scheduler
nova-boot
リクエスト
nova-boot
実行
nova-boot
リクエストnova-boot
リクエストnova-boot
リクエストnova-boot
リクエスト
cinder-list
実行
cinder-
API
cinder-list
リクエスト
キューが溢れると
新規命令リクエスト
が受け付けられない
nova-boot
リクエスト
MessageQueが処理
するキューより入る命
令リクエストが多いと
キューが溢れる
cinder-list
リクエスト
cinder-list
リクエスト
cinder-list
リクエスト

14. about Fluentd
14
Fluentdとは・・・Treasure Data社が開発している
ログファイルの収集・転送・集約が行えるOSS
ログに正規表現でタグを付けしElasticserchに転送することで、
Kibanaを使用したログ解析・可視化を行える
生ログデータ
Fluentd
date 2016-05-07 14:06:05.569
pid 19670
level INFO
message neutron.agent.linux.daemon -
Process runs with uid/gid: 999/999
収集したログの内容にタグ付け
Elasticserch
タグ付けしたログを転送
ログを収集
2016-05-07 14:06:05.569 19670 INFO
neutron.agent.linux.daemon [-] Process runs
with uid/gid: 999/999

15. OpenStack logs
15
サービス ログファイル
Nova
(7ファイル)
/var/log/nova/nova-api-metadata.log
/var/log/nova/nova-compute.log
/var/log/nova/nova-scheduler.log
/var/log/nova/nova-api-os-compute.log
/var/log/nova/nova-cert.log
/var/log/nova/nova-conductor.log
/var/log/nova/nova-consoleauth.log
Keystone
(3ファイル)
/var/log/keystone/keystone-apache-error.log
/var/log/keystone/keystone.log
/var/log/keystone/ssl_access.log
Neutron
(9ファイル)
/var/log/neutron/neutron-dnsmasq.log
/var/log/neutron/neutron-ha-tool.log
/var/log/neutron/neutron-dhcp-agent.log
/var/log/neutron/neutron-l3-agent.log
/var/log/neutron/neutron-linuxbridge-agent.log
/var/log/neutron/neutron-metadata-agent.log
/var/log/neutron/neutron-metering-agent.log
/var/log/neutron/neutron-ns-metadata-proxy-*.log
/var/log/neutron/neutron-server.log
Glance
(2ファイル)
/var/log/glance/glance-api.log
/var/log/glance/glance-registry.log
Horizon
(2ファイル)
/var/log/horizon/horizon-error.log
/var/log/horizon/ssl_access.log
サービス ログファイル
Cinder
(3ファイル)
/var/log/cinder/cinder-volume.log
/var/log/cinder/cinder-scheduler.log
/var/log/cinder/cinder-api.log
RabbitMQ
(6ファイル)
/var/log/rabbitmq/rabbit*rabbit_mq_*.log
/var/log/rabbitmq/rabbit*_rabbit_mq_*sasl.log
/var/log/rabbitmq/shutdown_log
/var/log/rabbitmq/shutdown_err
/var/log/rabbitmq/startup_log
/var/log/rabbitmq/startup_err
GaleraCluster
(1ファイル)
/var/log/mysql_logs/galera_server_error.log
Memcached
(1ファイル)
/var/log/memcached.log
計34ファイル + syslog
（物理サーバ7台環境で
約130万行/日のログ出力)

16. about Elasticserch/Kibana
16
Elasticserchとは・・・Elastic社が開発している
ビックデータの蓄積・解析が行えるOSS
Kibanaによって解析結果の可視化が可能

17. Today’s agenda
• OpenStack Collab Lab.
• Building OpenStack Production
• Next step
17

18. OpenStack
監視&ログのデータ処理フロー
18
仮想マシン 仮想マシン
サーバ サーバ
L2/L3
今回構築した環境
ログ管理・解析ツール
（ElasticSearch, Kibana）
監視・モニタ
リングツール
（Zabbix） インシデント
管理ツール
（Redmine）
ナレッジ
ベース
（Redmine）
運用ダッシュ
ボードツール
（Hatohol）
Zabbix
エ
ー
ジ
ェ
ン
ト
Ｆ
ｌ
ｕ
ｅ
ｎ
ｔ
ｄ
① 130万件/日
② ダッシュボード
に伝えるべきエラー
は何か？

19. 19NTTドコモ様 導入事例 OpenStack Summit 2015 Tokyo 講演「After One year of OpenStack Cloud Operation (NTT DOCOMO)
http://www.slideshare.net/VirtualTech-JP/ntt-openstack-summit-2015-tokyo-after-one-year-of-openstack-cloud-operation-ntt-docomo

20. OpenStack
監視&ログにまつわる
ユーザー処理フロー
20
仮想マシン 仮想マシン
サーバ サーバ
L2/L3
今回構築した環境
ログ管理・解析ツール
（ElasticSearch, Kibana）
監視・モニタ
リングツール
（Zabbix） インシデント
管理ツール
（Redmine）
ナレッジ
ベース
（Redmine）
運用ダッシュ
ボードツール
（Hatohol）
Zabbix
エ
ー
ジ
ェ
ン
ト
Ｆ
ｌ
ｕ
ｅ
ｎ
ｔ
ｄ
③ フィードバック
する仕組みを
いかに作るか

21. 告知：7/28(木) 15:20- @六本木
OpenStack最新情報セミナー 2016年7月
• YJ America 松谷さん講演
• ゼットラボ 講演
• サイバーエージェント 講演
• OpenStack共同検証ラボ 講演
7/13(水) 9:00 申込開始
http://openstack-update.connpass.com/event/35307/
21