https://connpass.com/event/60805/

1. [ OOL Open Forum ]
OPNFV Handson
Tokyo #1
2017/8/25
https://www.meetup.com/Tokyo-OPNFV-User-Group/
1

2. スケジュール
11:00-12:00 1. グループ分け、OPNFVインストール開始
12:00-13:00 昼食（各自）
13:00-13:30 2. OPNFV概要 と Apex（講義）
13:30-14:00 3. OPNFVのコンポーネントと調べ方（講義）
14:00-14:30 4. インストールされたOPNFVを見てみよう ＃各自で適宜休憩してください
14:30-15:30 5. 使ってみよう（Functest実行、VM作成）
15:30-16:00 休憩
16:00-17:00 6. ナレッジ共有
18:00- 懇親会
2

3. ０．会場説明
● 会場内・ビル内は禁煙となっております
● トイレは廊下を進んで右手にございます (手前に男性、EV越えたとこに女性)
● 通常の無線LANは以下のものをお使い頂けます
○ SSID: Red Hat Guest
○ WEP Key:
● サーバがOOLの方は以下のWifiを使って下さい
○ SSID: opnfvjp-handson (opnfvjp-handson-24g)
○ WEP Key:
会場、Wi-Fiアクセスは レッドハット株式会社 に提供頂いております
3

4. URL一覧
公式ドキュメント
http://docs.opnfv.org/en/stable-danube/
本ハンズオンのテキスト
https://docs.google.com/presentation/d/1nVN5kqbBCWb_IYr4AnPGMZJVVlhlVllofCcXLZmkcvs
https://www.slideshare.net/s1061123/opnfv-handson-apex-intro
https://www.slideshare.net/r-mibu/opnfv-79129688
本ハンズオン用のノート
https://etherpad.opnfv.org/p/tokyo_user_group_handson1
4

5. １．グループ分け
本ハンズオンでは 2名でチームを作り、取り組んでもらいます
グループ分けとマシン割当は etherpad で行います
https://etherpad.opnfv.org/p/tokyo_user_group_handson1
チーム毎に、本ハンズオンで実行するシナリオを次の 3シナリオの中から選んでください
os-nosdn-nofeature-ha A
os-odl_l3-nofeature-ha B
os-odl_l2-fdio-ha C
マシンは 沖縄オープンラボラトリ ならびに NEC から提供頂いております
5

6. １．インストール開始 (1/5)
接続方法を確認、マシンへログインしましょう
CentOS 7.3.1611 がすでにインストールされています
※ 詳細は /root/anaconda-ks.cfg をみてください
ここに OPNFV Apex を使い、OPNFV最新安定板の Danube 3.0 をインストールしていきます
今回は ”virtual install”（物理マシン1台の中にVMを立てていく方式）です
インストールは root ユーザで進めてください
screenコマンドでの画面共有についてチームで相談しておいてください 6

7. １．インストール開始 (2/5)
リポジトリ と 必要なパッケージの追加はすでに完了しています ※参考4を実施済みです
# yum repolist
# yum grouplist
# yum list | less
7

8. １．インストール開始 (3/5)
Apex と依存するパッケージを入れる
# wget -nc http://artifacts.opnfv.org/apex/dependencies/python3-ipmi-0.3.0-1.noarch.rpm
http://artifacts.opnfv.org/apex/dependencies/python34-markupsafe-0.23-9.el7.centos.x86_64.rpm
# yum install -y python3-ipmi-0.3.0-1.noarch.rpm python34-markupsafe-0.23-9.el7.centos.x86_64.rpm
# wget -nc http://artifacts.opnfv.org/apex/danube/opnfv-apex-4.0-danube.3.0.noarch.rpm
http://artifacts.opnfv.org/apex/danube/opnfv-apex-common-4.0-danube.3.0.noarch.rpm
http://artifacts.opnfv.org/apex/danube/opnfv-apex-undercloud-4.0-danube.3.0.noarch.rpm
# yum install -y opnfv-apex*.noarch.rpm
※ RPMはダウンロード済みなので、 # yum install -y *.rpm としてもOK
8

9. １．インストール開始 (4/5)
Apex の設定ファイルを用意する
# cp /etc/opnfv-apex/network_settings.yaml ~/network.yaml
# cp /etc/opnfv-apex/<シナリオデプロイファイル > ~/deploy.yaml
(vpp/fdioの場合)
# cp /etc/opnfv-apex/network_settings_vpp.yaml ~/network.yaml
# cp /etc/opnfv-apex/<シナリオデプロイファイル > ~/deploy.yaml
os-odl_l2-fdio-ha.yaml
os-nosdn-nofeature-ha.yaml
os-odl_l3-nofeature-ha.yaml
9

10. １．インストール開始 (5/5)
opnfv-deployコマンドを実行する
# opnfv-deploy -v -n ./network.yaml -d ./deploy.yaml
(vpp/fdioの場合) ※ controllerノードがデフォルトの 8Gだとメモリ不足になるため
# opnfv-deploy -v -n ./network.yaml -d ./deploy.yaml --virtual-default-ram 16
※ これらのコマンドは1時間以上かかります
screenなどを使っていない場合、 nohupなどで実行しておきましょう
10

11. １．インストール開始 (参考1)
最後にこれがでれば OK です
INFO: Post Install Configuration Complete
※ 下記のメッセージは無視してください
Invalid driver: {'description': None, 'enabled': True, 'driver': u'doctor', 'config': None, 'type':
None, 'id': '12aa900c-ed00-4528-b8b4-2472af82a7a8', 'name': u'doctor'}
Traceback (most recent call last):
…
WARN: Datsource: doctor could NOT be created
11

12. １．インストール開始 (参考2)
問題があれば、環境設定や Apex の設定ファイルを見直しましょう
opnfv-deployコマンドを再実行する場合は、 opnfv-clean を使いましょう
# opnfv-clean
# opnfv-deploy ...
12

13. １．インストール開始 (参考3)
Overcloud のデプロイ時にエラーが出た場合、 Heat にて詳細を確認できます
# opnfv-util undercloud
(undercloud)$ source ~/stackrc
(undercloud)$ openstack stack resource list -n5 overcloud
(undercloud)$ openstack stack resource list overcloud -n8 --filter "status=FAILED"
(undercloud)$ openstack stack resource list overcloud -n8 --filter "status=IN_PROGRESS"
(undercloud)$ openstack stack resource list overcloud -n8 | grep -v COMPLETE
(undercloud)$ openstack stack failures list overcloud > failed_deployment_list.log
13

14. １．インストール開始 (参考4)
※参考の手順です、本ハンズオン内では実施しません
リポジトリを追加、必要なパッケージを入れる
# wget -nc
https://repos.fedorapeople.org/repos/openstack/openstack-newton/rdo-release-newton-5.noarch.rpm
# yum install -y epel-release rdo-release-newton-5.noarch.rpm
# yum update -y
# yum groupinstall -y "Virtualization Host" "Development Tools"
# yum install -y python-setuptools docker-io python34 libvirt-python
# systemctl enable docker.service
# reboot もしくは
# systemctl restart firewalld.service
# systemctl start libvirtd.service
# systemctl start docker.service 14

15. 2. OPNFV概要 と Apex（講義）
資料はこちら
https://www.slideshare.net/s1061123/opnfv-handson-apex-intro
15

16. 昼休憩
16

17. ３．OPNFVのコンポーネントと調べ方（講義）
資料はこちら
https://www.slideshare.net/r-mibu/opnfv-79129688
17

18. ４．インストールされたOPNFVを見てみよう
VM とネットワークの構成を確認しましょう
# virsh list
# virsh net-list
# virsh domiflist undercloud
# virsh domiflist baremetal0
# ovs-vsctl show
undercloud baremetal0 baremetal1
admin
api
default
external
storage
tenant
18
A B C

19. ４．インストールされたOPNFVを見てみよう
undercloud に入り、ノード構成を確認してみましょう
# opnfv-util undercloud
(undercloud)$ source ~/stackrc
(undercloud)$ openstack server list
※ 上記VMにはopnfv-utilコマンド、又はundercloudから'ssh heat-admin@<ctlplaneのIP>'
でログインできます
※ VM と上記server のマップは VM admin インターフェイスのMACアドレスで探せます
(undercloud)$ openstack baremetal port show --address <VM admin I/F MAC>
(undercloud)$ openstack baremetal node show -c instance_uuid <node UUID>
19
A B C

20. ４．インストールされたOPNFVを見てみよう
Contoroller/Compute ノードに入り、サービスを確認してみましょう
# opnfv-util overcloud controller0
(Controllerノード)$ systemctl | grep openstack
(Controllerノード)$ ps ax | grep opendaylight
# opnfv-util overcloud compute0
(Computeノード)$ systemctl | grep openstack
20
A B C

21. ４．インストールされたOPNFVを見てみよう
OpenStack を確認してみましょう
# opnfv-util undercloud
(undercloud)$ source ~/overcloudrc
(undercloud)$ openstack endpoint list
(undercloud)$ openstack endpoint show nova
(undercloud)$ openstack compute service list
(undercloud)$ openstack network agent list
21
A B C

22. ４．インストールされたOPNFVを見てみよう
Holizon (GUI) を見るために tinyproxy を入れます
# yum install -y tinyproxy
# cp /etc/tinyproxy/tinyproxy.conf{,.orig}
# vi /etc/tinyproxy/tinyproxy.conf
# systemctl restart tinyproxy.service
# 追記例
Listen 127.0.0.1
# for noVNC
ConnectPort 6080
# ODL web UI
ConnectPort 8081
Laptop
22
検証マシン
tinyproxy
horizon@overcloud
SSHターミナル
ブラウザ
localhost:8888を
Proxyに設定
localhost:8888をリ
モートホストの8888
へ転送設定
sshdトンネル
A B C

23. ４．インストールされたOPNFVを見てみよう
chrome + TeraTerm の例（windows）
Laptop
23
検証マシン
tinyproxy
horizon@overcloud
SSHターミナル
ブラウザ
localhost:8888を
Proxyに設定
localhost:8888をリ
モートホストの8888
へ転送設定
sshdトンネル
A B C

24. ４．インストールされたOPNFVを見てみよう
Horizon にアクセスしてみましょう、必要な情報は以下で得られます
# opnfv-util undercloud
(undercloud)$ source stackrc
(undercloud)$ openstack stack show overcloud -f value | grep dashboard
(undercloud)$ grep OS_PASSWORD overcloudrc
24
URL
admin のパスワード
A B C

25. ４．インストールされたOPNFVを見てみよう
Horizon にアクセスしてみましょう。
25
A B C

26. ４．インストールされたOPNFVを見てみよう
OpenDaylight を確認してみましょう
# opnfv-util opendaylight
opendaylight-user@root>web:list
opendaylight-user@root>logout
OpenDaylight のREST APIを確認してみましょう
# opnfv-util undercloud
(undercloud)$ . overcloudrc
(undercloud)$ curl -u admin:admin
http://${SDN_CONTROLLER_IP}:8081/controller/nb/v2/neutron/networks 26
B C

27. ４．インストールされたOPNFVを見てみよう
OpenDaylight を確認してみましょう
# opnfv-util opendaylight
opendaylight-user@root> feature:install odl-dlux-core odl-mdsal-apidocs
opendaylight-user@root> logout
Proxyを設定した上でブラウザで以下のページを確認します
http://<SDN_CONTROLLER_IPのIP>:8081/apidoc/explorer/index.html
user:pass = admin:admin
※: 読み込みに時間がかかります。 Firefoxの方がいいかもしれない …
27
B C

28. ４．インストールされたOPNFVを見てみよう
OpenDaylight を確認してみましょう
28
B C

29. ４．インストールされたOPNFVを見てみよう
(補足/ovsのみ対象) OvSとOpenDaylightの関連付け確認の際の DPIDの取得 (10進/16進変換)
# wget 'https://goo.gl/N1qeTa' -O ovs-helper
# chmod +x ovs-helper
# ./ovs-helper getdpid
overcloud-controller-0:93259943619053 (0x54d1c5cfa9ed)
overcloud-novacompute-0:57503849804320 (0x344ca88a7220)
# ./ovs-helper getflow compute0
https://gist.github.com/s1061123/8ca70d63caef0b3900f672d6114d427b
29
B C

30. ４．インストールされたOPNFVを見てみよう
HA がどう設定されているか確認してみましょう
# opnfv-util overcloud controller0
(Controllerノード)$ less /etc/haproxy/haproxy.cfg
(Controllerノード)$ less /etc/corosync/corosync.conf
30
A B C

31. ４．インストールされたOPNFVを見てみよう
vpp/fd.ioの設定を確認してみましょう
$ opnfv-util overcloud {controller/compute}
(overcloud)$ vppctl
vpp# show ?
vpp# show interface address
vpp# show interface
vpp# show ip fib
vpp# show vhost (computeのみ)
vpp# show vxlan tunnel
31
C

32. ５．使ってみよう
次の3つを用意しています
a. Functest を使った機能テスト
b. テンプレートを使った VM 作成
c. CLI で VM 作成
32

33. ５．a．Functest を使った機能テスト (1/3)
OPNFV Functest の実行イメージ
Functest Container
System Under Test (SUT)
33

34. ５．a．Functest を使った機能テスト (2/3)
まず、Functest コンテナを用意しましょう
# docker pull opnfv/functest:stable
# virsh domifaddr undercloud
# scp stack@<undercloud IPアドレス>:overcloudrc .
# docker run --name "FunctestContainer" -it -e "CI_DEBUG=true"
-e "INSTALLER_IP=<undercloud IPアドレス>"
-e "INSTALLER_TYPE=apex" -e "DEPLOY_SCENARIO=<デプロイシナリオ>"
-v ~/overcloudrc:/home/opnfv/functest/conf/openstack.creds:Z
-v /root/.ssh/id_rsa:/root/.ssh/id_rsa:Z opnfv/functest:stable /bin/bash
(コンテナ)# functest env prepare
undercloudのIPア
ドレスを取得
os-nosdn-nofeature-ha
os-odl_l3-nofeature-ha
os-odl_l2-fdio-ha
34

35. ５．a．Functest を使った機能テスト (3/3)
テストケースを選んで Functest を実行してみましょう
(コンテナ)# functest testcase list
(コンテナ)# functest testcase run healthcheck
(コンテナ)# functest testcase run doctor
※Functest のテストケース一覧
http://docs.opnfv.org/en/stable-danube/submodules/functest/docs/testing/user/userguide/index.html
実行できるtestcaseを取得できる
35

36. ５．b/c共通．VM 作成の事前準備 (1/2)
undercloud に入り、VMイメージの登録から
# opnfv-util undercloud
(undercloud)$ source ~/overcloudrc
(undercloud)$ wget -nc
http://download.cirros-cloud.net/0.3.4/cirros-0.3.4-x86_64-disk.img
(undercloud)$ openstack image create 'cirros' --public
--container-format bare --disk-format=qcow2 < cirros-0.3.4-x86_64-disk.img
username: cirros
password: cubswin:)
でログインします
36

37. ５．b/c共通．VM 作成の事前準備 (2/2)
Flavor の作成
(undercloud)$ openstack flavor create --swap 256 --ram 1024 --vcpus 1 c1.m1
(vpp/fdioの場合) ※ vhost-user のため、追加でプロパティを設定
(undercloud)$ openstack flavor set --property hw:mem_page_size=large c1.m1
37

38. ５．b．テンプレートを使った VM 作成
Heat テンプレートファイルを指定して stackを作りましょう
(undercloud)$ wget https://goo.gl/JQ2RDw -O ~/hot_vm.yaml
(undercloud)$ openstack stack create --template ~/hot_vm.yaml sample
(undercloud)$ openstack stack show sample
Floating IP に向けて、ping/ssh を実行してみましょう
終了したらVMを削除します
(undercloud)$ openstack stack delete sample
username: cirros
password: cubswin:)
でログインします
38

39. ５．c．CLI で VM 作成 (1/3)
Security Group を作っておきます
(undercloud)$ admin_proj_id=$(openstack project list -f json | jq -r '.[] |
select(.Name == "admin") .ID')
(undercloud)$ admin_default_sg_id=$(openstack security group list -f json | jq -r
".[] | select(.Project == "${admin_proj_id}") | .ID")
(undercloud)$ openstack security group rule create --protocol icmp --ingress
--prefix 0.0.0.0/0 $admin_default_sg_id
(undercloud)$ openstack security group rule create --protocol tcp --dst-port 22
--ingress --prefix 0.0.0.0/0 $admin_default_sg_id
39

40. ５．c．CLI で VM 作成 (2/3)
続いて、仮想 Network を作成します
(undercloud)$ openstack network create internal
(undercloud)$ openstack subnet create --network internal
--subnet-range 192.168.0.0/24 subnet-int1
(undercloud)$ openstack router create router
(undercloud)$ neutron router-gateway-set router external
(undercloud)$ neutron router-interface-add router subnet-int1
(undercloud)$ neutron floatingip-create external
40

41. ５．c．CLI で VM 作成 (3/3)
そして、VM を起動します
(undercloud)$ internal_net=$(openstack network list -f json| jq -r ' .[] |
select(.Name == "internal") | .ID')
(undercloud)$ floating_ip=$(openstack floating ip list -f json | jq -r '.[]["Floating
IP Address"]')
(undercloud)$ nova boot --flavor c1.m1 --image 'cirros'
--nic net-id=$internal_net testvm1
(undercloud)$ nova floating-ip-associate testvm1 $floating_ip
41

42. 42

43. ６．ナレッジ共有
ハンズオンで得られた情報を共有しましょう
(20分) 各チームで実施したこと、ハマったところ、気づいた点をまとめる
(30分) 1チーム2,3分で何か一言
(10分) フィードバック コメントを etherpad に入れてください
43

44. さいごに
ご協力いただいた方々 ※講師・TAのみ
有志で運営しております
参加者の中から、次回以降運営を手伝っていただける方を募集しております
懇親会は 肉Bistro てっぺん 恵比寿1-16-31 で 18:00 から開始します
44
小川 英輝さま (NEC)
加藤 良輔さま (BBT)
高橋 敏明さま (NEC)
寺嶋 健一さま (NEC)
林 智史さま (Red Hat)
林 秀保さま (OOL)
壬生 亮太さま (NEC)

45. [ OOL Open Forum ]
OPNFV Handson Tokyo #1
2017/8/25
https://www.meetup.com/Tokyo-OPNFV-User-Group/
45

46. 46

47. Backup
47

48. １．インストール開始 (2/8)
必要なRPMパッケージを入れる
# yum update -y
# yum groupinstall -y "Virtualization Host" "Development Tools"
# yum install -y python-setuptools docker-io wget
# yum install -y epel-release
# yum install -y
https://repos.fedorapeople.org/repos/openstack/openstack-newton/rdo-release-newton-5.noarch.rpm
# yum install -y python34 libvirt-python
OLD
48

49. １．インストール開始 (3/8)
必要なサービスを起動する
# systemctl restart firewalld.service
# systemctl enable libvirtd.service
# systemctl enable docker.service
# systemctl start libvirtd.service
# systemctl start docker.service
OLD
49