IBMCloudのフルマネージドサービスRed Hat OpenShift on IBM Cloudの評価した話 OpenShiftのCI/CD（継続的インテグレーション／継続的デリバリー）について

2. 本日のお願い – 出席登録
https://ibm.biz/BdztAj
こちらのURLにアクセスして、IBM Cloudにログインをお願いします。
アカウント未登録の方もこちらから登録をお願いします。

3. Daisuke Hiraoka(平岡 大祐)
Twitter: @HiraokaDaisuke
Qiita: @daihiraoka
Linkedin: @Daisuke Hiraoka
2002年からエンジニアとして、業務系、基幹系システムの設計、開発、運用
などさまざま業務に従事。
2016年の夏に2カ月でIBM CloudのベアメタルサーバにOpenShift環境を構築
し、2017年1月から本番環境で稼働させ、運用する業務を経験。
2018年3月刊行の『コンテナ・ベース・オーケストレーション
Docker/Kubernetesで作るクラウド時代のシステム基盤』（翔泳社）に、
OpenShiftに関する章の共著で参加。
Red Hat認定資格「Red Hat Certified Specialist in OpenShift
Administration」を取得している。

4. 8月以降はQiita投稿はOpenShiftばかり

5. @ITにて「Red Hat OpenShift on IBM Cloud」の実践的な
活用方法を連載
• 2019年10月18日公開
IBMのRed Hat買収の成果「Red Hat OpenShift on IBM Cloud」によって、複雑なマルチ
ゾーンのOpenShiftクラスタの構築はどれほど簡単になるのか？
https://www.atmarkit.co.jp/ait/articles/1910/21/news003.html
• 2019年11月13日公開
「Red Hat OpenShift on IBM Cloud」によって、モノリシックなJava EEアプリを分割し
マイクロサービスとして動かすのはどれほど簡単になるのか？
https://www.atmarkit.co.jp/ait/articles/1911/15/news002.html
• 2019年12月12日公開
「Red Hat OpenShift on IBM Cloud」によって、CI/CD（継続的インテグレーション／継
続的デリバリー）パイプラインの構築はどれほど簡単になるのか？
https://www.atmarkit.co.jp/ait/articles/1912/16/news006.html

6. Agenda
• KubernetesとOpenShift
• Red Hat OpenShift on IBM Cloudについて
• OpenShiftのCI/CD（継続的インテグレーション／継続的デリ
バリー）

7. IBM Dojo OpenShift(Minishift) 101 入門の資料より

9. フルマージドサービスRed Hat OpenShift
on IBM Cloud のいいところ
• １クリックで複雑なマルチゾーンのOpenShiftクラスターでも簡単
に、約30分で作成される。
• UIが強化されていてブラウザ操作で簡単にビルド・デプロイできる。
• フルマネージドサービスなので基盤運用から解放される。
• OpenShiftはKubernetesを含む全てのコンポーネントをサポート
• 3つの異なるデーターセンターからなる高可用性構成を組める。

10. １クリックで複雑なマルチゾーンのOpenShiftク
ラスターでも簡単に、約30分で作成される。

18. UIが強化されていてブラウザ操作で簡単
にビルド・デプロイできる。

23. アプリケーションアクセスするためのURL
デプロイしたPod(コンテナ)の数

25. ボタン操作で簡単にPod(コンテナ）をスケールアップ・ダウン スケールアップ
スケールダウン
1 podから3podsへスケールアップ
(スケールアップ前)
(スケールアップ後)

27. 現在動作しているPod(コンテナ） 新しいバージョンのPod(コンテナ）
ローリングアップデートが自動実行
3個から2個に Podが減少中 2個のPod起動、残り1個起動待ち

28. フルマネージドサービスなので基盤運用
から解放される。
(OpenShift専任のエンジニアは不要になる）

29. ある日の出来事
マスターサーバのアップデートによる障害発生(新しいコンテナをデプロイできない)
(セルフマネージド)
1.ログ収集
2.問い合わせ
3.修正パッチテスト
4.修正パッチ適用
(フルマネージド）
1.ログ収集
2.問い合わせ
解決するのを待つ
基盤系の問題は、サポートより必要な情報取得は求められて操作は発生するが、そ
れ以降のフルマネージドの稼働はほとんどない。
基盤以外について、セルフ・フルマネージド共に稼働は変わらない。

30. • Kubernetesを含むOpenShiftのコンポーメント全てがサポート対象であること
（Kubernetesはソフトウェアなのでバグは必ず発生します。）
Kubernetes, OpenShift, OS(RHEL), コンテナイメージ(Red Hat Universal Base Image (UBI))
• DevOpsやCI/CD（継続的インテグレーション/継続的デリバリー）を始めるための必要なコンポー
ネントが標準で用意されていること
OpenShiftはKubernetesを含む全てのコン
ポーネントをサポート
Red Hat Universal Base Image (UBI)
https://access.redhat.com/containers/#/search/ubi

31. マスターノード
ワーカーノード1
ワーカーノード2
ワーカーノード3
ワーカーノード1
ワーカーノード2
ワーカーノード3
ワーカーノード1
ワーカーノード2
ワーカーノード3
高可用性マスターを備えた マルチゾーンクラスター
ワーカー プール
ゾーン1: TOK02 ゾーン2: TOK04 ゾーン3: TOK05
リージョン: Tokyo
3つの異なるデーターセンターからなる高可用性構成を組める。

32. マスターノード
ワーカーノード ワーカーノード ワーカーノード
ワーカー プール
ゾーン1: TOK02 ゾーン2: TOK04 ゾーン3: TOK05
リージョン: Tokyo
Pod Pod Pod Pod Pod Pod Pod Pod Pod
Pod(コンテナ)はリージョン(Tokyo)単位でゾーンを意識しないで
リソースが空いているワーカーノードに展開される。

33. ( Pod名 ) ( PodのIP)
(Podが起動している
ワーカー・ノード)
ワーカー・ノードの一覧
Pod(コンテナ）の一覧

34. 使って見てわかったこと

35. Red Hat OpenShift on IBM Cloud Networking(1)
• Red Hat OpenShift on IBM Cloudでは2つのPublic アドレスが配布される。
１つは IKSの Ingress用(ALB)
２つはOpenShiftのRoute用
$ oc get svc --all-namespaces | grep Load
default router LoadBalancer 172.21.164.110 162.133.93.182 80:32552/TCP,443:32536/TCP 3d
kube-system public-crbnpsfrot0t79j735uvhg-alb1 LoadBalancer 172.21.171.4 162.133.93.181 80:30632/TCP,443:31236/TCP 3d
$ oc get route
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
ruby-ex ruby-ex-test01.openshiftworkshop-680102-0e3e0ef4c9c6d831e8aa6fe01f33bfc4-0001.jp-
tok.containers.appdomain.cloud ruby-ex 8080-tcp None

36. Red Hat OpenShift on IBM Cloud Networking(2)

37. Ingressを使ったマルチゾーン構成
https://cloud.ibm.com/docs/openshift?topic=openshift-ha_clusters

38. Region: jp-tok
Zone:tok04
Node
IP
Pod
Pod
Zone:tok02
Node
Pod
Pod
http access
http://helloworld-phptest.jp-tokcluster-
5a7e2b4ab65bac806c7e37b385575e75-0001
.jp-tok.containers.appdomain.cloud
(IP Address: 128.168.85.210 )
ibm-system project
ibm-cloud-provider-ip-128-168-85-210
KeepaliveでActie-Standby構成
Zone:tok05
Node
OpenShift
router
OpenShift
router
Pod
Pod
128.168.85.210
LoadBalance
NLB-to-OpenShift router
LoadBalance
OpenShift router–to-Pod EndPoint(IP)
OpenShiftのRouteを使った Networking(2019年9月版)

39. Region: jp-tok
Zone:tok05
Node
Zone:tok02
Node Node
OpenShift
router
CIS/GLB
Red Hat OpenShift on IBM Cloud Networking
IP IP
Pod Pod
Zone:tok04
Node
OpenShift
router
IP
Node
Pod Pod
IP
OpenShift
router
IP
Node
Pod Pod
IP
• Ingress/Route共に各ゾーン毎にPublic IPを1つ割り当てる。
KeepalivedでActive-Standby構成でPodとして起動する。
可用性を考慮すると各ゾーンにはWorkerNodeは最低２台必要
• OpenShiftのRouter Podはデフォルト２個だがリソースに合わせて増やす
• 複数ゾーンの場合は、CIS/GLBを使って負荷分散させる

40. Red Hat OpenShift on IBM Cloudバージョンアップ
• Master Node/Worker Node共にIBM Cloudポータル画面で操作
• Master Nodeはアップデートを放置すると一定期間後、強制アップデート

41. Red Hat OpenShift on IBM Cloudバージョンアップ
CIS
Region: jp-tok Cluster A
Zone:tok05 Zone:tok02Zone:tok04
Node Node
Master
Node Node
Master
Node Node
Master
Region: jp-tok Cluster B
Zone:tok05 Zone:tok02Zone:tok04
Node Node
Master
Node Node
Master
Node Node
Master
フルマネージドといえども、OpenShiftはソフトウェアなのでバグや障害は発生し
ます。理想は、開発・本番など各環境毎に同じ構成のクラスタがあることが理想
ブルーグリーンデプロイメントで移行できると安心
環境の切り替え
ノードが複数台に同時に障害が発生することを想定して余裕を持ったサイジングを

42. できないこと
• Master/Worker NodeにSSH/KVMでログインできない
SSHではログは見れません。
コンテナを起動して、HostマウントするとWorkerNodeのディレクトリは参
照できる
Worker Nodeの再起動はIBM Cloudポータルで操作
• ocコマンドを実行するクライアントPCから内部レジストリにdocker pushす
ることはできない
クライアントPCで作成したコンテナイメージは、IBM CloudのContainer
Registryに保存して、OpenShiftにImportしましょう
もしくは、コンテナイメージのビルドはOpenShiftで実行させる

43. モニタリング・ロギング(1)
Master/Worker Nodeにログインできないので、IBM Cloudには、IBM Log Analysis with
LogDNAとIBM Cloud Monitoring with Sysdigがモニタリング・ロギングサービスとして用意され
ています。導入自体は3ステップでモニタリング・ロギングを開始できて簡単！
1. IBM Cloudポータルでインスタンス作成
2. OpenShiftのワーカー・ノードにエージェントをインストール。（Pod、コンテナ毎にエージェ
ントをインストールする必要はありません）
3. Sysdig・LogDNAのWeb UIを開いてモニタリング・ロギングを実施

44. モニタリング・ロギング(2)
• IBM Log Analysis with LogDNAとIBM Cloud Monitoring with
Sysdigの詳細は「技術よりな人が最初に読む：IBMCloud柔
らか層本.3.1.pptx」がよく書かれてます。
https://ibm.ent.box.com/v/ibmcloud-yawaraka

45. モニタリング・ロギング(3)
SysdigやLogDNAを使わない場合、Sysdigに相当するPrometheusがデフォルトでインストールされている。
LogDNAに相当するものはデフォルトでインストールされていないので EFKスタック (Elasticsearch, Fluentd,
Kibana)をOpemShiftにインストールする必要がある。(ログはストレージに保存）
EFKスタックの注意点は、コンテナとして動作するので、サービス障害時にEFKスタックのコンテナ障害発生して
いて、使い物にならない場合もある。
EFKスタックのデフォルトのメモリ割り当て量が10GB以上なので、設定変更して減らす必要がある。
平常時でもログは大量に出るが、異常時はさらに出るのが前提でストレージのサイジングが必要（初めての場合は
やってないとわからない）
EFKスタックの参考ドキュメント
OpenShift 3.11クラスターの設定 第36章 コンテナーログの集計
https://access.redhat.com/documentation/ja-
jp/openshift_container_platform/3.11/html/configuring_clusters/install-config-aggregate-logging
オンプレで監視していた時に最終的に落ち着いたのは以下の2つ
• サービスのFQDN監視
• Master/Worker Nodeの状態監視、NodeNotReadyになったら通知

46. OpenShiftクラスターデプロイ後に、クラス
ターの作成後に Ingress サブドメインが存在
しない

47. サポートに連絡してIngress Subdomainが付与されるように連絡してください。

48. OpenShiftのCI/CD（継続的インテグレー
ション／継続的デリバリー）
@ITの記事「Red Hat OpenShift on IBM Cloud」によって、
CI/CD（継続的インテグレーション／継続的デリバリー）パイプ
ラインの構築はどれほど簡単になるのか？を使って解説
https://www.atmarkit.co.jp/ait/articles/1912/16/news006.html

49. patientui
KubernetesにないOpenShift独自のオブジェクト
ImageStream
ImageStream
ImageStreamTag
ImageStreamImage
ImageStreamMapping
1.0-3
1.0-2
patientui@sha256:474..
patientui@sha256:312..
Image Metadata..
Image Metadata...
イメージのダウンロード先と
イメージIDでコンテナイメージを一位に識別する
sha256:任意の数字は dockerのダイジェスト値
イメージTag (バージョン情報)
1.0-1 patientui@sha256:312.. Image Metadata...
latest patientui@sha256:312.. Image Metadata..
ImageStreamの主な機能として、
• Dockerレジストリにpushしたコンテナイメージの履歴記録（バージョン管理）
• コンテナイメージを他のプロジェクトで使用したい場合、再Pushすることなく、ImageStreamのタグ付けを
行うだけのリリース、バージョン履歴から任意のタグを使ったロールバック
• コンテナイメージの変更が発生した時に自動的にビルド・デプロイを始めるためのImageChangeトリガーへ
の情報提供があります。
• 詳細はOpenShiftの公式ドキュメント「3.5.2 イメージストリーム」を確認ください。
5.OpenShift

50. patientuiのImageStream

51. まとめ
• IBM CloudのマネージドサービスであるRed Hat OpenShift on IBM Cloudは、ブラウ
ザ操作で簡単に短時間で、シングル構成から耐障害性のある複数のデータセンターに
よるマルチゾーン構成までOpenShiftクラスターを入手することができる。
• Red Hat OpenShiftは、Kubernetes、OS、RHELのコンテナイメージを含む
OpenShiftのコンポーメント全てがサポート対象であることが最大の利点だと思いま
す。（Kubernetesはソフトウェアなのでバグは必ず発生します。
• DevOpsやCI/CD（継続的インテグレーション/継続的デリバリー）を始めるための必
要なコンポーネントが標準で用意されている。
開発者のためのEnterpriseなKubernetesがOpenShift!
実績のあるIBM Cloud Kubernetes Serviceの基盤上でOpenShiftが動くことで安心して
運用できる！これまで、自分で構築するのが難しかった、インフラ担当がいなかった
など、障壁のあった企業にとっては朗報！
オンプレだとOpenShiftライセンスは年単位だが、マネージドサービスでは月額課金な
のでまずはお試しください！

52. OpenShiftの学習
• IBM Code Patternsには様々なユースケースがある。
https://developer.ibm.com/jp/patterns/
• IBM Developer DojoではOpenShiftのハンズオンセミナーを定期的
に開始しています。実際に Red Hat OpenShift on IBMCloudを評
価できるのでいい機会だと思います。
• OpenShiftの製品ドキュメント 開発者ガイド
• Qiita「OpenShiftによるJava EEアプリケーションのモダナイゼー
ションをやってみた。(1)〜(5)」
https://qiita.com/daihiraoka/items/23cfaed7662d36ccc7ab
• OpenShift4入門
http://redhat.lookbookhq.com/OCP4intro_Mook

53. Thank you!