Kubernates をハイブリッドクラウドとして活用する際には他拠点に分散する Kubernates クラスタをどのように連携させるかが構成上のポイントになります。この放送ではマルチクラスタ構成におけるサービスメッシュの構成方法について解説します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
Anthos で実現する
ハイブリッドクラウド
〜 Cloud Service Mesh 編 〜
2019 年 9 月 5 日 放送

2. Cloud OnAir
前回のおさらい：Anthos の概要
google_logo Cloud オンプレミス 他社クラウド
ポリシー管理 サービス管理 クラスター管理
Control plane
Anthos Config Management Cloud Service Mesh GKE Hub
GKE On-PremGKEMigrate for Anthos

3. Agenda
Cloud OnAir
1
3
2
4
サービスメッシュが注目される背景：
マイクロサービスアーキテクチャ
サービスメッシュ とは
トラフィックルーティングを実現する
GCP のプロダクト
マイクロサービスアーキテクチャ実現の道のり

4. Cloud OnAir
Cloud OnAir
サービスメッシュが注目される背景：
マイクロサービスアーキテクチャ

5. Cloud OnAir
API
ドメインサービス
● モダンアプリケーションはサービス指向
● サービス
○ ビジネス機能を提供する
コンポーネント
○ API を介して外部とやり取りする
○ サービス同士のやりとり (East-West)
○ ユーザとのやり取り (North-South)
サービス とは
ドメイン
モデル
サービス概念図

6. Cloud OnAir
サービス
インタフェースと実装 / インフラの分離
適切なインタフェースを介してやり取りをすれば、コンシューマは内部の
実装やサービスが動作するインフラ / プラットフォームの考慮しなくて良い
サービスのメリット
インタフェース
API
実装
インフラ / プラットフォーム
HTTPS / gRPC
Service
Consumer

7. Cloud OnAir
● Thought Works 社のマーチン ファウラーとジェームス ルイスが
提唱したソフトウェアアーキテクチャ
● モノリシック（一枚岩）なアーキテクチャを、ビジネス機能に
沿って複数の小さい「マイクロサービス」に分割し、
それらを連携してアプリケーションを構築する
● 各サービスは、独立したプロセスで動作する
● 各サービスは、よく定義されたオープンなインタフェースを備える
○ REST(JSON/HTTPS), gRPC 等
「マイクロサービスアーキテクチャ」とは

8. Cloud OnAir
モノリス vs. マイクロサービスアーキテクチャ
https://martinfowler.com/articles/microservices.html
モノリス
マイクロサービス
アーキテクチャ

9. Cloud OnAir
● 技術の混在
● レジリエント（靭やかさ）
● スケーリング
● デプロイ
● 組織と一致
● 再利用性
● アジリティ
マイクロサービス のメリット

10. Cloud OnAir
マイクロサービス アプリケーションの例

11. Cloud OnAir
マイクロサービス アプリケーションの例
Internet
通知サービス
製品カタログサー
ビス
レコメンデーション
サービス
フロントエンド
通貨サービス
配送サービス
ペイメント
サービス
チェックアウトサー
ビス
カートサービス
EU Bank
HTTP
Ad サービス
Cache (redis)
https://github.com/GoogleCloudPlatform/microservices-demo

12. Cloud OnAir
モノリストと比較してマイクロサービスアーキテクチャを実現するためには
以下のような課題がある
● 各サービスは異なるプロセスで動作する （サービスディスカバリ）
● 安全に接続する （セキュリティ）
● レートリミットやリトライの設定 （トラフィック制御）
● 複数のサービスインスタンスにルーティング（負荷分散）
● 全体がどのように連携しているのかわかりにくい （可観測性）
● サービス間、内部動作の把握が困難 (分散トレース）
● 安全に効率よくデプロイする （高度なデプロイ）
マイクロサービスを実現するための課題

13. Cloud OnAir
Cloud OnAir
サービスメッシュとは

14. サービスメッシュ
アプリケーションを
ネットワーキングから分離
開発と
オペレーションを分離
異種環境をまたぐ
一貫したフレームワークを提供

15. Cloud OnAir
サービス間の接続
サービス サービス
Pod VM

16. Cloud OnAir
サービスメッシュの詳細
サービス
サービス
プロキシ
サービス
サービス
プロキシ
Pod VM
サービスメッシュ
コントロールプレーン
データプレーン
インバウンド機能
（呼ばれる側）:
● サービス認証
● サービス承認
● レートリミット
● 負荷制限
● テレメトリ
● リクエスト追跡
● 意図的なエラーの実施
アウトバウンド機能
(呼び出し側）:
● サービス認証
● 負荷分散
● タイムアウト、リトライ
サーキットブレーカー
● コネクションプールの
サイズ管理
● きめ細かいルーティング
● テレメトリ
● リクエスト追跡
● 意図的なエラーの実施

17. Cloud OnAir
Istio

18. トラフィックコントロール
サービスメッシュのトラフィック
を管理
「In、「Out」、そして「サービス
メッシュ内」
セキュリティ
ポリシーにもとづいたサービス間の
セキュアなアクセスと通信
可観測性（Observability）
最小の作業で
サービスの完全な可視化
Istio = オープンなサービスメッシュ

19. Cloud OnAir
Istio の詳細
サービス A サービス B
プロキシプロキシ
Pod
HTTP/1.1, HTTP/2,
gRPC, TCP, TLS
Google Cloud
Pilot Mixer Citadel
コントロールパス
データパス(トラフィック)
VM
Pilot: サービス間通信のポリシーを設定、管理するコントロールプレーン
Envoy: 通信の間に入りポリシーを適用するネットワークプロキシ
Mixer: ポリシーの柔軟な適用のため、プラグインモデルでの観測と実施
Citadel: ビルトインのアイデンティティと資格情報管理による相互 TLS にもとづいたサービス間の認証、認可
コンテナ,
VMs
データプレーン内の
サイドカー
プロキシ
(例: Envoy)
オープンな xDS APIs
Istio
コントロール
プレーン

20. Cloud OnAir
Cloud Service Mesh
サービスメッシュ領域において GCP が提供するプロダクト
https://cloud.google.com/service-mesh/

21. Cloud OnAir
Cloud Service Mesh : Powered by Istio APIs
スケーラブルな
テレメトリとロギング
インサイトと
レコメンデーション
マネージドな CA
(IAP と連携)
Traffic Director を経由した
Open API による
トラフィックルーティング
Mixer
Managed Control Plane
Service A Service B
proxy proxy
HTTP/1.1, HTTP/2,
gRPC or TCP --
with or without
mTLS
Config to data
proxies
TLS certificates
to proxies
Policy checks,
telemetry
Galley Adaptor
Config data
Traffic Director Managed CA
Managed
backends

22. Cloud OnAir
Cloud OnAir
トラフィックルーティングを実現する
GCP のプロダクト

23. Cloud OnAir
GCP: マイクロサービスを実現するための
オープンなフレームワーク
GKE
On-prem
Cloud Run
Knative
どこでも
サーバーレース
GKE
K8S
Envoy やマイクロ
サービスを管理する
ためのオープンな
インタフェースを
備えた、GCP が管理
するプロダクション
品質のコントロール
プレーン（SLAあり）
Istio Pilot を
GCP マネージドとして
提供
Envoy プロキシ
Istio /
Istio on GKE
Traffic
Director
GCP 管理の中間
プロキシ LB
（SLA あり）としての
Envoy
Envoy を
導入できない
レガシーサービス
にとって有用
L7 ILB
オープンで
ハイパフォーマンスな
RPC のフレームワーク
gRPC
GCP やオンプレミス
環境における
ワークロードのための
シームレスな
コンテナ管理
オープンで汎用的な
データプレーン。
（マイクロ）
サービスの開発者
からネットワークを
抽象化。
（マイクロ）
サービス管理のための
オープンで、
安全なコントロール
プレーン

24. Cloud OnAir
GCP: マイクロサービスを実現するための
オープンなフレームワーク
GCP やオンプレミス
環境における
ワークロードのための
シームレスな
コンテナ管理
GKE
On-prem
Cloud Run
Knative
どこでも
サーバーレース
GKE
K8S
オープンで汎用的な
データプレーン。
（マイクロ）
サービスの開発者
からネットワークを
抽象化。
（マイクロ）サービス管
理のための
オープンで、
安全なコントロール
プレーン
Envoy やマイクロ
サービスを管理する
ためのオープンな
インタフェースを
備えた、GCP が管理
するプロダクション
品質のコントロール
プレーン（SLAあり）
Istio Pilot を
GCP マネージドとして
提供
Envoy プロキシ
Istio /
Istio on GKE
Traffic
Director
GCP 管理の中間
プロキシ LB
（SLA あり）としての
Envoy
Envoy を
導入できない
レガシーサービス
にとって有用
L7 ILB
オープンで
ハイパフォーマンスな
RPC のフレームワーク
gRPC

25. Cloud OnAir
Traffic Director によって、サービスメッシュの
利点を得る事と、 Envoy の本番環境へ導入が簡単に
なります
Matt Klein, Envoy Proxy の作成者
Traffic Director

26. Cloud OnAir
プロキシ
フロント
エンド
プロキシ
ショッピング
カート
プロキシ
支払い
オープンなxDSv2 APIs
Traffic Director
GCP が管理するコントロール
プレーン: サービスプロキシの
設定、トラフィックコントロール、
グローバルLB、ヘルスチェック
Envoy などの
オープンな
サイドカーサービス
プロキシによる
データプレーン
サービス
HTTP/1.1, HTTP/2,
gRPC, TCP, TLS
自己管理の Docker サービス VM ベースのサービス GKE サービス
TD コントロールパス
データパス (トラフィック)
Traffic Director

27. Cloud OnAir
プロキシ
フロント
エンド
プロキシ
ショッピング
カート
プロキシ
支払い
プロキシ
フロント
エンド
プロキシ
ショッピング
カート
プロキシ
支払い
ウェブフロントエンド
app-cart-asia-southeast1
app-cart-us-central1
app-payment-asia-southeast1
app-payment-us-central1app-web-us-central1
app-web-asia-southeast1
ショッピングカート 支払い
Traffic Director
Traffic Director: サービスを好きな場所にデプロイ

28. もしレガシーなアプリケーションに Envoy を
導入できないなら、どうすればよいか？
もし使いたいのがモダンな LB の機能だけなら
どうすればよいか？
Source: Gartner

29. Cloud OnAir
モダンな Envoy ベースの
トラフィック コントロールの
機能をフルマネージドの
ロードバランサーとして
使えます
ロードバランサーとして、
既存環境にサービスメッシュの
機能を導入、Traffic Director や
Envoy プロキシを意識せず
使えます
L7 インターナル LB（Beta）のご紹介
L7 ILB
1 2

30. Cloud OnAir
Cloud OnAir
マイクロサービスアーキテクチャ
実現の道のり

31. Cloud OnAir
顧客 A の事例
初めに “メッシュ” それから “コンテナ化”

32. Cloud OnAir
顧客 A: 初めに “メッシュ” それから “コンテナ化”...
オンプレミス 少しリファクタリング GCP に移行
リファクタリング、
モダナイズ
大きな一つのモノリス
リリース間隔は3 ヶ月以上
一つの大きなチーム
小さなモノリス
(~20 アプリ)
2 週間〜 1 ヶ月のリリース間隔
一部独立したチーム
80 マイクロサービス
(Google Cloud)
1 日〜1 週間のリリース間隔
ほぼ独立したチーム
既存のマイクロサービスの
継続的なリファクタリング
（~ 数百）
“安全に接続し管理しなければならないサービスがたくさんある …”
“どうやったら自分のペースでコンテナ化できるだろうか？ ”

33. Cloud OnAir
コードの変更無しに
トラフィックの流れ
を変更する

34. Cloud OnAir
トラフィック分割
サービス B-1 サービス B-2
プロキシ プロキシ
version:
2.0-alpha env:
staging
version: 1.5
env: prod
サービス A
プロキシ
ショッピングカートアプリ
99% 1%
Traffic Director
トラフィック分割
● 機能: 重み付けによって
トラフィックを分割する
● 利用例: カナリア、A/B テスト、
サービス移行など、運用的な
手間をかけずに新しいバージョンを
導入
複数のバージョンへルーティング

35. Cloud OnAir
Managed
instance group
Svc 1
バックエンド
Traffic Director: VM ベースのサービス
トラフィック

36. Cloud OnAir
Network
Endpoint Group
バックエンド
コンテナ版のサービスをデプロイ
Managed
instance group
トラフィック
Svc 1
バックエンド
追加
Svc 1’

37. Cloud OnAir
Network
Endpoint Group
バックエンド
両方にトラフィックを送る
Managed
instance group
Svc 1
バックエンド
Svc 1’
トラフィック
トラフィック
90%
10%

38. Cloud OnAir
Network
Endpoint Group
バックエンド
Svc 1’
VM サービスからトラフィックを外す
Managed
instance group
ドレイン /
削除
Svc 1
バックエンド
トラフィック
1%
99%

39. Cloud OnAir
Network
Endpoint Group
バックエンド
コンテナ版のサービスだけに
Svc 1’
トラフィック

40. Cloud OnAir
顧客 B の事例
初めに “コンテナ化” それから “メッシュ”

41. Cloud OnAir
オンプレミス環境のモノリスアプリ
モノリス アプリ
モジュール
main() モジュール モジュール
モジュール モジュール
モジュール
ファイル
システム
データベース

42. Cloud OnAir
オンプレミス
モノリス
オンプレミス環境のモノリスアプリ

43. Cloud OnAir
API ゲートウェイ
Google Kubernetes Engine
Google Cloud Load Balancer
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
GCP への移行: グローバル LB と API ゲートウェイの追加
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング
モノリス
オンプレミス

44. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
オンプレミス
移行: サービス A をモノリスから切り出し、GKE を使う
モノリス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

45. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
モノリス
サービス B
移行: サービス B をモノリスから切り出し、GKE を使う
オンプレミス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

46. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
モノリス
サービス B
移行: サービス B をモノリスから切り出し、GKE を使う
オンプレミス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

47. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
モノリス
サービス B
移行: サービス B をモノリスから切り出し、GKE を使う
オンプレミス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

48. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
モノリス
サービス B
移行: サービス C をモノリスから切り出すが、
オンプレミス環境に残り、GKE On-Prem を利用
サービス C
GKE On-prem
オンプレミス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

49. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
サービス B
Envoy プロキシ
サービス C
GKE On-prem
プロキシ
プロキシ
モノリス
オンプレミス
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

50. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
オンプレミス
モノリス
サービス B
Envoy と Istio をサービス B と C で利用
サービス C
GKE On-prem
プロキシ
プロキシ
Istio
Istio
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

51. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
オンプレミス
モノリス
サービス B
Traffic Director
サービス C
GKE On-prem
プロキシ
プロキシ
Traffic Director /
Istio
Istio
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング

52. Cloud OnAir
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
モノリス
サービス B
ハイブリッド環境用の Traffic Director (ロードマップ)
サービス C
GKE On-prem
プロキシ
プロキシ
Istio
リソースの最適化
自己回復
オートスケーリング
サービス発見（Discovery）
TLS 終端,
DDoS 防御, Anycast
API レベルのルーティング
Traffic Director /
Istio
オンプレミス

53. Cloud OnAir
オンプレミス
モノリス
オンプレミス環境のモノリス → ハイブリッド環境でコンテナ化
されたマイクロサービス
API ゲートウェイ
サービス A
GKE
Google Cloud Load Balancer
オンプレミス
サービス B
サービス C
GKE On-prem
プロキシ
プロキシ
Traffic Director /
Istio
Istio
1
1
2
3
4
4
5
5
5
6
5

54. Cloud OnAir
Cloud OnAir
まとめ

55. Cloud OnAir
● サービスメッシュが注目される背景：マイクロサービス
● サービスメッシュとは？
● トラフィックルーティングを実現するために GCP が提供する
プロダクト
○ Traffic Director
○ L7 ILB
● マイクロサービスアーキテクチャ実現の道のり
● Cloud Service Mesh の分野はまだ完成していません。
今後のアップデートにご期待ください
まとめ

56. Cloud OnAir
Anthos の概要
google_logo Cloud オンプレミス 他社クラウド
ポリシー管理 サービス管理 クラスター管理
Control plane
Anthos Config Management Cloud Service Mesh GKE Hub, GKE Connect
GKE On-PremGKEMigrate for Anthos
8 月 29 日の Cloud OnAir で Deep-dive