2020 年 1 月末に、Kubernetes の宣言的な API で GCP リソースも管理可能にする、Config Connector が GA となりました。今回の放送では、その特徴について紹介するのと、Anthos Config Management を組合わせて自動化する方法を、デモを交えながら説明します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
Config Connector の特徴と、
Anthos Config Management を
組み合わせた、
構成管理の自動化について
2020 年 2 月 27 日 放送

2. Agenda
Cloud OnAir
1
3
2
4
Anthos Config Management (ACM) の特徴
ACM を利用した Kubernetes manifest の集中管理
Config Connector によるインフラ管理
ACM と Config Connector を利用した GitOps

3. Cloud OnAir
Cloud OnAir
Anthos Config Management (ACM) の
特徴

4. Cloud OnAir
Anthos とは？
OSS をベースにした、アプリケーションの
モダナイゼーションのためのプラットフォーム
Anthos を導入することで Google Kubernetes Engine を
GCP に加え、オンプレミス、他社クラウドでも
利用出来る他、サービスメッシュ、サーバーレスなど
モダナイゼーションに有用な機能が提供される

5. Cloud OnAir
サービス・新機能をタイムリーに市場投入...
- 高速なリリース サイクル
- 追加・変更に強い
ビジネス規模の拡大に併せて…
- 容易に拡張
- 高可用性の維持・向上
Agility
Flexibility
Scalability
1
2
3
Durability4
モダナイゼーションの目的とは？

6. Cloud OnAir
モノリスなアプリケー
ションをより
小さなサービスに
分割
マイクロサービス化
コンテナを
利用し、アプリを
インフラから分離
インフラ管理を
極力少なくし、
開発に集中
作業ステップや
人為ミスを削減
リリースをより
簡単に、早く
マネージド
サービスを最大限
活用し
Toil を抱えない
マイクロサービス化 インフラと
アプリの疎結合化
サーバーレス 自動化 マネージド
サービス活用
モダナイゼーションに向けた、技術観点でのアプローチ

7. Cloud OnAir
Anthos のコアコンポーネント
Anthos GKE
on VMware
Anthos GKE
Anthos GKE
on ***
コンテナ管理
ポリシー管理 Anthos Config Management (a.k.a ACM)
サービス メッシュ Anthos Service Mesh
GKE Hubクラスタ管理
Cloud Run for Anthosサーバーレス
Google Cloud
Platform (GCP)
オンプレミス 他社クラウド

8. Cloud OnAir
Anthos Config Management
Namespace や Quota、RoleBinding 等 の設定を、
ハイブリッドな Kubernetes 環境に自動的に展開
● 設定をオンプレやクラウドのクラスタ間で同期
● コンプライアンス ポリシーを継続的に適用
● セキュリティ、監査を Policy as code で

9. Cloud OnAir
構成サービス
- Config Sync
単一の Git リポジトリに対するコミットにより、単一、または
マルチ クラスタに対して、クラスタの設定変更を自動的に適用
- Policy Controller
セキュリティなどに関するポリシー遵守を定義することで、
一貫したポリシーの適用、監査、テストなどが実施される
Anthos Config Management

10. Cloud OnAir
Anthos の利用にはライセンスが必要だが、GCP 環境における ACM の
Config Sync に関して、2020 年 2 月よりライセンスが不要に
ACM の各環境における、ライセンスの要否
Config Sync Policy Controller
GKE (GCP) 不要 必要
Anthos GKE on VMware 必要 必要
GKE (GCP) +
Anthos GKE on VMware
必要 必要

11. Cloud OnAir
Cloud OnAir
ACM を利用した
Kubernetes manifest の集中管理

12. Cloud OnAir
Config Sync の仕組み
Git
repository
k8s クラスタ運用者
セキュリティ担当者
① 新しいポリシー（コード ）を
コミット
Anthos GKE on GCP Anthos GKE on VMware
各クラスタには
Config Management Operator が
インストールされる
② 各クラスタは対象の Git リポジトリを定期
的に確認しており、
コードに変更があった場合は、
当該変更をクラスタに自動的に反映する

13. Cloud OnAir
GitOps with Anthos
Kubernetes を中心にした開発では主に以下 3 つのコードを適切に
管理する必要がある
● アプリケーションのコード
● k8s のワークロードのマニフェスト
○ e.g. deployment, service
● k8s のクラスタ自体のマニフェスト
○ e.g. namespace, rolebinding, quota

14. Cloud OnAir
コードの管理
3 つのコードをどこの Git リポジトリで管理するか？
やり方は複数あるが、全て別の Git リポジトリで管理すると
以下のようなメリットがある
● アプリケーションとインフラのコードを綺麗に分離
● Git のログに複数の関心事が混ざらない
● リポジトリへのアクセス管理がシンプルに

15. Cloud OnAir
GitOps with Anthos の例
ACM
namespace
quota
rolebinding
deployment
service
k8s cluster
manifest
k8s workload
manifest
App code
Infra Engineer
Sync
Developer Cloud Build Container Registry
Change
Commit
Change
Commit
Trigger build
image
Anthos GKE
Sync

16. Cloud OnAir
Policy Controller の仕組み
1. 導入すると、各クラスタに
constraint template library が
インストールされる
2. constraint template library
を利用したポリシーを適用
https://kubernetes.io/blog/2019/03/21/a-guide-to-kubernetes-admission-controllers/
3. kubectl apply
ポリシー決定ロジック
Kubernetes の Control Plane には、API リクエストをオ
ブジェクト永続化前にインターセプトする、Admission
Controllers という機構がある
kubectl apply

17. Cloud OnAir
- Gatekeeper リポジトリの、constraint template library が利用可能
- https://github.com/open-policy-agent/gatekeeper
Policy Controller の有効化
# config-management.yaml
apiVersion: configmanagement.gke.io/v1
kind: ConfigManagement
...
spec:
clusterName: my-cluster
policyController:
enabled: true
kubectl apply -f config-management.yaml
policyController を適用

18. Cloud OnAir
ポリシー ルールを適用
# ns-must-have-geo.yaml
apiVersion: constraints.gatekeeper.sh/v1beta1
kind: K8sRequiredLabels
metadata:
name: ns-must-have-geo
spec:
match:
kinds:
- apiGroups: [“”]
kinds: [“Namespace”]
parameters:
labels:
- key: “geo”
kubectl apply -f ns-must-have-geo.yaml
“geo” ラベルを必須とする制約

19. Cloud OnAir
ポリシー ルールの適用を確認
Name: ns-must-have-geo
Kind: K8sRequiredLabels
...
Status:
Audit Timestamp: 2019-09-20T22:48:07Z
By Pod:
Enforced: true
Id: gatekeeper-controller-manager-0
...
kubectl describe K8sRequiredLabels ns-must-have-geo
制約が正しく
インストール

20. Cloud OnAir
Cloud OnAir
Config Connector による
インフラ管理

21. Cloud OnAir
- Anthos ライセンスは不要
- Kubernetes カスタムリソース (CRD) を介し、GCP リソースを管理
- インフラリソース管理を、Kubernetes 運用手法で統一してシンプルに
- Kubernetes の特徴である、宣言的なインフラ構築
- 状態を宣言して適用することで、結果整合性を保つ
- 更新時、または 10 分毎に、各リソースを照合
- 失敗時は、30 秒後にリトライし、間隔を指数関数的に増加
Config Connector とは？

22. Cloud OnAir
Config Conector で、宣言的なインフラ管理
Deployment
Service
ConfigMap
Pod
定義したリソースに対し、 Config Connector を介さ
ずに変更した場合、宣言状態に戻る
Config Connector による宣言
kubectl apply

23. Cloud OnAir
Config Conector で、kubectl によるオペレーション統一
Deployment
Service
ConfigMap
Pod
kubectl get pods
kubectl describe bigquerydataset bigquerydatasetsampleConfig Connector による宣言
kubectl apply ...
kubectl apply ...
kubectl apply

24. Cloud OnAir
- Gsutil で Cloud Storage から資材をダウンロードして解凍
Config Connector の インストール
gsutil cp gs://cnrm/latest/release-bundle.tar.gz release-bundle.tar.gz
- モードを選択し、Config Connector をインストール
a. GCP Identity
Service Account Key を Kubernetes secret に登録して実行
b. Workload Identity
Service Account 連携機能を利用して実行 (secret 管理が不要)
c. Namespaced mode
Namespace 毎に Service Account を分けて運用

25. Cloud OnAir
namespace = ProjectID の構成で管理される
GCP インフラリソースの適用
# sql-instance.yaml
apiVersion: sql.cnrm.cloud.google.com/v1beta1
kind: SQLInstance
metadata:
name: sqlinstance-demo-mysql
spec:
databaseVersion : MYSQL_5_7
region: asia-northeast1
settings:
tier: db-f1-micro
kubectl apply --namespace [PROJECT_ID] -f sql-instance.yaml

26. Cloud OnAir
Cloud OnAir
ACM と Config Connector を
利用した GitOps

27. Cloud OnAir
- 有効化するだけで、cnrm-system namespace など作成される
Config Connector の有効化
# config-management.yaml
apiVersion: configmanagement.gke.io/v1
kind: ConfigManagement
...
spec:
clusterName: maintenance
configConnector:
enabled: true
kubectl apply -f config-management.yaml
configConnector を適用

28. Cloud OnAir
- Config Connector による Kubernetes の宣言的なインフラ定義と、
ACM の Config Sync により、GitOps を実現する
- 任意のリソースを、同期対象から外すことも可能
ACM と Config Connector による GitOps
# sql-instance.yaml
apiVersion: sql.cnrm.cloud.google.com/v1beta1
kind: SpannerInstance
metadata:
annotations:
cnrm.cloud.google.com/deletion-policy: abandon
name: sqlinstance-demo-mysql
...

29. Cloud OnAir
ACM と Config Connector による GitOps
Config Sync
GCP resource
configurations
Infra Engineer
ACM
Change
Commit
Project
Config
Connector
Git リポジトリのコードが
Single source of truth
となり、最新の状態管理を
シンプルにする

30. Cloud OnAir
Cloud OnAir
まとめ

31. Cloud OnAir
- 複数環境下での Kubernetes オブジェクト管理は困難。
アップデートの適用を GitOps 化することで、運用負荷を軽減
- Kubernetes ポリシーについても同様の手段で一貫的に適用し、
組織のポリシーを全クラスタに同期して管理できる
- Config Connector により、GCP リソースも宣言的に管理可能で、
オペレーションは kubectl で行う
- ACM を利用して、Git リポジトリを Single source of truth とすることで、
人によるデプロイ作業の適用漏れなどを防ぐ
まとめ