Fukuoka.NET Conf 2018 にて発表 https://fukuten.connpass.com/event/95744/presentation/ Azure で Kubernetes の動かし方と、裏側の動作を少しだけ紹介しました。また、kubernetesを実際に試す方法を最後に紹介しています。

1. Running Kubernetes
on Azure
~Fukuoka.NET Conf 2018~
#fukuten #dotnetconf
2018/9/29
株式会社SRIA（エスリア）
山本誠樹 a.k.a 世界のやまさ
@nnasaki

2. 今日は仙台から来ました
2

3. 今日お話すること
Azure 上での Kubernetes の動かし方
3
IaaS
• VM
PaaS
• Web
Apps
Container
• Container
Service
FaaS
• Functions

4. 質問：
Azure 知っている人？
使っている人？
4

5. 質問：
Docker 知っている人？
使っている人？
5

6. 質問：
Kubernetes 知っている人？
使っている人？
6

7. Kubernetesとは？
7

8. Kubernetesとは？
一言で言えばクラスター
マスターとノードに分か
れる
8
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

9. Kubernetesとは？
deploymentに定義を書く
コンテナ可されたアプリ
がノード上で動く
基本的に手動でアプリの
設定は行わず、
deploymentに書く
kubectlというコマンドで
管理する
9
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

10. ノードとは？
ノードにはPodという単
位でコンテナを配置する
ストレージはvolumeとし
てPodに配置する
10
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

11. サービスとは？
外部に公開したい場合、
サービスを定義する
Podのグループ化と考え
ても良い
サービスは複数のPod、
複数のノードにまたがる
ことができる
11
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

12. スケールアップ・
ローリングアップデート
12
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

13. コンテナとは？
ここまではなんとなく理解してもらえればよいかと
13

14. コンテナの歴史
2013年、Docker登場
2014年、Googleは毎週20億のコンテナを起動していた
Google、Kubernetes発表
2015年、コンテナ仕様は標準化へ
Open Container Initiative(OCI) スタート
Cloud Native Computing Foundation(CNCF) 設立
2016年、Swarm対Kubernetes
2017年、Kubernetesが事実上の標準に
Kubernetes 1.6〜1.9リリース
主要クラウドもKubernetesマネージドサービス提供
14
https://www.sbbit.jp/article/cont1/34350より引用

15. Docker 登場から5年
まだ新しい技術？
まだ覚える必要は無い？
本番環境には怖くて使えない？
15

16. Docker って
大丈夫なの？

17. VISA カード
インフラに
Docker 採用
https://blog.docker.com/2017/04/visa-inc-gains-speed-operational-efficiency-docker-enterprise-edition/

18. Docker 登場から5年
もう新しいだけの技術じゃない
そろそろ手を付けないとヤバい
18

19. ちなみにAzureは8周年！
19
© @kosmosebi

20. Docker運用での悩み事
Dockerで動かしているアプリが落ちる
そもそもDockerを動かしているホストが落ちる
監視が必要
Dockerで動いているなんらかのアプリ(.NET, Node.js, Javaなど)
Dockerで動いているOSの監視(Linux, Windowsなど)
Dockerを動かしているホストの監視(VM, オンプレなど)
目視監視、手動でリカバリつらい
20

21. コンテナーの運用管理が
必要だよね
21

22. Kubernetesとは？
一言で言えばクラスター
マスターとノードに分か
れる
22
https://kubernetes.io/docs/tutorials/kubernetes-basics/create-cluster/cluster-intro/

23. Azureで
Kubernetesを動かすには？
23

24. サービスは3つ
Azure Container Service (ACS)
Azure Container Service Engine
Azure Kubernetes Service (AKS) オススメ
24

25. Azure Container Service (ACS)
メリット
コマンド一発で作成出来る
GA済みなのでSLAが適用される
日本リージョンに展開可能
kubernetes 以外に Docker Swarm, DC/OS にも対応
デメリット
マスターの課金が発生する
kubernetes のバージョンアップが出来ない
• 2018/2/2現在 1.7.7
公式ドキュメントにたどり着きづらい
25

26. 26
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
目的のURL

27. Azure Container Service Engine
メリット
ACSのOSS版。Githubに公開されているのでカスタマイズ可能
• https://github.com/Azure/acs-engine
任意のVNETへの配置が行える
1200Nodeのクラスタ構築が行える
Nodeのオートスケール
デメリット
展開方法が複雑
SLAは無し
詳細はこちら参照
ACS Engineを利用してAzure上にkubernetesをdeploy！ | 技術的な何か。
http://level69.net/archives/25206
27

28. Azure Kubernetes Service (AKS)
メリット
コマンド一発作成
マスターノードはAzureにお任せで課金無し
• エージェントノードはノードの分だけ課金されるので注意
Kubernetesのバージョンアップ可能
Managed Disk（管理ディスク）対応
デメリット
いまは無いと思います
今年2月時点ではこうでした。クラウドの進化は速い
• プレビュー段階
• SLAがまだ無し
• 日本リージョンにまだ展開されていない
28

29. つまりまとめると
私は Azure Container Service (AKS) 推しです！
29

30. AKS の作り方
az provider register -n Microsoft.ContainerService
az group create --name myResourceGroup --location eastus
az aks create --resource-group myResourceGroup --name
myK8sCluster --node-count 1 --generate-ssh-keys
30

31. AKS Demo
31

32. 疑問：
Kubernetesがあれば
PaaSはいらない？
32

33. 疑問：
KubernetesはPaaS？
33

34. 今日お話すること
Azure 上での Kubernetes の動かし方
34
IaaS
• VM
PaaS
• Web
Apps
Container
• Container
Service
FaaS
• Functions

35. PaaS の進化
今までの PaaS
インフラを意識させない
簡単ゆえに複雑なことができない
これからの PaaS
Infrastructure as a Code
複雑だが簡単に使うことは可能
PaaS はこの先生きのこるために進化している

36. PaaS vNEXT - 次のPaaSは？
Container as a Service
クラウド・ネイティブ・プラットフォーム
コンテナ・アプリケーション・プラットフォーム
コンテナー 2.0
サーバーレス
Dockerをはじめコンテナが主役

37. まとめ
Docker使いましょう
Kubernetes を使って Docker を運用しましょう
Windows と Mac の Docker Edge バージョンにて Kubernetes
も一緒にインストールされます
minikube など別途インストールは不要になりました
AKS 動かしてみましょう
37

38. Mastering Kubernetes
on Azure
38

39. アジェンダ
概要
ネットワーク
ストレージ
39

40. 概要
40

41. Azure Container Service 概要
41
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes

42. Azure Container Service 概要
42
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
マスター
ロードバランサー
ノード

43. Azure Container Service 概要
43
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
マスター
ロードバランサー
ノード
k8sのLoadBalancer
が増えると、Azure
のPublic IPも増え
る

44. AKS の場合
44
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
マスター
はAzureで管理
無料
ノードはACSと
ほぼ同じ

45. ネットワーク
45

46. ルートテーブル
46
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
図にはない
ノード間の通信を
行うために必要

47. ルートテーブルの役割
47
podの通信を
ノード間で
src から dst へ
そのまま転送

48. ネットワークの動作確認方法
48

49. Network Watcherを使用した
トポロジの表示
49

50. Network Watcher - IP フローの確認
50

51. Network Watcher - 次ホップ
51

52. ストレージ
52

53. ストレージアカウントの制限
53

54. Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
Azure Container Serviceは
ストレージアカウントごとに10VM作られる

55. Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
種類 IOPS スループット
Standard 20000 5〜30Gbps
Premium - 50Gbps
https://docs.microsoft.com/ja-jp/azure/storage/storage-
scalability-targets
ストレージアカウントの制限

56. Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
種類 IOPS スループット
Standard 20000 5〜30Gbps
Premium - 50Gbps
https://docs.microsoft.com/ja-jp/azure/storage/storage-
scalability-targets
片方のストレージアカウントに負荷がか
かる場合
ストレージアカウント間の
負荷分散が出来ない

57. Azure Managed Disk(管理ディスク)
VM VM VM VM VM
VM VM VM VM VM
VM VM VM VM VM
VM VM VM VM VM
https://docs.microsoft.com/ja-jp/azure/storage/storage-scalability-targets
Managed Disk(管理ディスク）
になれば解決
サブスクリプション、ストレージアカウントの制限が無くなる
AKS は
Managed Disk(管理ディスク）
に対応

58. ストレージの制限
58

59. VM
VMのストレージ制限
https://docs.microsoft.com/ja-jp/azure/storage/storage-scalability-targets
Disk Disk
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
種類 IOPS スループット
Standard 20000 5〜30Gbps
Premium - 50Gbps
Disk 最大
64個
ストレージ
種類
IOPS スループット
Standard 20000 IOPS -
Premium 80000 IOPS 2000 MB/秒
VMに接続できるディスクの数で決まる

60. VM
Diskのストレージ制限
https://docs.microsoft.com/ja-jp/azure/storage/storage-scalability-targets
Disk Disk
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
種類 IOPS スループット
Standard 20000 5〜30Gbps
Premium - 50Gbps
Disk 最大
64個
ストレージ
種類
VM
Basic
VM
Standard
Standard 300 IOPS 500 IOPS
Premium 5000 IOPS 5000 IOPS
ストレージ
種類
VM
Basic
VM
Standard
Standard - -
Premium 200 MB/秒 200 MB/秒

61. VM
Diskのストレージ制限
https://docs.microsoft.com/ja-jp/azure/storage/storage-scalability-targets
Disk Disk
Azure Storage Account
VM VM VM VM VM
VM VM VM VM VM
種類 IOPS スループット
Standard 20000 5〜30Gbps
Premium - 50Gbps
Disk 最大
64個
ストレージ
種類
VM
Basic
VM
Standard
Standard 300 IOPS 500 IOPS
Premium 5000 IOPS 5000 IOPS
ストレージ
種類
VM
Basic
VM
Standard
Standard - -
Premium 200 MB/秒 200 MB/秒
Ignite 2018 で古い情報になって
しまいました

62. Ignite 2018での発表
62

63. Ignite 2018での発表
63
160,000 IOPS per disk

64. 20,000 IOPS ⇨ 160,000 IOPS
8倍ってヤバない？
1ディスク160,000 IOPS なんてフツーできへんやん。
Azureマジハンパないって。
64

65. ノードの更新
65

66. ノードはVMなので更新が必要
66
https://docs.microsoft.com/ja-jp/azure/container-
service/kubernetes/container-service-intro-kubernetes
マスターは
マネージドなので
更新不要
ノードは
管理が必要

67. ノードの更新方法
セキュリティ更新プログラムは夜間スケジュールでクラスター
内のノードに自動的に適用
ただし、必要に応じてノードが再起動されることを確認する必
要あり
67

68. ノードの再起動方法
Azure Portal または Azure CLI から手動で行う
AKS クラスターを手動アップグレード
cordon および drain ノードをアップグレード
最新の Ubuntu イメージを備えた各ノードのバックアップ
新しいパッチ バージョンまたは Kubernetes のマイナー バージョン
を取得
Kured （KUbernetes REboot Daemon） 自動化
Kubernetes 用のオープン ソースの再起動デーモン
DaemonSet として実行
再起動が必要性を監視し1ノードずつ再起動
68

69. そのほかまだまだ
リソース グループが 2 つのはなし
1ノードあたりPodの最大数は30
Azure portalでデプロイした場合のデフォルト
CLIの場合は110になっている
変更可能か不明
Ingress で Application Gateway v2 統合
Key Vault 統合
virtual kubelet + container instances
ノードレス
kubernetes 1.12 でVMSS対応 69

70. 参考資料
Azure Kubernetes Service に関する一般的な問題のトラブル
シューティング
Azure Kubernetes Service (AKS) についてよく寄せられる質問
70

71. 次にやること
Learn Kubernetes Basics
Microsoft Learn
https://docs.microsoft.com/ja-jp/learn/modules/intro-to-containers/
71

72. 72
Creating with you