NGINX Japanのテクニカルソリューションアーキテクトである鈴木孝彰が、NGINXが組み込まれたIngressコントローラによる大規模なKubernetesデプロイの管理と、Kubernetesクラスタ内のアプリケーションの安全、確実、高速なデリバリーについてご説明します。

1. NGINX 東京ハッピーアワー
「DevOpsプラクティスによるクラウドでのKubernetesの利⽤」
F5ネットワークスジャパン合同会社
NGINX – テクニカルソリューションズアーキテクト
鈴⽊ 孝彰

2. アジェンダ
• F5 Networks, NGINX / NGINX Plusについて
• Kubernetes
• Kubernetes Ingress
• NGINX Ingress コントローラー
• Public Cloudや物理環境での利⽤
• NGINX Ingress コントローラー設定
• マイクロサービスやサービスメッシュ環境について
• NGINX Ingressコントローラーの監視やモニタリング
• F5 / NGINXの今後について
• 休憩
• デモ

5. NGINX and NGINX Plus
• NGINX – オープンソース, コミュニティ
◦ Web サーバーとコンテンツ キャッシュ
◦ レイヤー4/7 ロード バランシング
◦ ⾼負荷サイトはNGINXを選択してします
◦ DockerHubイメージ No1.ダウンロード
• NGINX Plus – 商⽤版, F5ネットワークス
◦ ⾼度な機能と24x7サポート
◦ JWT 認証
◦ 動的再構成⽤ NGINX PLUS REST API
◦ 動的 DNS 解決
◦ アクティブヘルスチェック

6. NGINX OSS, NGINX Plus (商⽤版)
WAF
機能
Web
サーバ
キャッシュ
ファイア
ウォール
ローバランサ
ド
SSL
リバース
プロキシ
認証
ゲートウェイ
API
ゲートウェイ
アプリケーション
サーバ
<··>
<··>
6
OSS
商⽤ 商⽤ 商⽤ 商⽤ 商⽤ 商⽤
OSS OSS OSS
商⽤OSS
Ingress Controller
OSS
Prometheus対応
Dashboard
https://interact.f5.com/jp-products-nginxplus-acquisition.html
https://docs.nginx.com/

7. NGINX OSS, NGINX Plus (商⽤版)
WAF
機能
Web
サーバ
キャッシュ
ロード
バランサ
SSL
リバース
プロキシ
認証
ゲートウェイ
API
ゲートウェイ
アプリケーション
サーバ
<··>
<··>
7
OSS
商⽤ 商⽤ 商⽤ 商⽤ 商⽤ 商⽤
OSS OSS OSS
商⽤OSS
Ingress Controller
OSS
Prometheus対応
Dashboard
https://interact.f5.com/jp-products-nginxplus-acquisition.html
https://docs.nginx.com/
ファイア
ウォール

8. Kubernetes はコンテナ化されたアプリケーションの
展開やスケーリング、及び管理を⾃動化するための
オープンソースプラットフォームです.

9. Kubernetesはコンテナ⽤のプラットフォーム
• 実⾏環境に依存しない
(Desktop, VMware, AWS, GKE, IBM Cloud)
• クラウドネイティブ
• ローリングアップデート
• 低いオーバーヘッド
• ⽔平スケーリング
• L7ロードバランシング (Ingress)
• YAML… and more!

10. Kubernetesはコンテナ⽤のプラットフォーム
• 実⾏環境に依存しない
(Desktop, VMware, AWS, GKE, IBM Cloud)
• クラウドネイティブ
• ローリングアップデート
• 低いオーバーヘッド
• ⽔平スケーリング
• L7ロードバランシング (Ingress)
• YAML… and more!

11. Kubernetes Ingress

12. Kubernetes Ingress
• Kubernetes リソース
• 利点
•外部からアクセス可能な URL
•⾼度なL7ロードバランシング
•SSL/TLS
•SNI (ホスト名ベースのルーティング)

13. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤ (Ingress Controller)
https://github.com/nginxinc/kubernetes-ingress
NGINX Plusを⼊り⼝として
Kubernetesアプリケーションを作成
• ⾼度な負荷分散とSSL/TLS 終端
• WebSocket と HTTP/2 のサポート
• リクエストがアプリケーションに
転送される前にURI 書き換え
• 動的な再構成
• セッション維持
• JWT authentication
• 24x7 サポート

14. NGINX Ingress Controller ⽐較
機能等 kubernetes/ingress-nginx nginxinc/kubernetes-ingress
with NGINX
nginxinc/kubernetes-ingress
with NGINX Plus
開発者 Kubernetes コミュニティ F5 / NGINX Team,コミュニティ F5 / NGINX Team
NGINX バージョン カスタム NGINX ビルド
サードパーティモジュール
公式OSS NGINX (mainline) NGINX Plus (商用版)
商用サポート 無 無 有
Ingress対応 有 有 有
Annotations対応 有 有 有
ConfigMaps対応 有 有 有
TCP/UDP Extension対応 有 有 有
JSON Web Token認証 無 無 有
拡張ステータス 有(サードパーティモジュール) 無 有
Prometheus対応 有 有 (OSSメトリクス) 有 (商用版メトリクス)
動的設定変更 無 無 有

15. MORE INFORMATION AT NGINX.COM
Kubernetes環境でのNGINX Ingress Controller設定変更
Annotations ConfigMap
https://github.com/nginxinc/kubernetes-
ingress/blob/master/docs/configmap-and-annotations.md
• AnnotationsはConfigMapよりも優先されます。

16. NGINX Ingress Controllers

17. Public Cloudでの利⽤
https://cloud.google.com/community/tutorials/nginx-ingress-gke

18. Public Cloudでの利⽤
https://www.brandonbarnett.io/blog/2018/05/how-kubernetes-ingress-and-loadbalancer-resources-work-together/
https://docs.microsoft.com/ja-jp/azure/aks/ingress-basic

19. Public Cloudでの利⽤
https://cloud.ibm.com/docs/containers?topic=containers-ingress&locale=ja#user_managed
https://www.nginx.com/partners/ibm/

20. Public Cloudでの利⽤
https://aws.amazon.com/blogs/opensource/network-load-balancer-nginx-ingress-controller-eks/

21. kube-proxykube-proxy
hello
kube-proxy
hello
NodePort NodePort NodePort
hello
物理環境での利⽤
kube-proxy mode: IPVS

22. kube-proxykube-proxy
hello
kube-proxy
hello
NodePort NodePort NodePort
hello
LB
物理環境での利⽤
BIG-IP Global DNS (GTM)
kube-proxy mode: IPVS

23. kube-proxykube-proxy
hello
kube-proxy
hello
NodePort NodePort NodePort
hello
LB
物理環境での利⽤
BIG-IP
(LTM)
kube-proxy mode: IPVS

24. kube-proxykube-proxy
hello
kube-proxy
hello
NodePort NodePort NodePort
hello
LB
仮想環境での利⽤
BIG-IP VE Edition (LTM)
VMware
kube-proxy mode: IPVS

25. どのようにIngressを利⽤するか?

26. MORE INFORMATION AT NGINX.COM
NGINX PlusNGINX OSS
NGINX Ingress Controller v1.5 設定変更

27. Ingress Example – URL ベースのルーティング

28. NGINX Ingress Controller URLベースルーティング
http://example.com/
Upstream: foo-service:80
Upstream: bar-service:80
/foo
/bar
NGINX Ingress Controller

29. Ingress Example – ホストベースのルーティング

30. NGINX Ingress Controller ホストベースルーティング
http://foo.example.com/ Upstream: foo-service:80
Upstream: bar-service:80
NGINX Ingress Controller
http://bar.example.com/

31. Ingress Example – SSL オフロード

32. NGINX Ingress Controller SSL終端
https://cafe.example.com/
Upstream: foo-service:80
Upstream: bar-service:80
/foo
/bar
NGINX Ingress Controller

33. MORE INFORMATION AT NGINX.COM
- -enable-custom-resources
NGINX PlusNGINX OSS
NGINX Ingress Controller v1.5 設定変更
New!
(*Preview)

34. NGINX Ingress Controller v1.5 設定変更
VirtualServer
VirtualServerRoute
apiVersion: k8s.nginx.org/v1alpha1
kind: VirtualServer
metadata:
name: vs
spec:
host: virtual.example.com
tls:
secret: cafe-secret
upstreams:
- name: tea
service: tea-svc
port: 80
routes:
- path: /aaa
upstream: tea
- path: /ccc
route: default/ccc
新しいL7ルーティング構成のご提案です。
トラフィック分割や⾼度なコンテンツ ベースのルーティングなど、
Ingressでサポートされていないユース ケースが有効になります。
カスタムリソース

35. CustomResource: URLベースルーティング
http://example.com/
Upstream: foo-service:80
Upstream: bar-service:80
/foo
/bar
Virtual Server

36. CustomResource: ホストベースルーティング
http://foo.example.com/ Upstream: foo-service:80
Upstream: bar-service:80
NGINX Ingress Controller
http://bar.example.com/
Virtual Server

37. CustomResource 設定例
https://example.com/app/
Upstream: Backend-A
Upstream: Backend-B
GET
POST
VirtualServer VirtualServerRoute

38. CustomResource 設定例
https://example.com/app/
weight:90
weight:10
Upstream: Backend-Stable
Upstream: Backend-Canary
VirtualServer VirtualServerRoute

39. NGINX Ingress Controller 設定例
VirtualServer VirtualServerRoute
https://example.com/app/
Cookie
Non-Cookie
Upstream: Backend-App-A
Upstream: Backend-App-B

40. MORE INFORMATION AT NGINX.COM
- -enable-custom-resources
NGINX PlusNGINX OSS
NGINX Ingress Controller 設定変更 (CustomResources)
New!
(*Preview)

41. どのように展開していきますか?

42. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤

43. MORE INFORMATION AT
NGINX.COM
Proxy Model
Ingress Controllerを利⽤
- リバースプロキシ
- ロードバランシング
- SSL処理
- キャッシュ
- セッション維持

44. MORE INFORMATION AT
NGINX.COM
Router Mesh
Model
前段で利⽤
- Ingress Controller
- リバースプロキシ
- インバウンドルーティング
中央で利⽤
- NGINX Plus
- ロードバランシング
- サービスヘルスチェック
for サーキットブレーカー
- 帯域制御/レートリミット
- サービスディスカバリ

45. MORE INFORMATION AT
NGINX.COM
The Fabric Model
前段で利⽤
- Ingress Controller
- リバースプロキシ
- インバウンドルーティング
コンテナ内で利⽤
(サイドカー パターン)
- NGINX Plus
- サービス間通信
- ロードバランシング
- サービスヘルスチェック
- 帯域制御/レートリミット
- サービスディスカバリ

46. MORE INFORMATION AT NGINX.COM
サイドカー?
• サイドカーはアプリケーションサービスの横に位置し、そのアプリ
ケーションコンテナにすべてのインバウンドおよびアウトバウンド
ネットワークルーティングを提供するリバースプロキシになります。

47. MORE INFORMATION AT NGINX.COM
F
E
サイドカーアーキテクチャ
E
E
F
F
D
D
D
• アウトバウンド ロードバランシング
• サービスディスカバリー
• 認証/認可
• SSL ターミネーション(mTLS)

48. MORE INFORMATION AT NGINX.COM
F
E
サービスメッシュ
E
E
F
F
D
D
D
サービス メッシュ コントロール プレーン
サイドカー ポリシー定義,
施⾏と管理

49. MORE INFORMATION AT NGINX.COM
サービス メッシュ ポリシー
• Network Policy
• サービスルーティングへのサービス
• サービスの可⽤性
• サービスの検出
• Access Policy
• IP ホワイトリスト/ブラックリスト
• Allow/Deny
• JWT
• Security Policy
• SSL Termination
• DDoS
• WAF
E
F

50. MORE INFORMATION AT NGINX.COM
Istio Service Mesh
Config設定 Policy管理
mTLS
証明書管理
サービス間通信

51. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤

52. どのように監視しますか?

53. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤ (Prometheus連携)
- -enable-prometheus-metrics
NGINX PlusNGINX OSS
Updated!

54. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤ (Prometheus連携)
- -enable-prometheus-metrics
NGINX PlusNGINX OSS
Updated!

55. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤ (Prometheus連携)
- -enable-prometheus-metrics
NGINX PlusNGINX OSS
Updated!

58. MORE INFORMATION AT NGINX.COM
Kubernetes環境での利⽤ (OpenTracing 連携)
ConfigMap, opentracing: true
NGINX PlusNGINX OSS

59. NGINX Plus と OpenTracing
https://opentracing.io/
https://www.nginx.com/blog/opentracing-nginx-plus/

60. NGINX Plus と OpenTracing
https://opentracing.io/
https://www.nginx.com/blog/opentracing-nginx-plus/

61. F5 BIG-IP と NGINX Ingress Controller の今後

62. F5 BIG-IP と NGINX Plus Ingress Controller の今後
BETTER TOGETHER: ON-PREMISES OR CLOUD
L4:TCP
Provide Reliable External Access to Kubernetes
L7: WAF Security
Apply application specific security policy
セキュリティ リバースプロキシ
外部接続
キャッシュ

63. まとめ
-クラウド/物理環境でNGINX Ingress Controllerを利⽤していただけます.
- F5 NetworksによりNGINXを作成しているチームがサポートします.
- 今後 F5 Networks + NGINX を組み合わせたユースケース.

64. 5分間休憩
デモ: NGINX Plus Ingress Controller

65. 本⽇のデモ
• Ingress
• URLベースルーティング
• Hostnameベースルーティング
• Annotation, ConfigMap
• http2有効
• Stickyセッション維持
• Custom Resource
• アクセス振分の重み付け
• リクエストメソッドベースルーティング
• 動的スケールアウト/ダウン
• Prometheus + Grafana

66. Demo環境 (GKE, NGINX Plus Ingress Controller)
Version 1 Version 2
Chromeブラウザー

67. NGINX Ingress Controller URLベースルーティング
https://nginx.example.com/
Upstream: nginx-v1-svc:80
Upstream: nginx-v2-svc:80
/v1
/v2
NGINX Ingress Controller

68. NGINX Ingress Controller ホストベースルーティング
https://nginx-v1.example.com/ Upstream: nginx-v1-svc:80
Upstream: nginx-v2-svc:80
NGINX Ingress Controller
https://nginx-v2.example.com/

69. CustomResource 設定例 (重み付け)
https://virtual-splits.example.com/
weight:90
weight:10
Upstream: nginx-v1-srv (Stable)
Upstream: nginx-v2-srv (Canary)
VirtualServer VirtualServerRoute

70. CustomResource 設定例 (GET/POST)
https://virtual-content.example.com/
Upstream: nginx-v1-svc
Upstream: nginx-v2-svc
GET
POST
VirtualServer VirtualServerRoute

71. 本⽇のデモ
• Ingress
• URLベースルーティング
• Hostnameベースルーティング
• Annotation, ConfigMap
• http2有効
• Stickyセッション維持
• Custom Resource
• アクセス振分の重み付け
• リクエストメソッドベースルーティング
• 動的スケールアウト/ダウン
• Prometheus + Grafana

72. Q&A
質問コーナー

73. ご参加ありがとうございました.
Thank you!