オンプレミスK8s環境構築時に検討し(た|ている)事項まとめ

Copyright Cybertrust Japan Co., Ltd. All rights reserved. 公開
1
2018/12/04
サイバートラスト株式会社営業本部 OSS営業統括部テクニカルアライアンス部
佐藤剛春
オンプレミスK8s環境構築時に
検討し(た|ている)事項まとめ
公開

おことわり
本資料は個人的に作成したものであり、所属組織の見解を代表する
ものではありません。
本資料は半日程度で思いつくままに羅列したものであり、正確性を
保証するものではありません。大いに考察不足があると考えられます
ので、Forum (Ops-Meetup)にて考察が補強されることを期待します。

物理層
建造物
物理ネットワーク
ソフトウェア層
オーケストレータ
環境自動構築
コンテナランタイム (番外編)
SDN
仮想ネットワークその他の要素
ストレージ
監視
分散トレース
etc.
制約事項の抽出

建造物
耐荷重
電源容量
→ 物理的に配置可能な台数が判明
物理ネットワーク
建造物内
建造物間
→ コントローラ, ストレージ等の配置に影響
接続ポリシー
 メンテナンス用ネットワークに、Internetに対する接続性を許容するか
→ 通常のデプロイ手段での構築可否
集約・分散のトレードオフから最適解を見つけたい
物理層

オーケストレータ
選択肢
 Kubernetes, Swarm, MESOS, RANCHER, OpenShift
誰がどの範囲をサポートするのか？
※オンプレミス環境が前提 (KaaS, CaaS, PaaS等は考慮しない)
 Kubernetes
 Canonical, Red Hat, SUSE等がサポート
 RANCHER
 レイヤが違うソフトウェアだが、取り扱いの都合上ひとまとめに
 RANCHER LABSがサポート可能
 サポート内容がTeleco業界の期待値と合致しないように思える
 OpenShift
 Red Hatがサポート
 当方、様々な要因から調査不足…
ソフトウェア層#1

環境構築 (自動構築必須)
Kubernetes on OpenStack
 Magnum, Zun, RANCHER, etc.
 OpenStack層は…？
MAAS, Juju
 Canonical Distribution of Kubernetes
 物理層からの構築が可能
OpenShift
 物理層からの構築が可能

コンテナランタイム (番外編)
containerd
 現時点での現実的な選択肢
gVisor
 gVisor can run sandboxed containers in a Kubernetes cluster with cri-o, although this is not
recommended for production environments yet.
Kata Containers, rtk
 時期的な要因から未検討
参考: コンテナランタイムの動向を整理してみた件
https://qiita.com/mamomamo/items/ed5db2ab1555078f8a24

SDN
Flannel
 overlay network特有の事情
Calico
 iptablesを利用したIP Routing
OpenShift SDN
 Open vSwitch + VXLAN
Tungsten Fabric
 どのように導入するか要検討
Contiv, Nuage Network, Weave
 …
Istio + *
 Envoyが本命の模様、ただし若すぎる

仮想ネットワークその他の要素
サービスネットワーク―外部ネットワーク間の通信
 オンプレミスKubernetes最大のpain point
 MetalLB, HA-Proxy, etc.
 Tungsten Fabricなら、容易に乗り越えられるのでは？
既存ネットワークとの接続構造
 kubectlコマンドはメンテナンス側からのみ実行されるとは限らない
ストレージ
Docker Registry用途等
商用ストレージ
OSS
 Ceph
 Bare-metal, Rook, etc.
 GlusterFS

監視
コンテナ稼働状況
 Prometheus
ノード監視
 Prometheus + node-exporter
 Datadog, Mackerel
 H/Wはどのように監視するか？
ログ収集
 ELK, EFK
 Dynatrace

分散トレーシング
障害解析の観点から必要性が問われる
 特にservice mesh？
OpenTracing
 Tracer: Jaeger, Zipkin, etc.
 構成要素全てが対応しないと、完全統一は不可能
出典: OpenTracing Overview
https://opentracing.io/docs/overview/

バージョン固定
Pure Kubernetesは、稼働中の環境が勝手にバージョンアップされる
 Internetから切り離せば回避可能
 通常のデプロイはInternet必須
→ 何らかの解決策を設ける必要がある
特定バージョンのサポート期間, バージョンアップ頻度, サービス停止可否
 元来「止まらないはず」のサービスだが…
サポート
使用したい組み合わせで、期待するレベルのサポートを受けられるか？

信頼とともに
留意事項
本資料に記載されている会社名、製品名、サービス名は、当社または各社、各団体の商標もしくは登録商標です。
その他本資料に記載されているイラスト・ロゴ・写真・動画・ソフトウェア等は、当社または第三者が有する知的財産権やその他の権利により守られております。
お客様は、当社が著作権を有するコンテンツについて、特に定めた場合を除き、複製、改変、頒布などをすることはできません。
本資料に記載されている情報は予告なしに変更されることがあります。また、時間の経過などにより記載内容が不正確となる場合がありますが、当社は、当該情報
を更新する義務を負うものではありません。

オンプレミスK8s環境構築時に検討し(た|ている)事項まとめ

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie オンプレミスK8s環境構築時に検討し(た|ている)事項まとめ

Ähnlich wie オンプレミスK8s環境構築時に検討し(た|ている)事項まとめ (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (9)

オンプレミスK8s環境構築時に検討し(た|ている)事項まとめ