Recommended
More Related Content
What's hot
What's hot (20)
Similar to IBM Cloud Private Introduction
Similar to IBM Cloud Private Introduction (20)
More from Guangya Liu
More from Guangya Liu (12)
IBM Cloud Private Introduction
- 1. IBM Cloud Private简介 Guang Ya Liu (liugya@cn.ibm.com) Senior Architect Kubernetes Member Istio Maintainer Mesos Committer & PMC Member
- 2. 2 ICP架构
- 3. 3 Use Cases driving Private Cloud Adoption 1. Optimize legacy apps with cloud Private Cloud Platform Containers & VMs Common Services Next Generation Middleware, Data & Analytics Automation & Orchestration Cloud-enabled middleware Self-service Experience 2. Open your datacenter to work with cloud services Integration Services & Cloud Native Programming Models Automation & Orchestration Integration & Hybrid Cloud APIs Public Cloud Services Machine Learning on p/z Blockchain Business Process Data & Apps 3. Create new cloud native applications Cloud Native Services & Runtimes New Applications New Applications On-Premises Software & Services Private Cloud Platform Containers & VMs Common Services Private Cloud Platform Containers & VMs Common Services Automation & Orchestration
- 4. 4 IBM Cloud Private-组件选型 类型 组件名称 组件功能 选型原因 备注 开源组件 Calico 容器网络服务 性能较优，对操作系统内核以来较低，大规模 部署情况下组网较灵活，支持网络隔离策略 Helm/Tiller 应用包部署，升级等管理 服务 开源社区活跃，有大量应用包可以直接部署， Kubernetes生态圈项目 Istio&zipkin 微服务治理 非侵入式，Google，IBM，Lyft发起，很好的兼 容Kubernetes，IBM公有云已经在使用。 Filebeat 日志收集Agent 基于golang开发，较易于定制和二次开发；和 ELK其他组件属于同一家公司，易于维护 Prometheus 容器监控服务 社区活跃，有大量可接入的Agent, 与 Kubernetes共同属于CNCF项目。 Terraform IaaS层接口，Infrastructre as code 社区活跃，已经有大量生产环境使用经验， IBM公有云和内部的DevOps已经大规模使用 Terraform。 Service Catalog 应用目录界面及应用包 （Helm chart）管理。 Kubernetes生态圈项目，IBM是该项目的Lead， 能提供很好的技术支持。
- 5. 5 ICP组件 四种节点角色 o Master o Worker o Proxy o Management
- 7. 7 资源调度 1. 容器调度 – Kubernetes原生功能 a) 根据资源组调度 b) 容器和容器的亲和，反亲和策略 c) 容器和计算节点的亲和，反亲和策略 智能调度
- 8. 8 高可用 2. 容器高可用、故障恢复-Kubernetes原生功能 a) 对部署好的容器可以方便的进行健康状态检查， 并在容器出现故障时能够自动恢复 b) 容器发生漂移时，不影响前端对服务的访问 c) 为节点加入taint，保证不能接受taint的服务不能部 署在该节点。这个功能可以实现如果某节点因为 环境问题，调度总是失败时，可以通过taint避免 调度新的容器到该节点 自修复
- 9. 9 应用商店管理 q 把常用的应用放在PaaS云 应用商店，简化安装部署。 q 借助Terraform实现虚拟机 和容器混合应用管理 q 支持胖模板和瘦模板 Ø 胖模板包含镜像文件
- 10. 10 弹性伸缩 1. 基于CPU等系统核心KPI使用率弹性伸缩 • Kubernetes原生功能 2. 基于时间弹性伸缩 • 借助Kubernetes CronJob实现 • 指定弹性伸缩的时间区域 • 例如早上8：00增加容器 • 晚上8：00删除容器 apiVersion: batch/v2alpha1 kind: CronJob metadata: name: scale-up namespace: default spec: schedule: "00 08 * * *" # Run at 8:00 PM every day jobTemplate: spec: template: spec: containers: - name: scale image: gyliu/kubectl:v1.7.3 command: - kubectl.sh - kubectl - scale - --replicas=3 - deployment/my-nginx restartPolicy: OnFailure
- 12. 12 ICP监控界面
- 13. 13 ICP定制监控界面
- 18. 18 网络隔离策略
- 19. 19 网络隔离策略
- 20. 20 网络隔离策略
- 21. 21 ICP网络 q Kube Proxy模式 Ø IPTABLES Ø IPVS – 1.9 Beta Ø UserNamespace q IPTABLES缺陷 Ø 不支持增量更新 Ø IPTABLES chain比较多时，性能差 q 5000个服务，40000 Rules，增加一条rule需要11分钟 q 20000个服务，160000 Rules，增加一条rule需要5个小时！
- 22. 22 IPTables Example # Iptables –t nat –L –n Chain PREROUTING (policy ACCEPT) target prot opt source destination KUBE-SERVICES all -- anywhere anywhere /* kubernetes service portals */ ← 1 DOCKER all -- anywhere anywhere ADDRTYPE match dst-type LOCAL Chain KUBE-SEP-G3MLSGWVLUPEIMXS (1 references) ← 4 target prot opt source destination MARK all -- 172.16.16.2 anywhere /* default/webpod-service: */ MARK set 0x4d415351 DNAT tcp -- anywhere anywhere /* default/webpod-service: */ tcp to:172.16.16.2:80 Chain KUBE-SEP-OUBP2X5UG3G4CYYB (1 references) target prot opt source destination MARK all -- 192.168.190.128 anywhere /* default/kubernetes: */ MARK set 0x4d415351 DNAT tcp -- anywhere anywhere /* default/kubernetes: */ tcp to:192.168.190.128:6443 Chain KUBE-SEP-PXEMGP3B44XONJEO (1 references) ← 4 target prot opt source destination MARK all -- 172.16.91.2 anywhere /* default/webpod-service: */ MARK set 0x4d415351 DNAT tcp -- anywhere anywhere /* default/webpod-service: */ tcp to:172.16.91.2:80 Chain KUBE-SERVICES (2 references) ← 2 target prot opt source destination KUBE-SVC-N4RX4VPNP4ATLCGG tcp -- anywhere 192.168.3.237 /* default/webpod-service: cluster IP */ tcp dpt:http KUBE-SVC-6N4SJQIF3IX3FORG tcp -- anywhere 192.168.3.1 /* default/kubernetes: cluster IP */ tcp dpt:https KUBE-NODEPORTS all -- anywhere anywhere /* kubernetes service nodeports; NOTE: this must be the last rule in this chain */ ADDRTYPE match dst-type LOCAL Chain KUBE-SVC-6N4SJQIF3IX3FORG (1 references) target prot opt source destination KUBE-SEP-OUBP2X5UG3G4CYYB all -- anywhere anywhere /* default/kubernetes: */ Chain KUBE-SVC-N4RX4VPNP4ATLCGG (1 references) ← 3 target prot opt source destination KUBE-SEP-G3MLSGWVLUPEIMXS all -- anywhere anywhere /* default/webpod-service: */ statistic mode random probability 0.50000000000 KUBE-SEP-PXEMGP3B44XONJEO all -- anywhere anywhere /* default/webpod-service: */
- 23. 23 1.Team（用户组）为租户的基本单元 2.可为TEAM中的人员分配不同角色 § Admin § Operator § Editor § Viewer 3.可以将resource与team关联起来 § resource和team是多对多的关系 4.可以通过API自定义resource 安全保障能力-支持多租户和资源隔离
- 24. 24 镜像和容器扫描 • 用户最终可以通过查看容器或者 镜像的安全扫描结果报告，确认 容器或者镜像是否有安全漏洞。 • 同时还会扫描每个 node上运行的容器。 • 用户往私有镜像库 push 镜像就会触发 镜像扫描。
- 25. 25 多集群 ICP集成了Kubernetes的 federation功能 a) 跨集群部署应用 b) 多集群负载均衡 c) 容器跨集群漂移 Ø 当一个集群宕机后， 该集群的容器会自动 漂移到正常的集群。
- 26. 26 互联网 HAProxy …… HostPort POD1 PODN POD1 PODN…… HostPort Etcd cluster Confd Monitor Docker Docker Moitor • HAProxy动态路由至应用 容器 • Confd监控etcd发现应用容 器 • 容器生命周期管理 • 容器启动时将自身信 息写入etcd • 容器停止时将信息从 etcd删除 • 注册监控模块监控并同步 本机容器信息到etcd 多集群负载均衡
- 27. 27 • Keepalived Cloud Provider Ø 管理LoadBalancer服务 的IP Ø 更新ConfigMap的服务 列表 • Keepalived VIP Manager Ø 作为Daemonset部署在 所有节点 Ø 从Cloud Provider VIP configmap获取服务列表 Ø 从Kubernetes获取服务 的endpoint Ø 更新keepalived conf Ø 重启Keepalived以重新 加载keepalived conf 多集群负载均衡
- 28. 28 p Persistent (Networked) ü GCE Persistent Disk ü AWS Elastic Block Store ü Azure File Storage ü Azure Data Disk ü iSCSI ü Flocker ü NFS ü vSphere ü GlusterFS ü Ceph File and RBD ü Cinder ü Quobyte Volume ü FibreChannel ü VMWare Photon PD ü Dell EMC ScaleIO p Ephemeral (local) ü Empty dir (and tmpfs) ü Expose K8s API o Secret o ConfigMap p Other ü Host path p New ü Local Persistent Storage ICP 存储 p IBM Only ü Spectrum Scale (GPFS) ü IBM商业化存储
- 29. 29 ICP 存储
- 30. 30 ICP 日志
- 31. 31 通过Istio实现了微服务治 理的功能，主要包括分流，限 流，熔断，服务发现，服务跟 踪，服务拓扑结构展示等功能。 HTTP/1.1, HTTP/2, gRPC, TCP HTTP/1.1, HTTP/2, gRPC, TCP with or without TLS Internet svcA Envoy Pod Envoy Ingress Envoy (ingress controller in K8S) Service A svcB Envoy Service B Envoy Egress Envoy External Services svcA Envoy Pod Service A svcB Envoy Service B Trace Headers X-B3-TraceId X-B3-SpanId X-B3-ParentSpanId X-B3-Sampled X-B3-Flags svcC Envoy Service C SpansSpans Prometheus InfluxDB Zipkin Adapter Stackdriver Adapter Custom Adapter Mixer Prometheus Zipkin InfluxDB Stackdriver Custom backend svcA Envoy Pod Service A svcB Envoy Service B Pilot Control Plane API Mixer Control flow during request processing Istio-Auth Traffic is transparently intercepted and proxied. App is unaware of Envoy’s presence istio微服务治理
- 32. 32 istio微服务治理 // A simple traffic splitting rule destination: serviceB.example.cluster.local match: source: serviceA.example.cluster.local route: - tags: version: v1.5 env: us-prod weight: 99 - tags: version: v2.0-alpha env: us-staging weight: 1 流量分发
- 33. 33 istio微服务治理 流量亲和性 // Content-based traffic steering rule destination: serviceB.example.cluster.local match: httpHeaders: user-agent: regex: ^(.*?;)?(iPhone)(;.*)?$ precedence: 2 route: - tags: version: canary
- 36. 36 外部服务集成 • Service Catalog是IBM在Kubernets社区发起的外部服务集 成的项目。 • ICP通过Service Catalog和外部服务集成，兼容所有的CF 的Service Broker。 • 用户可以根据自己的需求定制service broker。
- 37. 37 多云集成
- 38. 38 ICP 主要优势 q 安装升级：通过容器管理所有的PaaS云系统服务，便于安装，升级 q 多集群管理：可以实现多集群应用部署和跨集群负载均衡。 q DevOps：ICP通过集成IBM的Microservice Builder实现了DevOps的功能， 包括代码托管，镜像自动编译，应用自动部署，自动产生DevOps分析报 告的功能。 q 微服务治理：ICP通过IBM在开源社区领导的开源项目istio实现了微服务 治理的功能，主要包括分流，限流，熔断，服务发现，服务跟踪，服务 拓扑结构展示等功能。 q 外部服务集成：ICP通过IBM在开源社区领导的开源项目service catalog实 现了和外部应用对接的能力。例如ICP可以通过service catalog对接外部 的一些数据库服务，第三方PaaS平台上的一些服务等等。 q 多云集成：通过集成Terraform/CAM实现了对不同云平台的集成。 q 开源社区的领导者：IBM在容器相关的社区，例如Kubernetes，istio， Docker等有多个核心开发成员，可以很好的帮助用户提供技术支持。
- 39. Thanks