MySQL operator for_kubernetes

Kubernetes를 위한 MySQL Operator
Kubernetes에서 MySQL에 대한 더 쉬운 관리
박 혜선
MySQL 솔루션 엔지니어
MySQL Global Business Unit, APAC
Nov, 2021
Kubernetes

1. MySQL 의 선택 옵션
2. Kubernetes 기본 개념
3. MySQL InnoDB Cluster 소개
4. MySQL Operater 소개
5. 결론 및 데모
Agenda
Copyright © 2021, Oracle and/or its affiliates. All rights reserved.
2

MySQL 에 대한 선택 옵션
클러스터의 고 가용성
Compute nodes / VMs
MySQL InnoDB Cluster
쉬운 설정
쉬운 관리
자동 페일 오버
관리 형 서비스 아님
Kubernetes
MySQL Operator
더 쉬운 설정
더 쉬운 관리
대부분 관리 형 서비스
Public Cloud
MySQL Database Service
가장 쉬운 설정
가장 쉬운 관리
완전 관리 형 서비스
3

Kubernetes
컨테이너화된 애플리케이션을 빠르게 자동적으로 배포하고, 컨테이너들의 오케스트레이션(orchestration),
스케일링 등을 제공하는 오픈 소스 기반의 컨테이너 관리 시스템
Operator
특정 서비스에 대하여 자동적으로 배포하고 관리하는 방법
MySQL Operator
• 배포
• 설정
• Self-healing
• 백업 & 복구
• 모니터링
• Kubernetes 에서 사용자 정의된 자원 사용
Kubernetes의 MySQL Operator 와 MySQL
InnoDB Cluster 의 공통한 목적은 서비스에 대한
더 쉬운 배포, 자동화 및 관리 입니다.
4

Pod
Kubernetes Glossary
Kubernetes 의 기본 실행 단위, 하나 혹은 하나 이상의 컨테이너를 실행
Kubernetes는 Pod이 실행 되지 않았다면 컨테이너가 실행 되지 않음을 알고 있음
Sidecar containers:
• Pod의 주요 컨테이너가 정상적으로 실행될 수 있도록 보조 작업 수행
• 관리를 위한 명령어를 실행할 수 있음
5

Deployment /Replicaset
Kubernetes Glossary
Deployments 는 Kubernetes 에서 애플리케이션 배포에 어떤 목적을 달성할 것 인지를 정의
• 애플리케이션의 가장 이상적인 상태를 정의
• 상태 및 기타 정의는 yaml 파일에 정의됨
Kubernetes 는 현재 상태와 설정된 상태와 비교하여 항상 설정된 상태로 유지하도록 관리
Deployments로 Pod을 관리:
• 지정된 순서대로 시작하지 않음
• Pod 에 장애가 나면 Kubernetes 는 새로운 Pod을 생성
• Pod의 상태를 저장하지 않음
stateless 애플리케이션을 실행할 경우 Deployment를 사용
6

Statefulset
Kubernetes Glossary
Statefulsets은 애플리케이션에 대한 배포를 관리하고 Pod에 대한 확장과 Pod의 유일함 및 순서 보장하는
기능 제공
Deployment와 비슷하지만 다른 특징을 가짐
• Replicasets에서 Pods은 익명(랜덤)으로 생성되지만 Statefulsets 에서는 고유한 ID를 가짐
• Pods은 특정된 순서대로 시작
• Pods은 임의로 대체할 수 없음
데이터베이스 서버 그룹을 실행할 경우 Statefulset을 사용
7

Service
Kubernetes Glossary
Services 는 Kubernetes 외부와 Deployment 혹은 Statefulset 사이에서 접속 인터페이스를 생성
• IP 주소를 관리
• 서비스 정보 제공
• 포트 매핑 처리
• 연결 로드 밸런싱 옵션으로 제공
Kubernetes 애플리케이션에 대한 네트워크 접속
8

storage
MySQL Container in Kubernetes Pod
Copyright © 2021, Oracle and/or its affiliates
9
Image: 컨테이너를 실행하는 템플릿 파일
Pod: MySQL Container + Sidecar containers
Statefulset : 여러 MySQL Pod을 묶어서 배포
PersistentVolume : 컨테이너에서 접근하여 데이터를
저장하는 디스크 볼륨 오브젝트.
PersistentVolumeClaim: 스토리지에 대한 요청, Pod과 PV를
연결하여 필요한 스토리지를 요청.
storage
9
Statefulset

High-Availability Fully Automated
Fault Tolerance
10

Group Replication
Application
MySQL Router
Primary Secondary
Secondary Secondary
Secondary
Single Primary Mode
MySQL Server
그룹 복제 기반 동기화 복제, Primary에서
Read/Write 처리, 나머지는 Read Only 처리
MySQL Router:
write 세션을 primary 서버로 전송;
Read-only 세션을 secondary 서버로 전송
MySQL Shell :
전체 클러스터에 대한 관리 인터페이스
MySQL Shell
11

Group Replication
Application
MySQL Router
Offline Primary
Secondary Secondary
Secondary
자동 페일오버
MySQL Servers 그룹 내부에서 자동적으로
멤버 중에서 새로운 primary 프로모션,
새로운 primary는 데이터 일관성을 보장한
상태에서 read-write 모드로 변경,
인위적으로 간섭할 필요 없음
MySQL Router 는 새로운 primary가 준비된
상태로 변경되면 writes 세션을 전송
MySQL Shell
12

멤버 추가 및 복구
확장과 복구는 자동적으로 완성되거나 혹은
MySQL Shell에서 간단한 명령어로 실행됨
• 새로운 멤버의 clone
• 멤버의 복구 및 catch up
Group Replication
Application
MySQL Router
Primary Secondary
Secondary
New Node
(offline)
Secondary
데이터가 동기화된 상태에서
online으로 변경
MySQL Shell
13

mysql-2
mysql-1
mysql-0
Kubernetes environment
application-0
apps-0
app-0 app-1
L
B
Container
Bins
Libs
App
Container
Bins
Libs
App
mysql-mon-0
mem-0
Container
Bins
Libs
MySQ
L
Monito
r
mysql-innodb-cluster-0
mysql-routers-0
router-0
Container
Bins
Libs
MySQ
L
Route
r
router-1
Container
Bins
Libs
MySQ
L
Route
r
L
B
mysql-servers-0
mysql-0
Container
Bins
Libs
MySQ
L
mysql-1
Container
Bins
Libs
MySQ
L
mysql-2
Container
Bins
Libs
MySQ
L
GR GR
prim
ary
14

Persisted Volume Claim (PVC)
Kubernetes Storage
Pod
/var/lib/mysql /backup
Persisted Volume Claim (PVC) Persisted Volume Claim (PVC)
Persisted Volume (PV) Persisted Volume (PV)
Physical Storage Physical Storage
optional optional
optional optional
data PVC (옵션) backup PVC (옵션)
Container
Bins & Libs
MySQL
15

MySQL Servers YAML file
---
apiVersion: apps/v1
kind: Statefulset
metadata:
……
spec:
Replicas: 3
….
spec:
containers:
- image: mysql/mysql-server:8.0
………
…………
volumeMounts:
- name: mysql-persistent-storage
mountPath: /var/lib/mysql
volumes:
- name: mysql-persistent-storage
persistentVolumeClaim
claimName: mysql-pv-claim
…………
Statefulset 선언 부분
InnoDB cluster 멤버 개수 설정
MySQL 컨테이너 이미지
MySQL 데이타 디렉토리
디스크로 마운팅
16

MySQL Router YAML file
---
apiVersion: apps/v1
kind: Replicaset
metadata:
……
spec:
Replicas: 2
….
spec:
containers:
- image: mysql/mysql-router:latest
………
…………
Statefulset 혹은 Deployment
선언
InnoDB cluster에 구성될
MySQL Router의 개수
MySQL Router
컨테이너 이미지
17

MySQL Operator for Kubernetes
Kubernetes
18

• 자동 배포 및 관리
• MySQL Server
• MySQL Router
• Self-Healing
• 백업 및 복구
• MySQL 서버 및 Router 의 자동 확장
• Community Edition, 오픈 소스 라이센스
• Enterprise Edition, 상용 라이센스
• 오라클의 완전한 지원
• 다운타임 최소화를 위한 롤링 업그레이드
• 설정 관리
• InnoDB CLONE 을 이용한 프로비저닝
• 프라이빗 컨테이너 저장소 등록
Public Pre-Release available on GitHub
19

MySQL Operator for Kubernetes + MySQL InnoDB Cluster
20

Oracle에서 제공하고 지원되는 공식 MySQL 컨테이너 배포판
• MySQL Server
• MySQL Router
Community 버전:
https://hub.docker.com/u/mysql
Commercial 버전:
https://container-registry.oracle.com
https://edelivery.oracle.com
https://support.oracle.com
추가 기능:
• Security/privacy plugins
• MySQL Enterprise Backup
MySQL 8.0 Container Images
21

K3s - Lightweight Kubernetes
Simple, all-inclusive, well-featured Kubernetes distribution by Rancher™.
MiniKube
Kubernetes cluster running locally on the host machine as VMs or Docker containers
Oracle Container Engine for Kubernetes (OKE)
Fully-fledged and managed Kubernetes environment in Oracle Cloud
All of the above environments use the same Yaml files and MySQL container images.
Popular Kubernetes Environments
22

Oracle Container Engine for Kubernetes
Oracle Cloud Native Services
+ part of Oracle Observability and Management Platform
Oracle Cloud Services for Cloud Native and DevOps
Monitoring+ Events
Streaming
Observability + Messaging
Cloud
Infrastructure
Registry
Oracle Cloud Infrastructure
Notifications+
Application Development + Operations
Logging+
Functions
API Gateway
Resource
Manager
Container
Engine for
Kubernetes
Developer
Cloud Service
23

20 or fewer
21 - 100
101 - 1000
1001 -
5000
5000+
Cloud native
fleet sizes
(#machines)
Cloud Native: 유행어이상으로 보급됨
82%
기업이 cloud native를 20+
머신에서 배포하고 있음
84%
기업이 운영 환경에서 cloud
native를 사용하고 있음
Source, CNCF Survey, Sample Size: 1337,
51% of organizations had 500+ employees
23%
69%
73%
84%
2016 2017 2018 2019
24

MySQL In Kubernetes Or As-A-Service
Oracle Cloud Infrastructure
Block
Storage
File
Storage
Object
Storage
HeatWave
Oracle Container Engine for Kubernetes (OKE)
Service Broker for
Kubernetes and
Endpoints
ü 완전 관리형 서비스
ü SQL + NoSQL
ü 고 가용성 옵션
ü 고 성능의 Heatwave 옵션
ü 강화된 보안: 자동 패치 및 업그레이드
ü 호환성: 온프레미스와 클라우드 사이
Service Brokers
Kubernetes에서 외부 OCI서비스에 참조되는
Service 생성
• MySQL Database Service
• Oracle Autonomous Database
• Object Storage
• ...
Persistent
Volumes
25

설치
Pre-GA버전 : https://github.com/mysql/mysql-operator
1- Apply Custom Resource Definition:
kubectl apply -f deploy_crds.yaml
2- Deploy operator
kubectl apply -f deploy-operator.yaml
3- Describe operator pod
kubectl -n mysql-operator get pod
kubectl describe pod -n mysql-operator <name>
$ kubectl describe pod -n mysql-operator <name>
NAME READY STATUS RESTARTS AGE
mysql-operator-db7d77794-x8bdm 1/1 Running 0 5s
$ kubectl -n mysql-operator exec -it mysql-operator-db7d77794-
x8bdm – cat /etc/hosts
# Kubernetes-managed hosts file.
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
10.1.0.7 mysql-operator-db7d77794-x8bdm
Output Sample:
26

27
생성
1- root 계정에게 사용될 "secret＂ 생성 :
kubectl create secret generic mypwds
--from-literal=rootUser=root
--from-literal=rootHost=%
--from-literal=rootPassword="your password”
2- Operator로 InnoDB Cluster 생성:
kubectl apply -f mycluster.yaml
operator 에서 다음과 같은 오브젝트를 생성:
• statefulset 과 MySQL server 서비스 mycluster
• pods mycluster-0, mycluster-1, mycluster-2 및 PVC, sidecar container agents
• replicaset 과 MySQL Router 서비스 mycluster-router
• pods mycluster-router-…, mycluster-router-…, no agents
apiVersion: mysql.oracle.com/v2alpha1
kind: InnoDBCluster
metadata:
name: mycluster
spec:
secretName: mypwds
instances: 3
router:
instances: 2

28
정보 확인
Innodb Cluster 상태 모니터링:
kubectl get innodbcluster --watch
클러스터의 IP주소를 확인:
kubectl get service mycluster
MySQL server의 스토리지(PVC) 상세 확인:
kubectl describe pvc datadir-mycluster-0
Create external connectivity (applications outside of Kubernetes):
kubectl port-forward service/mycluster mysql
kubectl load-balancing service/mycluster mysql

29
확장
kubectl edit innodbcluster mycluster
• 다운타임 없이 자동으로 확장됨
kind: InnoDBCluster
metadata:
name: mycluster
spec:
instances: 5
router:
instances: 3
kind: InnoDBCluster
metadata:
name: mycluster
spec:
instances: 3
router:
instances: 2

30
업그레이드
kubectl edit innodbcluster mycluster
• Kubernetes 는 InnoDB Cluster의 각 Pod을 순서대로 kill하고 다시 생성
• MySQL InnoDB Cluster 의 primary노드가 마지막으로 실행
• 롤링 업그레이드 지원
kind: InnoDBCluster
metadata:
name: mycluster
spec:
version: 8.0.26
router:
version: 8.0.26
kind: InnoDBCluster
metadata:
name: mycluster
spec:
version: 8.0.25
router:
version: 8.0.25

삭제
모든 자원을 단일 명령문으로 삭제
Kubectl delete innodbcluster mycluster
31

백업 설정
Backup PV
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: backup-volume
namespace: mysql-cluster
labels:
type: local
spec:
storageClassName: ""
claimRef:
name: backup-volume-claim-1
capacity:
storage: 2Gi
accessModes:
- ReadWriteOnce
hostPath:
path: /tmp/backupdir
type: DirectoryOrCreate
---
Backup PVC
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: backup-volume-claim-1
spec:
storageClassName: manual
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
---
Backup Profile
kind: InnoDBCluster
metadata:
...
spec:
...
backupProfiles:
- name: dump-instance-profile-pvc
dumpInstance:
dumpOptions:
excludeSchemas: ["excludeme"]
storage:
persistentVolumeClaim:
claimName:
backup-volume-claim-1
MySQL Shell Dump 인스턴스를 디스크 스토리지에 백업
32

백업 설정
OCI Object Storage Bucket
OCI Credential
kubectl create secret generic oci-credentials
--from-literal=user=<user>
--from-literal=fingerprint=<fingerprint>
--from-literal=tenancy=<tenancy>
--from-literal=region=us-ashburn-1
--from-literal=passphrase=<passphrase>
--from-file=privatekey=/path/to/oci_api_key.pem
Backup Profile
kind: InnoDBCluster
metadata:
...
spec:
...
backupProfiles:
- name: dump-instance-profile-oci
dumpInstance:
dumpOptions:
excludeSchemas: ["excludeme"]
storage:
ociObjectStorage:
prefix : /
bucketName: idbcluster_backup
credentials: oci-credentials
MySQL Shell Dump 인스턴스를 OCI Object Storage에 백업
33

Backup to PV/PVC
---
kind: MySQLBackup
metadata:
name: dump-test1
spec:
clusterName: mycluster
backupProfileName: dump-instance-profile-
pvc
Backup to OCI Object Storage Bucket
---
kind: MySQLBackup
metadata:
name: dump-test1
spec:
clusterName: mycluster
backupProfileName: dump-instance-profile-
oci
MySQL Operator for backup to PVC and OCI Object Storage Bucket
34

Self-healing cluster
Kubernetes 시스템에서 대규모 pods 상태 모니터링:
• 컨테이너 런타임에서 장애 컨테이너 자동 재 시작
• Kubernetes 에서 장애 pod 자동 재 시작
• Kubernetes 에서 호스트 노드가 장애 pod 자동 이동
• 등……
InnoDB Cluster:
• 데이터 로스 없음을 보장(RPO=0)
• 읽기 확장성 제공
• 자동 Failover 제공
MySQL Operator:
• InnoDB Cluster에 대한 더 쉬운 배포와 관리
• 완전하게 shutdown된 상태로부터 재 시작 가능
35

36
Demo

Conclusion
MySQL Operator는 Kubernetes 환경에서 MySQL InnoDB Cluster클러스터를 관리하도록 설계:
• 작업을 대폭 간소화
• 고 가용성 향상
• 사용자에게 보다 자연스러운 쿠버네티스 체험을 향상
• 현재 Pre-GA 릴리스로 제공
참고: https://github.com/mysql/mysql-operator
38

MySQL operator for_kubernetes

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie MySQL operator for_kubernetes

Ähnlich wie MySQL operator for_kubernetes (20)

Mehr von rockplace

Mehr von rockplace (20)

MySQL operator for_kubernetes