Skalovanie v kubernetes

1. Škálování v SCIF Kubernetes
s Horizontal Pod Autoscaler-em
Jozef Juris
DevOps

2. ➔ O Seznamu
➔ Jak funguje Doporučování
➔ Škálování podle CPU metriky
➔ Škálování podle vlastní metriky
➔ Rozdíly mezi starým a novým HPA
O čem to bude?

3. O Seznamu
➔ != Zoznam.sk
➔ seznamzpravy.cz
televizeseznam.cz garaz.cz
prozeny.cz
➔ classicpraha.cz expresfm.cz
➔ novinky.cz super.cz sport.cz
➔ email.cz mapy.cz sklik.cz
➔ sauto.cz sbazar.cz
sreality.cz

4. Seznam Compute Infrastructure
➔ 2 + 1 + 1 serverovne
➔ Kubernetes
➔ Openstack
➔ ElasticSearchaaS, MonitoringaaS, MySQLaaS,...
➔ Montovna

5. Doporučování
Message
queue
Consumer
Trainer
Contentserver

6. Škálování contentserveru
popis komponenty
➔ CPU intenzivní
➔ 8000 požadavků/s
➔ max 200 ms
➔ 99% dostupnost

7. Škálování contentserveru
problém
➔ Přelévání trafficu
➔ Společenské události
➔ Efektivita využití zdrojů
➔ Manuální práce

8. Škálování contentserveru
řešení - metrika průměrné využití CPU

9. Škálování contentserveru
konfigurace škálovače
apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
name: contentserver
spec:
maxReplicas: 50
minReplicas: 4
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: contentserver
targetCPUUtilizationPercentage: 80

10. Škálování consumerů
popis komponenty
➔ 150000 zpráv / sekunda
➔ minimum nezpracovaných zpráv
➔ metriky:
◆ max_gap
◆ consumed_messages
◆ lag

11. Škálování consumerů
problém
➔ Přelévání trafficu
➔ Společenské události
➔ Různorodost
konfigurací
➔ Manuální práce

12. Škálování consumerů
pokus s metrikou max_gap

13. Škálování consumerů
pokus s metrikou rate(max_gap[5,15,...m])

14. Škálování consumerů
pokus s metrikou lag

15. Škálování consumerů
řešení metrikou consumed_messages

16. Škálování consumerů
konfigurace skálovače
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
name: consumer
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: consumer
minReplicas: 1
maxReplicas: 10
metrics:
- type: Pods
pods:
metric:
name: consumer:pod:consumed_messages
target:
averageValue: 2k
type: AverageValue

17. Jak to fungujě s vlastníma metrikama?
consumer:pod:consumed_messages{deployment="consumer", namespace="doporucovani-stable", pod="consumer-5f55c4c984-4g6f4"} 1
consumer:pod:consumed_messages{deployment="consumer", namespace="doporucovani-stable", pod="consumer-5f55c4c984-4g6f4"} 2
consumer:pod:consumed_messages{deployment="consumer", namespace="doporucovani-stable", pod="consumer-5f55c4c984-4g6f4"} 3
● Metriky
● Adaptér k Prometheovi
● Algoritmus
požadovanýPočetInstancí = strop[ aktuálníPočetInstnací * ( aktuálniHodnotaMetriky / požadovanáHodnotaMetriky ) ]
požadovanýPočetInstancí = strop[ 1 * ( 10000 / 2000 ) ] = 5
požadovanýPočetInstancí = strop[ 5 * ( 250 / 2000 ) ] = 1

18. Rozdíly mezi starým a novým HPA
Starý
+ jednoduchý
+ bez práce navíc
- jen 2 metriky CPU a
paměť
Nový
+ vlastní metriky
+ kombinování metrik
+ politika přidávání
odebírání 1.18
+ stabilizační okno 1.18
- nutná integrace
- komplexní konfigurace

19. Rozdíly mezi starým a novým HPA
Starý
● Average value
Nový
● Average value
● Target value
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: contentserver
targetCPUUtilizationPercentage: 80
metrics:
- type: Pods
pods:
metric:
name: metrika
target:
averageValue: 2k
type: AverageValue
metrics:
- type: Object
object:
metric:
name: metrika
describedObject:
apiVersion: v1
kind: Deployment
name: contentserver
target:
Value: 2k
type: Value

20. Zopár dobrých tipů na závěr
● Inicializujte všechny metriky v komponentách
● Naučte komponenty správně “umírat”
readinessProbe:
httpGet:
path: /readiness
port: 4440
initialDelaySeconds: 60
periodSeconds: 5
lifecycle:
preStop:
exec:
command: ["kill", "-USR1", "1"]
metrika_final = metrika1 + metrika2 + metrika3
metrika_final = 1 + null + 2 = null

21. Pár užitečných linků
Články:
https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/#autoscaling-on-multiple-metrics-an
d-custom-metrics
https://github.com/kubernetes/community/blob/master/contributors/design-proposals/instrumentation/custom-metrics-api.
md
API dokumentace:
https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.18/#horizontalpodautoscaler-v1-autoscaling
https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.18/#horizontalpodautoscalerspec-v2beta2-autoscaling
Prometheus adapter:
https://github.com/kubernetes-sigs/prometheus-adapter
SCIF:
https://connect.zive.cz/clanky/na-cem-bezi-seznamcz-bezny-standard-uz-nestaci-prechazi-na-vlastni-cloud-i-servery/sc-3
20-a-196137/default.aspx

22. Jozef Juris
DevOps
E-mail: jozef.juris@firma.seznam.cz
Tel.: 722 088 821
Kontakt