1. Apache ZooKeeper
Øyvind M. Asbjørnsen
21.11.13

2. Agenda
•
•
•
•
•
Kva er ZooKeeper
Kva kan ein bruke det til
Korleis fungerar det
Erfaring frå prosjekt
Oppsummering

3. Kva er ZooKeeper?
Server
Server
Server

4. Kva kan ein bruke det til?
Leader election
Tenesteregister
Distribuert låsing
Kø
Konfigurasjonsrepository
To-fase commit

5. Datastruktur og mekanismer
Hierarkisk struktur av noder.
/min-app/noder/node-00001
min-app
statuser
noder
node-00001
node-00002

6. Datastruktur og mekanismer
Hierarkisk struktur av noder.
/min-app/noder/node-00001
min-app
statuser
noder
node-00001
node-00002
Nodetyper:
Ephemeral node
Persisten node
Tilleggsegenskap:
Sequential node

7. Datastruktur og mekanismer
Hierarkisk struktur av noder.
/min-app/noder/node-00001
min-app
statuser
noder
node-00001
Watch
node-00002
Nodetyper:
Ephemeral node
Persisten node
Tilleggsegenskap:
Sequential node

8. Quora
Over halvparten av nodene må være tilstede

9. Ensamble
Ensamble
Ensamble a.k.a. Cluster

10. Oppstart av ZK-ensamble

11. Oppstart av ZK-ensamblet
Velge master

12. Tilkobling av klientar
TCP
tilkobling
Klient 1
Klient 2
Klient 3

13. Les-operasjonar
Klient 1
Klient 2
Klient 3

14. Skriv-operasjonar
Skriv
Klient 1
Klient 2
Klient 3

15. Skriv-operasjonar
Skriv
Klient 1
Via master
Klient 2
Klient 3

16. Skriv-operasjonar
Distribuer
Skriv
Klient 1
Via master
Klient 2
Klient 3

17. Erfaring frå prosjekt
• Behov:
– Hente data frå ekstern kilde sekvensielt
– Prosessere det som kjem inn so raskt som mogleg
– Må ha failover

18. Erfaring frå prosjekt
• Behov:
– Hente data frå ekstern kilde sekvensielt
– Prosessere det som kjem inn so raskt som mogleg
– Må ha failover
• Implementasjon
– Failover: Ein instans kan både hente og prosessere data
– Ytelse: Mange deploya applikasjonar kan prosessere data samtidig.
Competing consumers.
– Problem: To deploya applikasjonar kan ikkje hente data samtidig

19. Erfaring frå prosjekt
Leader election
/leaderelection/
<ephemeral-sequential-node>

20. Erfaring frå prosjekt
Leader election
<feed />
Jobbtabell

21. Erfaring frå prosjekt
Leader election | Meldingsutveksling
”Status: nyeData”
<feed />
Jobbtabell
Competing
consumers

22. Erfaring frå prosjekt
Leader election | Meldingsutveksling |Node management
<feed />
”pause”
”start”
”avslutt”

23. Oppsummering
•
•
•
•
•
Tenk på datamodellen som eit filsystem
Klientane får beskjed når znoden endrar seg
Garanterar rekkefølge på skriv
Replikert og distribuert
Bruk Netflix Curator