Robert Fu (傅仰帆), Confluent, Solutions Architect 聽說過KAFKA但想知道更多?被告知最近的專案需要用到KAFKA? 也許你還有其他原因需要了解KAFKA並了解別人是怎麼使用KAFKA去建立一個現代化的事件流平台 我們會談談KAFKA的基本運作方式,並與你熟悉傳統訊息佇列(Message Queue)作一個簡單的對比 https://www.meetup.com/HongKong-Kafka/events/270307485/

1. Kafka事件流平台
2020-05-01
北京 Kafka meetup
深圳 Kafka meetup
香港 Kafka meetup
台北 Kafka meetup
@yffrobert | #kafkameetup_bj | #kafkameetup_sz | #kafkameetup_hk | #kafkameetup_ | @confluentinc

2. 2
卡夫卡!

4. 公司的運作是建立在
數據的流動
但我們有的只是...
各種不同的數據存取系統

5. 5
沒流處理的日子...

6. 6
新世界
流處理
• 數據庫/數據倉庫 + 各種分散
式數據系統
• 單體式服務 -> 微服務
• 批組處理 -> 即時處理

7. 7
流處理
服務層
(各種微服務, 高
擴展性服務...)
Kafka Streams 或 KSQL等各
種Java 程式
持續運算及處
理
高效能事件流平台
API群

8. 事件流平台
• 儲存 (Storage)
• 發怖與訂閱(Pub /
Sub)
• 處理 (Processing)
• 儲存 (Storage)
• 發怖與訂閱(Pub /
Sub)
• 處理 (Processing)

9. 儲存

10. 10
• 數據庫 - 表
• Hadoop - 檔案
• Kafka - ?
核心慨念

11. 日誌 Log

12. 12
日誌是一個很簡單的設計
新訊息會直接加到日誌的尾端
舊 新

13. 13
新訊息會直接加到日誌的尾端
舊 新
日誌是一個很簡單的設計

14. 14
發怖與訂閱
Pub / Sub
14

15. 15
時間

16. 16
C2 C3C1
時間

17. 17
時間
A
B
C
D
hash(key) % numPartitions = N

18. 18
循環制
時間

19. 19
每個訂閱者(Consumers)都會有自己的指標
舊 新
Robin
is here
Scan
Viktor
is here
Scan
Ricardo
is here
Scan

20. 20
舊 新
Robin
is here
Scan
Viktor
is here
Scan
Ricardo
is here
Scan
每個訂閱者(Consumers)都會有自己的指標

21. 21
舊 新
Robin
is here
Scan
Viktor
is here
Scan
Ricardo
is here
Scan
每個訂閱者(Consumers)都會有自己的指標

22. 22
單向順序讀取
舊 新
讀取位置指標 & 讀取

23. 訂閱群協
調者訂閱者
訂閱群

24. 24
C

25. 25
CC
C1
CC
C2

26. 26
C C
C C

27. 27
0 1
2 3

28. 28
0 1
2 3

29. 29
0, 3 1
2 3

30. 30
線性擴展架構
每一個Kafka主題(topic):
- 支援多個發性者
- 支援多個訂閱者
- 支援多個Kafka Broker
沒有瓶頸!
發怖者
訂閱者

31. 31
以備份來處理異常...
複製
msg
msg
leader
Machine A
Machine B

32. 32
Partition(分割區) Leadership 及複制
Broker 1
Topic1
partition1
Broker 2 Broker 3 Broker 4
Topic1
partition1
Topic1
partition1
Leader Follower
Topic1
partition2
Topic1
partition2
Topic1
partition2
Topic1
partition3
Topic1
partition4
Topic1
partition3
Topic1
partition3
Topic1
partition4
Topic1
partition4

33. 33
以多個備份提供系統自我復原力
當主機發生異常時,其他同步備份將會被使用

34. 34
Partition(分割區) Leadership: 主機/網絡異常
Broker 1
Topic1
partition1
Broker 2 Broker 3 Broker 4
Topic1
partition1
Topic1
partition1
Leader Follower
Topic1
partition2
Topic1
partition2
Topic1
partition2
Topic1
partition3
Topic1
partition4
Topic1
partition3
Topic1
partition3
Topic1
partition4
Topic1
partition4

35. 3535
日誌是一個持久性的訊息儲存系統
對比起其他MQ系統 (ActiveMQ, Rabbit, etc.), KAFKA 擁有:
(a) 更高的擴展性
(b) 自帶自我復原能力
(c) 更持久的訊息儲存能力

36. 3636
處理
Processing

37. 37
流處理
是一種處理流動
中的事件的方法

38. 38
authorization_attempts possible_fraud
流處理到底是什麼?

39. 39
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

40. 40
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

41. 41
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

42. 42
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

43. 43
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

44. 44
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 MINUTE)
GROUP BY card_number
HAVING count(*) > 3;
authorization_attempts possible_fraud
流處理到底是什麼?

45. 45
容易上手的流處理系統
User Population
CodingSophistication
Core developers who use Java/Scala
Core developers who don’t use Java/Scala
Data engineers, architects, DevOps/SRE
BI analysts
streams

46. 46
KSQL #FTW
4 Headless1 UI 2 CLI
ksql>
3 REST
POST /query

47. 47
Interaction with Kafka
Kafka
(data)
KSQL
(processing)
JVM application
with Kafka Streams (processing)
Does not run on
Kafka brokers
Does not run on
Kafka brokers

48. 48
Standing on the Shoulders of Streaming Giants
Producer,
Consumer APIs
Kafka Streams
KSQL Ease of use
Flexibility
KSQL UDFs
Powered by
Powered by

49. 謝謝謝!謝1
@yffrobert
robert.fu@cofluent.io
cnfl.io/meetups
cnfl.io/blog
cnfl.io/slack