Reactor Netty & Apache Kafka Stack #jsug

Reactor Netty &
Apache Kafka Stack
JSUG勉強会 2018年その6 SpringOne Platform 2018報告会
ヤフー株式会社水落啓太
2018年11月29日

自己紹介
水落啓太（みずおちけいた）
• ヤフー株式会社所属
• 社内PaaS（Pivotal Cloud Foundry）
関連コンポーネントの開発、
社内PaaS利用者向け技術サポートなどに従事
• マイブームはSpring WebFlux
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
2

紹介するセッション
1. Reactor Netty, the Default Spring Boot 2.0 Runtime
– Violeta Georgieva@Pivotal
2. Walking up the Spring for Apache Kafka Stack
– Viktor Gamov@Confluent
– Gary Russell@Pivotal
3

Reactor Netty, the Default Spring
Boot 2.0 Runtime
4

どんなセッション？
• reactor-nettyのアップデート（0.8系）
• reactor-nettyの仕組み紹介
• reactor-nettyによるライブコーディング
5

Netty
• ネットワークプログラミング用フレームワーク
（!= ウェブアプリケーション向け)
• 高スループット、複雑な非同期処理が求められるミドルウェア
等の実装に高適応
• non-blocking IO
• Spring 5/Spring WebFluxのデフォルトバックエンド
• Springから見ると “メタフレームワーク” といえる
6

Reactor Netty
7引用: https://spring.io

Reactor Netty (0.8) Server API
HttpServer.create()
.port(8080)
.protocol(HttpProtocol.HTTP11)
.handle((req, res) ->
...
res.send(resBody)
)
.bindNow();
8
Publisher<ByteBuf>

Reactor Netty (0.8) Client API
HttpClient.create()
.port(8080)
.protocol(HttpProtocol.HTTP11)
.post()
.uri("http://...")
.send(body)
.responseContent()
.aggregate()
.asString()
.block();
9
Publisher<ByteBuf>

wiretap
• 通信内容をダンプする機能
HttpClient.create()
.wiretap(true)
...
13:24:36.333 [reactor-http-nio-4] DEBUG reactor.netty.http.client.HttpClient - [id:
0x78ba8f21, L:/172.16.164.183:57134 - R:www.yahoo.co.jp/183.79.250.251:80] WRITE: 113B
+-------------------------------------------------+
| 0 1 2 3 4 5 6 7 8 9 a b c d e f |
+--------+-------------------------------------------------+----------------+
|00000000| 47 45 54 20 2f 20 48 54 54 50 2f 31 2e 31 0d 0a |GET / HTTP/1.1..|
|00000010| 75 73 65 72 2d 61 67 65 6e 74 3a 20 52 65 61 63 |user-agent: Reac|
|00000020| 74 6f 72 4e 65 74 74 79 2f 30 2e 38 2e 32 2e 52 |torNetty/0.8.2.R|
|00000030| 45 4c 45 41 53 45 0d 0a 68 6f 73 74 3a 20 77 77 |ELEASE..host: ww|
|00000040| 77 2e 79 61 68 6f 6f 2e 63 6f 2e 6a 70 0d 0a 61 |w.yahoo.co.jp..a|
|00000050| 63 63 65 70 74 3a 20 2a 2f 2a 0d 0a 63 6f 6e 74 |ccept: */*..cont|
|00000060| 65 6e 74 2d 6c 65 6e 67 74 68 3a 20 30 0d 0a 0d |ent-length: 0...|
|00000070| 0a |. |
+--------+-------------------------------------------------+----------------+
10

Reactor Netty 0.8 Update
• Spring Boot 2.1対応
• HTTP/2対応
• Server/Clientの新Builder API
• パッケージ名/Maven Group ID変更
• 内部実装の進化
11

Reactor Netty 0.8の注意
• パッケージ名/Maven Group ID変更
パッケージ名
reactor.ipc.netty → reactor.netty
Group ID
io.projectreactor.ipc.netty → io.projectreactor.netty
12

Reactor Netty 0.8の注意（ハマりました。。）
13
My App
Srping Boot
/ WebFlux
2.1
cloudfoundry-
client-reactor
3.13.0
Reactor Netty
(io.projectreact
or.netty)
0.8
Reactor Netty
(io.projectreact
or.ipc.netty)
0.7
• Reactor-Nettyをバックエンドとするライブラリを使う際は注
意
？？？

Walking up the Spring for Apache
Kafka Stack
14

どんなセッション？
• Kafka本体とその周辺ライブラリ・フレームワークの解説
• SpringとKafka同梱ライブラリの連携状況など
15

Kafka = Streaming Platform
16
引用: https://www.slideshare.net/SpringCentral/walking-up-the-spring-for-apache-kafka-stack

Kafka = Streaming Platform
17
Producer/Consumer
• Kafkaにデータを送受信する基本的なアプリケーション
• Producer/Consumer APIより実装する
Connectors
• Kafkaとデータ連携するアプリケーション
• データソース・シンク毎（e.g. MySQL, Elasticsearch）に実装が公開さ
れており、通常新規にプログラミングする必要はない
• Connector APIにより実装される
Streaming Engine
• トピック間同士でリアルタイムにデータを変換・統合するようなアプリ
ケーション
• Streams APIより実装する
• 後述のKafka Streamsライブラリより手軽実装できる

Kafka Connectors
18

Kafka Streams
• Kafkaを用いたストリーミング処理を書くためのライブラリ
• メッセージストリームをKStream/KTableという概念に抽象化し
てプログラミング
• Stream/Tableという名前から連想できるようにmap/join等の
処理を簡単に書ける
19

Kafka Streams
• Kafkaを用いたストリーミング処理を書くためのライブラリ
• メッセージストリームをKStream/KTableという概念に抽象化し
てプログラミング
• Stream/Tableという名前から連想できるようにmap/join等の
処理を簡単に書ける
20

Kafka Streams - join
• レーティングと映画からレーティング済み映画データを作成
KTable<Long, String> ratedMovies = ratingAverage
.join(movies, (avg, movie) ->
movie.getTitle() + "=" + avg);
• Kafkaトピックへ書き込み
ratedMovies.toStream().to("rated-movie", ...);
21
引用: https://content.pivotal.io/springone-platform-2018/walking-up-the-spring-for-apache-kafka-stack-2

Spring for Apache Kafka
22
• ここまではpure Kafkaな話
• Springでは様々なレイヤーからKafka利用をサポート

Kafka Streams & Spring Boot
• Spring BootでKafka Streamsを簡単に設定
spring:
kafka:
bootstrap-servers:
- localhost:9092
streams:
application-id: stream-app
properties:
commit.interval.ms: 1000
...
23

24

25
• Spring For Apache Kafka
• KafkaTemplate
• @KafkaListener
• Spring Integration (Kafka Extension)
• メッセージ通信の抽象化（Message Channel, Endpoint）
• Kakfa非依存化
• Spring Cloud Streams
• Opinionated Configuration
• Kafka Streamsサポート
• Reactor Kafka
• KafkaSender.send(Publisher<... SenderRecord>)
• KafkaReceiver.receive(): Flux<ReceiverRecord<...>>

まとめ
26

まとめ
• Reactor Netty/Apache Kafkaに関する2セッションを紹介した
• 共にストリーミング処理に強いフレームワーク・プラット
フォームであり、実用性だけでなく技術的な面白さがある
• 興味があればぜひYouTube/Slideshareをチェックしてみてほし
いです
• ご清聴ありがとうございました
27

Reactor Netty & Apache Kafka Stack #jsug

Recommended

Recommended

More Related Content

Similar to Reactor Netty & Apache Kafka Stack #jsug

Similar to Reactor Netty & Apache Kafka Stack #jsug (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (12)

Reactor Netty & Apache Kafka Stack #jsug