Prelekcja z konferencji PHPers Summit 2019 w Poznaniu na temat tego czym jest Apache Kafka i jak wykorzystać tą technologię w PHP. Prelekcja wygłoszona 7 września 2019.

1. PHP W KOLEJCE, KOLEJKA W PHP
JAK WYKORZYSTAĆ MOC
APACHE KAFKA
PHPERS SUMMIT POZNAŃ 2019

2. APACHE KAFKA
CZYM JEST?
distributed
streaming
platform

3. APACHE KAFKA
ZASTOSOWANIA
messaging
stream
processing
event
sourcing
logs/metrics commit log

4. APACHE KAFKA
BENCHMARK
https://engineering.linkedin.com/kafka/
benchmarking-apache-kafka-2-million-
writes-second-three-cheap-machines

5. APACHE KAFKA
PODSTAWOWE POJĘCIA
BROKER ZOOKEEPER

6. APACHE KAFKA
PODSTAWOWE POJĘCIA
PRODUCER CONSUMER
TOPIC

7. APACHE KAFKA
PODSTAWOWE POJĘCIA

8. APACHE KAFKA
PODSTAWOWE POJĘCIA (TOPIC)

9. APACHE KAFKA
DOSTĘPNOŚĆ
C/C++
Python
Go (AKA golang)
Erlang
.NET
Clojure
Ruby
Node.js
Perl
PHP
Rust
Java
Swift
...

10. APACHE KAFKA
DOSTĘPNOŚĆ
C/C++
Python
Go (AKA golang)
Erlang
.NET
Clojure
Ruby
Node.js
Perl
PHP
Rust
Java
Swift
...

11. KORZYSTANIE Z APACHE KAFKA

12. JAVA
PRODUCER

13. JAVA
CONSUMER

14. PHP
WYMAGANIA
LIBRDKAFKA RDKAFKA
GITHUB PECL

15. PHP
WYMAGANIA
LIBRDKAFKA RDKAFKA
GITHUB PECL
KWN/PHP-RDKAFKA-STUBS
OPCJONALNIE

16. PHP
PRODUCER (1)
$conf = new RdKafkaConf();
$conf->setErrorCb(function ($kafka, $err, $reason) {
# ...
});
$conf->setDrMsgCb(function ($kafka, $message) {
# ...
});

17. PHP
PRODUCER (2)
$rk = new RdKafkaProducer($conf);
$rk->addBrokers('localhost:9092');
$topicConf = new RdKafkaTopicConf();
$topicConf->set("message.timeout.ms", 2000);
/** @var RdKafkaProducerTopic $topic */
$topic = $rk->newTopic('sample', $topicConf);

18. PHP
PRODUCER (3)
$topic->produce(
RD_KAFKA_PARTITION_UA, 0,
$message, sha1(microtime())
);
$rk->poll(0);
while ($rk->getOutQLen() > 0) {
$rk->poll(50);
}

19. PHP
CONSUMER (1)
$conf = new RdKafkaConf();
$conf->set('group.id', 'some-consumer-group');
$conf->set('metadata.broker.list', 'localhost:9092');

20. PHP
CONSUMER (2)
$conf->setRebalanceCb(function (RdKafkaKafkaConsumer $kafka, $err, array $partitions = null) {
switch ($err) {
case RD_KAFKA_RESP_ERR__ASSIGN_PARTITIONS:
$kafka->assign($partitions);
break;
case RD_KAFKA_RESP_ERR__REVOKE_PARTITIONS:
$kafka->assign(null);
break;
default:
echo 'Unexpected error in rebalance' . PHP_EOL;
break;
}
});

21. PHP
CONSUMER (3)
$topicConf = new RdKafkaTopicConf();
$topicConf->set('auto.commit.interval.ms', 100);
$topicConf->set('auto.offset.reset', 'latest');
$conf->setDefaultTopicConf($topicConf);
$consumer = new RdKafkaKafkaConsumer($conf);
$consumer->subscribe([$topic]);

22. PHP
CONSUMER (4)
while (true) {
$message = $consumer->consume(5 * 60000); # 5 minutes in ms
switch ($message->err) {
case RD_KAFKA_RESP_ERR_NO_ERROR:
echo '`' . $message->payload . '`' . PHP_EOL;
break;
case RD_KAFKA_RESP_ERR__TIMED_OUT:
break;
default:
echo 'Unexpected error' . PHP_EOL;
break;
}
}

23. PHP + APACHE KAFKA
NA PRODUKCJI

24. PODSTAWOWY KLASTER
BROKER ZOOKEEPER
2x 1x

25. KRUCZKI
• #consumer <= #partitions
• zapewnienie ponownego uruchomienia
• Jenkins Coordinator Plugin
ILOŚĆ
CONSUMERÓW

26. KRUCZKI
• 'auto.offset.reset' - consumer
• 'log.retention.hours' - broker
• 'offsets.retention.minutes' - broker
• auto.offset.reset => 'earliest'
• log.retention.hours <= offsets.retention.minutes
OFFSET CONFIG

27. MONITORING

28. METRYKI
JMX

29. METRYKI
setStatsCb()

30. CONSUMER
MONITORING
$conf = new RdKafkaConf();
$conf->setStatsCb(
function (RdKafkaKafkaConsumer $consumer, $statsJson) {
# ...
}
);

31. Szymon Sadło
szymon.sadlo@qpony.pl
@chemiq