MQTT avec Mosquitto et Paho - DevFest Brest 2019

MQTT
Mosquitto & Paho
Laurent Guérin
DevFest du Bout du Monde
22 Février 2019

Laurent Guérin - @ltguerin
Who's speaking ?
2
Laurent Guérin @ltguerin
l-gu
https://github.com/lgu-labArchitecte
Project leader
(open source code generator)
http://www.telosys.org/

Préambule : installer un client MQTT / smartphone
3
MQTT Dash MQTTool

MQTT en bref
4

MQTT
5
MQTT 3.1 MQTT 3.1.1
Protocole de transport « léger » conçu pour des
échanges de type « M2M » (Machine to Machine)
et donc « IoT »
https://mqtt.org/
https://www.oasis-open.org/committees/mqtt
IBM
Andy Stanford-Clark
EUROTECH
Arlen Nipper
MQTT = MQ (Message Queuing) Telemetry Transport

MQTT – TCP/IP
6
TCP/IP stack
MQTT
Ethernet Hardware
Application
Encryption
MQTT
Ethernet Hardware
Application
TCP/IP stack
SSL / TLS
MQTT est basé sur la stack TCP/IP
( pour la sécurité : MQTT over TLS )
tcp://host:1883 ssl://host:8883

MQTT – Cas d’utilisation
7
“MQTT is
designed to
use bandwidth
and batteries
sparingly”
IoT
Event Bus Messaging
Chat
M2M

MQTT – Messages
8
Message payload :
un simple tableau d’octets
(texte, binaire, etc )
Le header MQTT
se résume
généralement
à 2 octets
Message max size : 256 MB

MQTT – Pattern « Publish/Subscribe »
9
BROKER
MQTT
PUB
SUB
SUB
SUB
Publishing clients
Receiving clients

MQTT – Publish/Subscribe = Découplage
10
PUBLISHER
BROKER
SUBSCRIBER
PUB
SUB
L’un ne sait pas que l’autre existe
(et réciproquement)
Temps
Découplage dans l’espace + Découplage dans le temps

Broker MQTT
11

Mosquitto le broker de référence
 Mosquitto : broker MQTT
de la fondation Eclipse
 écrit en C (258 kb)
 https://mosquitto.org/
12
https://iot.eclipse.org/

Autres brokers MQTT
Quelques brokers MQTT :
 Moquette : broker écrit en Java (fondation Eclipse)
 HiveMQ : "enterprise MQTT broker" https://www.hivemq.com/
 VerneMQ : "high-performance, distributed MQTT broker" https://vernemq.com/
 EMQ : broker écrit en Erlang http://emqtt.io/
 CloudMQTT : comme son nom l’indique… https://www.cloudmqtt.com/
Brokers « MQ classiques » supportant le protocole MQTT :
 ActiveMQ : http://activemq.apache.org/mqtt.html
 RabbitMQ : MQTT Adapter https://www.rabbitmq.com/mqtt.html
(MQTT as of 3.0 / currently targeting version 3.1.1 of the spec).
13
cf MQTT implementations : https://en.wikipedia.org/wiki/Comparison_of_MQTT_Implementations

Les brokers MQTT sont partout
14
Raspberry Pi
Smartphone
Cloud
Laptop
Server

Client MQTT
15

MQTT – Clients prêts à l’emploi
16
Extension pour Chrome
MQTT.fx
Ligne de commande :
Apps
pour
Android
& iOS
etc...
BROKER

MQTT – Développer un client
17
https://www.eclipse.org/paho/
"Eclipse Paho project provides open-source
client implementations of MQTT"
<dependency>
<groupId>org.eclipse.paho</groupId>
<artifactId>org.eclipse.paho.client.mqttv3</artifactId>
<version>1.2.0</version>
</dependency>
Java / pom.xml :
Librairie pour Java SE 1.7 et +

MQTT – Développer un client
18
Avec Paho/Java le client MQTT est représenté par
la classe « MqttClient »
Principales méthodes :
• connect
• disconnect
• reconnect
• close
• publish
• subscribe
• unsubscribe
Les erreurs sont gérées via l’exception « MqttException »

MQTT – Connexion d’un client
19
 Un client se connecte à un broker MQTT au niveau « TCP »
 Informations nécessaires pour se connecter
 le hostname
 le port ( par défaut 1883 )
 un client-id (identifiant unique)
 Il peut également spécifier des options lors de la connexion
CLIENT BROKER
tcp://localhost:1883
1 - Connexion
2 - Dialogue
3 - Déconnexion
Client-Id

MQTT – Exemple avec MQTT.fx
20

MQTT – Exemple en Java
21
NB : « connect » crée un pool de threads. Les threads restent actifs jusqu’au « close »
(les threads sont encore actifs même après « disconnect » )

MQTT – Clients
22
 Classiquement 2 types de clients : Publisher & Subscriber
 Techniquement un client MQTT n’est pas spécialisé,
un même client peut faire à la fois du Publish et du Subcribe
CLIENT 1 BROKER CLIENT 2
Publie un « message » Souscrit pour recevoir
des messages
CLIENT 1 BROKER CLIENT 2
PUB SUB
PUB
PUB SUB

Topic
23

MQTT – Clients & topics
24
 Tous les messages envoyés sont associés à un « topic »
 Techniquement un « topic » identifie un canal (une file de messages)
 L’utilisation des « topics » permet de définir une sémantique
CLIENT
« PUB »
BROKER CLIENT
« SUB »
Publie un message
associé à un topic
Souscrit pour recevoir
les messages d’un topic
ou de plusieurs topics
pub(topic,data) sub(topic)
Publie le message
à tous les clients
abonnés au topic
pub
topic

MQTT – Topics
25
 Un « topic » peut être vu comme un canal de communication
entre 1 « publisher » et N « subscribers »
 La création des « topics » est implicite,
dès qu’un « publisher » émet un message sur un nouveau « topic » il est
automatiquement créé dans le « broker »

MQTT – Structure des topics
26
 Un topic est identifié par une chaine de caractères UTF-8
(au moins 1 caractère, espaces autorisés)
 Longueur max : 65535 bytes (64 kb – 1)
( UTF-8 : 1 character can require up to 4 bytes to encode )
 Les topics sont organisés selon une structure arborescente
 Un nom de topic est composé de
1 à N niveaux séparés par un « / »
 Exemples :
Les noms de topics commençant par « $ » sont réservés pour les statistiques internes du broker.
Exemples : $SYS/broker/clients/connected $SYS/broker/uptime
home/groundfloor/livingroom/temperature
devfest/france/brest
building
floor-1 floor-2
room-1 room-2
templight

MQTT – Topics wildcards
27
 Les subcribers sont généralement intéressés par plusieurs topics
 Plutôt que de s’abonner spécifiquement à chaque topic il est possible d’utiliser
des « wildcards » :
 « + » : single level wildcard
 « # » : multi level wildcard
 Exemples :
home/groundfloor/+/temperature
home/groundfloor/#
home/groundfloor/+/+
home/groundfloor/kitchen/temperature
home/groundfloor/livingroom/brightness
home/groundfloor/kitchen/temperature
home/groundfloor/kitchen/ brightness

MQTT – Publisher Java
28
CLIENT
« PUB »
BROKER
CLIENT
« SUB »
1
2
pub(topic,msg)
sub(topic)

MQTT – Subscriber Java
29
CLIENT
« PUB »
BROKER
CLIENT
« SUB »
1
2
sub(topic)
pub(topic,msg)

Quality of Service
« QoS »
30

MQTT – Quality of Service : « QoS »
 MQTT propose 3 niveaux de qualité de service pour les échanges
entre un client et un broker MQTT :
 QoS level 2
 QoS level 1
 QoS level 0
31
C’est le client qui choisit
le niveau de QoS
QoS = 0/1/2
CLIENT
BROKER
CLIENTCLIENT
CLIENT
QoS
QoS
QoS
QoS
+
-

MQTT – QoS level 0 (au plus une fois)
QoS 0 : "at-most-once"
 En mode « best effort », les messages sont remis en fonction des
capacités du réseau (TCP/IP).
 L’acheminement des messages n’est pas garanti.
32
“fire and
forget”
0 .. 1
MQTT
CLIENT
MQTT
BROKER
PUBLISH QoS 0
(pas de retour)

MQTT – QoS level 1 (au moins une fois)
QoS 1 : "at-least-once"
 L’acheminement des messages est garanti au moins une fois
(il peut y avoir des doublons)
 L’émetteur conserve le message et le republie (avec le flag
« DUP ») jusqu’à ce qu’il reçoive l’accusé de réception
(« PUBACK » packet)
33
MQTT
CLIENT
MQTT
BROKER
PUBLISH QoS 1
PUBACK
“fire and
confirm”
1 (.. N)
PUBLISH "DUP"

MQTT – QoS level 2 (exactement une fois)
QoS 2 : "exactly-once"
 L’acheminement des messages est garanti et sans doublon
34
MQTT
CLIENT
MQTT
BROKER
PUBLISH QoS 2
PUBREC
1
PUBREL
PUBCOMP
Niveau de qualité
le plus élevé
=> plus d’échanges
réseau

MQTT – « end to end » QoS
 La qualité de service globale pour 2 clients communicants via un broker
MQTT est déterminée par la combinaison des 2 QOS
 C’est le niveau le plus bas
qui détermine le niveau de
qualité globale
35
PUBLISHER BROKER SUBSCRIBER
Overall QoS = Min(X,Y)
QoS X QoS Y
QOS PUBLISH QOS SUBSCRIBE OVERALL QOS
0 2 0
1 2 1
2 1 1
2 2 2

MQTT – Exemple en Java
36
Par défaut :
QoS = 1
Exemple de « Publish » avec QoS = 2
Exemple de « Subscribe » avec QoS = 2
ou (sans objet MqttMessage) :

Session
37

MQTT – Par défaut : « non persistent session »
38
CLIENT
« PUB »
BROKER
mosquitto_pub
-h localhost
-t a/b/c
-m blabla
OK  Message reçu
CLIENT
« SUB »
mosquitto_sub
-h localhost
-t a/b/c
Avec un subscriber à l’écoute …
1
2

MQTT – Par défaut : « non persistent session »
39
CLIENT
« PUB »
BROKER
mosquitto_pub
-h localhost
-t a/b/c
-m blabla
Pas de subscriber connecté
au moment du “pub”
“MQTT is not a message queue by definition”
Sans aucun subscriber à l’écoute …
BROKER
CLIENT
« SUB »
mosquitto_sub
-h localhost
-t a/b/c
1
2
Rien  Message perdu !

MQTT – Session
40
CLIENT
BROKER
La session contient des états qui sont stockés côté client et côté serveur.
Par défaut la session est nettoyée entre chaque connexion.
Quand un client se connecte à un broker pour la première fois
une session MQTT est créée implicitement
SESSION
SESSION
SESSIONCLIENT
SESSION
Une session
identifie
l’attachement
d’un client à un
serveur.
CONNECT (ClientID1)
CONNECT (ClientID2)
ClientID1
ClientID2

MQTT – Session / Contenu
41
CLIENT BROKER
SESSION SESSION
• Messages QoS 1 et QoS 2
envoyés au serveur et qui n’ont pas encore
reçu l’acquitement
• Messages QoS 2 reçus du serveur, mais
qui n’ont pas été complètement acquittés
• Messages QoS 1 et QoS 2
envoyés au client et qui n’ont pas encore
reçu l’acquitement
• Les messages QoS 2 reçus du client, mais
qui n'ont pas été complètement acquittés
• Les souscriptions du client (topics)
• Messages QoS 1 et QoS 2 en attente de
transmission au client (et optionnellement
les messages QoS 0 )
Les informations des sessions peuvent
être stockées sur le filesystem.
Notion de « persistent datastores »
Ex : fichier mosquitto.dbEx : fichier {client-id}/.lck

MQTT – Session & « clean session »
42
Par défaut la session est nettoyée à chaque connexion
Le flag « clean session » permet de déterminer le type de connexion :
• True : « non persistent session » (par défaut)
• False : « persistent session »
mosquitto_sub -h localhost -t a/b/# -q 2 -i ID1 -c -c :
disable clean session
“Do not clean”

MQTT – « persistent session »
43
CLIENT
« PUB »
BROKER
-q 2 : QoS 2
-i : id client
-c : disable clean session (cleanSession = false)
Subscribe avec demande de "persistent session"
BROKER
CLIENT
« SUB »
mosquitto_sub
-h localhost
-t a/b/#
-q 2
-i ID001
-c
1
2
mosquitto_pub
-h localhost
-t a/b/c
-q 2 -m blabla
BROKER
CLIENT
« SUB »
mosquitto_sub
-h localhost
-t a/b/#
-q 2
-i ID001
-c
3
Session
Session
Session
clean session = false

Exemples d'utilisation
44

Exemple : Sensors  Outils de monitoring
45
MQTT consumer
[[inputs.mqtt_consumer]]
servers = ["mosquitto:1883"]
qos = 0
topics = [ "device/a" ]
data_format = "value"
data_type = "float"
mqtt_blackbox_exporter
PUB
SUB
SUB

Démo
46
sensor
temperature
sensor
humidity
devfest/bdm/temperature
devfest/bdm/humidity
logger
SUB
devfest/bdm/#
tcp://iot.eclipse.org:1883PUB
PUB

Démo
47
door
sensor
temperature
sensor
humidity
devfest/bdm/door/command
devfest/bdm/door/state
door
control
Commande
« O » open
« C » close
logger
SUB
devfest/bdm/#
tcp://iot.eclipse.org:1883
Changement d’état :
« O » open
« C » closed
PUB
PUB
PUB
PUB
SUB

Démo
48
door
sensor
temperature
sensor
humidity
door
control
Commande
« O » open
« C » close
logger
SUB
devfest/bdm/#
Changement d’état :
« O » open
« C » closed
Browser
Dashboard
http tcp
PUB
PUB
PUB
PUB
SUB
PUB
SUB

WebSocket
Frame
MQTT over WebSockets
49
SERVER
MQTT
Server
HTTP
Server / websocket
BROWSER
MQTT JavaScript
client
TCP
WebSocket
lighttpd +
mod_websocket
Mosquitto
MQTT
message
WebSocket :
• Protocole normalisé par l’IETF en 2011
• Interface de programmation normalisée par le W3C
• Supporté par tous les navigateurs
• Canal de communication full-duplex sur socket TCP
• Permet de faire du « push » du serveur vers le client

MQTT : TCP + WebSocket
50
HTTP +
WebSocket
ws://iot.eclipse.org:80/ws
Client MQTT
standard
TCP
Browser
Dashboard
Paho JavaScript 1.0.3

Paho JavaScript 1.0.3
51
ws://iot.eclipse.org:80/ws

MQTT dashboard avec un smartphone
52
SUB :
PUB :
iot.eclipse.org
1883
Nom au choix …
MQTT Dash

Questions ?
53

Annexes
54

Free remote MQTT servers
55
iot.eclipse.org
( m2m.eclipse.org )
test.mosquitto.org
MQTT
unencrypted
tcp://iot.eclipse.org:1883 tcp://test.mosquitto.org:1883
MQTT
encrypted
tcp://iot.eclipse.org:8883 tcp://test.mosquitto.org:8883
unencrypted
ws://iot.eclipse.org:80/ws test.mosquitto.org:8080
encrypted
wss://iot.eclipse.org:443/ws test.mosquitto.org:8081
Documentation https://iot.eclipse.org/getting-
started/
https://test.mosquitto.org/
Remarques Problèmes de connexion /!
NB : vérifier que les ports 1883 et 8883 sont ouverts

Laurent Guérin - @ltguerin 56
Arduino Client for MQTT :
https://github.com/knolleary/pubsubclient

MQTT avec Mosquitto et Paho - DevFest Brest 2019

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie MQTT avec Mosquitto et Paho - DevFest Brest 2019

Ähnlich wie MQTT avec Mosquitto et Paho - DevFest Brest 2019 (20)

Mehr von Laurent Guérin

Mehr von Laurent Guérin (13)

MQTT avec Mosquitto et Paho - DevFest Brest 2019