Vous êtes sur la page 1sur 71

Systèmes Distribués

Message-Oriented Middleware

Louis-Claude Canon
louis-claude.canon@univ-fcomte.fr

Bureau 414C

Master 2 informatique – Semestre 9

Louis-Claude Canon SD – Message-Oriented Middleware 1 / 71


Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 2 / 71


Introduction

Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 3 / 71


Introduction

Principe de la communication indirecte

I Les échanges se font par l’intermédiaire d’une structure spécifique : un


port, une file, un canal, . . .
I Le flux de communication est géré par un intergiciel.
I Assure un couplage faible entre les composants d’une application
distribuée (plus de souplesse/flexibilité).

Louis-Claude Canon SD – Message-Oriented Middleware 4 / 71


Introduction

Intergiciel (middleware)

I Couche logicielle intermédiaire située entre l’application et le système


d’exploitation de la machine.
I Sert à concevoir, développer et déployer une application répartie.
I Un MOM (intergiciel orienté message) gère les échanges entre les
composants distribués.

Louis-Claude Canon SD – Message-Oriented Middleware 5 / 71


Introduction

Services additionnels des MOM

I Transaction : envois et réceptions groupés.


I Persistence : retransmission des messages en cas de panne.
I Multicast : communication de groupe.
I Trace des échanges (log).
I Gestion des droits d’accès.
I Transparence des échanges : protocole de communication facilitant
l’encapsulation d’objets ou d’autres données typées.

Louis-Claude Canon SD – Message-Oriented Middleware 7 / 71


Introduction

Contexte applicatif

I Application de type workflow (gestion de flux) : des


documents/informations/tâches sont transmis de participant en
participant suivant une procédure donnée.
I Exemple : application web gérant la commande d’un client.
I Stocker la commande dans un système géré par un tiers (audit).
I Envoyer un mail de confirmation au client.
I Transmettre les informations liées à la commande au système
d’expédition.

Louis-Claude Canon SD – Message-Oriented Middleware 8 / 71


JMS 2.0

Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 10 / 71


JMS 2.0

Architecture de l’interface JMS

I Fournisseur JMS (provider) : système de messagerie.


I Clients JMS : composants produisant et consommant des messages.
I Messages : contient les informations communiquées entre les clients.
I Objets administrés : objets JMS configurés par un administrateur.

Louis-Claude Canon SD – Message-Oriented Middleware 11 / 71


JMS 2.0

Styles de communication

I Communication point-à-point :
I Les messages transitent par une file (queue).
I Chaque message n’a qu’un seul consommateur.
I Le récepteur peut consommer le message même s’il était hors-ligne
lorsque ce dernier a été émis.
I Communication publication/abonnement (publish/subscribe) :
I Les messages transitent par un sujet (topic).
I Chaque message peut avoir plusieurs consommateurs.
I Un client qui s’abonne à un sujet ne peut consommer que les messages
émis après l’abonnement.

Louis-Claude Canon SD – Message-Oriented Middleware 13 / 71


JMS 2.0

Consommation des messages

I Synchrone : un consommateur peut explicitement recevoir un message


de la destination avec la méthode bloquante receive.
I Asynchrone : une application peut enregistrer un listener avec un
consommateur. Lorsqu’un message sera reçu, la méthode onMessage
sera appelée.

Louis-Claude Canon SD – Message-Oriented Middleware 16 / 71


JMS 2.0

Séquence des messages en mode synchrone


Producteur MOM Consommat.

receive

send

Louis-Claude Canon SD – Message-Oriented Middleware 17 / 71


JMS 2.0

Séquence des messages en mode asynchrone


Producteur MOM Consommat.

setMessageListener

send
onMessage

Louis-Claude Canon SD – Message-Oriented Middleware 18 / 71


JMS 2.0

Objets principaux

Objets administrés Les fabriques (connection factories) et les destinations.


Connections Représente un socket TCP/IP.
Sessions Représente un ensemble d’échanges suivant un mode donné.
JMSContext Regroupe une connexion et une session.
Producteurs de messages Envoie des messages.
Consommateurs de messages Reçoit des messages.
Messages Information échangée.

Louis-Claude Canon SD – Message-Oriented Middleware 19 / 71


JMS 2.0

Objets administrés
Connection factories
I Permet de créer une connexion auprès d’un fournisseur.
I Injection JNDI.

1 @Resource(lookup = "java:comp/DefaultJMSConnectionFactory")
2 private static ConnectionFactory connectionFactory;

Destinations
I Représente soit des files, soit des sujets.

1 @Resource(lookup = "jms/MyQueue")
2 private static Queue queue;
3
4 @Resource(lookup = "jms/MyTopic")
5 private static Topic topic;

Louis-Claude Canon SD – Message-Oriented Middleware 21 / 71


JMS 2.0

Connexion et session

I Connexion : peut représenter un seul socket TCP/IP et est associé à


une ou plusieurs sessions.
I Session : contexte pour envoyer et recevoir des messages. Permet de
grouper les échanges au sein d’une transaction.

Louis-Claude Canon SD – Message-Oriented Middleware 22 / 71


JMS 2.0

JMSContext

I Combine une connexion et une session.


I Permet de créer des producteurs et des consommateurs de messages,
des messages et des destinations temporaires.

1 JMSContext context = connectionFactory.createContext();


2 context.close();

Louis-Claude Canon SD – Message-Oriented Middleware 23 / 71


JMS 2.0

JMSProducer

I Nécessaire pour l’envoi d’un message.


I Objet léger, peut être recréé à chaque utilisation.

1 context.createProducer().send(dest, message);

Louis-Claude Canon SD – Message-Oriented Middleware 24 / 71


JMS 2.0

JMSConsumer et réception synchrone

I Nécessaire pour la réception d’un message.


I Possibilité de donner une échéance en argument.

1 JMSConsumer consumer = context.createConsumer(dest);


2 Message m = consumer.receive();

Louis-Claude Canon SD – Message-Oriented Middleware 25 / 71


JMS 2.0

JMSConsumer et réception asynchrone

I Un listener doit implémenter l’interface MessageListener qui


contient une méthode, onMessage.
I La méthode onMessage est invoquée à la réception de chaque
message.

1 MessageListener myListener = new MessageListener();


2 consumer.setMessageListener(myListener);

Louis-Claude Canon SD – Message-Oriented Middleware 26 / 71


JMS 2.0

JMSConsumer et sélecteur de messages

I Les messages reçus peuvent être filtrés.


I Syntaxe basée sur un sous-ensemble de SQL92.
I La sélection se fait sur les propriétés des messages.

1 message = session.createTextMessage();
2 message.setStringProperty("NewsType", "Sports");

1 String sel = "NewsType␣=␣’Sports’␣OR␣NewsType␣=␣’Opinion’";


2 JMSConsumer consumer = context.createConsumer(dest, sel);

Louis-Claude Canon SD – Message-Oriented Middleware 27 / 71


JMS 2.0

JMSConsumer et sujet

I Pas de différence avec les files.


I Tous les messages reçus lors d’une déconnexion sont perdus.

1 JMSConsumer consumer = context.createConsumer(dest);

Louis-Claude Canon SD – Message-Oriented Middleware 28 / 71


JMS 2.0

JMSConsumer et sujet durable

I Tous les messages reçus lors d’une déconnexion sont conservés.


I Permet de réutiliser une inscription grâce à son identifiant.
I La désinscription devient nécessaire.

1 String subName = "MySub";


2 JMSConsumer consumer = context.createDurableConsumer(dest, subName);
3 context.unsubscribe(subName);

Louis-Claude Canon SD – Message-Oriented Middleware 30 / 71


JMS 2.0

JMSConsumer et sujet partagé

I Les messages seront répartis entre ceux qui ont participé à l’inscription.

1 String subName = "MySub";


2 JMSConsumer consumer = context.createSharedConsumer(dest, subName);

Louis-Claude Canon SD – Message-Oriented Middleware 32 / 71


JMS 2.0

Messages JMS

Contient trois parties :


En-tête Ensemble de champs possédant des valeurs déterminées par le
client ou le fournisseur.
Propriétés Champs spécifiés par l’application et servant aux sélecteurs.
Corps 6 types différents.

Louis-Claude Canon SD – Message-Oriented Middleware 33 / 71


JMS 2.0

En-tête des messages JMS

Champ Description Défini par


JMSDestination Destination du message. fournisseur
JMSPriority Priorité du message. fournisseur
JMSMessageID Identifiant du message. fournisseur
La date de réception du message par
JMSTimestamp fournisseur
le fournisseur.
JMSCorrelationID L’identifiant du message relatif. application
JMSReplyTo Destination à utiliser pour la réponse. application
...

Louis-Claude Canon SD – Message-Oriented Middleware 34 / 71


JMS 2.0

Corps des messages JMS

Type Description
TextMessage Une chaîne de caractères.
MapMessage Un ensemble de paires clé-valeur.
BytesMessage Un flot de données binaires.
StreamMessage Un flot de données primitives.
ObjectMessage Un objet sérialisé.
Message Ne contient rien.

Louis-Claude Canon SD – Message-Oriented Middleware 35 / 71


JMS 2.0

Exceptions JMS

1 IllegalStateException // file créée sur un TopicSession


2 InvalidDestinationException // mauvaise destination
3 InvalidSelectorException // problème de syntaxe du sélecteur
4 ...

Louis-Claude Canon SD – Message-Oriented Middleware 36 / 71


JMS 2.0

Exemple d’échange d’une chaîne de caractères

1 String message = "This␣is␣a␣message";


2 TextMessage m = context.createTextMessage();
3 m.setText(message);
4 context.createProducer().send(m);

1 JMSConsumer consumer = context.createConsumer(dest);


2 Message m = consumer.receive();
3 if (m instanceof TextMessage) {
4 String message = m.getBody(String.class);
5 System.out.println("Reading␣message:␣" + message);
6 } else {
7 // Handle error or process another message type
8 }

Louis-Claude Canon SD – Message-Oriented Middleware 38 / 71


JMS 2.0

Exemple simplifié

1 String message = "This␣is␣a␣message";


2 context.createProducer().send(dest, message);

1 JMSConsumer consumer = context.createConsumer(dest);


2 String message = consumer.receiveBody(String.class);

Louis-Claude Canon SD – Message-Oriented Middleware 39 / 71


JMS 2.0

Mode de session

AUTO_ACKNOWLEDGE Un accusé de réception est transmis automatiquement


à chaque réception.
CLIENT_ACKNOWLEDGE Un accusé de réception est transmis lors de l’appel
à la méthode acknowledge.
DUPS_OK_ACKNOWLEDGE Un accusé de réception est transmis
paresseusement (un message peut être reçu plusieurs fois).
TRANSACTED Spécifie que la session est en mode transactionnel.

Louis-Claude Canon SD – Message-Oriented Middleware 40 / 71


JMS 2.0

Transaction

I Permet de grouper l’envoi et la réception de messages en les terminant


par l’appel de la méthode commit. Exemples :
I Un client envoie deux messages mais ne souhaite pas qu’en cas de
défaillance (du client), seul le premier soit reçu par le fournisseur.
I Un client reçoit deux messages mais ne souhaite pas qu’en cas de
défaillance (du client), seul le premier soit reçu et traité.
I On annule une transaction par l’appel de la méthode rollback.
I Il ne faut pas grouper un envoi et une réception qui soit en attente
d’une réponse du message envoyé. Cela provoque un interblocage.

Louis-Claude Canon SD – Message-Oriented Middleware 41 / 71


JMS 2.0

Persistance

I Les messages peuvent être persistants ou non. Seul un message


persistant survit à la défaillance du fournisseur.
I La durabilité est une propriété liée à un abonnement alors que la
persistance est une propriété liée à un message.

Louis-Claude Canon SD – Message-Oriented Middleware 42 / 71


JMS 2.0

Spécificités de JMS 1.1

I API plus complexe et moins flexible.


I N’exploite pas les propriétés récentes du langage Java.
I Rétrocompatible.
I Les classes JMSContext, JMSProducer et JMSConsumer n’existent
pas.

Louis-Claude Canon SD – Message-Oriented Middleware 43 / 71


JMS 2.0

Envoi d’un message (JMS 1.1)

1 public void sendMessageJMS11(ConnectionFactory connFactory,


2 Queue queue, String text) {
3 try {
4 Connection conn = connFactory.createConnection();
5 try {
6 Session session = conn.createSession(false,
7 Session.AUTO_ACKNOWLEDGE);
8 MessageProducer msgProducer
9 = session.createProducer(queue);
10 TextMessage textMsg = session.createTextMessage(text);
11 msgProducer.send(textMsg);
12 } finally {
13 conn.close();
14 }
15 } catch (JMSException ex) {
16 // handle exception (details omitted)
17 }
18 }

Louis-Claude Canon SD – Message-Oriented Middleware 44 / 71


JMS 2.0

Envoi d’un message (JMS 2.0)

1 public void sendMessageJMS20(ConnectionFactory connFactory,


2 Queue queue, String text) {
3 try (JMSContext context = connFactory.createContext()) {
4 context.createProducer().send(queue, text);
5 } catch (JMSRuntimeException ex) {
6 // handle exception (details omitted)
7 }
8 }

I JMSContext regroupant Connection et Session.


I Construction try-with-resources de Java 7.
I Construction du TextMessage automatique.
I Un JMSProducer n’est pas associé à une destination.

Louis-Claude Canon SD – Message-Oriented Middleware 45 / 71


JMS 2.0

Réception d’un message (JMS 1.1)


1 public String rcvMessageJMS11(ConnectionFactory connFactory,
2 Queue queue){
3 String body = null;
4 try {
5 Connection conn = connFactory.createConnection();
6 try {
7 Session session = conn.createSession(false,
8 Session.AUTO_ACKNOWLEDGE);
9 MessageConsumer msgConsumer
10 = session.createConsumer(queue);
11 conn.start();
12 TextMessage textMsg
13 = (TextMessage)msgConsumer.receive();
14 body = textMsg.getText();
15 } finally {
16 conn.close();
17 }
18 } catch (JMSException ex) {
19 // handle exception (details omitted)
20 }
21 return body;
22 }

Louis-Claude Canon SD – Message-Oriented Middleware 46 / 71


JMS 2.0

Réception d’un message (JMS 2.0)

1 public String rcvMessageJMS20(ConnectionFactory connFactory,


2 Queue queue){
3 String body=null;
4 try (JMSContext context = connFactory.createContext()) {
5 JMSConsumer consumer = context.createConsumer(queue);
6 body = consumer.receiveBody(String.class);
7 } catch (JMSRuntimeException ex) {
8 // handle exception (details omitted)
9 }
10 return body;
11 }

I Pas d’appel à context.start().


I Un JMSConsumer est associé à une destination.

Louis-Claude Canon SD – Message-Oriented Middleware 47 / 71


JMS 2.0

Création de session

JMS 1.1 :
1 Session createSession(boolean transacted,
2 int acknowledgeMode)
3 throws JMSException;
4 // Session.AUTO_ACKNOWLEDGE, Session.CLIENT_ACKNOWLEDGE ou
5 // Session.DUPS_OK_ACKNOWLEDGE

JMS 2.0 :
1 JMSContext createContext(int sessionMode) throws JMSException;
2 // JMSContext.AUTO_ACKNOWLEDGE, JMSContext.CLIENT_ACKNOWLEDGE,
3 // JMSContext.DUPS_OK_ACKNOWLEDGE ou JMSContext.TRANSACTED
4
5 JMSContext createContext() throws JMSException;

Louis-Claude Canon SD – Message-Oriented Middleware 48 / 71


JMS 2.0

Délai de délivrance
JMS 1.1 :
1 try (Connection conn = connFactory.createConnection()) {
2 Session session = conn.createSession();
3 MessageProducer msgProducer
4 = session.createProducer(queue);
5 msgProducer.setDeliveryDelay(20000);
6 TextMessage textMsg = session.createTextMessage("Hello");
7 msgProducer.send(textMsg);
8 }

JMS 2.0 :
1 try (JMSContext context = connFactory.createContext()) {
2 context.createProducer()
3 .setDeliveryDelay(20000)
4 .send(queue,"Hello␣world");
5 }

Louis-Claude Canon SD – Message-Oriented Middleware 49 / 71


JMS 2.0

Caractéristiques clés de JMS

I Couplage faible entre les participants (ils n’ont pas tous besoin d’être
connectés au même moment).
I Fiabilité (durable, persistent).
I Performance (distribution de la charge, débit important).

Louis-Claude Canon SD – Message-Oriented Middleware 50 / 71


AMQP 0-9-1

Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 51 / 71


AMQP 0-9-1

JMS et AMQP

AMQP
Protocole réseau (wire-level) pour l’échange de messages sur des files :
I Définit des règles sur les valeurs binaires échangées.
I Indépendance vis-à-vis des vendeurs.

JMS
Interface de programmation (coté client) :
I Définit les fonctions permettant de contrôler le middleware.
I Les clients et le serveur JMS doivent utiliser la même implémentation.
I Le même code pourra être utilisé avec n’importe quelle implémentation.

Louis-Claude Canon SD – Message-Oriented Middleware 52 / 71


AMQP 0-9-1

File

Même fonctionnement pour les files qu’avec JMS :

Louis-Claude Canon SD – Message-Oriented Middleware 53 / 71


AMQP 0-9-1

Exchange

Distinction entre les exchanges (point d’arrivé des messages) et les files
(point de retrait) :

Les exchanges sont liés aux files par des bindings.

Louis-Claude Canon SD – Message-Oriented Middleware 54 / 71


AMQP 0-9-1

Types d’exchanges

Trois types : fanout (équivalent des sujets JMS), direct (sujets avec filtres)
et topic (sujets avec filtres avancés).

Louis-Claude Canon SD – Message-Oriented Middleware 55 / 71


AMQP 0-9-1

RPC

Réaliser une invocation à distance avec une file :

Avantages
I Répartition de la charge (rajouter des consommateurs).
I Pas besoin d’annuaire.
I Répartition des fonctions sur différents serveurs (filtres).

Louis-Claude Canon SD – Message-Oriented Middleware 56 / 71


AMQP 0-9-1

Concepts et équivalence JMS

File Stocke les messages en attente d’être consommés (file).


Exchange Point d’entré des messages.
Bindings Relie une file à un exchange.
Vhost Séparation virtuelle entre différents ensembles de files et
d’exchanges.
Connection Socket TCP/IP après authentification (Connection).
Channel Lien gérant les échanges spécifiques à chaque thread
(Session).
Durable Propriété d’une file ou d’un exchange (persistent).
Persistent Propriété d’un message (persistent).

Louis-Claude Canon SD – Message-Oriented Middleware 57 / 71


ZeroMQ

Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 58 / 71


ZeroMQ

Particularités
I Communication directe et indirecte : on manipule des sockets, mais on
peut facilement simuler un fournisseur.
I Bilan des solutions lors du développement d’une application distribuée :
I La laisser centralisée (ne passe pas à l’échelle).
I La distribuer en utilisant directement des sockets TCP/IP (bas niveau,
nécessité de réimplémenter de nombreuses fonctionnalités).
I Stocker les données dans des bases de données (inadapté pour des
échanges dynamiques).
I Utiliser un fournisseur JMS ou AMQP (coût d’administration).
I Objectif : fournir une solution haut-niveau pour les projets modestes
avec un coût de performance et d’administration minimal.
I Couplage faible (les machines peuvent se connecter après l’envoi d’un
message).
I Schémas de communication (multicast).
I Sans fournisseur.

Louis-Claude Canon SD – Message-Oriented Middleware 59 / 71


Perspectives et bibliographie

Plan

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Louis-Claude Canon SD – Message-Oriented Middleware 60 / 71


Perspectives et bibliographie

Historique de JMS

I JMS 1.0 (2001).


I JMS 1.1 (2002).
I JMS 2.0 inclus dans Java EE 7 (avril/mai 2013).

Louis-Claude Canon SD – Message-Oriented Middleware 61 / 71


Perspectives et bibliographie

Implémentations pour JMS

Les plus populaires et les plus performantes


Apache ActiveMQ JMS 1.1.
HornetQ (JBoss) JMS 1.1, JMS 2.0 (depuis le 16 décembre 2013). Devient
Apache ActiveMQ Artemis en 2014.

Autres implémentations connues


JORAM JMS 1.1, JMS 2.0 (depuis le 2 octobre 2013).
OpenMQ (GlassFish) Implémentation de référence de Oracle.

Louis-Claude Canon SD – Message-Oriented Middleware 62 / 71


Perspectives et bibliographie

Historique d’AMPQ

Advanced Message Queuing Protocol :


I 0-8 (juin 2006)
I 0-9 (décembre 2006)
I 0-10 (février 2008)
I 0-9-1 (novembre 2008)
I 1.0 (octobre 2011)
I Standard OASIS (octobre 2012)
I Standard ISO/IEC (avril 2014)

Louis-Claude Canon SD – Message-Oriented Middleware 63 / 71


Perspectives et bibliographie

RabbitMQ

I Implémentation la plus populaire d’AMQP.


I Écrit en Erlang.
I Supporte les versions 0-8, 0-9 et 0-9-1.

Louis-Claude Canon SD – Message-Oriented Middleware 64 / 71


Perspectives et bibliographie

Historique récapitulatif

2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018

1.0 1.1 2.0


JMS • • •
0-8 0-9 0-9-1
AMQP • • •


0-10

1.0
ZMTP/1.0 2.0 3.0 3.1
ZeroMQ • • • •• • • • •
0.3 1.0 2.0 3.0 4.0

2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018

Louis-Claude Canon SD – Message-Oriented Middleware 65 / 71


Perspectives et bibliographie

Récapitulatif sur les implémentations

Standard/vendeur Implémentation principale


IBM WebSphere MQ
TIBCO Enterprise Message Service
JMS 1.1 Apache ActiveMQ
JMS 2.0 Apache ActiveMQ Artemis
AMQP 0-9-1 RabbitMQ
AMQP 0-10/1.0 Apache QPid
ZMTP ZeroMQ

Et aussi Sparrow, Starling, Kestrel, Beanstalkd, SQS, Apache Kafka,


EagleMQ, IronMQ, . . .

Louis-Claude Canon SD – Message-Oriented Middleware 66 / 71


Perspectives et bibliographie

Documentation officielle

I Documentation de l’interface JMS 2.0


I Spécification JMS 2.0
I Tutoriel sur les concepts
I Tutoriel sur les exemples
I Code des exemples des tutoriels

Louis-Claude Canon SD – Message-Oriented Middleware 67 / 71


Perspectives et bibliographie

Java Message Service, seconde édition, 2009

N’aborde pas la version 2.0.

Louis-Claude Canon SD – Message-Oriented Middleware 68 / 71


Perspectives et bibliographie

RabbitMQ in Action, 2012

Spécifique à l’implémentation
dominante du protocole, AMQP
0-9-1. Assez complémentaire avec la
documention en ligne.

Louis-Claude Canon SD – Message-Oriented Middleware 69 / 71


Perspectives et bibliographie

ZeroMQ, 2013

Reprend essentiellement le guide


ZeroMQ accessible en ligne.

Louis-Claude Canon SD – Message-Oriented Middleware 70 / 71


Perspectives et bibliographie

Discussions sur des questions liées

I Real world use of JMS/message queues?


I In which domains are message oriented middleware like AMQP useful?
I What is Java Message Service (JMS) for?
I ActiveMQ Use Cases
I Should you use JMS in your next enterprise application?
I Why should I use JMS and not RMI+Queue?
I Message Queue vs. Web Services?

Louis-Claude Canon SD – Message-Oriented Middleware 71 / 71