Année Universitaire

2019-2020

Méga Données
AU : 2023-2024

Atelier : 1 Apache Kafka Pr. F.HDIOUD

Objectifs :
Dans cet atelier complet, on va apprendre comment l'API Kafka Producer/Consumer
fonctionnent, et on va également explorer certaines des optimisations de performance
intéressantes que le Kafka Producer/Consumer ont en interne pour envoyer/consommer
efficacement des données à/de Kafka.

I. Configuration d’un Serveur Kafka « Solution Cloud » :

Confluent Cloud est un service Apache Kafka® entièrement géré et véritablement "cloud-
native" pour l'intégration et le traitement de toutes données en temps réel, où qu'elles se
trouvent. Avec le service Confluent Cloud entièrement géré sur AWS ou Google, vous pouvez
éliminer les charges et les risques liés à l'autogestion de Kafka et consacrer plus de temps à
la création d'applications qui focalisent sur vos objectifs.
Confluent Cloud fournit une plateforme de streaming d'événements simple, évolutive,
résiliente et sécurisée. Cette solution permet de connecter facilement vos applications, vos
systèmes de données et un ensemble d’organisations avec des flux et des traitements de
données en temps réel. Pour cet objectif, Confluent Cloud offre des connecteurs Kafka
préconstruits et entièrement gérés qui facilitent la connexion instantanée aux sources et
puits de données les plus populaires.
Création et configuration d’un cluster Kafka :
Confluent offre 400$ d'utilisation gratuite pendant 30 jours pour toute nouvelle inscription.
Ainsi, nous allons bénéficier de cette offre pour créer et configurer notre cluster Kafka. Cette
alternative nous donne la possibilité de focaliser essentiellement sur le développement des
applications producteurs et consommateurs. Maintenant, naviguer vers
https://login.confluent.io/, et essayer de créer un compte pour une utilisation gratuite
(Figure. 1).

1
 Année Universitaire
2019-2020

Méga Données
AU : 2023-2024

Figure 1. Créer un Compte dans Confluent.io

Après authentification, nous allons créer et configurer le cluster Kafka. Il faut tout d’abord
spécifier l’opérateur cloud qui gérera le cluster, la région de localisation des serveurs et leur
disponibilité (Figure. 2).

Figure 2. Configuration initial du Cluster

Ensuite, essayer de sauter sur la phase de payement puisque on va utiliser une version
d’essai libre.

2
 Année Universitaire
2019-2020

Méga Données
AU : 2023-2024

Figure 3. Phase de payement

Il faut spécifier, par la suite, le nom du cluster avant de le lancer. Essayer de naviguer vers le
volet des paramètres du cluster pour survoler l’ensemble de paramétrage de ce dernier
(Figure. 4).
L’étape suivante est consacrée à la création d’un Topic tout en spécifiant ses
caractéristiques, à savoir, le nombre de partition, les paramètres de stockage et la taille
maximale des messages (Figure. 5). N’oublier pas de sauter sur la phase de définition de
contrat de schéma de données entre les clients.

Figure 4. Démarrage du Cluster

3
 Année Universitaire
2019-2020

Méga Données
AU : 2023-2024

Figure 5. Création d'un Topic