PROJET SEMESTRIEL

Cluster Hadoop - Docker Portainer

Elaboré par:

Naffeti Oumayma Ben Khalifa Aziz

Karoui Mohamed Fares Seddiki Linda
Ben Ahmed Fadi Belakdher Amina

1
 Install docker and docker Engine
 Install Docker Engine on Ubuntu

Cette partie initié par une boucle for qui itère sur la liste des paquets spécifiés qui sont :
docker.io, docker-doc, docker-compose, docker-compose-v2, podman-docker,
containerd, et runc, la variable $pkg prend la valeur d'un paquet de la liste, la commande
sudo apt-get remove $pkg est exécutée pour supprimer ce paquet spécifique en utilisant apt-
get.

 On va ajouter le docker’s official GPG key:

 Cette commande met à jour la liste des paquets disponibles

Cette commande installe les paquets nécessaires pour gérer les clés GPG et les
certificats de sécurité

2
Cette commande crée un répertoire /etc/apt/keyrings avec les bonnes permissions pour
stocker les clés GPG .

Ce script Shell est utilisé pour ajouter la clé GPG officielle de Docker, configurer Docker
APT (Advanced Package Tool) repository sur un système Ubuntu, et mettre à jour les
sources APT pour permettre l’installation de Docker.

 Add the repository to Apt sources

 Cette commande indique l'architecture du système et la clé GPG à

utiliser pour vérifier les paquets

 Install the Docker packages

3
 Vérification de docker Engine installe avec Hello World images

 Vérifier l’installation du docker

4
 Install docker-compose
Cette série de commandes télécharge Docker Compose depuis GitHub, le place dans un
répertoire ou il peut être exécuter, et configure les permissions pour le rendre utilisable en tant
que commande dans le système

 Vérifier la version d’installer de docker-compose

5
 Install Portainer
Installer Portainer est un gestionnaire de conteneurs Docker basé sur une interface Web, on
peut utiliser Docker pour déployer Portainer en tant que conteneur Docker.

6
 Install image Hadoop (install Hadoop
sous docker)
Cette commande est utilisée pour mettre à jour la liste des paquets et installée OpenJDK 8.

Cette commande permet de vérifier les versions de Java (JRE-Java Runtime Environment) et
de Java Compiler (JDK-Java Devolopment Kit) installées sur votre système.

7
Cette commande permet d’installer les composants du protocole SSH (Secure Shell) : le
serveur SSH (OpenSsh-Server) et le client SSH(OpenSsh-client).

Cette commande permet de créer un utilisateur système nommé « Hadoop » sur un

système Linux.

8
  Cette commande permet de connecter

Sur le FireFox de la machine Linux on installe la dernière version hadoop3.3.6 puis on

extrait dans le Home.

On va déplacer le répertoire « hadoop-3.3.6 » vers « /usr/local/hadoop » :

On va créer un nouveau répertoire appelé « logs » dans le répertoire:

9
On va changer le propriétaire (Owner) et le groupe (Group) de tous les fichiers et les
répertoires sous le répertoire /usr/local/hadoop en « hadoop »

 Editer le fichier de configuration avec le terminal nano

10
On va déterminer le chemin complet vers l’exécutable du compilateur Java « javac »

Cela signifie que le lien /usr/bin/javac pointe vers l’exécutable du compilateur Java situé
dans le répertoire /usr/lib/jvm/java-8-openjdk-amd64/bin.

 configuration hadoop-env.sh

11
La commande cd/usr/local/hadoop/lib est utilisée pour naviguer vers le répertoire
usr/local/hadoop/lib.

La commande sudo wget https://jcenter.bintray.com/javax/activation/javax.activation-

api/1.2.0/javax.activation-api-1.2.0.jar est utilisée pour télécharger un fichier JAR.

 Vérifier l’installation de l’image hadoop

12
 Déployer et configurer un cluster
Hadoop (Mater et 2 slaves)
 Créer un dossier pour le cluster Hadoop

 Créer un fichier docker-compose.yml dans le dossier

13
 Ajouter l'utilisateur à groupe Docker

 Lancer les conteneurs avec Docker Compose

 Vérifier l'état des conteneurs :

14
 Accéder à l'interface web du NameNode

 Exécuter des commandes Hadoop à l'intérieur du conteneur

15
 Analyse statistique de la longueur des
mots d’un texte en Map-Reduce
Analyse 1 : Compter le nombre de mots de chaque longueur présente dans le texte (En
vue d’établir un histogramme des longueurs de mots)

On va verifier l’installation du Hadoop




On va afficher la version du compilateur javac


Cette commande utilisée dans l’environnement Hadoop pour configurer
les variables de classe

Cette commande permet d’effectuer des opération sur le système de

fichier distribuer HDFS


Cette commande permet de corrigée et expliquée est utilisée pour
compiler un programme Java, en l'occurrence un programme Hadoop
MapReduce appelé wordCount.java


16
cette commande crée un fichier JAR à partir des fichiers de classes dans le
répertoire tutorial_classes/ et exécute une application Hadoop
MapReduce en utilisant ce fichier JAR.

cette commande lance une application Hadoop MapReduce en utilisant le

fichier JAR spécifié, avec les chemins d'entrée et de sortie spécifiés.

17
Cette commande affichera le contenu de tous les fichiers du répertoire
spécifié et dirigera la sortie
Analyse 2 : Compter le nombre de mots de 1 à 5 caractères (inclus), de 6 à 10
caractères(inclus), de 11 à 15 caractères (inclus) et de plus de 15 caractères présents
dans le texte

18
Analyse 3 : Obtenir les listes de mots de 1 à 5 caractères (inclus), de 6 à 10 caractères(inclus),
de 11 à 15 caractères (inclus) et de plus de 15 caractères présentsdans le texte. Il n’est pas
demandé de trier les mots à l’intérieur d’une liste, ni d’éliminerles doublons

21
Quelque Capture sur les dossier et les Codes

Fichier input.txt
Code analyse 1
Code analyse 2

Code analyse 3
Quelque remarque sur les installations

Lors de l'installation du NameNode dans un cluster Hadoop

Espace disque insuffisant :
Erreur : Le NameNode nécessite suffisamment d'espace disque Une erreur d'espace disque insuffisant peut
survenir lors du démarrage du NameNode.
Solution : On a augmentez l'espace disque.

On a installer le jdk dans l installation de l’image Hadoop est développé en Java et s'exécute sur la
machine virtuelle Java (JVM)

On a utiliser le docker-compose test et de déploiement d'applications composées de plusieurs

conteneurs .
 Conclusion
La mise en œuvre du projet semestriel, axé sur l'intégration de clusters Hadoop et l'utilisation
de Docker avec Portainer, a permis d'atteindre plusieurs objectifs clés. L'adoption de la
technologie Hadoop a offert une solution robuste pour le traitement distribué des données,
améliorant ainsi les performances et la scalabilité de notre infrastructure. Parallèlement,
l'intégration de Docker avec Portainer a simplifié la gestion et le déploiement des conteneurs,
facilitant ainsi la mise en place et la maintenance des applications.

L'implémentation réussie de ce projet semestriel a non seulement démontré notre capacité à

adopter des technologies de pointe, mais a également posé les bases d'une infrastructure plus
résiliente, évolutive et facile à gérer. Les enseignements tirés de cette expérience peuvent être
appliqués à des projets futurs, consolidant ainsi notre positionnement en tant qu'acteur
innovant dans le domaine des technologies de l'information. En conclusion, le projet a été un
catalyseur de progrès, stimulant la croissance et l'efficacité de notre environnement
informatique.

23