Atelier 1 : Installation et configuration de

l’environnement de Travail
AU : 2023-2024

Création d’une machine virtuelle « UBUNTU » et installation Hadoop

Enseignant : ZOUARI Moez

 Table des matières

Table des matières

Création d’une machine virtuelle _________________________________________________ 1
Installation UBUNTU __________________________________________________________ 1
Installation de Hadoop ________________________________________________________ 2
Configuration Hadoop _________________________________________________________ 5
Pg. 01 Atelier 1: Installation de Hadoop

1. Virtual Box est

un logiciel de
Création d’une machine virtuelle
virtualisation pour
PC et MAC qui
Téléchargement
permet d'exécuter 1. Télécharger la derniere version du programme Virtual Box
plusieurs
systèmes https://www.virtualbox.org/wiki/Downloads
d'exploitation au
même instant sur Nouvelle machine
la même
2. Créer une machine virtuelle avec la configuration suivante :
machine.
• Nom : hadoop
• Type de système : Ubuntu
• 2 CPU (Au minimum)
• 4GB RAM (Au minimum)
• 40 GB HDD (Au minimum)

Accès à Internet
3. Utiliser l’option NAT pour se connecter à Internet à partir de votre machine virtuelle.

Installation UBUNTU
Téléchargement
1. Télécharger la dérnière version LTS de « UBUNTU Desktop»
https://ubuntu-fr.org/telechargement

Installation
2. Installer « UBUNTU »
3. Monter l’image iso sur le CD Virtuel de machine virtuelle créée et démarrer le
système
4. Pendant l’installation spécifier les données suivantes :
• Nom de Machine : hadoop
• User: hadoop
Pg. 02 Atelier 1: Installation de Hadoop

• Password : hadoop

Affichage correcte
Pour avoir un affichage sur tout l’écran, veillez Retirer l’image du CD d’installation puis
installer les « adds-on » du système invité pour avoir un affichage correct.

Menu Péripfériques/insérer l’image CD …/…

Puis suivre les étapes

Installation de Hadoop
Installation des packages importants et JAVA JDK

• Mettre à jour « package repository » :

$ sudo apt-get update

Pg. 03 Atelier 1: Installation de Hadoop

• Quelques outils à installer en plus

$ sudo apt-get install build-essential uuid-dev autoconf rsync

$ sudo apt-get install aptitude

• Choix e version et installation de Java :

Chercher la version de java adéquate compatible avec la version de hadoop à installer.

Consulter le lien suivant :

https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

Installer openjdk

$ sudo aptitude search openjdk-8

Ou
$ sudo aptitude search openjdk-11
Puis
$ sudo apt-get install openjdk-8-jdk

Vérifier la version installée

$ javac -version

Récupérer le chemin d’installation de java :

$ update-java-alternatives -l
Pg. 04 Atelier 1: Installation de Hadoop

Editer le fichier .bashrc et mettre à jour la variable d’invironnement « JAVA_HOIME ».

$gedit $HOME/.bashrc
Ajouter les deux lignes suivantes à la fin puis enregistrer ( Le chemin doit être
récupéré à partir du résultat de la commande : « $ update-java-alternatives -l » et
attention aux majuscules)
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$PATH:$JAVA_HOME

ré-exécuter le script « .bashrc »

$ source .bashrc

Installation et configuration SSH

• Installation du Serveur SSH

$ sudo apt-get install openssh-server

• Création clé RSA

$ ssh-keey ygen -t rsa -P "" (juste taper ma touche “entrée” quand on demande le
nom du fichier)
$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
$ chmod 0600 /home/hadoop/.ssh/authorized_keys

• Tester la connectivité

$ssh localhost
$ logout
Pg. 05 Atelier 1: Installation de Hadoop

Téléchargement de Hadoop

• Télécharger une version stable de Hadoop (la dernière de préférable).

Consulter le lien : https://dlcdn.apache.org/hadoop/common/stable/

• Extraire le fichier

$tar -xzf hadoop-3.3.6.tar.gz

Configuration Hadoop
MAJ des variables d’environnement : « PATH », …

• Editer le fichier « .bashrc »

$ gedit .bashrc

• Ajouter les lignes suivantes à la fin du fichier ( Changer les chemins si

nécéssaire) :

export HADOOP_HOME=$HOME/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin : =$PATH:$HADOOP_HOME/sbin

• Réexécuter le script .bashrc :

$ source $HOME/.bashrc

Mise à jour des fichiers de configuration de Hadoop

Pg. 06 Atelier 1: Installation de Hadoop

• Pour configurer Hadoop, il faut fixer des valeurs pour les propriétés des
fichiers XML dédiés.

Mettre à jour les fichiers suivants en ajoutant/modifiant les lignes mentionnées ci-
après : ( NB : On peut récupérer une copie des fichiers de l’enseignant pour éviter des
erreurs de saisie. )

Fichier Hadoop-env.sh

…
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
…
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-
3.3.6/etc/hadoop"}
…
export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}
…

Fichier core-site.xml
Pg. 07 Atelier 1: Installation de Hadoop

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmpdata</value>
</property>
</configuration>
Fichier hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>
Pg. 08 Atelier 1: Installation de Hadoop

Fichier yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduceyarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Fichier mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED
_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</property>
</configuration>

Mise en marche et test de Hadoop

Formatage / Initialisation de HDFS
Pg. 09 Atelier 1: Installation de Hadoop

$hadoop namenode -format

$hadoop datanode -format

• Vérifier la création d’un dossier hdfs dans le dossier spécifié dans les fichier
de configuration hdfs-site.xml:

<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>

Lancement des démons Hadoop

$start-all.sh

Vérification des démons Hadoop

$jps