Atelier 1 Configuration Environnement Big Data

Formation: Big Data: Ecosystème Hadoop
Formateur: Dr. Sellami Mokhtar

mokhtar.sellami@gmail.com
Atelier 0 : Configuration et
installation Docker Desktop sous
Windows 10
Objectifs
Dans cet atelier, vous allez :
• Activer la virtualization via BIOS
• Activer Hyper-v sous windows
• Installer docker desktop sous different versions de Windows 10
Configuration requise
Il faut une machine Windows 10 dotée de cette configuration :
• RAM : +8 GB
• CPU : +2CPU
• Virtualisation : Supportée
• OS : 64
Etapes de Configurations
Pour configurer l'environnement Big Data, il faut suivre les étapes suivantes :
1. Activation de la virtualisation via BIOS

Étape 1 - Ouvrez le Gestionnaire des tâches en appuyant simultanément sur la touche
Ctrl+Maj+Echap et accédez à l'onglet "Performances". En bas à droite, vous verrez
"Virtualisation". Vous verrez "Activé" ou "Désactivé" à côté de cela.
1
Si la virtualisation est désactivée, veuillez poursuivre et effectuer les étapes mentionnées ci-
dessous.
Pour éviter de faire défiler l'écran, car il s'agit d'un long article, nous avons ajouté quelques
liens utiles qui faciliteront votre navigation en fonction de vos besoins.
a) Pour les utilisateurs Intel :
Windows 10.
L'accès au BIOS de votre machine peut être réalisé en quelques étapes simples décrites ci-
dessous.
• Allez dans "Paramètres" et accédez à "Récupération" sur le côté gauche du menu.

Ensuite, cliquez sur "Redémarrer maintenant" comme indiqué ci-dessous.
• Après cela, 4 options vous seront présentées. Choisissez "Dépannage".
2
• Ensuite, choisissez "Options avancées"
• Après cela, sélectionnez "UEFI Firmware Settings". Si vous ne trouvez pas cette
option, cliquez ici pour accéder autrement à votre BIOS.
3
• Vous serez ensuite invité à redémarrer votre ordinateur. Cliquez sur "Redémarrer
maintenant".
• Pour modifier les paramètres du BIOS pour les utilisateurs Intel, cliquez ici.
• Pour modifier les paramètres du BIOS pour les utilisateurs AMD, cliquez ici.
Certaines versions de Windows n'ont pas les étapes ci-dessus pour entrer dans le BIOS. Dans
le cas où cela se produit sur votre PC/ordinateur portable, veuillez-vous référer à la
documentation accompagnant votre PC/ordinateur portable pour obtenir les étapes.
Alternativement, il existe quelques étapes pour entrer dans votre BIOS. Elles sont illustrées
ci-dessous avec un exemple.
4
HP
1. Pendant que votre PC redémarre, appuyez plusieurs sur la touche Échap pour
accéder au BIOS.
2. Appuyez sur la touche F10 pour accéder à la configuration du BIOS.
3. Appuyez sur la flèche droite de l'onglet de Configuration Système, sélectionnez
Technologie de Virtualisation et appuyez sur la touche Entrée.
Dell
• Appuyez sur la touche F2 au démarrage de la configuration du BIOS.

• Appuyez sur la flèche droite de l'onglet Avancé et sélectionnez Virtualisation, puis
appuyez sur la touche Entrée.
• Sélectionnez Activé et appuyez sur la touche Entrée.
• Appuyez sur la touche F10 et sélectionnez Oui puis appuyez sur la touche Entrée
pour enregistrer les modifications et redémarrer sur Windows.
Asus

• Appuyez sur la flèche droite de l'onglet Avancé et sélectionnez Technologie de
Virtualisation, puis appuyez sur la touche Entrée.
Acer

• Appuyez sur la flèche droite de l'onglet de Configuration Système, sélectionnez
Technologie de Virtualisation et appuyez sur la touche Entrée.
5
Comment activer la virtualisation dans le BIOS.
Au redémarrage, vous serez redirigé vers vos paramètres du BIOS. La disposition des
paramètres du BIOS dépend de divers facteurs, par exemple votre carte mère, le type de
processeur, le chipset et l'OEM. Veuillez-vous référer à la documentation fournie avec votre
PC/ordinateur portable pour les étapes permettant d'entrer dans le BIOS. A des fins de
représentation, nous avons utilisé des ordinateurs portables ASUS fonctionnant
respectivement sur des puces Intel et AMD.
Utilisateurs Intel
Étape 1 - Entrez en "Mode Avancé". Vous pouvez soit cliquer dessus ou appuyez sur F7 sur
votre clavier.
6
Étape 2 - Dans le Mode Avancé, passez à l'onglet Avancé.
Étape 3 - Dans l'onglet Avancé, différentes options vous seront présentées. Sélectionnez
Configuration CPU.
7
Étape 4 - Sous Configuration CPU, faites défiler la page jusqu'à "Technologie de

virtualisation Intel". Si cela est désactivé, vous pouvez l'activer en cliquant sur "Désactivé" et
en la changeant en "Activé".
8
Étape 5 - Une fois activé, vous pouvez maintenant quitter les paramètres du BIOS. Attention,
lors de la fermeture, assurez-vous de sélectionner "Enregistrer les modifications et
réinitialiser". Le libellé peut varier dans différents scénarios en fonction de votre modèle de
PC, mais l'essentiel est de sauvegarder avant de quitter.
Utilisateurs AMD
Étape 1 - Entrez dans le "Mode Avancé". Vous pouvez soit cliquer dessus ou appuyer sur F7
sur votre clavier.
9
Étape 2 - En Mode Avancé, passez à l'onglet Avancé.
Étape 3 - Ici, vous serez présenté avec différentes options. Sélectionnez Configuration CPU.
10
Étape 4 - Sous "Configuration CPU", faites défiler jusqu'à "Mode SVM". S'il est désactivé,
vous pouvez l'activer en cliquant sur "Désactivé" et en sélectionnant "Activé".
Étape 5 - Une fois ces modifications apportées, cliquez sur "Quitter" comme indiqué ci-
dessous.
11
Étape 6 - Il vous sera alors demandé de sauvegarder ou non ces modifications. Cliquez sur
"Ok". La virtualisation sera alors activée sur votre PC/ordinateur portable. Vous devriez alors
pouvoir utiliser BlueStacks sans aucun problème.
12
Pour plus de détails veillez accéder à ces liens pour les autres types de pcs.
https://support.bluestacks.com/hc/fr-fr/articles/115003174386-Comment-puis-je-activer-
la-virtualisation-VT-sur-mon-PC-
2. Activation Hyper-V
Activer le rôle Hyper-V via les paramètres
1. Cliquez avec le bouton droit sur le bouton Windows et sélectionnez Applications

et fonctionnalités.
2. Sélectionnez Programmes et fonctionnalités à droite, sous les paramètres
associés.
3. Sélectionnez Activer ou désactiver des fonctionnalités Windows.
4. Sélectionnez Hyper-V, puis cliquez sur OK.
Une fois l’installation terminée, vous êtes invité à redémarrer votre ordinateur.
3. Installation docker
Il faut vérifier la version de Windows 10 installé sur votre PC avant de procéder à installer
docker desktop
1.1. Trouver des informations sur le système d’exploitation dans

Windows 10
Découvrez quelle version de Windows est exécutée sur votre appareil, appuyez sur les
touches du logo Windows + R, saisissez winver dans la zone Ouvrir, puis sélectionnez OK.
13
Voici comment en savoir plus :

1. Sélectionnez le bouton Démarrer > Paramètres > Système > À propos de .
Ouvrir les paramètres À propos de

2. Sous Spécifications de l'appareil > Type du système, déterminez si vous exécutez la
version 32 bits ou 64 bits de Windows.
3. Sous Spécifications Windows, vérifiez l'édition et la version de Windows exécutée
par votre appareil.
1.2. Installer Docker Windows 10 Professionnel, Entreprise ou Éducation
Après avoir vérifié que la virtualisation était supportée et activée (voir ci-
dessus), nous allons pouvoir installer Docker for windows. Ces instructions
ont été testées sur un Windows 10 Education (build?) installer sur un Laptop
HP EliteBook. Les pré-requis système suivants doivent être vérifié pour installer
Docker for Windows:
• Windows 10 64bits: Pro, Enterprise or Education (1607 Anniversary

Update, Build 14393 ou plus récent)
14
• Le CPU doit avoir un support du second niveau de translation d’adresse

(SLAT - Second Level Address Translation). C’est normalement le cas sur
les machines relativement récente (2010+).
• Au moins 4 GB de RAM
• Si votre système ne remplit pas un de ces pré-requis, vous pouvez
toujours installer Docker Toolbox.
Voici la procédure d’installation :
1. Télécharger Docker for Windows Installer.exe depuis le site officiel de

Docker et exécutez l’installeur.
https://hub.docker.com/editions/community/docker-ce-desktop-windows/
2. Suivez la procédure, acceptez la licence et procédez à l’installation.

Cliquez sur Finish une fois l’installation terminer et Docker démarrera
automatiquement. Si Docker ne démarre pas, vous pouvez chercher
Docker for Windows dans vos applications et le démarrer manuellement.
15
3. Rendez-vous dans les settings de Docker qui faisant un click-droit sur

l’icone Docker ci-dessous:
4. Une fois dans les settings, rendez-vous dans Shared Drives et

sélectionnez les disques que vous désirez partager entre Windows et
Docker, puis valider votre sélection avec Apply:
16
5. Configurer Docker
Le menu Docker Desktop vous permet de configurer vos paramètres Docker

tels que l'installation, les mises à jour, les canaux de version, la connexion
Docker Hub, etc.
Cette section explique les options de configuration accessibles depuis la boîte

de dialogue Paramètres .
1. Ouvrez le menu Docker Desktop en cliquant sur l'icône Docker dans la zone
Notifications (ou dans la barre d'état système):
17
2. Sélectionnez Paramètres pour ouvrir la boîte de dialogue Paramètres:
18
Général
Dans l' onglet Général de la boîte de dialogue Paramètres, vous pouvez
configurer le moment de démarrage et de mise à jour de Docker.
• Démarrez Docker lorsque vous vous connectez - Démarrez

automatiquement Docker Desktop lors de la connexion au système
Windows.
• Exposer le démon sur tcp: // localhost: 2375 sans TLS - Cliquez sur
cette option pour permettre aux clients hérités de se connecter au
démon Docker. Vous devez utiliser cette option avec précaution car
exposer le démon sans TLS peut entraîner des attaques d'exécution de
code à distance.
• Envoyer des statistiques d'utilisation - Par défaut, Docker Desktop
envoie des diagnostics, des rapports d'erreur et des données
d'utilisation. Ces informations aident Docker à améliorer et à dépanner
l'application. Décochez la case pour vous désinscrire. Docker peut
périodiquement vous demander plus d'informations.
Ressources
L' onglet Ressources vous permet de configurer le processeur, la mémoire, le
disque, les proxys, le réseau et d'autres ressources. Différents paramètres sont
19
disponibles pour la configuration selon que vous utilisez des conteneurs Linux
en mode WSL 2, des conteneurs Linux en mode Hyper-V ou des conteneurs
Windows.
Il faut configurer le nombre de CPU à 1 ou plus en fonction de disponibilité de CPU et

aussi réserver 4G comme mémoire au Docker.
Voilà, vous avez installé et configuré Docker avec succès. Afin de tester si
votre installation fonctionne, tapez les lignes suivantes dans un terminal
PowerShell ou cmd.exe:
$ docker --version
Docker version 18.03, build c97c6d6
$ docker-compose --version
docker-compose version 1.23.1, build 8dd22a9
$ docker-machine --version
docker-machine version 0.14.0, build 9ba6da9
Finalement, on peut tester si un serveur web tel que nginx fonctionne en

exécutant la commande suivante dans votre terminal:
20
$ docker run --rm -p 80:80 --name webserver nginx
Une fois cette commande exécutée, vous devriez pouvoir ouvrir un navigateur
web, vous rendre à l’adresse localhost et voir s’afficher une page telle que
celle-ci:
1.2.2. Installation sous Windows Home ou Famille
Après avoir vérifié que la virtualisation était supportée et activée

(voir `Installation sous Windows 64 bits`_) et avoir vérifié que votre windows
est bien une version 64 bits, voici la procédure d’installation pour Docker
Toolbox. Ces instructions a été testée sur un Windows 10 Home 64bits à jour
installés sur différentes machines.
• Télécharger la dernière version de Virtualbox depuis le site officiel et exécuter

l’installeur en acceptant la licence et en suivant les instructions.
• Télécharger DockerToolbox.exe depuis le site officiel et exécuter l’installer
puis accepter la licence.
• Décocher Virtualbox dans les options d’installation (l’installeur utilise une
ancienne version de virtualbox), car nous avons déjà installé la version la plus
récente
21
• Continuer l’installation en suivant les recommandations de l’installeur.

• Executer Docker Quickstart Terminal et attendre que le script d’installation se
termine.
22
• Lorsque tout est installé, Docker Quickstart Terminal affiche une invite de
commande
Configurer Docker :
Il faut configurer le nombre de CPU à 1 ou plus en fonction de disponibilité de CPU et

aussi réserver 4G comme mémoire au Docker.
23
Voilà, vous avez installé Docker avec succès. Afin de tester si votre installation
fonctionne, tapez les lignes suivantes dans le Docker Quickstart Terminal:
$ docker --version
Docker version 18.03, build c97c6d6
$ docker-compose --version
docker-compose version 1.23.1, build 8dd22a9
$ docker-machine --version
docker-machine version 0.14.0, build 9ba6da9
Finalement, on peut tester si un serveur web tel que nginx fonctionne en

exécutant la commande suivante dans votre terminal:
$ docker run --rm -p 80:80 --name webserver nginx
Une fois cette commande exécutée, vous devriez pouvoir ouvrir un navigateur
web, vou srendre à l’adresse ip suivante 192.168.99.100 et voir s’afficher une
page telle que celle-ci:
24
25
Atelier 1 : Configuration et
installation de Hadoop Cloudera
Objectifs
Cet atelier a pour but :
• Installation et configuration de l’environnement Hadoop via la plateforme

Cloudera: http://www.cloudera.com/.
• Lancement et test de l’environnement Hadoop.
Téléchargement et Configuration de Cloudera. :

Cloudera QuickStart VM
Pour utiliser Hadoop deux solutions sont disponibles. La première est d'utiliser la version
proposée par la fondation Apache. Cette version est celle de référence et contient le noyau et quelques
interfaces d'administration très simplifiée. La seconde solution est d'utiliser les distributions fournies
par des entreprises qui font du service autour d'Hadoop. Dans le cadre de cet atelier, nous utilisons la
distribution de la compagnie Cloudera: http://www.cloudera.com/. Cette distribution a l'avantage
d'être gratuite pour Cloudera Standard. Elle fournit également des outils d'administration
supplémentaires qui facilitent son usage.
Installation et exécution d'un cluster simple nœud

Cloudera fournit des machines virtuelles prêtes à l'emploi pour VMware, VirtualBox et KVM ,
docker. Ces machines virtuelles s'exécutent sur Centos . Les machines virtuelles “ Cloudera QuickStart
(VMs)” comprennent tout ce que vous devez essayer avec CDH (Cloudera Distributed Hadoop),
Cloudera Manager, Cloudera Impala, et Cloudera Search.Les machines virtuelles utilisent des packages
26
préinstallés de CDC (Change Data Capture). Ce qui vous permet de travailler avec ou sans Cloudera
Manager. Pour utiliser ces machines virtuelles, vous avez besoins de ces configurations suivantes :
Cloudera QuickStart Docker Image
Cloudera QuickStart VMs and this Docker image are single-node deployments of Cloudera's 100%
open-source distribution including Apache Hadoop, and Cloudera Manager. They are ideal
environments for learning about Hadoop, trying out new ideas, testing and demoing your application.
Visiter ce lien https://hub.docker.com/r/cloudera/quickstart pour avoir plus de détails sur les

prérequis d’installation.
Lancer cmde.exe et exécuter cette commande
docker pull cloudera/quickstart
Exécution d'un conteneur Cloudera QuickStart
Pour exécuter un conteneur à l'aide de l'image, vous devez connaître le nom ou le hachage de
l'image. Si vous avez suivi les instructions d’importation ci-dessus, le nom pourrait être cloudera /
quickstart: latest (ou autre chose si vous avez téléchargé plusieurs versions). Le hachage est
également imprimé dans le terminal lorsque vous importez, ou vous pouvez rechercher les hachages
de toutes les images importées avec :
27
docker images
Une fois que vous connaissez le nom ou le hachage de l'image, vous pouvez l'exécuter:
docker run --hostname=quickstart.cloudera --privileged=true -t -i [OPTIONS] [IMAGE]
/usr/bin/docker-quickstart
Les explications pour les indicateurs requis et d'autres options sont dans le tableau suivant:
--hostname=quickstart.cloudera Required: pseudo-distributed configuration
assumes this hostname
--privileged=true Required: for HBase, MySQL-backed Hive

metastore, Hue, Oozie, Sentry, and Cloudera
Manager, and possibly others
-t Required: once services are started, a Bash

shell takes over and will die without this
-i Required: if you want to use the terminal,
either immediately or attach later
-p 8888 Recommended: maps the Hue port in the guest
to another port on the host
-p [PORT] Optional: map any other ports (e.g. 7180
for Cloudera Manager, 80 for a guided
tutorial)
-d Optional: runs the container in the

background
Pour exécuter le conteneur Cloudera/Quickstart tout en assurant que Hue est accessible via le port
8888 en tapant http://localhost : 8888 dans navigateur.
28
Références :
https://support.bluestacks.com/hc/fr-fr/articles/115003174386-Comment-puis-je-activer-la-
virtualisation-VT-sur-mon-PC-#%E2%80%9C11%E2%80%9D
https://construire-environnement-de-dev-avec-python-et-
docker.readthedocs.io/fr/latest/installation.html
29

Atelier 1 Configuration Environnement Big Data

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Atelier 1 Configuration Environnement Big Data

Transféré par

Droits d'auteur :

Formats disponibles

Formation: Big Data: Ecosystème Hadoop

Formateur: Dr. Sellami Mokhtar

1. Activation de la virtualisation via BIOS

a) Pour les utilisateurs Intel :

• Allez dans "Paramètres" et accédez à "Récupération" sur le côté gauche du menu.

• Après cela, 4 options vous seront présentées. Choisissez "Dépannage".

• Ensuite, choisissez "Options avancées"

• Appuyez sur la touche F2 au démarrage de la configuration du BIOS.

• Appuyez sur la touche F2 au démarrage de la configuration du BIOS.

• Appuyez sur la touche F2 au démarrage de la configuration du BIOS.

Comment activer la virtualisation dans le BIOS.

Étape 2 - Dans le Mode Avancé, passez à l'onglet Avancé.

Étape 4 - Sous Configuration CPU, faites défiler la page jusqu'à "Technologie de

Étape 2 - En Mode Avancé, passez à l'onglet Avancé.

Activer le rôle Hyper-V via les paramètres

1. Cliquez avec le bouton droit sur le bouton Windows et sélectionnez Applications

1.1. Trouver des informations sur le système d’exploitation dans

Voici comment en savoir plus :

Ouvrir les paramètres À propos de

1.2. Installer Docker Windows 10 Professionnel, Entreprise ou Éducation

• Windows 10 64bits: Pro, Enterprise or Education (1607 Anniversary

• Le CPU doit avoir un support du second niveau de translation d’adresse

Voici la procédure d’installation :

1. Télécharger Docker for Windows Installer.exe depuis le site officiel de

2. Suivez la procédure, acceptez la licence et procédez à l’installation.

3. Rendez-vous dans les settings de Docker qui faisant un click-droit sur

4. Une fois dans les settings, rendez-vous dans Shared Drives et

Le menu Docker Desktop vous permet de configurer vos paramètres Docker

Cette section explique les options de configuration accessibles depuis la boîte

2. Sélectionnez Paramètres pour ouvrir la boîte de dialogue Paramètres:

• Démarrez Docker lorsque vous vous connectez - Démarrez

Il faut configurer le nombre de CPU à 1 ou plus en fonction de disponibilité de CPU et

Finalement, on peut tester si un serveur web tel que nginx fonctionne en

$ docker run --rm -p 80:80 --name webserver nginx

1.2.2. Installation sous Windows Home ou Famille

Après avoir vérifié que la virtualisation était supportée et activée

• Télécharger la dernière version de Virtualbox depuis le site officiel et exécuter

• Continuer l’installation en suivant les recommandations de l’installeur.

Il faut configurer le nombre de CPU à 1 ou plus en fonction de disponibilité de CPU et

Finalement, on peut tester si un serveur web tel que nginx fonctionne en

$ docker run --rm -p 80:80 --name webserver nginx

• Installation et configuration de l’environnement Hadoop via la plateforme

Téléchargement et Configuration de Cloudera. :

Installation et exécution d'un cluster simple nœud

Cloudera QuickStart Docker Image

Visiter ce lien https://hub.docker.com/r/cloudera/quickstart pour avoir plus de détails sur les

Lancer cmde.exe et exécuter cette commande

docker pull cloudera/quickstart

Exécution d'un conteneur Cloudera QuickStart

--privileged=true Required: for HBase, MySQL-backed Hive

-t Required: once services are started, a Bash

-d Optional: runs the container in the

Centres d'intérêt liés

Vous aimerez peut-être aussi