ODB174: OUTILS DES BIG DATA

ODB1741- Introduction au Big DATA

Master 1 – Data Science

PROJET FINAL – NOTÉ

Sur 100 points

Technologies Récentes du Big Data

Année Scolaire 2022-2023

Par

Professeur: Robert Yavo

Email: ryavo@hotmail.com WhatsApp: +225-07-88-63-26-58

UPB – Université Polytechnique de Bingerville Automne 2022

 Table des matières

1. EXERCICE-01. Architectures et Concepts (25 points) ...........................................................3

2. EXERCICE-02. Technologies Récentes. Installations et Configurations (25 points) ............3
3. EXERCICE-03. Plate-forme de Gestion Big-Data / Administration (25points)......................4
4. EXERCICE-04. Construction et Installation d’un Data Center: Un cas réel (25 points) ........4

UPB – Université Polytechnique de Bingerville Page 2 de 4 Hivers 2023

1. EX-01. Architectures et Concepts des Big-Data (30points)
a) C’est quoi la Data Science? Nommez 8 domaines de la Data Science (1 point)
b) Nommez 4 métiers du Big Data ou de Data Sciences (1 point)
c) Quelle différence y a – t-il entre le « Big-Data » et le « Data Warehouse » (2 points)
d) Expliquez en votre propre mot, l’Architecture globale des Big-Data: les différentes
couches, composantes et outils. (3 points)
e) Nommez et expliquez brièvement 4 catégories de base de données qu’on retrouve dans
le Big Data et donc un exemple de chaque. (2 points)
f) Décrire en détails le Design d’une Infrastructure de datacenter et de l’électricité: Voir
l’exemple à la Page 37 de 105. (5 points)
g) Nommez les technologies clés du « Cloud Computing » (2 points)
h) Décrire brièvement le concept de 6 V en Big Data (3 points)
i) Quelle est la plus haute unité mesure de données et son équivalent en Bytes? (1 point)
j) Décrire les Systèmes de fichiers distribués CEPH et leurs avantages (2points)
k) Faites un schéma de l’architecture d’Apache Storm, décrire brièvement les 6
composants et leurs rôles (3 points).
l)Expliquez brièvement ce schéma (la technologie, les composantes et leurs rôles): 5points

2. EX-02. Installations et Configurations des Technologies

Les technologies récentes: Spark, Kafka, Storm. (15 points)
1) Indiquez les prérequis et toutes les étapes nécessaires au téléchargement, à
l’installation et à l’initiation d’un session Spark dans Windows (5 points)
2) Indiquez toutes les étapes du téléchargement, de l’installation, de la configuration de
Kafka pour Windows. Indiquez aussi comment créer un topic nommé Projet1 qui va
stocker les données suivantes dans le Producer:
{"FirstName: "Robert", "LastName":"Constant", "Age":"49", "Salary":"10000000"}
Et qui apparaitra automatiquement dans le Consumer? (5 points)
3) Indiquez toutes les étapes d’installation et de configuration de Storm sur Windows et
comment vérifier que Storm est démarré et quels sont les ports utilisés? (5 points)

UPB – Université Polytechnique de Bingerville Page 3 de 4 Hivers 2023

3. EX-03. Administration et Gestion des Big-Data
1) Répondez aux 4 questions suivantes (4 points) :
a) Donnez une vue générale de l’utilité de l’outil Apache Ambari
b) Définir les différentes tâches que peut accomplir Ambari
c) Quel numéro de port utilise Hortonworks Sandbox pour initier une session à partir de
VirtualBox.
d) Quel numéro de port de communication par défaut qu’utilise l’Interface Utilisateur
Web d’Ambari (Dashboard)?
2) Que veut dire HDP? Décrivez les liens de téléchargements, de documentations et
donnez les exigences requises pour l’installation de cet outil. (3 points)
3) Quelles sont les 5 étapes d’installation d’Apache Ambari 2.7.6 de la fondation Apache
Software? Citez le nom des étapes et les commandes à taper sur Linux CentOS 7 (5 points)
4) Que feriez-vous en cas de conflit de port ou de résolution de nom d’adresse lorsque
vous lancez une application web telle qu’Ambari? (3 points)
5) Administration d’un Big-Data avec Ambari (10 points)
a)Quelles sont les étapes pour voir les métriques du service HDFS, l’utilisation des espaces
de disque, de mémoires et du pourcentage total de CPU utilisé par le Gestionnaire de
Node (NodeManager)?
b) Nommez les étapes pour configurer le NameNode et le DataNode de Hadoop HDFS?
c) Comment voir les différentes versions de configuration des services?
d) Comment voir le nombre de bytes écrits dans le rack par défaut?
e) A quoi ça sert les alertes, comment les voir et expliquez brièvement les différents types.
f) Nommez 5 métriques pour l’outil Storm et comment les voir avec l’outil Ambari?

4. Ex-04. Construction/Installation d’un Data Center

La compagnie « Yave Technology » a pour projet, la construction d’un Data Center en Côte
d’Ivoire. Les membres du Conseil d’Administration vous approchent et vous demande des
conseils sur la conception, la construction et l’installation du Datacenter.
Ils ont des contraintes budgétaires (Max: 40 millions fcfa) car c’est une « startup ».
Quels choix de technologies et conseils leur donneriez-vous?
Ce travail consiste à utiliser tout ce que vous avez appris dans ce cours (exemple
d’architecture) pour proposer une architecture, les technologies récentes disponibles en
respectant les contraintes.
Referrez-vous aux architectures vues dans le support de cours 2 pour en choisir une, puis les
technologies choisies et faites les recherches sur Internet pour trouver les
composants/matériels nécessaires à la construction de ce Datacenter.
Critères d’évaluation de cette partie:
Architecture proposée et expliquée (5 points)
Technologies proposées et expliquées (10 points)
Matériels d’installation proposés (5 points)
Conseils de sécurité du Datacenter (5 points)

UPB – Université Polytechnique de Bingerville Page 4 de 4 Hivers 2023