Nom et Prénom : EL AMINE MEHDI

Apache Hadoop est un framework open source, évolutif et tolérant aux

pannes, écrit en Java. Il traite efficacement de grands volumes de
données sur un cluster de hardware. Hadoop n'est pas seulement un
système de stockage, mais aussi une plateforme pour le stockage et le
traitement de grandes quantités de données.
Dans cette lecture, nous allons voir comment Apache Hadoop fonctionne
"Under The Hood". Ainsi, lorsque Apache Hadoop reçoit un énorme fichier,
le framework divise ce gros morceau de données en plus petits morceaux
et les stocke sur plusieurs machines pour être traités en parallèle, c'est
pourquoi Hadoop relie une armée de machines largement disponibles et
relativement peu coûteuses qui forment un Hadoop cluster.
Et une chose importante, quelle que soit la taille du fichier que l'utilisateur
transmet à Hadoop, chacun de ses clusters accueille trois couches
fonctionnelles, Hadoop distributed file systems pour le stockage des
données, Hadoop MapReduce pour le traitement, et Hadoop Yarn pour la
gestion des ressources.
Ensuite, nous avons une brève introduction à HDFS, un système de fichiers
distribué qui suit une architecture master/slave. Il se compose d'un seul
NameNode et de nombreux DataNode. Dans l'architecture HDFS, un
fichier est divisé en un ou plusieurs blocs de 128 Mo (la taille peut être
modifiée ultérieurement dans les configurations) et stocké dans des
DataNode séparés. Les DataNodes sont responsables des opérations telles
que la création, la suppression et la réplication des blocs selon les
instructions du NameNode. En plus de cela, ils sont chargés d'effectuer des
opérations de read-write sur les systèmes de fichiers.
NameNode joue le rôle de serveur master et de contrôleur central pour
HDFS. Il contient les métadonnées et maintient le namespace du système
de fichiers, il aussi supervise l'état du DataNode et coordonne l'accès aux
données.