Université Mohamed V

Faculté des sciences Rabat

Big Data
Travaux pratique

Apache Flume

Master Sciences et ingénierie de données

2022-2023

RHARRHOUR ABDERRAHMANE
Pour le TP de flume on doit installer Le package « flume—pkg » mais dans la machine
virtuelle Cloudera ce package est déjà installé.
On doit partir au répertoire « /etc/hadoop/conf » avec la fonction cd et copier les fichiers
python flume-agent1.properties et flume-agent2.properties dans « /etc/hadoop/conf ».

Puis on a créé le HDFS directory qui va stocker les données de Flume.

Ensuite on a exécuté le fichier log-generator.py dans le même répertoire etc/hadoop/conf

Puis on éxecuter la commande suivante :
Apres on a commencé le downstream avec ‘tail’ en utilisant la commande :

Ensuite l’exécution de deuxième agent :

En fin on a essayé a voir les données en HDFS :