Big Data Analytics 4ERP-BI / 4DS

Big Data Analytics

Workshop Apache Sqoop & Hive

I- Objectifs
Ce workshop permet d’exploiter les différents outils de Big data (Hive, MySQL, Sqoop, HDFS,
Avro) pour importer les données d’une base de données relationnelle MySQL et d’un fichier
log vers HDFS avec CDH (Cloudera Distribution Including Apache Hadoop) et les manipuler
sous HIVE.

II- Introduction
La figure ci-dessous décrit l’extraction et le chargement des données dans HDFS. Les données
structurées sont importées depuis les sources transactionnelles, et certaines tables dimensions
peuvent être récupérées depuis le datawarehouse existant. Les données non structurées sont
aussi importées dans leur état brut.

Dans ce qui suit, on va se focaliser sur l’importation des données à partir de la base de données
relationnelle MySQL vers HDFS et manipulation des données dans HIVE.

1
Ines Channoufi & Ines Slimene Esprit 2019-2020
Big Data Analytics 4ERP-BI / 4DS

III- Contexte des scénarios

Dans les scénarios de ce workshop, on se focalise sur les données relatives à l’entreprise
DataCo. Le schéma relationnel de la base de données correspondante est présenté à travers la
figure ci-dessous.

Pour analyser ces données, nous avons besoin de les migrer dans le système Hadoop Distributed
File System (HDFS). Pour cette raison, nous avons besoin de trouver un outil qui permet de
transférer facilement des données structurées à partir d'un SGBDR à HDFS, tout en préservant
leur structure. Cela nous permet d'interroger les données sur HDFS sans affecter les données
du SGBDR. Cet outil est Apache Sqoop, qui fait partie du CDH. Il permet de charger
automatiquement nos données relationnelles de MySQL en HDFS, tout en préservant la
structure.

Les données sur HDFS peuvent être stockées sous une forme binaire ou une forme textuelle,
nous visons exploiter le type de fichier Avro qui représente un format de fichier optimisé dans
Hadoop.

2
Ines Channoufi & Ines Slimene Esprit 2019-2020
Big Data Analytics 4ERP-BI / 4DS

Connexion mysql :
mysql -u root -p
mysql> show databases;
mysql> use retail_db;
mysql> show tables;

IV- Scénario 1 : Importation de la base de données retail_db de MYSQL dans

HIVE sans métadonnées

Dans ce scénario, on se propose d’importer la totalité des la base de données retail_db dans
HIVE. Il faut suivre les étapes suivantes :

1. On crée la base de données h_retail_db

hive> create database h_retail_db;

hive> use h_retail_db;

2. Vérification de la création du dossier correspondant sous HDFS (h_retail_db.db)

hdfs dfs -ls /user/hive/warehouse

3. Pour importer la base de données retail_db, on exécute le script suivant (dans un

nouveau terminal :

sqoop import-all-tables --connect jdbc:mysql://localhost:3306/retail_db --username=root --

password=cloudera --warehouse-dir=/user/hive/warehouse/h_retail_db.db --m=1

En fonction du volume des données à importer, cette commande peut prendre un peu de temps
pour se terminer. Elle lance des opérations (jobs) MapReduce pour transférer les données de la
base de données MySQL, vers HDFS

4. Vérification de l'importation des fichiers dans h_retail_db.db

hdfs dfs -ls /user/hive/warehouse/h_retail_db.db

hdfs dfs -ls /user/hive/warehouse/h_retail_db.db/departments

5. Maintenant, on doit importer les tables dans HIVE. Donc on doit créer les tables
correspondantes :

3
Ines Channoufi & Ines Slimene Esprit 2019-2020
Big Data Analytics 4ERP-BI / 4DS

Create external table h_departments(department_id int, department_name string)

row format delimited fields terminated by ','

Location '/user/hive/warehouse/h_retail_db.db/departments';

select * from h_departments;

V- Scénario 2 : Importation de la base de données retail_db de MYSQL dans

HIVE avec métadonnées (AVRO files)
1. Create database retail_avro;
2. Importation des données dans HDFS

sqoop import-all-tables \

-m 1 \

--connect jdbc:mysql://localhost:3306/retail_db \

--username=root --password=cloudera \

--compression-codec=snappy \

--as-avrodatafile \

--warehouse-dir=/user/hive/warehouse/retail_avro.db

3. Vérification de l'importation des données

hdfs dfs -ls /user/hive/warehouse/retail_avro.db

4. Visualisation des fichiers avro correspondants à la table departments

hdfs dfs -ls /user/hive/warehouse/departments

5. Visualisation des métadonnées (Le schéma Avro)

Sqoop a migré les donnes relationnelles vers un format binaire (Avro) tout en gardant leurs
structure dans un fichier de schéma d’extension «.avsc » (Avro schéma). Ce fichier se trouve
dans votre répertoire personnel. Pour lister les fichiers de schéma Avro (les fichiers d'extension
avsc), exécutez cette commande :

ls -l *.avsc

4
Ines Channoufi & Ines Slimene Esprit 2019-2020
 Big Data Analytics 4ERP-BI / 4DS

On peut visualiser le contenu du fichiers departments.avsc. Il contient le schéma relationnel de

la table departments. De ce fait, l’importation des tables sous le format Avro permet de faciliter
leurs importations dans Hive.

6. Importation des schémas des tables (fichiers .avsc )du local vers HDFS

Il est à noter que le schéma et les données sont stockés dans des fichiers séparés (.avro et .avsc).
Le schéma est appliqué uniquement lorsque les données sont interrogées en se basant sur une
technique appelée 'schema-on-read'.

Cela donne la souplesse nécessaire pour interroger les données avec SQL même si elles sont
dans un format Avro. Tandis que, si on manipule une base de données traditionnelle, il est
obligatoire de définir le schéma avant de gérer des données.

A ce niveau, nous avons importé une grande quantité de données (de SGBD vers HDFS) sans
préciser comment les interroger en utilisant leurs structures.

Les schémas Avro ont été générés dans le système local contrairement aux données qui sont
générées sous HDFS.

Pour interroger ces données avec Apache Hive, nous devons copier les fichiers d’extension
(.avsc) dans HDFS de cette manière :

hdfs dfs -mkdir /user/cloudera/retail_schema

hdfs dfs -put *.avsc /user/cloudera/retail_schema

Après avoir importé les données et leur schéma dans HDFS, nous passons maintenant à
l’interrogation en utilisant Apache Hive.

7. Création des tables et importation des données sous Hive

hive> use retail_avro ;

Pour créer des tables à partir des fichiers Avro nous devons exécuter ces requêtes de création
des tables comme suit :

5
Ines Channoufi & Ines Slimene Esprit 2019-2020
 Big Data Analytics 4ERP-BI / 4DS

a- Création de la table externe « Departments »

CREATE EXTERNAL TABLE depts STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/departments'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/departments.avsc');

b- Création de la table externe externe « Categories »

CREATE EXTERNAL TABLE categ STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/categories'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/categories.avsc');

c- Création de la table externe « Customers »

CREATE EXTERNAL TABLE cust STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/customers'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/customers.avsc');

d- Création de la table externe « Orders »

CREATE EXTERNAL TABLE Ord STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/orders'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/orders.avsc');

e- Création de la table externe « Order_items »

CREATE EXTERNAL TABLE ord_item STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/order_items'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/order_items.avsc');

f- Création de la table externe « Products »

CREATE EXTERNAL TABLE prod STORED AS avro

LOCATION '/user/hive/warehouse/retail_avro.db/products'

TBLPROPERTIES ('avro.schema.url'= 'hdfs:///user/cloudera/retail_schema/products.avsc');

6
Ines Channoufi & Ines Slimene Esprit 2019-2020
 Big Data Analytics 4ERP-BI / 4DS

VII. Scénario 3 : Importations des données à travers une sous interrogation directement
sous Hive

Dans e scénario, on se propose d’importer quelques lignes de la table « catégories » de la base

de données MySQL directement dans Hive.

Pour ce faire, il faut tout d’abord vérifier que le dossier « /user/cloudera » ne contient pas un
dossier « categories ». Dans le cas contraire, il faut le supprimer (Sqoop importe la copie de la
table dans un dossier portant le nom de la table dans « /user/cloudera » puis la transfère à
« hive/warehouse »).

La commande suivante permet de supprimer le dossier « catégorie ».

hdfs dfs -rm -r /user/cloudera/categories

Maintenant, on exécute la commande suivante pour importer quelques lignes de la table

catégories.

sqoop import --connect jdbc:mysql://localhost:3306/retail_db --username=root --

password=cloudera --hive-import --table=categories --where "category_id between 1 and 22" --m=1

Pour vérifier, on doit interroger la table catégories sous Hive.

7
Ines Channoufi & Ines Slimene Esprit 2019-2020