Vous êtes sur la page 1sur 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO

Big Data: Concepts, techniques et démonstration de Apache Hadoop

Jalel Eddine HAJLAOUI

Hadoop Jalel Eddine HAJLAOUI hajlaouijalel.ig@gmail.com Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

TB3C-ISSATSO

12 Décembre 2015

1 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Plan

Plan

1 Motivation et Concepts

2 Techniques

3 Démonstration de Hadoop

4 Conclusion

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

2 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

3 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

4 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

La vision d’un entrepreneur

Concepts Motivations Big Data La vision d’un entrepreneur Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 5

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

5 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

La 3ème Révolution Numérique : Vision d’expertise et de Consulting

Numérique : Vision d’expertise et de Consulting Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 6 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

6 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

3ème Révolution Numérique

Concepts Motivations Big Data 3ème Révolution Numérique Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 7 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

7 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Technologie de pointes [Gartner et Atos]

Big Data Technologie de pointes [Gartner et Atos] Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 8

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

8 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Les nouveaux métiers de l’économie numérique : Big Data, big jobs ?

Altaide : Explosion du nombre d’offres d’emploi en 2015

? Altaide : Explosion du nombre d’offres d’emploi en 2015 Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

9 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Le TOP 10 des nouveaux métiers du digital

Big Data Le TOP 10 des nouveaux métiers du digital 1- Data Scientist 2- Chef de

1- Data Scientist 2- Chef de projet Web mobile 3- Chef de projet e-CRM 4- Responsable de la stratégie mobile 5- Directeur marketing digital 6- Chargé de communication Web et digital 7- Consultant Web analytique 8- Community manager interne et externe 9- Consultant e-réputation 10- Chef de projet technique Web

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

10 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Les métier Big Data [Altaide]

Motivations Big Data Les métier Big Data [Altaide] Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 11

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

11 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data

Big Data: Buzz ou Sujet de fond?

Motivations Big Data Big Data: Buzz ou Sujet de fond? Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

12 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

13 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Définition du Big Data

et Concepts Concepts de Big Data Définition du Big Data Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

14 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Les 5 V du Big Data [Atos]

Volume - Vélocité - Variété - Véracité - Valeur

[Atos] Volume - Vélocité - Variété - Véracité - Valeur Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

15 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Divers sources de données

et Concepts Concepts de Big Data Divers sources de données Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

16 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Zoom sur la variété de données

Concepts de Big Data Zoom sur la variété de données Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

17 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data

Le Big Data : une notion contextuelle

Concepts de Big Data Le Big Data : une notion contextuelle La notion de Big Data

La notion de Big Data présente un contexte offrant un potentiel d’évolution des aspects techniques et métiers (Opérationnel et BI).

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

18 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

19 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques

Évolutions Technologiques (NoSQL et NewSQL

2004: Google et Amazon font face à une croissance exponentielle des données: Création de BigTable, GFS et MapReduce (Besoin de performance et de scalabilité-Approche NOSQL)

2008: Publication des codes par Google

2008-2011: Adoption par les secteurs du WEB d’un clone Open Source nommé HADOOP à la suite de la concurrence par Google.

2011: Adaptation des offres éditeurs de solution pour les Entreprises à HADOOP.

2012: Prise de conscience par la communauté SQL des besoins de performance et de scalabilité (NewSQL: refonte de l’architecture des bases relationnelles)

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

20 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques

Hadoop et son système de fichiers distribués

Des infrastructures de serveurs pour distribuer les traitements sur des dizaines, centaines, voire milliers de noeuds. C’est ce qu’on appelle le traitement massivement parallèle. Le Framework Hadoop est constitué d’un ensemble de modules développés pour répondre à des besoins précis :

Stockage des données : HDFS (système de fichier distribué - Hadoop Cluster)

Couche traitement de données : MapReduce (distribution des traitements), Apache Spark

Modules complémentaires : Hbase, Hive, Solr, Pig, Oozie, Impala, Mahout, Sqoop, Langage R,

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

21 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

22 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop

Histoire de Hadoop et de son créateur

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

23 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop

L’incontournable Hadoop: Caractéristiques

Hadoop L’incontournable Hadoop: Caractéristiques Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 24 / 38

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

24 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop

Le framework Hadoop: Ecosystème et Distributions

Hadoop Le framework Hadoop: Ecosystème et Distributions Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 25 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

25 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

26 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Utilisation d’un système Hadoop : les différentes étapes

d’un système Hadoop : les différentes étapes 1 et 2: Recopier les données/algorithmes vers HDFS 3:

1 et 2: Recopier les données/algorithmes vers HDFS 3: Démarrer le système Hadoop 4: Récupérer le résultat au disque local de l’user

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

27 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Détail de l’étape Exécution

Principes et fonctionnement Détail de l’étape Exécution Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 28 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

28 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Détail de l’étape Exécution des calculs

fonctionnement Détail de l’étape Exécution des calculs Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 29 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

29 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Découpage des données d’un problème de dénombrement

Découpage des données d’un problème de dénombrement Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 30 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

30 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement

Résultats obtenus avec l’algorithme Reduce pour le dénombrement

obtenus avec l’algorithme Reduce pour le dénombrement Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 31 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

31 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

32 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop

Architecture applicative Hadoop (1)

Démonstration de Hadoop Architecture applicative Hadoop (1) Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 33 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

33 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop

Architecture applicative Hadoop (2)

Démonstration de Hadoop Architecture applicative Hadoop (2) Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 34 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

34 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop

Exemple MapReduce

- TB3C-ISSATSO Démonstration de Hadoop Exemple MapReduce Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 35 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

35 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion

Plan

1 Motivation et Concepts

Motivations de Big Data

Concepts de Big Data

2

Techniques

Le système Hadoop

Principes et fonctionnement

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

3 Démonstration de Hadoop

4

Conclusion

12 Décembre 2015

36 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion

Exemple MapReduce

Apache Hadoop - TB3C-ISSATSO Conclusion Exemple MapReduce Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 37 /

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

37 / 38

Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion

et démo de Apache Hadoop - TB3C-ISSATSO Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 38

Jalel Eddine HAJLAOUI

TB3C-ISSATSO

12 Décembre 2015

38 / 38