Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO

Big Data: Concepts, techniques et dmonstration de

Apache Hadoop

Jalel Eddine HAJLAOUI

hajlaouijalel.ig@gmail.com

TB3C-ISSATSO
12 Dcembre 2015

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 1 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Plan

Plan

1 Motivation et Concepts

2 Techniques

3 Dmonstration de Hadoop

4 Conclusion

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 2 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 3 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 4 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

La vision dun entrepreneur

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 5 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

La 3me Rvolution Numrique : Vision dexpertise et

de Consulting

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 6 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

3me Rvolution Numrique

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 7 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Technologie de pointes [Gartner et Atos]

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 8 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Les nouveaux mtiers de lconomie numrique : Big

Data, big jobs ?
Altaide : Explosion du nombre doffres demploi en 2015

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 9 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Le TOP 10 des nouveaux mtiers du digital

1- Data Scientist
2- Chef de projet Web mobile
3- Chef de projet e-CRM
4- Responsable de la stratgie mobile
5- Directeur marketing digital
6- Charg de communication Web et digital
7- Consultant Web analytique
8- Community manager interne et externe
9- Consultant e-rputation
10- Chef de projet technique Web

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 10 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Les mtier Big Data [Altaide]

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 11 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data

Big Data: Buzz ou Sujet de fond?

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 12 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 13 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Dfinition du Big Data

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 14 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Les 5 V du Big Data [Atos]

Volume - Vlocit - Varit - Vracit - Valeur

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 15 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Divers sources de donnes

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 16 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Zoom sur la varit de donnes

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 17 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data

Le Big Data : une notion contextuelle

La notion de Big Data prsente un contexte offrant un potentiel

dvolution des aspects techniques et mtiers (Oprationnel et BI).
Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 18 / 38
Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 19 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques

volutions Technologiques (NoSQL et NewSQL

2004: Google et Amazon font face une croissance

exponentielle des donnes: Cration de BigTable, GFS et
MapReduce (Besoin de performance et de scalabilit-Approche
NOSQL)
2008: Publication des codes par Google
2008-2011: Adoption par les secteurs du WEB dun clone Open
Source nomm HADOOP la suite de la concurrence par Google.
2011: Adaptation des offres diteurs de solution pour les
Entreprises HADOOP.
2012: Prise de conscience par la communaut SQL des besoins
de performance et de scalabilit (NewSQL: refonte de
larchitecture des bases relationnelles)
Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 20 / 38
Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques

Hadoop et son systme de fichiers distribus

Des infrastructures de serveurs pour distribuer les traitements sur

des dizaines, centaines, voire milliers de noeuds.
Cest ce quon appelle le traitement massivement parallle. Le
Framework Hadoop est constitu dun ensemble de modules
dvelopps pour rpondre des besoins prcis :
Stockage des donnes : HDFS (systme de fichier distribu -
Hadoop Cluster)
Couche traitement de donnes : MapReduce (distribution des
traitements), Apache Spark
Modules complmentaires : Hbase, Hive, Solr, Pig, Oozie,
Impala, Mahout, Sqoop, Langage R,

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 21 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le systme Hadoop

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 22 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le systme Hadoop

Histoire de Hadoop et de son crateur

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 23 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le systme Hadoop

Lincontournable Hadoop: Caractristiques

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 24 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le systme Hadoop

Le framework Hadoop: Ecosystme et Distributions

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 25 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 26 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Utilisation dun systme Hadoop : les diffrentes

tapes

1 et 2: Recopier les donnes/algorithmes vers HDFS

3: Dmarrer le systme Hadoop
4: Rcuprer le rsultat au disque local de luser
Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 27 / 38
Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Dtail de ltape Excution

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 28 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Dtail de ltape Excution des calculs

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 29 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Dcoupage des donnes dun problme de

dnombrement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 30 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement

Rsultats obtenus avec lalgorithme Reduce pour le

dnombrement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 31 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Dmonstration de Hadoop

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 32 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Dmonstration de Hadoop

Architecture applicative Hadoop (1)

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 33 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Dmonstration de Hadoop

Architecture applicative Hadoop (2)

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 34 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Dmonstration de Hadoop

Exemple MapReduce

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 35 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Conclusion

Plan

1 Motivation et Concepts
Motivations de Big Data
Concepts de Big Data 3 Dmonstration de Hadoop
2 Techniques 4 Conclusion
Le systme Hadoop
Principes et fonctionnement

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 36 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Conclusion

Exemple MapReduce

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 37 / 38

Big Data: Concepts, techniques et dmo de Apache Hadoop - TB3C-ISSATSO
Conclusion

Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dcembre 2015 38 / 38