Veille Technologique Big Data

NOTIONS DE BIG DATA

(Concepts généraux)
I- PROBLEMATIQUE ACTUELLE DU MONDE DE LA
DATA

L’avènement de nouvelles technologies comme Internet couplée à

l’apparition de nouveaux types de données(photos, vidéos, audios, pdf)en
plus de données déjà existantes sous formes de fichiers classiques(tables
excel, powerpoint, word et formats similaires) a entrainé une explosion du
nombre de données disponibles.
Tous les 5 ans le nombre de données produites mondialement devrait être
multiplié par 4 ou 5.La projection la plus proche étant 175 Zettaoctets en
2025.(1 Zetta-octet = 1Milliard de Terraoctets).

1
 Veille Technologique Big Data

Source
https://fr.statista.com/infographie/17800/big-data-evolution-quantite-
donnees-numeriques-creees-dans-le-monde/

Nous constatons ainsi :

- Explosion du nombre de données de différentes sources depuis 2010
- L’Interprétation de ces données de façon classique est impossible
-Urgence d’interpréter les données autrement de façon plus automatisée

L’explosion de ce volume de données est couplée à une évolution de la

puissance de calcul tel que le stipule la loi de Moore

(Loi de Moore)

le nombre de transistors qui compose principalement le processeur des

ordinateurs double chaque année, ainsi que la puissance de l’ordinateur.
Une certaine limite de performance sera atteinte due à la taille des
composants, ne pouvant logiquement pas être inférieure à celles des
atomes.
Datas genérées pour ecosyteme Big Data

2
 Veille Technologique Big Data

Structurées (RDB,Feuilles de calcul(xls,etc…)

Semi-structurées (XML,JSON)
Unstructured Datas (photos,videos,likes,etc..)
Facteurs accelerant la predominance des données instructurées (Video
production,Social Media,Internet Speed)

3
 Veille Technologique Big Data

II - BIG DATA INTRODUCTION

A-Définition
Small Data = Tres souvent données structurées

Big Data definition classique = Nombre exponentiel de données de types

et sources différentes -traces digitales laissées par nos differentes
activités(facebook,Twitter,sites web,posts,hashtags,likes,..), en vue d’une
analyse avec des outils specialisées(logiciels,infrastructures cloud,Outils
IA,etc..)pour en tirer des « insights » en vue de decision.

4
 Veille Technologique Big Data

Big Data definition actuelle = processus (lifecycle) de travail avec les

données massives
Big Data definition réelle=Ecosysteme consistant à une collecte de ces
differentes sources de données , des outils d’analyse pour resoudre un
problème ou ressortir des insights pour prendre des decisions.processus
itératif

5
 Veille Technologique Big Data

Data Science workflow

6
 Veille Technologique Big Data

Rappel Taille des datas

B-Les 4 V(s) du Big Data (Dimensions du Big Data)
Velocity – Volume – Variety - Veracity

Velocity
Vitesse à laquelle les données arrivent

7
 Veille Technologique Big Data

Volume
Augmentation du nombre de données stockées dans le temps

Variété
Variété etr diversité des données(Photos,videos,textes,etc…)

Veracité
Certitude et Authenticité des données

8
 Veille Technologique Big Data

Value
Utilise tous ces processus pour prendre des decisions dans le but
d’optimiser le business, decouvrir de nouvelles opportunités et d
augmenter la valeur donc les revenus.

9
 Veille Technologique Big Data

C-Impact du Big Data dans les entreprises

Secteurs utilisant le Big Data

Big Data par secteur

10
Veille Technologique Big Data

11
Veille Technologique Big Data

12
 Veille Technologique Big Data

Big Data dans la vie reelle (exemples)

système de recommandations

Assitants virtuels

Alexa

13
 Veille Technologique Big Data

Previsions (Forecasting)

Exemple 1 -pdf

14
Veille Technologique Big Data

15
 Veille Technologique Big Data

D-Internet of Things (IoT)

Impossibilité d’interpreter les données IoT sans le Big Data et l’IA

Echelle d’augmentation des appareils connectés en 2025

16
 Veille Technologique Big Data

Ecosysteme IoT
III – PRINCIPES DE FONCTIONNEMENT ECOSYSTEME
BIGDATA
A-Fonctionnement d’un systeme de calcul

17
 Veille Technologique Big Data

B-Linear Processing vs Parallel Processing

Linear Processing - Taches simples

18
 Veille Technologique Big Data

Parallel Processing-Processus complexes nécessitant de nombreux

processus
Avantages Parallel Processing pour le Big Data

C-Data Scaling
Techniques pour manager stocker et faire des calculs sur une augmentation
de taille de données à analyser
Scaling_up=Augmentation de la puissance de calcul et de la capacité de
stockage pour répondre à une augmentation de données à calculer

Horizontal Scaling ou Scale out

19
 Veille Technologique Big Data

Augmentation des ressources par ajout jusqu’à la disparition du

problème.(Adding Nodes of same capacitys)

Individual Node=Compute cluster

Embarassingly Parallel problem

Exemple : Transformer les dates d’un dataset de10Tb(Ici le dataset au liey

d’être traité de facon séquentielle,le dataset va être divisé en petits groupes
stockés dans les computing clusters(nodes) pour accelerer le calcul
FAULT TOLERANCE (Processus Hadoop fiable a 99,999 %)

20
 Veille Technologique Big Data

Copie des partitions des fichiers sur d autres nodes

En cas de failure-recopie des fichiers sur un nouveau node

21
 Veille Technologique Big Data

IV – OUTILS BIG DATA ET ECOSYSTEME

22
 Veille Technologique Big Data

 Data Technologies
Analyse, process, et extractions d’informations utiles

 Analytics and visualization

Chercher les trends et les patterns

23
 Veille Technologique Big Data

 Business Intelligence
Transforme les données brutes en informations importantes en utilisant la
probabilité les statistiques,et les graphiques

 Cloud Providers
Serveurs intégrés a la demande (Iaas,Paas,Saas)

24
 Veille Technologique Big Data

AWS ,GCP ,Microsoft azure ,IBM Cloud,

 No SQL

 Programming Tools

25
Veille Technologique Big Data

26