Projet de Fin d’Études

Pour l’Obtention du Titre

D’Ingénieur d’État en Informatique
Option e-Management & Business Intelligence

Build CI/CD Data Pipelines On AWS For

The Machine Learning & Analytics Team

2021/2022

Réalisé par: Encadré par: Membres de jury:

BENDER Moncef Mme. BENBRAHIM Houda (ENSIAS) Mr. KERZAZI Noureddine
Mr. CHOUIEKH Adil (IBM) Mr. BELLABDAOUI Adil
Plan de la présentation

1. Introduction général 3. Conception de la solution

Organisme d’accueil Modélisation fonctionnelle
Client AWS: Amazon Web Services
Problématique Modélisation technique
objectif
Procédure du travail

2. Analyse des besoins 4. Réalisation de la solution

Analyse de l'existant Datasets “Gas Infra”
critique de l’existant Pipelines
Solution proposée Déploiement en CI/CD
Enterprise data platform (EDP) Perspective

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 2
Introduction
général
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 3
Organisme d’accueil

IBM est la première

entité de conseil dans
le monde entier.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 4
Client

NextEra Energy
opère dans 49 états
aux Etats-Unis et
dans 4 provinces
canadiennes.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 5
ça peut signifier quoi…

1.000.000.000

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 6
Réseau intelligent du
NextEra Energy

- Plus de 155.000 systèmes intelligents

sont installés.
- Plus de 5 millions de capteurs
intelligents sont déployés.
Amélioration de la fiabilité de
- Environ 1 milliard des données près de 40 % depuis 2006.
collectées par jour.

Source: Rapport annuel 2021 NEE.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 7
Problématique

Gérer ce flux immense de données pour

assurer l’opération de l’équipe Machine
Learning & Analytics de NextEra Energy.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 8
Objectif

Permettre à l’équipe ML & Analytics de

consacrer plus de temps à l’analyse et à la
prise de décision, plutôt qu’à la collecte,
l’intégration et le nettoyage des données.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 9
Procédure du travail

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 10
Analyse des
besoins
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 11
Analyse de l'existant > Sources de données

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 12
Analyse de l'existant > Consommation des données

Un nombre important
d’interfaces point à point via
plusieurs plateformes de
données.

Source: Rapport annuel 2021 NEE.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 13
Critique de l’existant

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 14
Solution proposée

Une infrastructure de
données de base commune
(common core data
infrastructure)

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 15
Enterprise data platform (EDP)

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 16
Conception de
la solution
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 17
Modélisation fonctionnelle

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 18
Modélisation fonctionnelle > Data lake

Data Lake stocke toutes sortes de données et

ignore comment, quand et pourquoi les données
seront utilisées.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 19
Modélisation fonctionnelle

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 20
Modélisation fonctionnelle > Data domains

Un regroupement logique des

données selon les principaux
sujets d’intérêt pour
l’organisation

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 21
Modélisation fonctionnelle

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 22
Modélisation fonctionnelle > Data governance

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 23
Modélisation fonctionnelle

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 24
Modélisation fonctionnelle > CI/CD

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 25
Modélisation fonctionnelle > Datasets

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 26
Modélisation fonctionnelle

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 27
AWS: Amazon Web Services

Une plate-forme de cloud

computing complète et évolutive
fournie par Amazon.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 28
Modélisation technique

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 29
Réalisation de
la solution
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 30
Datasets Gas Infra

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 31
Pipeline > Données fondamentales
provenant de sources de SGBD
traditionnelles

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 32
Pipeline > Données fondamentales
provenant de sources non
traditionnelles

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 33
Pipeline > Combo Curve

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 34
Pipeline > Corva

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 35
Déploiement en CI/CD

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 36
Perspectives

- Créer d’autres datasets

- Concrétiser encore plus le concept CI/CD
- Assister l’équipe Machine Learning &
Analytics de NEE pour déployer les modèles
en CI/CD.

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 37
Merci de votre attention

38
Bonus: Solution pour Corva

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation
Bonus: mot de tech project
manager

Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation
 Projet de Fin d’Études
Pour l’Obtention du Titre
D’Ingénieur d’État en Informatique
Option e-Management & Business Intelligence

Build CI/CD Data Pipelines On AWS For

The Machine Learning & Analytics Team.

2021/2022

Réalisé par: Encadré par: Membres de jury:

BENDER Moncef Mme. BENBRAHIM Houda (ENSIAS) Mr. KERZAZI Noureddine
Mr. CHOUIEKH Adil (IBM) Mr. BELLABDAOUI Adil