Académique Documents
Professionnel Documents
Culture Documents
TechPourCdP 20mai22
TechPourCdP 20mai22
F. Lainée
Mai 2022
CONFIDENTIEL
TABLE DES MATIÈRES
entendre “parler” l’architecture IT/ Data du projet – savoir en intuiter une version haut
niveau
Avoir une intuition des points durs / zones de vigilance technologiques et pouvoir flécher
les “points de passage” clés à pointer/ surveiller
Pouvoir questionner l’équipe Tech / savoir où approfondir pour anticiper les risques,
préciser les attentes fonctionnelles au bon niveau, et formuler des conclusions solides
en langage client
“Chez nous cela ressemble à votre exemple, mais les données arrivent un peu à tout
moment, et on ne peut pas attendre minuit pour les charger en bloc. Est-ce que c’est
très impactant ? ”
“Pour ingérer les données, sera-t-il nécessaire de faire des copies complètes de nos
bases de données, ou pourra-t-on connecter les bases directement ?”
“Si demain on a besoin/ envie de changer un peu la structure des données, est-ce que
ce sera facile ou compliqué ?”
UN OBJECTIF ANCRÉ SUR DE MULTIPLES SITUATIONS
RÉELLES – DU FONCTIONNEL AU TECHNIQUE
Est-ce qu’il faut que je précise qu’on peut vouloir ajouter des sources au fil de l’eau ?
En cas de difficulté de mise au point, comment arbitrer entre persévérer et revenir sur
les choix d’architecture ?
Quel test faire subir aux composants techniques, au vu des fonctionnalités cibles ?
On ne voit pas les données de la source X sur l’écran Y, d’où cela peut-il venir / est-ce a
priori un bug simple ou complexe à résoudre ?
Le client voudrait maintenant pouvoir ajouter des sources de données au fil de l’eau,
que va-t-il falloir modifier ?
Crise chez le client. Une application critique est en rideau. War room avec le chef de
projet technique. Comment prioriser/ organiser les tests de recherche de la panne ?
TABLE DES MATIÈRES
Fonctionnalités Détails
• Données ingérées via un espace SFTP, à une fréquence régulière toutes les T mn réglée par
Aleia pendant le développement du projet
Ingestion de
• Délai de mise à disposition des données ingérées pour visualisation de T mn
données
• Données brutes des capteurs SMO, Structure : {id capteur, date, id grandeur, valeur} – à
préciser le cas échéant, fixé et non évolutif
Traitement de • Calcul des données d’alerte au format {id alerte, id capteur, id grandeur, date de début,
données valeur de début, date de fin*}
Toutes vues nativement permises par Grafana, construites par l’administrateur SMO. Notamment
(voir copies d’écran ci-après) les 3 vues co-construites lors de l’atelier de formation à la solution :
• 1) Dernières valeurs connues tous capteurs * 3 variables avec couleur de seuils
Vues
• 2) Série temporelle avec seuil et mise à l'échelle en fonction des valeurs de la période filtrée
• 3) Tableau récapitulatif des alertes de la période sélectionnée avec uniquement la première
valeur de dépassement (date et heure de la mesure + valeur mesurée)
Toutes possibilités nativement permises par Grafana, et notamment :
Filtres • Possibilité de filtrer les capteurs et les périodes de temps
• Seuils de filtrages communs pour tous les utilisateurs, ajustables par l’administrateur SMO
• Création d’utilisateurs Grafana par l’administrateur SMO
Administration • Accès par login mot de passe sur l’url du projet Grafana
• Toutes vues projet accessibles à tous les utilisateurs du projet
Code(s)
transformation*
File system
Code DB Aleia**
enrichissement Pour SMO
Schedule export SFTP
Fichiers csv toutes les Container MySQL
10 mn ou postgress
Seuils d’alertes
• Grandeur mesurée • Possibilité de
• Seuil min versionner les seuils
• Seuil max et/ou de les
individualiser par
utilisateur
FONCTIONNALITÉS ET ARCHITECTURE TECHNIQUE LIÉS DE MANIÈRE
FORTE…
Fonctionnalités
Ingestion de Construction Exposition
données des vues des vues Création
automatique Calcul alertes Grafana dans Grafana d'utilisateurs
Serveur SFTP X
Code d’activation régulière de l’ingestion X
Jupyter NB X X
Stockage interne plate-forme X
API plate-forme écriture/ lecture BD
externe X
BD externe à la plate-forme X
Instance Grafana X X X
… VIA UN LIEN PERMETTANT DE PLANIFIER LES PRIORITÉS /
ALLOUER LES TÂCHES – USER STORIES
Fonctionnalités
Ingestion de Construction Exposition
données des vues des vues Création
automatique Calcul alertes Grafana dans Grafana d'utilisateurs
Serveur SFTP X
Code d’activation régulière de l’ingestion X
Jupyter NB X X
Stockage interne plate-forme X
API plate-forme écriture/ lecture BD
externe X
BD externe à la plate-forme X
Instance Grafana X X X
COMPOSANTS TECHNIQUES POSSÉDANT AUSSI DES FONCTIONS
PUREMENT TECHNIQUES, AVEC DES INDICATEURS DE PERFORMANCE
PROPRES…
Code d’activation régulière de • Mise en œuvre de l’ingestion (SFTP vers stockage • Taux de disponibilité
l’ingestion interne plate-forme à intervalles réguliers)
• Vérification de conformité des données entrantes • Taux de disponibilité
• Calcul des données transformées • Vitesse de traitement
Jupyter NB • Enregistrement des données requises dans la BD
• Stockage multi fichiers/ ficher agrégé des données • Taux de disponibilité
brutes/ transformées dans l’espace stockage projet • Vitesse en lecture/ écriture
Stockage interne plate-forme de la plate-forme • Structure des métadonnées disponibles
• Connexion base de données externe à la plate- • Taux de disponibilité
API plate-forme écriture/ forme
lecture BD externe • Accès écriture/ lecture du NB à la BD
• Stockage structuré des données produites par la • Taux de disponibilité
plate-forme • Vitesse en lecture/ écriture versus
• Mise à disposition dans l’instance Grafana volume/ Nb utilisateurs concurrents
BD externe à la plate-forme depuis NB et/ou Grafana
• Création de vues • Taux de disponibilité
• Production de vues à jour des données • Nombre max utilisateurs concurrents
Instance Grafana • Création d’utilisateurs • Format des vues possibles
ET PORTANT AUSSI DES RISQUES SUR LA CONDUITE DU PROJET ET LA
PERFORMANCE DE L’APPLICATION EN PRODUCTION
Fonctionnalités Détails
BD PARC BEACON
GEOFENCES ation SERVEUR :
ol o c al i s • QUESTIONNAIRES
e gé
es d s
oi d o nn é INDIVIDUELS i re
E nv • NOTIFICATIONS n na
(GEOLOCATION, GEOFENCE, s tio Envoi réponse
Code Deman ue
de BEACON) q aux sondages
calcul notifica s
tion + e
présence sondag
e p ag
x
DB DONNÉES au
MÉMOIRE TAMPON/
c ès
GEOLOCALISATION
FILE D’ATTENTE Ac
lie oi
v
n
En
s o e rs
e g
a
nd
v
REMPLISSAGE QUESTIONNAIRES
PROGRAMMATION DES
QUESTIONNAIRES GENERIQUES
SERVEUR SURVEYMONKEY
19
Fonctionnalités
Collecte/
Collecte de Détection traitement de
données de de Emission de réponse aux Analyse des
géolocalisation présence sondages sondages parcours
Applications mobiles X
Buffer de collecte X
Base de données MongoDB X X X
Code de détection de présence X
Serveur de sondage X
Serveur de notification X
Codes de traitement des données de
parcours X X X
… VIA UN LIEN PERMETTANT DE PLANIFIER LES PRIORITÉS /
ALLOUER LES TÂCHES – USER STORIES
Fonctionnalités
Collecte/
Collecte de Détection traitement de
données de de Emission de réponse aux Analyse des
géolocalisation présence sondages sondages parcours
Applications mobiles X
Buffer de collecte X
Base de données MongoDB X X ?
Code de détection de présence X
Serveur de sondage X
Serveur de notification X
Codes de traitement des données de
parcours X X X
COMPOSANTS TECHNIQUES POSSÉDANT AUSSI DES FONCTIONS
PUREMENT TECHNIQUES, AVEC DES INDICATEURS DE PERFORMANCE
PROPRES…
• Règles des OS d’accès aux données de géolocalisation • Accès aux serveurs de configuration
Applications mobiles • Calage client des parcours
• Service down
Buffer de collecte
Base de données • Atteinte des performances volume * vitesse • Service down
MongoDB
Code de détection de • Représentation des données • Volume de traitements concurrents
présence • Mesure des faux positifs/ négatifs en « vraie grandeur » • Dérive de performance
• Mise au point d’un composant tiers • Serveur down
Serveur de sondage • Format de donneés d’entrée non conforme
• Mise au point d’un composant tiers • Serveur down
Serveur de notification
Codes de traitement des • Représentation des données • Service down
données de parcours • Calage client des vues
TABLE DES MATIÈRES
Input : Output :
question IdentifIer Formatter/ Réaliser Assembler et
réponse à
formulée les data Assembler les transmettre
la
par le utiles les datas analyses les résultats
question
business
CONFIDENTIEL
LES SOURCES DE FRUSTRATION… VUES PAR LES
PRATICIENS
https://www.youtube.com/watch?v=FekWQRMhTzM
CONFIDENTIEL
ET UN POINT DE VUE SOUVENT FRUSTRÉ DES
ACTEURS BUSINESS
CONFIDENTIEL
DERRIÈRE LA FRUSTRATION BUSINESS … DES
OBSTACLES NON TECHNIQUES AU SUCCES DES DATA
Input : Output :
question IdentifIer Formatter/ Réaliser Assembler et
réponse à
formulée les data Assembler les transmettre
la
par le utiles les datas analyses les résultats
question
business
CONFIDENTIEL
LE PROCESSUS OPTIMAL DU DÉPARTEMENT/
ANALYSTE DATA - FOCUS : IMPACT BUSINESS
Processus
Data
Input : Output :
question IdentifIer Formatter/ Réaliser Assembler et
réponse à
Standard formulée les data Assembler les transmettre
la
par le utiles les datas analyses les résultats
question
business
CONFIDENTIEL
TABLE DES MATIÈRES
Sondage :
CONFIDENTIEL
BIEN (FAIRE) POSER LA QUESTION : UN SAVOIR
FAIRE MAJEUR
Sondage :
CONFIDENTIEL
BIEN (FAIRE) POSER LA QUESTION : UN SAVOIR
FAIRE MAJEUR
Sondage :
CONFIDENTIEL
BIEN FAIRE POSER LA QUESTION BUSINESS :
UNE GRILLE DE « QUESTIONS DE CONTRÔLE »
Pouvez – vous me dire ce qui, dans votre contexte business, vous amène
à poser cette question ?
À quel public est destinée la réponse analytique que nous allons produire ?
CONFIDENTIEL
CONTACTS
F. Lainée, directeur
Aleia
Tel : 00 33 6 14 08 26 34
Mail : francois.lainee@aleia.com