Vue360° - Implémentation des KPIs de Supervision & d’alertes

Pour la Vue360° Télécom

Pour

Orange Maroc

Date : 13 Juillet 2020

 Documentation

Table des matières

1 Contexte & Objectif............................................................................................................4
1.1 Rappel du contexte......................................................................................................4
1.2 Objectif.........................................................................................................................4
2 Description..........................................................................................................................4
2.1 Listes des cas d’usage...................................................................................................4
2.2 UC01 : Supervision des lenteurs des écrans................................................................5
2.2.1 Hypothèses...........................................................................................................5
2.2.2 Livrables................................................................................................................5
2.2.3 Utilisation :............................................................................................................5
2.3 UC02 : Supervision des timeouts.................................................................................6
2.3.1 Hypothèses...........................................................................................................6
2.3.2 Livrables................................................................................................................6
2.3.3 Utilisation :............................................................................................................6
2.4 UC03 : Supervision des décalages de synchronisation................................................7
2.4.1 Hypothèses...........................................................................................................7
2.4.2 Livrables................................................................................................................7
2.4.3 Utilisation :............................................................................................................7
2.5 UC04 : Supervision des indicateurs temps d’exécution des connecteurs...................8
2.5.1 Hypothèses...........................................................................................................8
2.5.2 Livrables................................................................................................................8
2.5.3 Utilisation :............................................................................................................8
2.6 UC05 : Supervision des indicateurs temps d’exécution de la consolidation...............9
2.6.1 Hypothèses...........................................................................................................9
2.6.2 Livrables................................................................................................................9
2.6.3 Utilisation :............................................................................................................9
2.7 UC06 : Nombre des timeouts par heure....................................................................10
2.7.1 Hypothèses.........................................................................................................10
2.7.2 Livrables..............................................................................................................10
2.7.3 Utilisation :..........................................................................................................10
2.8 UC07 : Toute erreur Critique dans les logs................................................................11
2.8.1 Hypothèses.........................................................................................................11
2.8.2 Livrables..............................................................................................................11
 Documentation

2.8.3 Utilisation :..........................................................................................................11
2.9 UC09 : Supervision des indicateurs d’exécution des feeds JDBC...............................12
2.9.1 Hypothèses.........................................................................................................12
2.9.2 Livrables..............................................................................................................12
2.9.3 Utilisation :..........................................................................................................12
 Documentation

1 Contexte & Objectif

1.1 Rappel du contexte

La présente évolution a pour objectif d’anticiper les problèmes au niveau de la

Vue360° Telecom et de réagir en avant coups avant que le souci soit visible pour les
utilisateurs finaux. Les KPIs permettront non pas d’avoir une visibilité sur la Vue360° presque
en temps réel mais d’informer les utilisateurs finaux des problèmes avant leur arrivé ou
même prévenir qu’il y aura des éventuels problèmes qui pourront impacter leur activité, ils
permettent également de d’alerter en cas de problèmes au niveau des sources de données
(lenteurs, innascibilité, …). C’est KPIs seront accessible via des fichiers log d’alertes ou
d’information

1.2 Objectif

L’objectif de ce document est de décrire les procédures de la configuration de

d’utilisation d’un ensemble de KPI pour la supervision de la solution vue360°
Il est destiné aux administrateurs système et aux opérateurs.
Il décrit également les différents éléments du module KPI supervision.

2 Description

2.1 Listes des cas d’usage

Module Use Case ID Titre

Supervision UC_01 Supervision des lenteurs des écrans
Supervision UC_02 Supervision des timeouts
Supervision UC_03 Supervision du décalage de la synchronisation
Supervision UC_04 Supervision des indicateurs temps d’exécution des
connecteurs
Supervision UC_05 Supervision des indicateurs temps d’exécution
de la consolidation

Supervision UC_06 Le nombre des timeouts par heure.

Supervision UC_07 Toute erreurs critiques sur les logs

Supervision UC_08 Extraction quotidienne (num téléphone, date
de remontée au niveau de la vue) des
activations et paiements
Supervision UC_09 Supervision des indicateurs d’exécution des
Feeds
JDBC
 Documentation

2.2 UC01 : Supervision des lenteurs des écrans

La solution consiste à mettre en place un fichier de log qui contient une alerte lorsqu’il
y a un dépassement des délais de rafraichissement habituels.
2.2.1 Hypothèses
 Chromdriver doit être installé sur la machine host
 Les fichiers doivent être en encodage UTF-8

2.2.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc1 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 Uc1.url : déclaration des urls à tester séparés par « ; »
 Uc1. logfile1 : déclaration du fichier log des tests des urls :
 Uc1. Logfile2 : déclaration du fichier log des tests échoués.
- Les fichiers d’output (déclarés dans le fichier de configuration
- Le JAR associé.

2.2.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar
uc1/omaKpiKotlinUC1-0.0.1-SNAPSHOT.jar
--spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc1/application.properties

 La structure de l’output :
Fichiers log ayant comme structure :

url ; temps de chargement ; temps maximal de chargement ; statut de réponse (OK/KO) ;

statut de chargement (success /fail) ; Date du test

Figure 1logFail.log

Figure 2logAll.log
 Documentation

2.3 UC02 : Supervision des timeouts

La solution consiste à mettre en place un fichier de log qui contient le temps le nombre
des timeouts sur les serveurs de recherche de la Vue360. Le script se lancera une fois par 5
minutes
2.3.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8

2.3.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc2 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc2.timeOutErrors : déclaration des erreurs de timeout séparés par « ; »
 uc2.threshold : définition du seuil pour les timeout :
 uc2.searchLogFiles : déclaration des fichiers input séparés par « ; »
 uc2.logFile1 : fichier output contenant le nombre des erreurs de timeout
dans les logs et les alertes en cas de dépassement du seuil
 uc2.logFile2 : fichier output contenant les lignes dont le nombre de timeout
dépasse le threshold
- Les fichiers d’inputs
- Le fichier d’output (déclarés dans le fichier de configuration
- Le JAR associé.

2.3.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC2-

0.0.2-SNAPSHOT.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc2/application.properties
 La structure de l’output :
Fichier log ayant comme structure :

Fichier source ; Date et heure ;Nombre des erreurs ; seuil d’alerte ; SUCCESS (FAIL si seuil
dépassé)

Figure 3logAll1.log

Fichier source ; Date et heure ; Nombre des erreurs ; seuil d’alerte ; FAIL

Figure 4logAlert.log
 Documentation

2.4 UC03 : Supervision des décalages de synchronisation

La solution consiste à mettre en place un fichier de log qui contient une alerte lorsqu’il
y a un dépassement des délais de rafraichissement habituels.
2.4.1 Hypothèses
 Les fichiers doivent etre en encodage UTF-8

2.4.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc3 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc3.sourceFiles : déclaration des fichiers input séparés par « ; »
 uc3.resultFile : déclaration du fichier d’output :
 uc3.maxTime : déclaration du seuil d’alerte
- Les fichiers d’inputs
- Le fichier d’output (déclarés dans le fichier de configuration
- Le JAR associé.

2.4.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC3-

0.0.2-SNAPSHOT.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc3/application.properties

 La structure de l’output :
Fichier log ayant comme structure :

Date ; source ; connector name ; date début exécution ; durée ; configuration par défaut ;
date fin d’exécution  ; ALERT (si décalage > uc3.maxTime)

Figure 5: output uc3

2.5 UC04 : Supervision des indicateurs temps d’exécution des connecteurs

La solution consiste à mettre en place un fichier de log qui contient une alerte lorsqu’il
y a un dépassement des délais d’exécution des connecteurs.
 Documentation

2.5.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8

2.5.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc4 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc4.connectorsLogFilesUris : déclaration des fichiers input séparés par « ; »
 uc4.connectorsNormalTimeMappingFileUri : définition du temps de
rafraîchissement par défaut pour les connecteurs
 uc4.resultLogFileUri : déclaration du fichier log résultat
- Les fichiers d’inputs
- Le fichier d’output (déclarés dans le fichier de configuration)
- Le JAR associé.

2.5.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC4-

0.0.2.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc4/application.properties

 La structure de l’output :
Fichier log ayant comme structure :

Date ; connecteur ; Durée d’exécution ; configuration par défaut ; fichier source ; ALERT (si
configuration par défaut dépassée)

2.6 UC05 : Supervision des indicateurs temps d’exécution de la consolidation

La solution consiste à mettre en place un fichier de log qui contient la durée de chaque
exécution de la consolidation.
2.6.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8
 Documentation

2.6.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc5 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc5.consoLogFilesUris : déclaration des fichiers input séparés par « ; »
 uc5.maxTime : définition du temps de rafraîchissement par défaut pour la
consolidation
 uc5.resultLogFileUri : déclaration du fichier log résultat
- Les fichiers d’inputs
- Le fichier d’output (déclarés dans le fichier de configuration)
- Le JAR associé.

2.6.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC5-

0.0.1-SNAPSHOT.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc5/application.properties
 La structure de l’output :
Fichier log ayant comme structure :

Date ; connecteur ; Durée d’exécution ; configuration par défaut ; fichier source ; ALERT (si
configuration par défaut dépassée)

2.7 UC06 : Nombre des timeouts par heure

La solution consiste à mettre en place un fichier de log qui contient le nombre de

timeout par heure
2.7.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8
 Documentation

2.7.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc6 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc6.timeOutError : déclaration des erreurs de timeouts à prendre en
compte séparés par « ; »
 uc6.searchLogFileUri : définition du fichier input
 uc6.resultLogFileUri : déclaration du fichier log résultat
- Les fichiers d’inputs
- Le fichier d’output (déclarés dans le fichier de configuration)
- Le JAR associé.

2.7.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC6-

0.0.1-SNAPSHOT.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc6/application.properties

 La structure de l’output :
Fichier log ayant comme structure :

Fichier source ; année ; mois ; jour ; heure ;temps d’exécution ; nombre des timeouts ;

2.8 UC07 : Toute erreur Critique dans les logs

La solution consiste à mettre en place un script qui permet d’écrire dans un fichier de
log l’ensemble des erreurs critiques dans les logs importants (search server, master,
connectors.java, indexing server, les process des index,...
2.8.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8
 Documentation

2.8.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc9 contient ces éléments :
- Un fichier de configuration application.properties contenant : , et
 uc7.errors : les identifiants des erreurs critiques séparés par « ; »
(exemple : connect timed out;Read timed out ; Can't Open connection)
 uc7.logFilesUris : les fichiers input séparés par « ; »
 uc7.resultLogFileUri : le fichier d’output
- Les fichiers d’inputs (déclarés dans le fichier de configuration)
- Le fichier d’output (déclarés dans le fichier de configuration)
- Le JAR associé.

2.8.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC7-

0.0.1.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc7/application.properties

 La structure de l’output :

Fichier log ayant comme structure :

Date;erreur critique ;Source

2.9 UC09 : Supervision des indicateurs d’exécution des feeds JDBC

La solution consiste à mettre en place un script qui permet d’écrire dans un fichier de
log le temps d’exécution des feeds JDBC et si cette dernière a dépasser le seuil avec le
mention du nom du feed ainsi que la source de données.
2.9.1 Hypothèses
 Les fichiers doivent être en encodage UTF-8
 Documentation

2.9.2 Livrables
Le dossier /opt/exalead/install/keyrus-tools/jarws/kpi/uc9 contient ces éléments :
- Un fichier de configuration application.properties contenant :
 uc9.searchLogFileUri : les fichiers input séparés par « ; »
 uc9.connectionMaxTime : seuil de connexion
 uc9.executionMaxTime : seuil d’exécution
 uc9.feedSourceMappingFileUri : fichier de mapping Feed/Source
 uc9.resultLogFileUri : fichier output
- Les fichiers d’inputs (déclarés dans le fichier de configuration)
- Le fichier d’output (déclarés dans le fichier de configuration)
- Le JAR associé.

2.9.3 Utilisation :
 La commande pour exécuter ce Use case :

/opt/exalead/install/keyrus-tools/jarws/kpi/jdk-11.0.7+10/bin/java -jar omaKpiKotlinUC9-

0.0.1-SNAPSHOT.jar --spring.config.location=file:///opt/exalead/install/keyrus-
tools/jarws/kpi/uc9/application.properties
 La structure de l’output :

Fichier log ayant comme structure :

Date ; nom du feed ; source ; fichier d’entrée ; durée de connexion ; max de connexion ;
ALERT (de connexion) ;durée d’execution ; max d’exécution ;ALERT ( d’exécution)