INDICATEURS TECHNIQUES IC

SOUS SPLUNK

PRÉSENTATION ET UTILISATION

Document
Guide share z/OS – 25/01/2018 – Intervenant : Sébastien COUVENHES
RATIONALISATION DE LA MÉTROLOGIE
LES OBJECTIFS DE LA MIGRATION VERS SPLUNK

 Réaliser des économies sur le périmètre Métrologie

 Faire évoluer l’offre de services pour mieux servir les clients

 Accompagner les différents usages des données de références :

 Faciliter l’accès aux données brutes

 Fournir des rapports et tableaux de bord « clé en main »

 Mettre à disposition des moyens d’analyse des données

2 Guide share z/OS – 25/01/2018

RATIONALISATION DE LA MÉTROLOGIE
LES SOLUTIONS TECHNIQUES RETENUES

Plateforme logicielle SPLUNK pour l’indexation, la recherche,

l’analyse et la visualisation des données.
Etayée par :
 ETL Talend pour le pré traitement des données de type BI
classique,
 Jasper pour la restitution des indicateurs de type « Faits de
gestion » (Post-IT, GINF, …),
 Outil EPV pour la collecte des données SMF en provenance du
système z/OS.

3 Guide share z/OS – 25/01/2018

QU’EST-CE QUE SPLUNK ?
LA VOCATION DE SPLUNK

Rendre les données accessibles, utiles et exploitables par tous

4 Guide share z/OS – 25/01/2018

 QU’EST-CE QUE SPLUNK ?
PRINCIPES D’ARCHITECTURE

Cluster Search Head x10

Https

Search Head
Cluster Indexer x6
Fournit l’interface utilisateurs qui
transmet les recherches aux indexers
et affiche les résultats
x15
Indexer
Parse les données reçues et les stocke
Routage possible Heavy
vers un client non Forwarder dans un ou plusieurs index
SPLUNK Exécute les recherches et restitue les
résultats
DB SNMP Rest API Input Input Input script Scheduler
Connect Webservice TCP/UDP file

Forwarder x 100+
Installé à la source de données
Collecte et transfère les données Universal
Forwarder
aux indexers

Input Input Input script Scheduler

TCP/UDP file

5 Guide share z/OS – 25/01/2018

QU’EST-CE QUE SPLUNK ?
LES DONNÉES

 Splunk indexe les données machine, qu’elles soient structurées ou

non (logs system, logs métier, logs web, syslog, fichiers, BDD, …)

 Les moyens de collecte : directe (via des Universal Forwarders),

Flux TCP/IP, envois de fichiers par CFT, DB connect, …

 Splunk intègre les données dans des Index sous forme

d’événements timestampés. Les recherches se font à la volée sur
ces événements bruts.

6 Guide share z/OS – 25/01/2018

QU’EST-CE QUE SPLUNK ?
LES POSSIBILITÉS DE RESTITUTIONS

7 Guide share z/OS – 25/01/2018

ALIMENTATION DE SPLUNK
LES DONNÉES IC

Les records SMF bruts

Record SMF bruts
3x / jour
transfert CFT

Type : Volume / jour

30 (JOB) : 4 GB
70 (CPU) : 0,5 GB
71 (Paging) : 0,01 GB
72 (WLM) : 0,4 GB
80 (RACF) : 1,2 GB
110 (CICS) : 70 GB
119 (TCPIP) : 2 GB

8 Guide share z/OS – 25/01/2018

ALIMENTATION DE SPLUNK
LES DONNÉES IC

Les indicateurs « pertinents »

• Traitement
collecte

• Mise en forme
(REXX)

• Automatisation
(TWS)

• Envoi (REXX)

9 Guide share z/OS – 25/01/2018

 ALIMENTATION DE SPLUNK
LES DONNÉES IC

Les indicateurs « pertinents »

Type Source Fréquence

CPU/Workload zCost 3 min
zIIP/Mémoire/ Buffer / report 15 min
CF/IO/Cache RMF
Record 113 Outil P.Megard 15 min
CICS SYSVIEW 5 min
DB2 CA Insight J-1
Spool EOS EOS 60 min
Spool JES2 zOS 60 min

10 Guide share z/OS – 25/01/2018

ALIMENTATION DE SPLUNK
LES DONNÉES IC

Les fichiers de log VSP / audit IWS

IWS

Export Tools

11 Guide share z/OS – 25/01/2018

UTILISER SPLUNK - DÉMO
CONNEXION
https://data-analytics.metrologie.sf.intra.laposte.fr/

12 Guide share z/OS – 25/01/2018

ALIMENTATION DE SPLUNK
LES DONNÉES IC – ET APRES ????

•• Traitement
Logiciel du
collecte
marché
•• Temps
Mise réel
en forme
• Map natif SMF
(REXX)
• Filtre des
• Automatisation
champs
(TWS)
• Compatible
• Envoi (REXX)
SPLUNK

13 Guide share z/OS – 25/01/2018

 QUESTIONS ?

14 Guide share z/OS – 25/01/2018