Prparationdesdonnes

Auteur :DanNol Date :24.04.2009

Objectifsdumodule
z Comprendre les donnes et passer en revue les tapes principales de la prparation des donnes afin de maximiser la performance de la modlisation

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Laqualitdesdonnes

z Toutes les sources de donnes prsentent des problmes de qualit z Les modles de Data Mining ragissent plutt mal des donnes de mauvaises qualit z Causes de erreurs:
Sources Livraison Extraction Transformation Chargement

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Lamauvaisesqualitdesdonnes Causespossibles
z Au niveau dune table
Observations dupliques Variables cls dupliques Variable cls manquantes

z Au niveau des variables individuelles

4

Valeur manquante Valeur nulle Valeur positive/ngative Out liners Valeur codes Date
M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Lamauvaisequalitdesdonnes Correctionspossibles
z Modification dune variable z Elimination dune observation z Remplacer les valeurs manquantes:
Une valeur part La moyenne / mdiane Valeur alatoire selon la distribution Une estimation base sur la redondance des donnes

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Lecasparticulierdesdonnes Missing

z Un des problmes les plus frquent rencontr dans le cadre de projet de Data Mining z Les donnes manquantes recoupent plusieurs cas de figure:
Champ totalement vide (white space ou null value) Champ numrique avec une valeur de type caractre Valeur code pour valeur manquante (99 ou autre)

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Exemplesde valeursmanquantes
MISSING VALUES

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Valeursmanquantes SPSSClementine
White space undefined

Missing code
8 M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Lenud:QUALITE

z Cet outil de Clementine produit un rapport propos des valeurs manquantes dans un jeu de donnes z Il tient compte de tous les diffrents types de valeurs manquantes mentionns plus tt

Palette <OUTPUT>

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LesparamtresdunudQUALITE

undefined = $ null $

Code de valeur Missing Pas de caractres ni despace

Pas de caractres visibles

10

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Sortieavecuniquementoption undefined

Seule la variable INCOME montre des valeurs manquantes alors que lanalyse de la table de base nous a montr dautres problmes de qualit des donnes
11 M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Dfinirdescodesdevaleursmanquantes
z Cette opration doit tre ralise depuis longlet TYPE dans le nud SOURCE de donnes

On indique SPSS Clementine quelles valeurs (codes) dans un champ doivent tre considres comme manquantes
12 M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Exempledclarationpourlavariable CHILDREN

99 est un code souvent utilis pour indiquer des valeurs manquantes

13

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Autresproblmesdequalitdesdonnes

z100% des problmes de qualit ne concernent pas uniquement les valeurs manquantes z On peut galement rencontrer des erreurs de saisie, des valeurs aberrantes ou des irrgularits statistiques (distribution, )
Type de donnes Variables catgoriques Variables numriques Vrifications Distribution catgories Histogramme, rsum stat.

14

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LenudAUDITdedonnes

z Cet outil de Clementine permet dobtenir rapidement un rsum statistique et graphique (distribution) de lensemble des variables dune source de donnes
Palette <OUTPUT>

15

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LesparamtresdunudAUDIT

Choix de indicateurs calculer pour le rsum par variable

16 M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ExempledeloutputdunudAUDIT

17

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Analyseprliminaire:quelquesexemples
z Sagissant dun fichier de demandes de crdit, que pensez-vous des informations suivantes?

Variable AGE: Min= 11 Max= 50

18

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Analyseprliminaire:quelquesexemples
z Sagissant dun fichier de demandes de crdit, que pensez-vous des informations suivantes?

REVENU
19 M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Oprationssurlesdonnes

z Lanalyse de la qualit des informations impose dans la majorit des manipulations des donnes
Nettoyage des donnes Agrgation de variables

z Plusieurs lments de Clementine sont ddis ces transformations

Niveau des enregistrements Niveau des variables

20

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ManipulationdesdonnesdansSPSS Clementine
zAu niveau des enregistrements

zAu niveau des variables

21

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilSELECT

z Permet deffectuer une slection des donnes du flux (inclure ou exclure) z Fonctionne sur la base de critre de slection dtermins par lutilisateurs

Palette <OPS SUR LIGNES>

22

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudSELECT
Inclusive ou exclusive

Choix des critres

23

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Leschoixdescritres:legnrateur dexpressionsCLEM
Oprateurs et fonctions Variables disposition

24

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

QuelquesexpressionsCLEM

25

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Exercice UtiliserlenudSELECT
z Utiliser loutil SELECT pour dterminer si le facteur REVENU (avec une borne < ou > 20000) a une influence sur le risque? z Fichier de base: SmallSampleComma.txt

26

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilFILTRE

zLlment FILTRE de Clementine permet:

Dexclure des variables du primtre danalyse Renommer les variables utiliser pour lanalyse

Palette <OPS SUR CHAMPS>

27

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudFILTRE
Cliquer sur la flche pour exclure la variable correspondante Bouton droit de la souris pour renommer

28

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilTRIER

z Cet lment de Clementine permet de trier les enregistrements soit par ordre croissant ou dcroissant

Palette <OPS SUR LIGNES>

29

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudTRIER
Choix de lordre du tri Ajouter des critres de tris

30

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilRETRIER

z A ne pas confondre avec loutil prcdent z Permet de changer lordre dapparence des variables dans les tables
Palette <OPS SUR CHAMPS>

31

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudRETRIER
Choix des variables

32

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilCALCULER

z Outil trs important de Clementine permettant de crer des variables avec des rgles de calculs personnalises

Palette <OPS SUR CHAMPS>

33

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudCALCULER
Nom de la nouvelle variable

Type de calcul appliquer

Calcul appliquer

34

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Typesdecalculspossibles
Formule Boolen Ensemble Etat Comptage Conditionnel
35

Variable rsultante est le rsultat dune expression CLEM Rsultat est un FLAG de type True/False La nouvelle variable est un groupe prdfini Le nouveau champ reprsente 1 tat parmi 2 possibles. Le choix dpend dune condition Le nouveau champ est le rsultat dun comptage La nouvelle variable est le rsultat de 1 ou 2 expressions dpendant de la valeur dune condition

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

CALCULER Utilisationdeformules

Formule cre avec le gnrateur dexpression CLM

36

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

CALCULER: Lesfonctionsboolennes

Valeur si: vrai ou faux

Condition(s)

37

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

CALCULER Utiliserdesensembles

Nom de groupes

Conditions

38

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

CALCULER Lesfonctionsconditionnelles

IF THEN ELS E

39

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilREMPLACER

z Cet outil de Clementine (trs utile pour traiter les valeurs manquantes) permet de remplacer la valeur dune variable dans les enregistrements selon que celle-ci soit:
Dans tous les cas (toujours) Une condition Valeur nulle Valeur non-renseigne

Palette <OPS SUR CHAMPS>

40

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudREMPLACER

Variable traiter

Type de remplacement

Valeur de substitution

41

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

OutilRECODER

z Permet de re-classifier les valeurs dune variable de type Ensemble ou Bolen z Clementine peut soit remplacer celle de la table de base ou crer une nouvelle variable de stockage

42

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudRECODER

Remplacer ou nouveau champ

Valeurs actuelles

Nouvelles valeurs

43

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

Gnrerautomatiquementdesnuds

z Clementine offre la possibilit de crer plus facilement certains nuds notamment des slection en utilisant des autres nuds de lapplication z Exemples
A partir dun histogramme A partir du nud qualit des donnes Etc

44

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

LoutilspcialV.GLOBALES

z Ce nud permet de calculer des indicateurs globaux sur la base des variables disponibles z Celles-ci peuvent tre ensuite rutilises dans le flux Clementine au travers du gnrateur dexpressions

Palette <Sortie>

45

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch

ParamtresdunudV:GLOBALES

Variable(s) traiter

Indicateurs globaux calculer

46

M.E.S Gestion Srl - Rue Louis-Favre 34 - 2002 Neuchtel - contact@mesgestion.ch - www.mesgestion.ch