VALIDATION D’UNE METHODE DE SCORING

La partie la plus importante en crédit scoring est le pouvoir discriminant des

techniques utilisées. Partant du principe qu’un modèle de scores est utilisé afin
d’évaluer la solvabilité d’un emprunteur et de mesurer les risques liés à l’octroi de
crédits, et que des erreurs de classification des emprunteurs pourraient créer des
dommages aux ressources d'un établissement de crédit. C’est dans ce sens que des
outils de validation ont été mis au point

Une fois un modèle ou plusieurs modèles de scoring sont estimés, il convient d’analyser
leurs performances avant de les valider pour être utilisés comme outil d’aide à la décision.
L’analyse de performances, à l’issue de la quelle une méthode de scoring est validée, permet
notamment

• D’améliorer un modèle en comparant plusieurs de ses variantes (ajout ou retrait de

variables explicatives, etc.)

• De choisir entre plusieurs types de modèles candidats

L’analyse des performances d’un modèle gagnerait à être conduite sur un jeu de données
différent de celui qui a été utilisé pour l’estimation. On doit en effet, lorsque cela est
possible, distinguer entre l’échantillon d’apprentissage et l’échantillon de test ou de
validation. Ce dernier doit nécessairement contenir les valeurs réelles de la variable cible
(appartenance aux groupes). D’une manière générale, il s’agit de comparer entre les valeurs
réelles de la variable cible avec celles prédites par le modèle.

1. CONCEPTS DE BASE

1.1 Positifs et négatifs

Soit une population partitionnée en deux sous groupes G1 et G2. On appelle (par
convention) les positifs les individus de G1 et les négatifs les individus de G2. On dispose par
ailleurs d’une fonction de score (issue d’un modèle) notée S et d’un seuil s définies tels que :
• On affecte l’individu présentant l’observation x au groupe G1 si S(x) > s . Autrement dit, on
considère cet individu comme positif.

• Sinon, on l’affecte au groupe G2 , on le considère donc comme négatif On appelle :

= Faux positif, un individu négatif considéré par la méthode de score comme positif

= Faux négatif, un individu positif considéré par la méthode de score comme négatif

1.2 Spécificité

On appelle coefficient de spécificité et on note 1-α la probabilité suivante :

1-α = Pr (S(x) < s / x ∈ G2)

C’est donc la probabilité de bien détecter un négatif ou encore c’est la proportion des
négatifs dans la population pouvant être détecté par la méthode.

La quantité α = Pr (S(x) ≥ s / x ∈ G2) désigne donc la probabilité de considérer un individu

comme positif alors qu’il est négatif (faux positif). Pour une méthode de score, c’est un
premier type de risque d’erreur d’affectation.

1.3 Sensibilité

On appelle coefficient de sensibilité et on note 1-β la probabilité suivante :

1-β = Pr (S(x) > s / x ∈ G1)

C’est donc la probabilité de bien détecter un positif ou encore c’est la proportion des positifs
dans la population pouvant être détecté par la méthode.

La quantité β = Pr (S(x) ≤ s / x ∈ G1) désigne par conséquent la probabilité de considérer un

individu comme négatif alors qu’il est positif (faux négatif). Il s’agit pour une méthode de
score d’un deuxième type de risque d’erreur d’affectation

Remarques
• On peut aussi considérer la quantité γ = Pr (S(x) > s ) qui est la probabilité de considérer un
individu comme positif. C’est la proportion d’individus supposés être intéressés par un
nouveau produit dans une compagne marketing par exemple.

• Le meilleur modèle (et donc la meilleure fonction de score) est celui qui minimise les deux
types de risque d’affectation (les quantités β et α) .

• Les coefficients α et β changent lorsque le seuil s change. On les exprime comme des
fonctions de s : α(s) et β(s). Le seuil s est déterminé à l’extérieur du modèle notamment par
des considérations d’ordre économique.

NB : En augmentant s, on réduit la probabilité de tomber sur des faux positifs (α) mais on
augmente la probabilité d’avoir des faux négatifs (β). A noter aussi que le modèle le plus
performant est celui pour le quel les deux distributions sont séparées. En revanche, lorsque
les deux distributions sont confondues, le modèle correspondant est le moins performant.

PRINCIPAUX OUTILS DE MESURE DE PERFORMANCE

L'évaluation du modèle est la dernière étape du processus. Elle comporte

trois étapes : évaluation, validation et acceptation.

Évaluation de la précision – Ai-je construit le modèle correctement ?

C'est la première question à se poser pour tester le modèle. Les
principaux points évalués sont des mesures statistiques incluant
l'exactitude du modèle, la complexité, le taux d'erreur, les statistiques
d'ajustement du modèle, les statistiques de variables, les valeurs
signifiantes et les cotes.

Validation de la solidité – Ai-je construit le bon modèle ? – Voilà la

question suivante lors du passage de la précision de la classification et de
l'évaluation statistique à la capacité de classement et l'évaluation
professionnelle.
Plusieurs outils de mesure de performance sont proposés par la littérature
statistique. On présente dans ce qui suit trois de ces outils qui sont les plus connus :
la matrice de confusion, la courbe ROC et la courbe LIFT.

Matrice de confusion

En apprentissage automatique supervisé, la matrice de confusion est

une matrice qui mesure la qualité d'un système de classification. Chaque ligne
correspond à une classe réelle, chaque colonne correspond à une classe estimée.

Un des intérêts de la matrice de confusion est qu'elle montre rapidement si un

système de classification parvient à classifier correctement.

Classe estimée par le classificateur

Classe réelle Positifs Négatifs Total

Considérés positifs n11 n12 n1.

Considérés négatifs n21 n22 n2.

Total n.1 n.2 n

La courbe ROC

C'est un outil polyvalent utilisé dans les cas suivants :

 méthodologie champion-challenger pour choisir le modèle le plus performant ;

 tester les performances du modèle sur des données inconnues et les
comparer aux données d'apprentissage ;
 sélectionner le seuil optimal, qui maximise le taux de vrais positifs tout en
minimisant le taux de faux positifs.

Pour créer la courbe ROC, la sensibilité est comparée à la probabilité d'une fausse
alarme (taux de faux positifs) à divers seuils. L'évaluation des outils de mesure de
performance à divers seuils constitue une fonctionnalité désirable de la courbe ROC.
Les taux varient avec les problèmes des entreprises et leur stratégie.
La zone sous la courbe ROC (AUC) est une mesure utile qui indique la capacité
prédictive d'un classificateur. Dans le domaine du risque de crédit, une valeur AUC
supérieure ou égale à 0,75 est la norme, et est nécessaire pour l'acceptation du
modèle.

La courbe LIFT

Cette courbe est très utilisée en marketing. Elle peut servir aussi à mesurer la performance
d’une compagne de promotion d’un nouveau produit. Elle est alors déterminée à partir des
données de la population.
Acceptation de l'utilité – Le modèle sera-t-il accepté ? – C'est la
dernière question à poser pour déterminer si le modèle est utile du point
de vue de l'entreprise. C'est la phase critique : le data scientist doit
présenter les résultats du modèle à l'entreprise et défendre la validité du
modèle. Les critères clés d'évaluation sont les avantages qu'apporte le
modèle à l'entreprise. Par conséquent, l'analyse des avantages est
essentielle lors de la présentation des résultats. Les data scientists doivent
absolument présenter les résultats de manière concise afin qu'ils soient
faciles à comprendre. Sinon, l'entreprise risque de rejeter le modèle, et le
projet aura échoué.

3.2 Définition de “bons” et “mauvais” emprunteurs

L’objectif principal de cette recherche est de développer un modèle statistique

qui puisse permettre de distinguer les bons emprunteurs des mauvais. Une des
premières étapes est donc de définir ce que nous entendons par bons et
mauvais emprunteurs. Un emprunteur est considéré comme bon s’il
rembourse (ou a toujours remboursé) correctement son prêt et n’a jamais été
en retard de paiement pour trente (30) jours ou plus. Un mauvais emprunteur
est un emprunteur qui a connu au moins une fois un retard dans le
remboursement de son prêt pour 30 jours ou plus. Il convient de mentionner
que ces définitions découlent des discussions avec les agents de crédit et
l’équipe du service crédit de l’institution.