Vous êtes sur la page 1sur 3

Backtesting & Benchmarking : au-del de la pratique rglementaire Durant l't, nous vous proposons de dcouvrir ou redcouvrir certains articles

" succs" publis depuis l'ouverture du blog Finance & Stratgies.

Le backtesting et le benchmarking correspondent une double exigence. Tout dabord, ces deux mthodes sont incontournables dans la mise en place dune gestion optimale du risque et sont des outils essentiels de surveillance du dispositif de notation des banques. Dautre part, elles constituent, dans le cadre de limplmentation de la rforme Ble II, un enjeu rglementaire pour la validation IRBA (approche Advanced Internal Rating Based). Rles du Backtesting et du Benchmarking Ds lors que les banques ou compagnies dassurance dveloppent des modles internes dvaluation du risque (dfaillance, pertes, sinistres), elles doivent sassurer, au cours du temps, de la performance, de la qualit et de la stabilit de ces modles. Les pratiques du backtesting et benchmarking (lorsque la mise en place de cette dernire est pertinente et possible) savrent alors indispensables : elles constituent un pr requis, et pas seulement une Best Practice , pour tout dispositif de gestion des risques bas sur des modles internes . Si ces pratiques sont essentielles la prvision des risques, elles sinscrivent dans un cadre rglementaire rcent (Ble II pour lactivit bancaire ou Solvency II pour lassurance). Dans le contexte du nouvel accord de Ble, les banques sont tenues de dmontrer la performance de leur systme de notation[1]. Le backtesting[2], mthodologie quantitative et/ ou qualitative ncessaire mais non suffisante, vise contrler le caractre prdictif des modles mis en place dans le cadre dune gestion pro-active du risque. Il consiste comparer rtroactivement les paramtres issus du systme de notation (PD, LGD, EAD pour lIRBA) aux ralisations observes sur la priode analyse. Il sagit ainsi de sassurer, dans une logique de vrification de la performance des processus, que les paramtres de risque raliss sont bien dans les intervalles de valeurs attendues par rapport aux paramtres de risque estims. Le Benchmarking[3], quant lui, est une mthodologie quantitative et/ou qualitative permettant de confirmer la cohrence de la notation vis--vis doutils externes pertinents. Il vise identifier et analyser les carts entre les paramtres internes de risques et ceux issus dun benchmark ou rfrent externe. Ce dernier peut tre un modle externe ou un dispositif de place (pool de donnes, consortium). Quelle activit pour quelle analyse ? Backtesting et Benchmarking sont deux activits complmentaires de supervision des dispositifs dvaluation et de gestion des risques pour les tablissements bancaires et les compagnies dassurance. Utilises de manire adquate, elles permettent de calibrer (ou re-calibrer) les modles de notation et donc les outils de risque destins loctroi de produits ou lvaluation du comportement des clients, en rpondant notamment aux problmatiques suivantes : Les anticipations de risque de lentit sont-elles cohrentes avec la matrialisation de ce risque (ralisation) ? On cherche ici backtester le paramtre de risque ex post avec le paramtre estim (activit 1 de backtesting, schma ci-dessous). Quel est le positionnement de lentit vis--vis des entits de la place ? o Les anticipations de risque de lentit sont-elles cohrentes avec celles de la place ? Le Benchmarking de lestimation en interne avec le systme de rfrence externe permet de rpondre cette question (activit 2 de benchmarking de modle).

Les ralisations de risque sont-elles cohrentes avec celles de la place ? (activit 3 de benchmarking des pertes ou des sinistres).

La rponse ces questions fournit un cadre complet pour le pilotage et la supervision du dispositif de risque.

Les points cls du Backtesting & Benchmarking Lindustrialisation Si linterprtation qualitative et le processus de dcision ne peuvent tre automatiss, lindustrialisation des flux de donnes et des traitements (collecte, stockage de donnes souvent htrognes et consolidation dinformations provenant de SI divergents) doit permettre une analyse optimale des rsultats et une ralisation rcurrente dexercices. Lobjectif est de produire un reporting adapt fiabilisant ainsi lactivit et minimisant son cot la fois en terme de budget et de temps. La convergence des nomenclatures Dans le cadre du benchmarking, la nomenclature des donnes en interne tant a priori diffrente de celle des donnes du dispositif externe, la comparaison des paramtres de risque sur une mme nomenclature savre indispensable. Le mapping consiste alors mettre en correspondance les sources de donnes par ladoption de rgles rigoureuses et documentes. Dans la pratique on retient le systme qui permettra doptimiser la granularit de la correspondance entre les deux sources afin de minimiser la perte dinformation. La synthse des analyses et la communication

Elment primordial du Backtesting et du Benchmarking, la restitution des rsultats doit respecter trois points cls : Une restitution peu ardue en termes statistiques et mathmatiques, permettant de rendre oprationnels les rsultats et de convertir les analyses en actions correctrices ; Une souplesse dans la manipulation, le passage en revue et la lecture des rsultats ; Des annexes dtaillant les lments cls de lanalyse.

La gouvernance Un projet de Backtesting et / ou Benchmarking est transverse car il requiert la participation de plusieurs entits de la banque. En effet, pour tre valide, une action correctrice affectant un paramtre de risque doit tre dcide collgialement lors de comits entre la direction centrale des risques, les mtiers, les commerciaux et la direction financire. Lenjeu dun tel projet nest donc pas seulement de sassurer de lexactitude et la cohrence des systmes et procdures de notation ainsi que de lestimation des facteurs de risques, mais aussi de concevoir et proposer un vritable outil de pilotage des risques et daide la dcision. Sia Conseil

[1] BIS 500, CAD 109 : Credit institutions shall have robust systems in place to validate the accuracy and consistency of rating systems, processes, and the estimation of all relevant risk parameters. A credit institution shall demonstrate to its competent authority that the internal validation process enables it to assess the performance of internal rating and risk estimation systems consistently and meaningfully. [2] BIS 501, CAD 110 : Banks must regularly compare realised default rates with estimated PDs for each grade and be able to demonstrate that the realised default rates are within the expected range for that grade. Banks using the advanced IRB approach must complete such analysis for their estimates of LGDs and EADs. Such comparisons must make use of historical data that are over as long a period as possible. [3] BIS 502, CAD 111 : Banks must also use other quantitative validation tools and comparisons with relevant external data sources. The analysis must be based on data that are appropriate to the portfolio, are updated regularly, and cover a relevant observation period.