Académique Documents
Professionnel Documents
Culture Documents
PRSENTATION
Selon lanalyse mene par Social finance, au Royaume- Le programme One service sadressait aux hommes
Uni, environ 60 % des personnes condamnes des de plus de 18 ans, condamns de courtes peines
peines de moins de douze mois rcidivent dans lanne (infrieures 12 mois), sortis ou en voie de sortie de la
qui succde la sortie de prison. De nombreux facteurs prison de Peterborough.
expliqueraient ce phnomne : absence de revenu, non-
accessibilit au logement, surendettement, absence Chaque personne ligible choisissait librement de
demploi, faible accs aux droits, problme de sant, simpliquer dans le programme.
addiction, influence des personnes frquentes, etc.
2/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
PRSENTATION
Ministre de la
justice britannique Rapport final sur latteinte
Responsable du dispositif des objectifs de rsultat
Paiement final
Investissement
Investisseurs dans le Big lottery fund
programme Social finance Paiement
17 structures final Distributeurs des fonds
Structurateur du SIB et pilote du recueillis par la loterie nationale
majoritairement des programme One service dans des missions dutilit
acteurs de la philanthropie publique au Royaume Uni
Retour sur
investissement
(selon le rsultat)
Financement initial
One service
Prison de Peterborough Consortium de 7 acteurs associatifs
Appui et
St Giles Trust
accompagnement
Association Sova
la mise en place
Association Mind
du programme
Ormiston Trust
John Laing
YMCA
TTG Training CIC
Daprs E.Disley, C.Giacomantonio, K.Kruithof, M.Sim and Rand Europe. (2015). The payment by results social impact bond pilot at HMP Peterborough :
final process evaluation report. Royaume-Uni : Ministry of Justice
3/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
DMARCHE DVALUATION
La mesure dimpact du programme One service, lie aux La mthode PSM est une technique dite quasi-
engagements financiers des parties prenantes, a t exprimentale danalyse des donnes. Elle vise
ralise par des valuateurs indpendants : construire un groupe tmoin comparable au
Qinetiq, une entreprise prive britannique dont le groupe bnficiant de lintervention, partir dune
cur dactivit est la dfense, larospatial et la base de donnes et en vrifiant la comparabilit sur
scurit ; plusieurs critres considrs comme statistiquement
LUniversit de Leicester ; significatifs. Les personnes appartenant ce groupe
LUniversit de Greenwich. tmoin nont pas connaissance de la dmarche. Elles
ne sont pas impactes par lintervention.
La mthode
La mthode PSM se diffrencie de lvaluation
Les principes de lvaluation avaient t prciss dans le randomise, qui propose de constituer de manire
contrat liant les parties prenantes, au lancement du SIB. alatoire deux groupes de suivi, composs de
personnes volontaires (donc informes de la
Le rsultat de lvaluation tait obtenu en comparant la dmarche), lun bnficiant de lintervention,
cohorte de prisonniers de Peterborough, ligibles One lautre non.
service, un groupe tmoin (ou contrefactuel) constitu
de prisonniers provenant de lensemble du Royaume-Uni.
4/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
DMARCHE DVALUATION
Daprs A.Nicholls and E.Tomkinson. (2013). The Peterborough Pilot social impact bond. Royaume-Uni : University of Oxford
La mesure est base sur un indicateur unique, dcid Les bases de donnes
au pralable par les parties prenantes : la frquence
de nouvelles condamnations (par un tribunal) rsultant Les donnes ont t recueillies principalement dans deux
dinfractions commises dans les douze mois qui bases de donnes publiques : la criminal records information
succdent la sortie de prison de Peterborough*. fournie par la police nationale et la prisoner record system.
Le choix de cet indicateur tait structurant, il Elles contenaient chacune diffrentes informations sur les
dtermine le paiement ou non des investisseurs par sortants de prison, comme des variables dmographiques
le Ministre de la justice et le Big lottery fund. (ge, nationalit, donnes ethniques) ou le passif judiciaire
(dure dincarcration, type de dlit, etc.).
Il sagit dun indicateur explicite, pour lequel des donnes
noter : lutilisation de telles donnes peut parfois ncessiter
existent dj. Le fait de ne mesurer quun seul indicateur
lobtention dautorisations lies la prservation danonymat. Ces
de rsultat facilite la dcision du paiement et peut, priori,
aspects juridiques ne font pas partie du spectre de cette tude.
laisser des marges de manuvre loprateur social pour
ajuster le mode opratoire.
Lextraction de donnes
*Afin de tenir compte du traitement judiciaire, la condamnation doit
avoir eu lieu dans les 18 mois de la sortie pour tre comptabilise.
Lextraction de donnes a t ralise par le Ministre
Cela tend la priode de la mesure 18 mois et non 12 mois (voir
de la justice. Les valuateurs indpendants sassuraient
schma ci-dessus).
de leur ct, de la conformit de lextraction : vrification
du code informatique utilis, inspection des ventuelles
anomalies, etc. Afin de ne pas influencer lvaluateur
CONSTITUTION DE LA COHORTE dans la construction de la cohorte et du contrefactuel,
linformation concernant la rcidive a t exclue.
5/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
DMARCHE DVALUATION
38 variables statistiquement significatives ont t Une fois les deux groupes constitus, la cohorte et le
utilises pour faire lappariement. Cest partir de celles- groupe tmoin, les valuateurs ont observ le taux de
ci que lon a test la comparabilit des groupes cohorte rcidive de chaque groupe, puis compar les rsultats.
1 de Peterborough et autres prisons .
Un profil tait considr comme similaire un autre Dans la cohorte de Peterborough, ils ont comptabilis
ds lors quil y avait compatibilit pour 36 variables sur les 1 330 nouvelles condamnations pour des faits commis
38 retenues. dans les 12 mois qui ont suivi la remise en libert, soit
Pour chaque individu de la cohorte de Peterborough, 10 1,42 condamnations par personne.
individus similaires taient alors retenus depuis le jeu
de donnes de 31 114 dtenus. Dans le groupe tmoin, sur la mme priode, on relevait
14 523 condamnations pour 9 360 individus, soit une
Ainsi, suite lappariement le groupe tmoin tait moyenne de 1,55 condamnations par personne.
compos de 9 360 individus sortis dautres prisons
du Royaume-Uni. On constate une diffrence de 8,39% du taux de
rcidive entre la cohorte et le groupe tmoin.
Aprs plusieurs tests, il na pas t identifi de diffrence
significative entre les deux groupes tant sur les variables Le SIB prcisait bien quune baisse de 10% minimum
dmographiques que lhistorique judiciaire des individus. constate sur une cohorte tait ncessaire pour
Par exemple, la moyenne dge la sortie de prison tait dclencher un paiement. Ce qui ntait donc pas le cas.
de 33,3 ans pour les individus du groupe tmoin et de En revanche, les investisseurs pouvaient esprer tre
33,4 ans pour ceux de Peterborough. Les deux groupes pays la fin du contrat, cest--dire lissue des trois
ont t alors considrs comme comparables. cohortes, puisque le taux de rcidive obtenu dans la
premire cohorte tait suprieur 7,5% .
6/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
Les parties prenantes du SIB ont toutes t Lindicateur cl de lvaluation, la frquence des nouvelles
impliques dans la dmarche que ce soit loprateur condamnations, est une donne simple provenant de la
social ou les acteurs intresss financirement par le National statistics, un organe public charg de collecter,
rsultat. Elles se sont mises daccord sur le choix de analyser et diffuser les statistiques. La police nationale
lindicateur, sur le choix de la mthode de mesure et alimente cette base de donnes.
se sont engages dans lopration de traitement des
donnes (recherche dinformation, rflexion sur les Seule une donne de cette qualit, renseignant le profil
donnes exclure ou inclure, etc.). de chaque dtenu, permettait de constituer un groupe de
bnficiaires et un contrefactuel similaire avec la mthode
Social finance a tenu un rle particulirement important PSM. Afin dobtenir un rsultat fiable, les valuateurs ont
tout au long du SIB, il a organis le contrat tout en choisi dexclure du modle statistique toutes personnes
pilotant le programme One service. Les bnficiaires, dont les donnes ne semblaient pas pertinentes.
plutt absents dans la mise en uvre de lvaluation
quantitative, ont t sollicits dans la mesure qualitative
qui a t mene en parallle par Rand Europe. CONTRLE DES INCITATIONS NGATIVES
7/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
Aucun lment ntait publi concernant le cot total de Le systme dvaluation qui fait lobjet de cette tude a
lvaluation du programme One service. De nombreux permis de vrifier la capacit du programme One service
lments indiquent quil a t ncessaire de mobiliser lutter contre le phnomne de rcidive la sortie de
certaines expertises sur un temps important : prison, mais navait pas pour objet de comprendre de
mobilisation de plusieurs analystes, une masse de donnes faon prcise les conditions qui y sont favorables (profils
importante collecter, traiter et nettoyer, afin dlaborer cibls, points cls de laccompagnement, explication
le contrefactuel. des cas dchecs, etc.).
8/9
TUDE DE CAS
VALUATION DANS LE CADRE DUN CONTRAT IMPACT SOCIAL PETERBOROUGH
ENSEIGNEMENTS
La mthode PSM et son contrefactuel ont permis une Le cot de cette valuation na pas t rendu public.
valuation consensuelle et inconteste par les parties Leffort qui y est associ est certainement lev et
prenantes, ce qui est primordial dans le cadre dun ncessite la mobilisation dexperts.
financement par le mcanisme SIB.
Enfin, le choix des variables utilises pour constituer le
Aprs plusieurs tests, la cohorte 1 et le groupe tmoin groupe tmoin est relativiser. Il aurait pu, par exemple,
sont apparus comme comparables. Cette mthode tre intressant dintgrer des informations relatives
permettait chaque dtenu ligible de Peterborough de la proximit entre la prison et le lieu de vie habituel
bnficier du programme, sil le souhaitait. des sortants de prison. Cela est sans doute un lment
dterminant pour faciliter linsertion des dtenus. 63%
Il naurait pas t envisageable, par exemple, de mettre des prisonniers de Peterborough vivent proximit de la
en place une exprimentation randomise, limite sur le prison (dans le comt)*, quen est-il de ceux constituant le
plan thique et lgal : certains sortants de Peterborough groupe de comparaison ?
auraient eu accs One service, tandis que, de manire
alatoire, dautres nauraient pas pu en bnficier. *Source : Nicholls, A., Tomkinson E. (2013). The Peterborough Pilot
social impact bond. Royaume-Uni : University of Oxford
En revanche, ce type de mthode ncessite davoir
accs un ensemble important de donnes fiables, quil
est ncessaire de traiter. Ces donnes doivent pouvoir
tre utilises dans le respect de la loi et de lthique.
Sebag, R., Langendorf, H., (2016) Comment acclimater les titres impact social en France la lumire des
premires expriences dans le monde. Rapport Moral sur largent dans le monde 2015-2016, 183-202
Cave, S., Williams, T., Jolliffe, D., Hedderman, C. (2012). Peterborough social impact bond: an independent
assessment. Development of the PSM methodology. Royaume-Uni : Ministry of Justice
Social Finance Ltd. (2011). Peterborough social impact bond. Royaume-Uni : Social Finance Ltd
Disley, E., Giacomantonio, C., Kruithof, K., Sim, M. (2015). The payment by results social impact bond pilot at HMP
Peterborough: final process evaluation report. Royaume-Uni : Ministry of Justice Analytical Series
Ministry of justice. (2014). Interim re-conviction figures for Peterborough and Doncaster Payment by Results
pilots. Royaume-Uni : Ministry of Justice Statistics Bulletin
Jolliffe, D., Hedderman, C. (2014). Peterborough social impact bond : Final report on cohort 1 Analysis.
Royaume-Uni : Qinetiq
Lecocq, A., Ammi, M. & Bellarbre, E. (2014). Le score de proprension : un guide mthodologique pour les
recherches exprimentales et quasi exprimentales en ducation. Mesure et valuation en ducation, 37(2),
69-100
Nicholls, A., Tomkinson E. (2013). The Peterborough Pilot social impact bond. Royaume-Uni : University of Oxford
9/9
TUDE DE CAS