valuation et dmarche qualit

Il ne dpend que de nous de suivre la route qui monte et d'viter celle qui descend [Platon]
Dmontrer la qualit de ses prestations auprs des usagers est devenu une ncessit dans un environnement de plus en plus concurrentiel auquel les associations de services aux personnes peuvent tre confrontes aujourdhui. Toutefois, la notion dvaluation a t vritablement introduite dans le secteur sanitaire et social par la loi 2002,2 qui impose une dmarche de ce type tous les cinq ans en interne tous les services autoriss. Bien sr, si les professionnels se souciaient dj de tout mettre en uvre pour satisfaire les usagers, cependant la mesure de cette satisfaction a pu tre perue comme une mise en doute des comptences professionnelles. Il faut encore du temps pour que tous les acteurs dun service acceptent cette aventure dune dmarche qualit qui considre le service dans son ensemble. .

I- Dfinitions
A. Lvaluation :
Quest-ce quvaluer ? Du latin valre le sens tymologique ex-valuare signifie examiner une donne pour lui attribuer une valeur. Si lon reste simple, on peut donc sen tenir au fait quvaluer cest donner une valeur, estimer, juger Cest un jugement sur la valeur : valuer, cest indiquer ce qui a de la valeur et quelle valeur Mais, ce stade, valuer resterait une notion subjective. Sans talon ou instrument de mesure, valuer demeure une comparaison avec ce quon estime comme avoir de la valeur Si lon se rfre au systme de formation, o valuer cest oprer une slection, la mesure concerne lcart entre un rsultat et des objectifs. valuer cest donc prendre une mesure. L'valuation est applique dans tous les domaines o des rsultats sont attendus, et o il faut apprcier leur tteinte ou le chemin restant parcourir pour les atteindre. Lvaluation produit un indice defficacit dun programme, de procdure, de pratiques Pour Ducalet et Laforcade1, lvaluation consiste porter un jugement sur une intervention dans le but daider la dcision . Dans la loi du 2 janvier 2002, lvaluation est considre comme une dmarche visant apprcier la ralisation dun service au regard de valeurs nonces dans un rfrentiel de bonnes pratiques. Enfin, considrer lvaluation comme une dmarche, cest dfinir, identifier un objet dvaluation, le mesurer et le confronter, lexpliquer et enfin agir pour corriger, rajuster une action. Identifier le domaine de lvaluation : cest prciser dans un contexte et avec des acteurs dtermins, les objectifs et les rsultats attendus. Mesurer et confronter : cest aprs avoir produit des indicateurs, apprcier les effets de laction. Expliquer et corriger : cest rechercher la causalit des rsultats obtenus et dfinir de nouveaux axes laction pour amliorer les points faibles.

Philippe DUCALET ; Michel LAFORCADE : Penser la qualit dans les institutions sanitaires et sociales ; Paris, Seli Arslan, 2000

B.

La qualit :

La qualit vise dmontrer la conformit dun service certaines caractristiques qui la conditionnent, en rfrence aux besoins des usagers de ce service. La qualit est un concept qui sest dvelopp avec lindustrie et qui est dfini ainsi dans les normes AFNOR NFX50-109 : Ensemble de proprits caractristiques d'un produit ou dun service, qui lui confrent l'aptitude satisfaire durablement les besoins exprims et implicites des utilisateurs. La Qualit peut donc se dfinir comme la capacit atteindre les objectifs oprationnels viss. P. Ducalet et M. Laforcade adaptent cette dfinition de la manire suivante : Ensemble des caractristiques d'une entit qui lui confre l'aptitude satisfaire des besoins exprims et implicites de lusager et de sa famille en vue de maintenir ou damliorer sa sant, son autonomie sociale et sa dignit dtre humain . Pour un produit ou un service, la gestion de la qualit est l'organisation (processus) et le pilotage (management) mis en place pour garantir la satisfaction d'exigences (besoins, exprims ou non), des parties prenantes internes et externes de l'entreprise et la prise en compte des risques de toute nature. Dans la pratique la qualit se dcline sous deux formes : La qualit externe, correspondant la satisfaction des usagers. Il s'agit de fournir une prestation conforme aux attentes. Les bnficiaires de la qualit externe sont non seulement les bnficiaires de la prestation, mais aussi les personnes qui entourent ces bnficiaires et les partenaires extrieurs nos associations. Ce type de dmarche passe ainsi par une ncessaire coute des demandes, mais doit permettre galement de prendre en compte des besoins implicites, non exprims par les bnficiaires. La qualit interne, correspondant l'amlioration du fonctionnement interne du service. L'objet de la qualit interne est de mettre en oeuvre des moyens permettant de dcrire au mieux l'organisation, de reprer et de limiter les dysfonctionnements. Les bnficiaires de la qualit interne sont les lus, la direction et les personnels de l'association. La qualit interne passe gnralement par une tape d'identification et de formalisation des processus internes raliss grce une dmarche participative.

C. Diffrence et proximit et des deux notions

Selon le guide mthodologique du conseil national de l'valuation sociale et mdico-sociale (CNESMS) 2, lobjectif de lvaluation est de mesurer le niveau datteinte des objectifs que lon sest fixs au travers dun rfrentiel. Le constat des carts entre la pratique et le rfrentiel conduit le plus souvent des actions correctives. Leur mise en uvre de faon prenne sinscrit dans une dmarche qualit. Pour M. Laforcade, lvaluation est le moyen datteindre la qualit. Il y a entre valuation et qualit un ordre logique et chronologique. Lvaluation rend possible la dmarche qualit. Lvaluation est la condition de possibilit, ncessaire, mais pas suffisante de la qualit. Lobjectif est de mesurer un niveau datteinte dobjectifs que lon sest fix, gnralement au travers dun rfrentiel. Le constat des carts conduit vers des actions correctives : leur mise en uvre sinscrit de faon prenne dans une dmarche qualit. La dmarche qualit conduit vers des processus de changement. Elle articule le vouloir (valeurs, buts, aspirations), le savoir (connatre et comprendre lenvironnement), le pouvoir (mobilisation des comptences). La qualit ne peut donc se rsumer une mthode ou lobtention dune certification, cest un tat desprit. La qualit est un cheminement, une tension permanente, elle suppose le got pour le doute et linachev . valuation et qualit sont ainsi deux notions troitement lies, mais non quivalentes. La premire prsente des caractristiques ponctuelles, rythmes dans le temps alors que la seconde revt une manire dapprhender ses pratiques.
CNESMS, Lvaluation interne, Guide pour les tablissements et services sociaux et mdico-sociaux. Version n1,

septembre 2006.

II- Les enjeux de lvaluation

A. Un enjeu lgal
Lvaluation est bien sr une obligation au regard de la loi de rnovation sociale : lenjeu est simple, ne pas y souscrire est se mettre hors la loi ! Larticle L. 312-8 du Code de laction sociale et des familles cre lobligation pour les tablissements et services de procder lvaluation de leurs activits et de la qualit des prestations quils dlivrent , notamment au regard de recommandations de bonnes pratiques valides par le CNESMS. Quoi qu'il en soit, notre secteur dactivit est invit sadapter, il y va de sa professionnalisation et de sa capacit se mettre au diapason de la demande sociale et de la commande publique argumente Ali Boukelal.5 Pour le Conseil, lvaluation ne doit pas se confondre avec laudit qui consiste en une vrification dune situation par rapport une grille prtablie ; la certification dont le but est dobtenir un label, et le contrle consistant en une vrification destine apprcier le bon fonctionnement dun service au regard de rgles administratives, lgislatives ou rglementaires. Lobligation lgislative impose une valuation, mais elle ne peut contraindre une mise en uvre dune dmarche permanente damlioration continue de la qualit, qui doit rester libre et choisie.

B. Un enjeu thique et qualitatif

Les nouvelles politiques, le dveloppement du secteur des services aux personnes, louverture du march aux entreprises mettent mal le postulat du bien , le recours lautolgitimation caractristique du secteur social. Si la qualit peut tre porteuse de clart quant aux procdures, lvaluation suggre un jugement de valeur qui peut tre vcu comme un levier de remise en question. Pourtant, la promotion du droit des usagers dveloppe la prise en compte de leurs attentes lgard des services qui les accompagnent. Leur consultation montre que leur perception diffre parfois sensiblement de lanalyse des professionnels, il y a un enjeu fort, pour la prennit des services daide domicile de capter au mieux les besoins des personnes, dtre ractif et de proposer des services adquats qui avec lvolution des modes de vie se modifient. De plus, le dveloppement de la qualit dans le secteur marchand stend progressivement aux prestations de service, et, de ce fait, infiltre certains pans de notre secteur : ceci ne peut que bonifier notre rflexion sur la place que nous accordons nos usagers, sur le sens que nous donnons nos actions.

C. Un enjeu managrial
Lvaluation peut tre perue comme rendre compte en vue de prouver le bien fond des actions mises en uvre. Il serait rducteur de penser lvaluation pour les seules autorits de tarification ou de certification. Peut-on imaginer une quipe, un professionnel qui ne se soit jamais interrog sur les effets de son travail ? Sur ce quil produit auprs des usagers au regard des objectifs dducation, de soin, dinsertion Vis--vis des professionnels, lvaluation est trop souvent voque dans une dimension globale, ce qui la rend alors inaccessible. Mais conduite de manire rflchie et raisonne, elle permet chacun de connatre les effets de sa pratique pour les usagers. Si lvaluation sinscrit dans une dmarche projet, valuer revient donner de la valeur au travail de nos collaborateurs par la visibilit des pratiques et des interventions quelle permet. Lvaluation ne devrait pas venir seulement aprs laction, elle devrait en faire partie intgrante. Sa conduite et mthodologie devraient pouvoir tre penses par les auteurs mmes des projets, ce qui la rendrait efficiente dans une dmarche continue damlioration de la qualit.

Ali Boukelal. Evaluation de la qualit dans les tablissements et services sociaux et mdico-sociaux. Colloque Andicat,

novembre 2007.

III- La complexit de lvaluation

A. La singularit de la relation services
Si la notion de mesure, lcart entre un produit et un talon, est tangible dans les secteurs industriel et agricole, cette formalisation devient plus complexe dans celui des services et est quasiment impossible dans le secteur social. Les pratiques sociales reposent sur des processus daccompagnement, sont des systmes ouverts, intimement lis leur environnement et donc instables et imprvisibles. La modification dun lment du systme, mme insignifiant, pouvant entraner la modification de lensemble. Il est par consquent hasardeux de btir un pronostic de ce que lon va obtenir de laction mene et donc de pouvoir mesurer des carts entre un objet et son rsultat. On comprendra alors que des professionnels du social aient rsist lvaluation en mettant en avant la singularit du secteur. Cette singularit existe et elle explique que les activits du social ne peuvent svaluer comme dautres types dactivits notamment lactivit industrielle. Le secteur social a plusieurs spcificits dont il faut tenir compte dans une dmarche dvaluation et est li particulirement la notion de service entendu que lactivit de service pourrait se dfinir ainsi : Un processus de production aboutissant produit immatriel et non stockable qui ne peut se raliser que dans linteraction entre un prestataire et un usager Autrement dit si on dcompose ces spcificits : La premire de ces spcificits tient au fait que le service est avant tout une relation. Sans la participation de lusager, le service nexiste pas il nest que potentiel, latent. La caractristique de la relation daide est que lessentiel de sa qualit dpend de linvestissement de celui auquel elle sadresse. La deuxime spcificit est lie au fait que la prestation va se raliser et se consommer simultanment. Au moment mme o elle est produite, elle disparat. Ses rsultats se feront sentir beaucoup plus long terme. Cette prestation ne se stocke pas. La troisime spcificit vient du fait que cette relation sanalyse presque chaque fois comme un vnement part entire avec une trs forte dose dimprvisibilit et dinattendu, sa matrise a priori nest quillusoire. Souvent, dans une relation daide, il se passe prcisment ce que lon nattendait pas et donc ce que bien sr on navait jamais pu dcrire au pralable. Enfin, et cest peut-tre la spcificit premire du secteur social et de laide domicile, cest que le service rendu relve trs souvent du champ de lintime, se ralise non seulement en prsence de lusager, mais le plus souvent sur lusager lui-mme.

B. La ncessaire reliance
Le modle cartsien qui tente devant un problme apparemment compliqu de le diviser en autant de sous questions pour le rsoudre ne peut sappliquer au secteur social bien que ce dernier vive un peu sur le modle de la sparation permanente en ayant spar le sanitaire du social, le prventif du curatif et du palliatif, les soins somatiques des soins psychologiques, linsertion par lconomique de linsertion par le logement de linsertion par la sant, de linsertion par la formation. Michel Laforcade estime que ce secteur oscille entre deux logiques : privilgier le particulier (lorgane malade, lurgence sociale) ou la prise en charge globale. Il nous invite donc faire primer la relation entre le sujet et lobjet, appliquer, pour lvaluation, de la reliance. La reliance, cest lanalyse du lien, entre les propositions du service es besoins implicites ou explicites des usagers, la demande des institutions.

Cette notion est emprunte Michel Laforcade qui dit qua lintersection ou loffre, vient rpondre avec cohrence, aux demandes et aux besoins, on trouve la zone dexcellence (ZE) qui correspond au concept qualit quil convient dtendre pour remplir toujours mieux les missions rendues aux usagers. Zone dexcellence

A- Loffre existe, mais il ny a pas de demande ni de besoins. Un Service perdure dans le temps, il na pas suivi lvolution : dmographie, conomie, mobilit des populations Certains services de ce type peuvent fonctionner, dpourvus de sens, avant dtre jugs inutiles. B- Il existe une demande, mais le besoin nest pas vritable Il peut sagir dun luxe. Toutefois, certains prcurseurs ont pu mettre en uvre des prestations avant que le rel besoin nait t dmontr (cas du minimum social garanti, prcurseur du RMI) C- Il y a des demandes et des besoins, mais pas doffres : cest la pire des situations. Il peut sagir de pnurie dactions et de structures pouvant rpondre lexpression des besoins (psychiatrie des adolescents), mais aussi, dans une socit qui gnre de plus en plus de prcarit, il peut sagir de la non-reconnaissance dun statut dgrad (Personnes ges SDF) D- La demande ne rpond pas un besoin exprim. Cest le cas de toutes les personnes qui ne sont pas en mesure dexprimer leur besoin, mais dont la demande devient visible dans leur comportement ou dans leurs actes. Dans ce cas, gnralement soit la personne ne peut pas sexprimer, soit elle na pas conscience dtre en danger, pour elle ou pour les autres. Dans ce cas, linterventionnisme devient un devoir. (Alzheimer) E- Les besoins ne sont pas traduits sous forme de demande et ne trouvent pas de rponse. Cest principalement le champ du milieu ouvert, qui risque encore daugmenter compte tenu de lindividualisme croissant, ou les besoins restent silencieux . (cas de la canicule) F- Loffre rpond un besoin qui ne se traduit pas en demande. Ce sont toutes les prestations qui se droulent par habitude . Le bien fond de laction revient aux seuls professionnels qui jugent seuls des besoins des usagers. Il peut donc exister un dcalage important, loffre ntant pas reconnue par lusager, peut tre rejete (logement).

IV- Objet et rythme de lvaluation

Les objectifs de lvaluation voulus par le lgislateur ont t dcrits dans le guide de lvaluation interne produit par le CNESMS en septembre 2006. Lvaluation a ainsi pour but :

Faire voluer les pratiques et les comptences, pour notamment remettre plat les pratiques. Produire des connaissances pour nourrir la dcision Renouveler le dialogue Valoriser laction conduite (cest--dire nourrir un argumentaire lattention des partenaires et dcideurs pour que les conditions favorables (y compris en terme dallocations de moyens) puissent tre cres pour accompagner les projets et ventuellement permettre le rajustement de ces derniers. Sadapter et anticiper les besoins sociaux Interpeller, pour contribuer lvaluation du secteur.

Lvaluation interne doit tre mene tous les 5 ans par ltablissement et le service lui-mme dans toutes ses composantes. Lvaluation externe, tous les 7 ans, est quant elle ralise par un organisme extrieur habilit, sur la base dun cahier des charges fix par dcret ; elle obit une autre priodicit et ce sont ses rsultats qui conditionnent les modalits du renouvellement de lautorisation tous les 15 ans. Lvaluation doit apprcier pour les actions menes par un service ou un tablissement : la cohrence : les finalits de laction sont-elles en cohrence avec les orientations prioritaires ? La pertinence : laction constitue-t-elle une rponse adapte aux problmes identifis ? Lefficacit : les rsultats atteints sont-ils conformes aux objectifs retenus ? Lefficience : les rsultats sont-ils la mesure de lensemble des moyens mobiliss ? Limpact : quels sont les effets des actions conduites, attendus ou inattendus, souhaits ou non ?

valuer prend donc en compte la diversit des bnficiaires et lvolution de lenvironnement. Cette obligation doit, de ce fait, observer des logiques diffrentes, parfois divergentes. (Logiques dlus, logiques dadministrations, de professionnels, dusagers) La prise en compte de cette diversit rend lvaluation indicatrice de qualit puisquelle va mesurer la satisfaction de lensemble des acteurs touchs par laction. Si nous prenons satisfaction au sens de : en faire assez (Satis : assez,,Facere : faire) pour toujours amliorer la qualit du service rendu lusager, valuer, cest se poser deux questions essentielles : Faisons-nous toujours assez pour les usagers ? Notre service est-il apte satisfaire des besoins exprims ou implicites ?

V- Principes fondamentaux dune dmarche dvaluation de la qualit

A. Rechercher la matrise de la qualit
Si lon considre que lvaluation vise lamlioration continue des pratiques au service de la qualit des prestations dlivres aux bnficiaires, un des premiers principes est la recherche de la matrise de la qualit. Comment lapprcier ? Qualit Matrise

La qualit se mesure la correspondance qui existe entre ces trois termes : les besoins de bnficiaires, les engagements pris par le service et la prestation effectivement rendue. En dehors de cette convergence, on trouve la non-qualit parfois source de maltraitance : vis--vis des usagers, si les besoins sont mal valus, il y aura, au minimum, de linsatisfaction. Le service peut senfermer dans une contractualisation rigide qui ne permet pas de rpondre aux besoins des usagers ou qui contraint les pratiques professionnelles La manire de drouler lactivit peut aussi ne pas correspondre aux besoins soit parce quelle est non professionnelle (drive bnficiaire ) soit en tant trop procdurale (drive bureaucratique) La qualit ne peut tre un tat, elle suppose la recherche permanente de ladquation entre plusieurs critres, ce qui la rend complexe. Pour satisfaire les usagers, et donc atteindre de la qualit, il est impratif de manager cette qualit, c'est-dire orienter et contrler lensemble des activits. Ainsi, la qualit nexiste pas en dehors dune dmarche dvaluation qui doit permettre de penser en continu lamlioration de la satisfaction.

B. Penser amlioration en permanence

La qualit dun service nexiste pas dans labsolu. La qualit relve dun processus damlioration continue qui a t illustr par Deming. La roue de Deming est une illustration de la mthode qualit PDCA (Plan-Do-Check-Act). Son nom vient du statisticien William Edwards Deming. Ce dernier n'a pas invent le principe du PDCA, mais l'a popularis dans les annes 50. Deming dit : "Commenons par amliorer ce que nous savons faire, mais pas encore assez bien. Ensuite nous innoverons. Mais pas linverse".

Le principe de la roue de Deming, est de procder une amlioration, de vrifier que le rsultat obtenu correspond lattente, quil est stable, et de recommencer. La mthode comporte quatre tapes, chacune entranant l'autre, et vise tablir un cercle vertueux. Sa mise en place doit permettre d'amliorer sans cesse la qualit d'un produit, d'une uvre, d'un service. Roue de DEMING

1. Plan : Prvoir, Prparer, Planifier ce que l'on va raliser. 2. Do : Dvelopper, raliser, mettre en uvre 3. Check : Contrler, vrifier 4. Act : Amliorer agir, ragir

Lautovaluation de dpart peut constituer le point de dpart du principe de Deming. La premire tape, Plan, consiste planifier une action : aprs avoir identifi le problme (par exemple l'aide du QQOQCCP)6, la dtermination des objectifs constitue le point de dpart et inclut les moyens ncessaires. Dans le cadre de lvaluation, ce peut tre le choix des actions engager pour amliorer ses points faibles. L'tape Do (de l'anglais "faire") est la ralisation. Cest la mise en uvre des axes damlioration retenus. Une fois acheve, on entame l'tape Check (de l'anglais "vrifier") qui consiste contrler que la solution mise en place rsout bien le problme rencontr. Puis l'tape Act consiste agir et ragir, c'est--dire corriger et amliorer la solution mise en place, voire standardiser cette solution. L'tape Act amne donc un nouveau projet raliser, une nouvelle planification tablir. Ce cycle est reprsent sous forme dune roue. A chaque tape, la roue tourne d'un quart de tour et ainsi avance. Cette avance reprsente l'action de progresser. De plus, pour viter de "revenir en arrire", on reprsente une cale sous la roue, qui l'empche de redescendre et qui symbolise par exemple un systme qualit qui capitalise les pratiques ou les dcisions.

C. Lanalyse de la satisfaction, facteur dterminant de la qualit.

Comment mesurer la qualit si on ne sintresse pas en premier lieu la satisfaction des usagers quant aux prestations dlivres par le service ? Mesurer la satisfaction va bien au-del que rpondre aux exigences de normalisation : dtecter les causes dinsatisfaction, recueillir les avis, permet de mieux identifier ses exigences et donc damliorer ses prestations.
6

La mthode QQOQCCP est souvent la premire tape du principe de la roue de Deming. Elle permet de caractriser

le sujet abord. Pour un projet, elle consiste s'interroger sur ses diffrents aspects : Qui ? (Gens ou catgories de gens concerns) Quoi ? (Actions effectuer) O ? (Domaines touchs par le projet, lieux) Quand ? (Programmation dans le temps) Comment ? (Moyens, mthodes, etc.) Combien ? (Quantits, budget) Pourquoi ? et/ou Pour quoi ? (Motifs et

objectifs)

Cest autour de cette question de satisfaction que lon peut construire le cycle de la qualit. Ce processus gnral vient complter la roue de Deming en distinguant quatre formes de qualit : la qualit attendue, la qualit voulue, la qualit ralise et la qualit perue. Cercle de la qualit

La qualit attendue se rfre aux attentes et aux besoins des usagers. Bien sr, dans le secteur social, o lexpression directe des besoins peut savrer difficile compte tenu des pathologies ou des situations, lapprciation de cette qualit doit tre tendue lenvironnement proche de lusager. La qualit voulue est celle que la structure prvoit pour satisfaire les besoins des usagers. Le projet de service traduit son engagement sur la qualit voulue. La qualit ralise est le niveau de qualit rellement fourni par le service. La mesure des carts entre la qualit voulue et la qualit ralise fait apparatre les dysfonctionnements quil convient de rsoudre par une dmarche qualit. La qualit perue traduit la satisfaction de lusager : elle correspond au niveau de qualit ressentie subjectivement proportionnellement ses attentes. Lorsque les attentes vis--vis de la prestation fournie ne sont pas clairement identifies, la qualit perue est alors fort diffrente de lide de la satisfaction des usagers que se faisaient les professionnels. Bien sr, le service parfait, o toutes ces qualits concideraient est totalement utopique. Entrer dans une dmarche damlioration de la qualit pour objet de faire en sorte que :

La qualit voulue soit identique la qualit attendue (dfinition claire du projet personnalis et de lengagement du service) La qualit ralise se rapproche le plus proche possible de la qualit voulue, ce qui suppose des professionnels impliqus dans la dmarche Enfin, la qualit perue est relativement proche de la qualit attendue et correspond alors la satisfaction des usagers.

Conclusion
Une dmarche qualit centre sur la personne est-elle possible dans un contexte concurrentiel et de normalisation qui engendre une certaine forme dinstrumentalisation des projets, individuels et de service ? Sur un plan thique, comment viter ce risque, tout en respectant, du point de vue pratique, la rglementation ? Lattention doit tre grande pour que cette dmarche ne se rduise pas sa seule dimension rglementaire ou de certification, mais quelle ait pour objet daccrotre la satisfaction des usagers. Pour conserver la dimension humaniste, une vritable dmarche qualit implique donc un management qui fdre tous les acteurs sur des valeurs communes, qui valorise les capacits des usagers et dveloppe les

10

comptences professionnelles de nos collaborateurs.

11