Karlsson, Utvärdering Mer Än Metod

UTVRDERING MER N METOD
En versikt
Utvrdering mer n metod. Tankar och synstt i utvrderingsforskning O VE K ARLSSON
JOUR
EN SERIE KUNSKAPSVERSIKTER FRN SVENSKA KOMMUNFRBUNDET NR 3
Utvrdering mer n metod
Svenska Kommunfrbundet 1999 Grafisk form: Rolf Hernegran Omslagsbild: Birgitta Edstrand Tryck: Norstedts tryckeri, Stockholm 1999 ISBN 91-7099-820-5 ISSN 1403-3593 Bestllningar: Kommentus Frlag, 117 99 Stockholm, tel 08-709 59 90, fax 08-709 59 80. Bestllningsnummer: 7099-820-5
Tankar och synstt i utvrderingsforskning
Frord
en given plats i kommunal verksamhet. Att frhlla sig till utvrdering kan inte desto mindre betraktas som en konst fr sig, srskilt i en politiskt styrd verksamhet. r det mjligt att frena utvrderingens olika perspektiv: politisk kontroll, en oberoende utvrderarroll, och verksamhetsutveckling till fromma fr bde medborgare och anstllda? I denna kunskapsversikt, Utvrdering mer n metod. Tankar och synstt i utvrderingsforskning, ger Ove Karlsson, fil dr i pedagogik vid Mlardalens hgskola i Eskilstuna, en kritiskt granskande bild av utvrdering baserad p forskningsresultat och illustrerad med praktiska exempel. versikten r skriven p uppdrag av Svenska Kommunfrbundets FoU-rd. Den ingr i jour en serie kunskapsversikter, som har till syfte att gra forskningsresultat tillgngliga fr den kommunala verksamheten. Ett srskilt tack till Lena Lern, FoU-Kronoberg, och Olliann Lundberg, nmndkontoret stersunds kommun, fr frmedling och kommentarer kring tv konkreta utvrderingar. Fr innehllet str frfattaren.
TVRDERING HAR
Lennart Rydberg
Ordfrande i FoU-rdet
Lena Lundstrm
Redaktr, forskningssekreterare
Delar av denna versikt kan laddas ner frn FoU-rdets hemsida: http://www.svekom.se/skorg/fou/utvard.htm.
Frfattare
OVE KARLSSON r fil dr i pedagogik och verksam vid Mlardalens hgskola i Eskilstuna. Hans nuvarande forskningsintressen r pedagogisk utvrdering som teori och praktik samt vrdefilosofiska problem vid undervisning och utvrdering. E-post: ove.karlsson@mdh.se
Innehll
11 12 13 15 15 15 15 16 16 17 18 18 18 19 20 20 20 21 21 21 21 22 23 23
Inledning
Utvrdera mer n metod Lsanvisning
1. Introduktion
Utvrderingens knnetecken Kvantitativt fokus Kvalitativt fokus Fokus p anvndning och delaktighet Tre utvrderingsmnster Slutsatser om utvrdering Uppfljning, utveckling, utvrdering Uppfljning Utvecklingsarbete Forskning Fem forskningsflt Pedagogik Statsvetenskap Ekonomi Sociologi och socialt arbete Fr vem ska utvrderingen ske? Identifiering av intressegrupper Intressegrupper inom och utom systemet Utvrderarens perspektiv Sammanfattning
Noter
25 25 26 26 26 29 30
2. Utvrdering i kommunerna
Aktuella utvecklingslinjer Frn enkt till intervju Utvrdering och kvalitetsarbete Samverkansprojektet 4 i Vxj Vrd och omsorg i stersund Sammanfattning
Noter
31 31 32 33 33 34 35
3. Syftet med utvrdering

Skillnaden mellan ml, syfte och funktion Kontrollera, frmja, ifrgastta Syften p olika organisationsniver Formativ och summativ utvrdering Praktiska exempel Sammanfattning
Noter
36 36 37 37 38 38 39
4. Vilken kunskap sks?

Utforma en tankemodell Inte enkelt att utg frn mlen Kunskapssyn vid utvrdering Information och kunskap Frklara orsaker och frst sammanhang Tre perspektiv p kunskap
39 39 40 41
En kunskapsfilosofisk aspekt Vilken kunskap ger olika utvrderingar? Praktiska exempel Sammanfattning
Noter
63 64 64 66 66 66 67 67 67 67
42 42 43 43 44 45 46 47 47 48 48 49 50 50 51
5. Att bedma
En rationell modell fr bedmning Vilka vrdekriterier ska vljas? Utvrdering med olika kriterier Objektiv och subjektiv bedmning Referenspunkter av objektiv karaktr Referenspunkter av subjektiv karaktr Tre principer fr att jmfra Vem ska bedma? Att vga samman resultat r alla offentliga tjnster jmfrbara? Strategier fr att vga samman Att bedma en versikt Praktiska exempel Sammanfattning
Noter
Utvrdering som del i professioner och medborgarskap Extern eller intern utvrderare Uppfattningar om utvrderaren Analys av utvrderarroller Traditionell utvrderare Intern utvrderare Demokratisk utvrderare Deltagande utvrderare Praktiska exempel Sammanfattning
Noter
69 69 70 70 71 72 72 73 73
8. Utvrdering och politik

Utvrderingens legitimitet Utvrderare levererar akademikerkritik Aktionsforskning, utvrdering och politik Utvrderarens dubbla kompetens r forskning och politik s tskilda? Utvrdering utifrn en gemensam problemram Praktiska exempel Sammanfattning
Noter
53 53 53 54 55 55 56 59 60
6. Utvrderingens praktik
Strategiska perspektiv vid utvrdering Den utprvande strategin Den frklaringsinriktade strategin Den interaktiva strategin Sammanstllning av strategier och modeller Utvrderingsmodeller Praktiska exempel Sammanfattning
Noter
62 62
7. Utvrderarens roll
Vad utmrker utvrderarens expertis?
75 75 76 76 77 77 78 78 78 79 79
9. Anvndning av utvrdering
Vad menas med anvndning? Bristande anvndning Utvrderingen Kommunikationen Anvndarna Felaktig anvndning Strategier fr att ka anvndning Frndra utvrderingen Utveckla kommunikationen Utbilda anvndarna
80 81
Praktiska exempel Sammanfattning

Noter
83 83 83 84 84 85 86 86 89
10. Sammanfattning av centrala frgor och strategier

Varfr ska utvrderingen gras? Vad ska utvrderas? Vilka kunskaper sks? Bedmningsarbetet Utvrderingens genomfrande Utvrderarens roll Anvndningsfrgan
Litteratur
Utvrdering mer n metod Tankar och synstt i utvrderingsforskning

En versikt
O VE K ARLSSON
10
11
Inledning
idag beskriver hur utvrdering har blivit en allt mer diskuterad och efterfrgad aktivitet under 1990-talet. Det kade intresset fr utvrdering kan ses i ljuset av att det har skett stora frndringar i synen p hur den offentliga verksamheten kan styras och kontrolleras. Fr bara ett par decennier sedan var vertygelsen fortfarande stark om att centrala politiska beslut, svl i staten som i kommunerna, blev omsatta i verkligheten genom en lojal frvaltning med plikttrogna tjnstemn som noggrant sg till att lagar och regler fljdes. Frndringar och reformer genomfrdes ocks enligt faststllda regler. Principen var att man frst noga tnkte igenom och diskuterade vad som skulle gras innan beslut. Gllde det stora eller principiellt viktiga frndringar s genomfrdes en utredningsprocedur som ofta innefattade en remissomgng dr olika intressenter fick komma till tals fre beslut. Genom den beredningen betraktades ocks frndringen i princip som utvrderad. Genomfrandet av frndringen eller reformen sgs mer eller mindre som en teknisk frga som reglerades i lagar och frordningar. Den offentliga verksamheten var med andra ord regelstyrd. Frgan om terkoppling och granskning av hur beslut genomfrdes lstes genom intern uppfljNGA SAMHLLSFORSKARE
ning i organisationen och revision som kontrollerade att inte regler och resurser missbrukades. Det var mindre vanligt med systematiskt genomfrd utvrdering som kritiskt granskade om tgrderna var rimliga fr att lsa problemen och vad de gav fr resultat. Att lsningarna var ndamlsenliga var redan prvat i utredningsskedet. Eftersom tgrden var rtt tnkt antogs den ocks ge frvntade resultat och ngon srskild utvrdering utver den interna uppfljningen och kontrollen var inte ndvndig. Under 1980-talet utsattes den offentliga verksamheten fr en vxande kritik fr bristande effektivitet och flexibilitet. Det blev allt svrare att genom detaljerade regelverk ge svar p hur beslut skulle tolkas och tillmpas. Mlstyrning fick erstta den tidigare regelstyrningen och genom kad delegering gjordes lokala beslutsfattare och personal i allt hgre grad ansvariga fr att anpassa politiska beslut till den verklighet som de mtte. Mlstyrning lste dock endast en sida av styrningsproblemet att ange vad som ska gras. Dremot svarade den inte p frgan vad som skedde med de politiska besluten i praktiken och om mlen uppfylldes. Att f kunskap om dessa frgor r en grundlggande frutsttning fr demokratisk politisk styrning. Politiker och beslutsfattare i offentliga verksamheter mste kunna svara p vad som
12
sker med deras beslut och hur deras lften till medborgarna infrias. Som ett svar p dessa behov vxte kravet p utvrdering. Det br dock ppekas att utvrdering inte blev en ersttning fr den uppfljning och revisionsverksamhet som redan fanns i systemet. ven i en utprglat mlstyrd verksamhet, med en kad utvrderingsaktivitet, kvarstr behovet av andra former fr terkoppling, granskning och kontroll. Vad man dremot kan iaktta r att uppfljning, utredning och ibland ocks revision, under senare r allt oftare kallas fr utvrdering. Mot den bakgrunden kan man frga om utvrdering enbart blir ett annat, finare, namn fr gamla verksamheter. Det r en sund skepsis att kritiskt granska alla nya och mer eller mindre modebetonade fenomen och begrepp som kommer och gr i debatten. Det vore dock fr enkelt att betrakta utvrdering som enbart en modetrend och ett nytt ord fr ngot som alltid har gjorts. Sklet r att det finns ett antal centrala inslag i utvrdering som gr att man kan tala om den som en aktivitet med srskilda knnetecken.
Problematiseringen bygger i frsta hand p forskningen inom omrdet, samtidigt som ocks en del konkreta exempel anvnds fr att belysa resonemangen. Bokens tyngdpunkt ligger p frgor som i vilket syfte en utvrdering grs, fr vilka, ur vilket tolkningsperspektiv och s vidare. Detta r frgor som kommer fre de mer praktiska hur-frgorna som inte kommer att behandlas. Detta r allts inte ytterligare en metodbok, frtjnstfulla sdana finns redan. Boken r i frsta hand skriven fr de beslutsfattare i offentlig verksamhet som bestller, tolkar och anvnder utvrdering, och r intresserade av att ta reda p varfr utvrdering r mer n en metodfrga. Skriften har ocks intresse fr utfrare av utvrdering och utvrderingsforskare. Dessa utgngspunkter leder vidare till en rad frgor som berr den rationelle anvndaren och som medvetet eller omedvetet ligger bakom alla frgor om hur utvrdering kan genomfras i praktiken.
1. Varfr sker utvrderingen? 2. Vilken kunskap sks och vilka frgor ska besvaras? 3. Hur ska bedmningen gras och mot vilka kriterier?
Utvrdera mer n metod

Syftet med skriften r att ge en utvecklad bild av utvrdering och att hja medvetenheten om utvrdering som freteelse. Det sker genom att diskutera och beskriva ngra av de centrala problem som man stlls infr nr man ska bestlla, genomfra, tolka eller anvnda en utvrdering. Avsikten r att visa vad utvrdering har fr mjligheter och begrnsningar genom att resonera om olika synstt p utvrdering och visa var problemen finns.
4. Hur ska utvrderingen utformas, med vilken modell eller design? 5. Vilka r utvrderarens roller? 6. Hur frhller sig utvrdering till politik? 7. Hur kommer utvrderingen till anvndning?
Detta r frgor som brukar terkomma i mer eller mindre likartade formuleringar inom utvrderingsforskning och jag anvnder mig av dem fr att strukturera framstllningen och analysen av utvrderingsfltet.1
13
Lsanvisning
Bokens kapitelindelning fljer de frgor som stlls ovan. Varje kapitel avslutas med en kort sammanfattning av de viktigaste iakttagelserna. Ett antal figurer och tabeller ger verblick av centrala frgor. Lsaren kan ocks ta till sig delar av bokens innehll genom att flja tv utvrderingsexempel frn stersund och Vxj. De introduceras i kapitel tv och terkommer i slutet av varje kapitel som sammankoppling av praktik och teoretiska resonemang. Det avslutande kapitlet r en sammanfattning av centrala frgor och strategier fr den lsare som bestller, genomfr, tolkar och anvnder utvrderingar. I kapitel 1 presenteras ett antal centrala begrepp och aktuella debattfrgor inom utvrdering. Redovisningen utgr frn aktuell utvrderingsforskning i Sverige och internationellt. Hr framgr hur utvrdering skiljer sig frn uppfljning och utvecklingsarbete. Konkurrerande mnster fr utvrdering presenteras i ett historiskt sammanhang, med utveckling frn enbart mtinriktade metoder till mer pluralistiska. I kapitel 2 presenteras tv fall av utvrdering. Det ena gller ett utvecklingsprojekt fr myndighetssamverkan i Kronoberg, det andra en underskning av hemtjnstens kvalitet i stersund. Tillsammans ger de tv bilder av hur utvrdering inom offentlig verksamhet kan se ut. I de fljande kapitlen tjnar de som exempel p allmnna resonemang. I kapitel 3 diskuteras frgan vad utvrderingen syftar till, det vill sga hur den r tnkt att anvndas. Frgan om hur utvrdering faktiskt anvnds behandlas i kapitel 9. Redan vid valet av vad det
r som ska utvrderas i en verksamhet brjar en vrderande process. Hr framgr hur syftet hnger samman med vilken niv som initierar utvrdering. Tidsperspektivets betydelse framgr och att syftena kontroll, utveckling och djupare kunskap inte behver vara s tskilda som det frst kan verka. I kapitel 4 behandlas frgan om vilka sidor av utvrderingsobjektet som ska uppmrksammas och vilka frgor som ska stllas. Att beskriva vissa aspekter av en verksamhet och utelmna andra r i sig en vrdering av vad som r viktigt och mindre viktigt att belysa. Olika sdana kunskapsfilter stlls mot varandra; mtinriktade, handlingsinriktade och vrdebaserade. Konsten att hantera oklara eller svranvndbara ml diskuteras ocks. I kapitel 5 diskuteras utvrderingens uppgift att producera eller uttala en bedmning. Det r en central uppgift och utvrderingens srskilda knnetecken. Frgan r p vilka vrdegrunder och med vilka kriterier det kan ske. Mjuka offentliga verksamheter kan vara svra att mta och jmfra, och i kapitlet diskuteras hur det gr att gra en nyanserad utvrdering, med bde mer objektiva och mer subjektiva mtt. I kapitel 6 beskrivs olika aspekter p utvrderingens genomfrande. Dels val av design eller utvrderingsmodell, dels metoder och tekniker fr datainsamling. Framstllningen koncentreras till modellfrgan. I kapitlet redovisas tio vanliga och principiella modeller, som kopplas till olika utvrderingstrategier; utprvande, frklaringsinriktade och interaktiva. Medan kapitlen 3 till 6 tar upp frgor om syfte, kunskap, bedmning och genomfrande, handlar
14
kapitel 7 och 8 om den som gr utvrderingen och om konsekvenserna av det sammanhang han eller hon befinner sig i. I kapitel 7 r utvrderarens roll i fokus. Hr presenteras de olika roller som utvrderaren antingen tar sig eller placeras i av andra. Fr- och nackdelar med att anvnda en extern respektive intern utvrderare diskuteras, bland annat i frhllande till om syftet r kontroll eller utveckling. I kapitel 8 r mnet det spnningsflt som finns mellan utvrdering och politik. En srskild dubbelkompetens fr utvrderare i offentlig verksamhet rekommenderas, dels i utvrderingsmetodik, dels i politisk kultur. I kapitel 9 behandlas den frga som utvrderingsarbetets trovrdighet i lngden r beroende av: frgan om anvndning. Hur utvrderingen anvnds i praktiken r en livligt debatterad frga. Kapitlet exemplifierar bde legitim anvndning, ssom lrande processer, och illegitim, ssom att frhala eller undvika beslut. Orsaker till att utvrdering inte anvnds tas upp, t ex brister i utvrderingen, i verfringen eller hos anvndarna. I kapitel 10 sammanfattas avslutningsvis de frgor som r viktiga att beakta vid utvrdering.
1
Franke-Wikberg & Lundgren (1980) s. 10; Shadish m.fl. (1991) s. 35; berg (1997) s. 85.
15
1. Introduktion
olika ting, hndelser och handlingar r ngot som vi alla gr i olika vardagssammanhang utan att reflektera ver om det ska kallas utvrdering. Vi vrderar saker p olika stt utifrn tycke och smak och med en mttstock som har formats utifrn vra vrderingar och vanor. Dessa bedmningar r en typ av informella utvrderingar som mnniskor har gjort i alla tider till skillnad frn den mer formella utvrdering som behandlas i denna bok.
EDMNINGAR AV
Utvrderingens knnetecken
Det som brukar framhllas som utmrkande fr formell utvrdering r att man vrderar ngot p ett systematiskt och genomtnkt stt. Utvrdering blir drmed en rationell process dr man fljer vissa metoder och frsker hlla kontroll p olika steg i bedmningsarbetet. Fljande definition av utvrdering, som redovisas i ett material frn Statistiska centralbyrn, r ett exempel dr kravet p systematik betonas.
Utvrdering r en systematiskt genomfrd underskning av vrdet eller frtjnsterna hos ett givet freml/ aktivitet, som kan vara exempelvis ett tgrdsprogram, ett projekt eller en produkt. 2
uttalade (explicita) kriterier att jmfra mot. Vidare att han/hon ska summera resultatet till ett samlat omdme om vad utvrderingsobjektet har fr inre meriter och yttre vrde, dvs egna inneboende kvaliteter respektive nytta fr omvrlden. 3 Det r inte ovanligt att utvrdering uppfattas som en frga om att mta skillnader och likheter mot faststllda standards eller mtt p ett objektivt stt dr resultatet helst uttrycks i siffror. Med ett sdant synstt brukar utvrderingen inriktas p att granska om antal tjnster (t ex operationer, lektioner, hemtjnsttimmar) har utfrts enligt uppstllda ml eller avtal. Utvrderarens roll blir att vara expert p mtmetoder. Dremot ligger det inte i rollen att uttala sig om brister och frtjnster hos det som utvrderas.
Kvalitativt fokus
Ett annat stt att se p utvrdering r inte lika entydigt inriktat p kvantitativ mtbarhet och anvndande av enbart explicita kriterier. Utvrderingsforskare som exempelvis Ernest House och Thomas Schwandt fretrder en mer kvalitativt inriktad utvrdering.4 De utmanar bilden av den objektiva mttstocken och menar att ven mer svrfngade kriterier kan ligga till grund nr man gr en utvrdering. Det kan rra sig om intuitiva och underfrstdda kriterier som utvrderaren och berrda intressenter anvnder nr de tolkar och
Kvantitativt fokus
Det r ocks vanligt att definitioner av utvrdering framhller att utvrderaren skall redovisa
16
bedmer utvrderingsobjektets meriter och vrden. Man kan exempelvis tala om kriterier som r prglade av olika kulturella och politiska sammanhang som personerna representerar.
Fokus p anvndning och delaktighet

Ytterligare andra forskare betonar att utvrdering, frutom att uttala ett vrdeomdme mot vissa kriterier, ven br medverka till att utvrderingen blir anvnd. Det kan ske genom att lta olika intressenter pverka s att det som utvrderas berr dem. Ett par fretrdare fr den linjen r t ex William Shadish och David Fetterman som argumenterar fr att strre delaktighet kar utvrderingsresultatens relevans fr intressegrupperna och drmed anvndningen.5 Ytterligare ett motiv r att utveckla kompetensen hos deltagarna att sjlva kunna medverka i utvrderingen. Ett populrt begrepp i sammanhanget r empowerment, som skulle kunna versttas med att ge bemyndigande av makt till ngon. Dessa olika stt att definiera utvrdering: (1) som en i huvudsak metodisk kompetens fr att mta, (2) som tolkande och kritiskt vrderande utifrn svl uttalade som mer outtalade kriterier, (3) som inriktad p frndring av bde organisationers och individers stt att fungera, visar att utvrdering inte r ngot entydigt vare sig som begrepp eller praktik. Utvrdering r snarare ett omtvistbart koncept p liknande stt som begreppen jmlikhet, frihet, rttvisa, socialism. Filosofen Sven-Ove Hansson pekar p att uttryck som tillhr denna typ av omtvistbara begrepp kan vara svl kontroversiella som icke kontroversiella, positivt eller negativt laddade.6 Jag menar
att utvrdering dels r kontroversiellt, dels r positivt eller negativt laddat beroende p omstndigheterna, vilket kan frklara varfr det r s svrt att ge utvrdering ngon enkel entydig definition. Det finns dock en minsta gemensamma nmnare vid utvrdering, nmligen att den dels innebr att vrdera och uttala ett omdme, dels att systematiskt arbeta fr att skaffa ett s bra underlag som mjligt fr denna uppgift. Nr man dremot kommer in p hur utvrdering br utformas mer konkret gr sikterna isr, bland annat i synen p kriterier fr bedmning och bestllarens, utvrderarens och intressenternas olika roller. Det r om dessa olika sidor hos utvrdering som denna bok handlar.
Tre utvrderingsmnster
Det finns ven ett historiskt perspektiv p utvrdering, dr de olika fokus motsvarar olika mnster sett ver tid. Mtning och kontroll visar sig i mlresultatutvrdering, som dominerade utvrdering under 50- och 60-talen. Utvrderaren sgs som expert p att mta och beskriva utfallet, vanligtvis i kvantitativa termer. Dremot var det inte utvrderarens uppgift att vrdera skillnaderna. Bedmningen verlmnades med andra ord till bestllaren. Processutvrdering blev ett vanligt mnster under 70- och 80-talen. Intresset inriktades p frgor om hur resultatet har kommit till. Utvrderingen skulle inte enbart vara beskrivande utan frvntades ocks att gra en kvalitativ bedmning av hur verksamheten fungerade. Interaktiv utvrdering r ett mnster som utvecklats under 80- och 90-talen och som lyfter del-
17
aktighet. Tanken r att medverkan frn olika intressenter kar relevansen i utvrderingens frgor och resultat och strker intressenternas inflytande.7 Diskussionen fljer tv riktningar. En del forskare lgger betoningen p deltagarmedverkan fr att frbttra utvrderingens relevans fr intressenterna, dels genom medverkan vid formulering av vad som ska utvrderas, dels genom att delta i diskussionen kring resultat och deras anvndning. Andra forskare betonar medverkan i syfte att frbttra intressenternas situation, srskilt fr de grupper som har svrt att gra sig gllande. Utvecklingen har med andra ord gjort att utvrderingen har blivit allt mer pluralistisk svl i frga om vilka som kan delta, som med vilka metoder och vilka bedmningskriterier utvrderingen genomfrs. De tre huvudmnstren fr utvrdering kan sammanfattas i fljande tabell. I texten markerar kursiv fet stil var tyngdpunkten ligger. Jag kommer att anknyta till dessa tre mnster fr att forma utvrdering ven i kommande kapitel. Historiskt har de fljt p varandra, vilket inte innebr att det senare har ersatt det tidigare. Sna1. Ml-resultatutvrdering 1. Mot vilka kriterier sker utvrdering? 2. Hur frhller sig utvrdering till verksamhetens genomfrande? 3. Vilka resultat fokuseras och fr vem? Utvrdering sker mot ml i mtbara resultattermer
rare har det nya mnstret lagts till som ett ytterligare lager i utvrderingens arkeologi. Det betyder att vi idag har en rad modeller fr utvrdering som p olika stt hmtar nring frn de olika mnstren som existerar parallellt.
Slutsatser om utvrdering
Infr den fortsatta analysen kan det finnas skl att redovisa vad jag sjlv ser som utvrderingens krna. Jag menar att utvrderingens centrala uppgift r att uttrycka ett vrdeomdme om sitt utvrderingsobjekt. Utvrdering br vara en kritiskt granskande verksamhet som kan komma in under eller efter den insats som man vill bedma. Uppgiften r inte enbart att beskriva, kartlgga eller mta en attityd. Snarare br strvan vara att frska g djupare och ifrgastta det som tas fr givet och hlls som sjlvklart. Att ka medvetenheten och se samtliga aspekter, vrden och kvaliteter hos det som utvrderas krver anstrngning och prvning ven av egna vrderingsgrunder. Det gller fr svl utvrderaren som fr berrda in2. Processutvrdering Utvrdering sker mot kriterier fr vad som utmrker en god process Intresset inriktas p genomfrandet t ex fr att bedma arbetsstt och innehll Resultatet antas positivt om man konstaterar att genomfrandet motsvarar stllda krav 3. Interaktiv utvrdering Besvaras genom intressenternas deltagande
Genomfrandet ses som ett rent verkstllande av beslut som man inte behver g in nrmare p Kvantitativt mtbara resultat
Frgor om genomfrandet utformas utifrn vad olika intressenter vill veta
Intresse inriktas p vad olika intressegrupper ser som viktigt att utvrdera utifrn sina perspektiv
Tabell 1. Tre huvudmnster inom utvrdering
18
tressenter. Det r med en sdan ambition det blir meningsfullt att diskutera utvrdering som verksamhet och som problem.
Uppfljning, utveckling, utvrdering

Utvrdering har ocks likheter med andra verksamheter som syftar till systematisk beskrivning och terkoppling av hur beslut genomfrs och med vilka resultat. Jag tnker p verksamheter som uppfljning och utvecklingsarbete. Ett stt att frska peka p vad som skiljer och som frenar dessa olika verksamheter r att bena ut vad de innehller och har som ml.
producera systematiskt genomfrda beskrivningar med sakuppgifter om vad som sker i verksamheten, vanligen genom att beskriva nyckeltal, budgetutfall etc. Mlet vid utvrdering r att producera en bedmning av utvrderingsobjektet. Det r drfr en alltfr snv beskrivning att sga att utvrdering enbart syftar till kontroll. Avsikten r ocks att kunna lra om och se nya aspekter av verksamheten och att utveckla den.9
Utvecklingsarbete
Nr syftet r att bidra till lrande och frndring kan grnsen mellan utvrdering och utvecklingsarbete vara flytande. Relationen kan beskrivas p tv stt. ena sidan kan man tala om utvrdering av utvecklingsarbete. Det innebr att de tv aktiviteterna hlls tydligt isr eftersom utvrderingen granskar utvecklingsarbetet utifrn och bedmer dess slutresultat. andra sidan kan man tala om utveckling genom utvrdering. Det blir aktuellt nr utvrdering bedrivs parallellt med utvecklingsarbetet och dr syftet r att ge rd, std, kritik av arbetet som kan leda till frndringar som frbttrar genomfrandet. Det finns ocks exempel p att utvrdering blir en s integrerad del av utvecklingsarbetet att det r svrt att skilja de tv t. En sdan lngtgende integrering mellan utvrdering och utvecklingsarbete r vanlig nr man betonar personalens egenutvrdering och reflektion. Inom exempelvis frskolan finns en tradition med denna form av utvrdering. Dr r det ocks vanligt att framhlla utveckling som syfte framfr kontroll.9 Trots nra kopplingar mellan utvrdering och utvecklingsarbete finns det skl att hlla isr akti-
Uppfljning
Uppfljning kan beskrivas som en regelmssig och fortlpande insamling av information fr att kontrollera hur en verksamhet genomfrs. Underlaget inhmtas via de administrativa systemens normala eller inbyggda informationsflden. Det kan rra sig om kvantitativa basdata, exempelvis tillgng p platser och frdelning av resurser. I uppfljning liksom i utvrdering stlls krav p systematisk informationsbehandling. Ngra skillnader r att uppfljning sker kontinuerligt medan utvrdering sker mer tillflligt nr man vill ha en mer grundlig bedmning av en frga. Vidare r informationsinsamlingen vid utvrdering mer djuplodande med uppgifter som inte sjlvklart finns tillgngliga i verksamhetens normala rutiner.8 De tv verksamheterna har ocks olika ml. Uppfljningens ml r att kontrollera genom att
19
viteterna, med tanke p deras skilda ml. Risken r annars att utvrderingen frlorar sin kritiskt granskande roll och enbart blir en legitimerande del av utvecklingsarbetet. Utvrderingens ml r att gra en bedmning medan utvecklingsarbetets ml r att komma fram till en positiv frndring. Att utvrderingens bedmning kan leda till att utvecklingsarbetets ml underlttas, frndrar inte den skillnaden.
Forskning
Utvrdering och forskning har berringspunkter.11 Speciellt i de fall dr utvrderare, frutom att uttala sig om vad som r bra och dligt, frsker att ange orsaker till problem och drmed tnkbara omrden fr tgrder. Ibland anvnds begreppet
Utvrdering 1. Vem styr vad som utvrderas? Politiska och administrativa beslut Uppfljning
utvrderingsforskning nr man talar om att bedriva utvrdering med vetenskapliga forskningsmetoder. Begreppsvalet kan verka frvirrande om man jmfr med begrepp som t ex arbetslivsforskning och skolforskning, som betecknar forskning om en viss verksamhet. I konsekvens med detta borde ven begreppet utvrderingsforskning reserveras fr forskning om utvrdering.12 Oavsett vilket som anvnds s visar begreppen att forskning och utvrdering har en koppling. Frgan r vad som skiljer. En skillnad r att forskning inte r lika bunden till ramarna fr sin underskning som utvrdering. Sociologen Lars Gunnarsson beskriver att utvrdering sker inom en uppdragsram som ofta r snvare formulerad n vad som gller fr forskning som sker inom en teoriram formulerad av forskaren.13 Man kan
Utvecklingsarbete Frndringsbehov identifierade av ledning och/eller personal Kunskap som hjlp att frndra och stadkomma frbttring Dels fortlpande frbttring, dels tillflligt som srskilda objekt Skillnad centralt/ lokalt utvecklingsarbete. Bestms av ledning, respektive av personal Frsk och prvande av nya ideer. Deltagande av berrda Forskning Forskarens intresse, begrepp, traditioner och teoriram Kunskap fr att frklara, frst, frndra, beroende p forskarens ml Tillflligheter, men ocks i form av uppdragsforskning Bestms i huvudsak av forskaren
Administrativa beslut om inbyggda kontroller i systemet Instrumentell kunskap och beskrivningar fr att kontrollera och kunna rtta till fel Fortlpande
2. Vilket kunskaps- Etisk kunskap fr intresse och bedmning av ml? meriter, frtjnster, utveckling, lrande Tillflligt, vid behov 3. Nr aktualiseras av djupare granskning problemet/ av en frga uppdraget? 4. Hur lnge pgr underskningen? 5. Vilka metoder anvnds? Bestms av uppdragsgivaren
Utan tidsgrns
Vedertagna metoder och tekniker
Inbyggda system/ rutiner i verksamheten
Vedertagna forskningsmetoder och tekniker
Tabell 2. Jmfrelse av utvrdering och nraliggande verksamheter
20
ocks tala om en gemensam problemram fr utvrderingen, vilket ska belysas i kapitel tta. Utvrderaren r sledes styrd av sitt uppdrag medan forskaren (idealt sett) styrs av vad han/hon anser som vrdefullt att forska om. En ytterligare skillnad r att mlet vid utvrdering r mer precist inriktat p att gra en bedmning. En likhet r dock att man anvnder sig av samma metoder fr datainsamling och analys. Likheten med forskning kan ocks understrykas nr man jmfr frndringsinriktad utvrdering och aktionsforskning. (Se kapitel 8.) De olika begrepp och verksamheter som har diskuterats ovan kan sammanfattas i tabellform i en jmfrelse utifrn fem frgor. (Se tabell 2 fregende sida)
Fem forskningsflt
Hittills har jag nyanserat vad utvrdering r genom att jmfra med liknande verksamheter. Fr att komplettera bilden ytterligare kan man se hur utvrdering tolkas inom ngra akademiska discipliner som har en utvecklad utvrderingsforskning: pedagogik, statsvetenskap, ekonomi, sociologi och socialt arbete.
Pedagogik
Det finns en frhllandevis lng utvrderingstradition bland pedagoger. Traditionen innehller bde allmnna granskningar av utbildningspolitik och skolsystem och mer preciserade frgestllningar om utvrderingars institutionella villkor i politik, planering och praktisk verksamhet. Pedagogerna anlgger ocks ett forsk-
ningsorienterat perspektiv med kopplingar till amerikansk och internationell utvrderingsdiskussion. I den tidiga pedagogiska utvrderingstraditionen var det framfr allt problemet med att mta mluppfyllelse som stod i centrum. Exempel p frgor var om eleven klarade kursens krav och om undervisningen uppfyllde lroplanens ml. Under 1970- och 80-talet vidgades perspektivet och utvrdering av skolan sattes in i ett samhllspolitiskt och kulturellt sammanhang. Det innebar att utvrderingen inte enbart skulle svara p bestllarens frgor utan ocks ska en vidare frstelse och frklaring. Som exempel p pedagogiska utvrderingsforskare med ett brett perspektiv p det som granskades kan nmnas Urban Dahllf med ramfaktorteorin och Sigbrit FrankeWikberg och Ulf P Lundgren med teoriinriktad utvrdering.14 Inom pedagogiken har det ocks utvecklats en utvrdering som betonar utveckling, lrande och lokal frankring med medverkan frn olika berrda intressenter.15 P senare r har utvrderingsverksamheten inom skolomrdet institutionaliserats allt mer genom Skolverkets och Hgskoleverkets uttalade uppgifter som utvrderande myndigheter. I olika statliga och kommunala styrdokument framhlls ocks kommunernas utvrdering av skolan som ett viktigt kunskapsomrde som br utvecklas.
Statsvetenskap
ven statsvetare knyter an till den internationella utvrderingsforskningen. Som exempel kan nmnas Bo Lindensj, Rune Premfors och Evert Vedung.16 Starkt frenklat kan man sga att statsvetarnas analyser fokuserar p utvrderingens
21
frutsttningar inom offentlig verksamhet i form av policyfrgor, politiska mlprioriteringar etc, och p utfall av politiska beslut och frvaltningsbeslut. I fokus fr analyserna str ofta den rationella policykedjan; beredning, beslut, genomfrande, utvrdering, terkoppling, ny beredning. De ser med andra ord utvrdering som starkt kopplad till styrning. ven institutionaliserade former fr utvrdering r freml fr statsvetarnas forskningsintresse. SOU-vsendet, Statskontorets och Riksrevisionsverkets roller som granskande myndigheter diskuteras.
Ekonomi
Ekonomer definierar utvrdering i frsta hand som en frga om att avlsa effekter och bedma effektivitet genom att jmfra resultat med ml eller ekonomiska kriterier. Den tillmpade kostnadintktsanalysen karaktriseras som en utvrderingsmetod. Forskaren i ekonomisk historia Christer Gunnarsson beskriver att nationalekonomer som har bedrivit utvrderingsforskning frmst har uppehllit sig vid effektanalys medan de har gnat sig mindre t orsaks- och processanalys. Inom fretagsekonomisk forskning dremot finns mer av exempel p frhandsbedmningar och planeringsmodeller, sger Gunnarsson.17 Hos en myndighet som Riksrevisionsverket r koncentrationen p resultatsidan tydlig i ett speciellt sprkbruk dr utvrdering och uppfljning betraktas som delaktiviteter av resultatanalys som det verordnade begreppet.18
Lars Gunnarsson analyserat utvrderingsforskning ur ett sociologiskt perspektiv.19 Det finns ocks en diskussion kring utvrdering bland forskare i socialt arbete. Exempelvis Rosmari Eliasson, Sune Sunesson och Per Nygren har granskat utvrdering kritiskt och forskare i socialt arbete har ven utarbetat handbcker i utvrdering.20 Stefan Morn lyfter fram behovet av teoriinriktad utvrdering och framhller ven utvrdering som en del av socialarbetarnas kritiska reflektion ver hur olika insatser genomfrs och vad de betyder fr klienterna.21 ven hr har det skett en institutionalisering av utvrdering inom fltet genom Socialstyrelsen och bland annat Centrum fr utvrdering som utfr och stder forskning kring utvrdering inom socialtjnsten.
Fr vem ska utvrderingen ske?

Hittills har jag frmst diskuterat olika stt att se p utvrdering och hur den kan utformas. En central frga som ligger bakom de flesta resonemang r fr vem utvrdering ska ske och vilka som ska delta och pverka. Fr ett par decennier sedan var svaret p frgan de centrala beslutsfattarna. Idag har frgan ett mer komplicerat svar eftersom utvecklingen, som beskrivits, gtt mot att en rad intressenter ska ges mjlighet att delta.
Identifiering av intressegrupper
Jag anvnder termerna intressent och intressegrupp fr att beskriva en samling av personer som antingen rknas till eller frknippas med ett visst intresse, t ex en frga eller social position. Vi talar t ex om frldrar i skolan, anhriga inom sjuk-
Sociologi och socialt arbete

Intresset fr utvrdering har ven kat inom sociologi och socialt arbete. Som nmndes ovan har
22
vrden, oavsett om individen i frga sjlv arbetar aktivt fr att hvda sina intressen i den rollen. En intressegrupp kan ocks identifieras av medlemmarna sjlva genom att man sker sig till eller organiserar sig kring en viss frga. Nr utvrderingsforskare ska definiera vilka som r intressegrupper rknar de ofta upp alla som p ngot stt kan tnkas vara berrda av den verksamhet som utvrderas, oavsett om de aktivt hvdar sig eller ej. Sdana upprkningar brukar omfatta beslutsfattare och verksamhetens personal och mlgrupper, dvs representanter frn de intressegrupper som ingr i det formella demokratiska styrsystemet. P senare r har dock begreppet intressentutvrdering vidgats till att ven omfatta intressegrupper som finns utanfr, men frsker pverka, det formella beslutssystemet, exempelvis finansirer och institutioner som drabbas av kostnader och sidokonsekvenser av den aktuella verksamheten.22 Drmed blir identifikationen av vilka som ska delta i utvrderingen genast mer komplicerad. Komplikationen kan belysas genom att peka p olika typer av intressegrupper. Fr det frsta har vi intressegrupper som arbetar fr att frsvara eller beskydda sina medlemmar mot frsmringar och frska att flytta fram deras positioner vid frdelning av samhllets resurser, exempelvis arbetsgivarfreningar, fackfreningar och handikapporganisationer. Fr det andra har vi intressegrupper som organiserar sig kring en id, sakfrga eller intresse. Det kan rra sig om grupper som samlas i syfte att driva en viss frga, t ex att protestera mot miljfrstring, abort, djurfrsk, utbyggnad av lvar, rivning av kulturhus, nedlgg-
ning av bibliotek osv. Slutligen har vi intressegrupper i form av mer okontroversiella grupperingar som samlas kring fritidsintressen och hobbies av olika slag. Till intressegrupper brukar ofta beslutsfattarna, politikerna, rknas. Hr menar jag att det finns anledning att gra en tskillnad. Politikerna representerar sina politiska partier och kan inte betraktas som en intressegrupp p samma stt som vriga grupper i en utvrdering. Till skillnad frn organiserade intressegrupper kan politiska partier definieras som permanenta organisationer som strvar efter att n beslutsmakten inom det parlamentariska systemet. De utgr ocks en kanal fr att kommunicera sikter mellan de styrande och de styrda. Intressegrupper dremot kan definieras som organiserade enheter som frsker pverka offentlig politik, utan att ta ver beslutsmakten sjlva.23
Intressegrupper inom och utom systemet

I figuren p nsta sida har ett antal intressegrupper identifierats med utgngspunkt frn roller i det demokratiska styrsystemet: (1) medborgarna som de vljande och (2) politikerna som de som ansvarar fr besluten om den politik som ska fras, (3) frvaltningsledning som ansvarar fr att organisera och leda och (4) de olika professionella grupper som i praktiken ska utfra verksamheten. De professionella mter vi som medborgare nr vi fr del av resultatet, dvs de tjnster som offentlig verksamhet producerar. I detta mte kan vi ha olika roller som brukare, klient, patient, elev eller kund beroende p vad det r fr verksamhet som vi talar om.
23
Utvrderarens perspektiv
2. Politiker 3. Frvaltningsledning Intressegrupper 1. Medborgare Brukare, klient, patient, kund, etc. 4. Professionella yrkesgrupper som utfr verksamheten
Figur 1. Intressenter i det demokratiska styrsystemet.
Nr figuren kopplas till utvrdering, gr det att konstatera ett par intressanta saker om intressegrupper inom och utom det formella beslutssystemet. Politikerna, som finns inom systemet, ska inte rknas som intressegrupp. Dremot kan flera av de andra aktrerna i systemet representeras svl som intressegrupp som i sin formella systemroll. Exempelvis ledning och personal som ansvariga utfrare men ocks som intressegrupper genom sina fackfreningar. Analysen visar att det inte r s enkelt som det kan verka i diskussionen kring intressentutvrdering dr det ofta hvdas att man ska ge alla olika intressegrupper mjligheter att pverka utvrderingen. Hr krvs mer forskning och kritisk debatt kring olika typer av intressegrupper och deras resurser att gra sig gllande. Utvrderaren br informera och motivera omedvetna intressenter till deltagande. De grupper som redan r organiserade har en mer gynnsam position nr det gller att kunna pverka. Gruppen har kanske redan sjlv utsett representanter och har ett kontaktnt fr att stdja sina ombud och driva frgor.
Ett ytterligare problem med en breddning till fler intressenter r att den paradoxalt nog kan leda till en begrnsning av utvrderingens perspektiv. Ett skl r att den i sig tidsdande uppgiften att samla in synpunkter frn alla intressegrupper ocks kan gra att utvrderaren riskerar att bara kunna ge en ytlig beskrivning. En annan komplikation r att uppgiften att spegla en mngd intressegrupper kan begrnsa utvrderarens mjligheter att upprtthlla ett kritiskt synstt och hitta lsningar utanfr den lokala verksamheten.24 Detta kan ses som argument fr att utvrderaren br utveckla ett eget perspektiv p det som utvrderas. En given frga blir i s fall p vilka grunder utvrderaren kan legitimera sina kriterier. Kan det ske genom att hnvisa till etablerade teorier om den verksamhet eller insats som ska utvrderas, eller genom att hnvisa till en viss ideologi eller etisk stndpunkt ssom jmlikhet? Det svar som en del forskare frordar r att utvrderaren br utg frn en teori om social rttvisa och beakta att de grupper som r diskriminerade och som befinner sig i underlge fr mjlighet att gra sig gllande.25 (Se vidare kapitel 5.)
Sammanfattning
Historiskt har utvrdering frndrats, frn att i huvudsak ha varit en frga om testverksamhet och kvantitativa mtningar av snvt avgrnsade frgor, till att bli en verksamhet som omfattar bedmningar av komplexa frhllanden ur olika perspektiv. Det har lett till en omfattande debatt
24
bland utvrderare och utvrderingsforskare och man kan se att antalet olika konkurrerande metoder och modeller har kat. Vidare visar analysen att utvrdering inom offentlig verksamhet inte kan ses som ngon isolerad frn olika intressen och maktfrhllanden i samhllet. En vanlig tanke tidigare var att utvrderingen kunde st neutral infr olika intressen genom objektiva mtningar av ml som alla frutsatts vara verens om. Idag r de flesta utvrderingsforskare eniga om att detta inte r mjligt annat n mjligen i snvt avgrnsade situationer eller infr tmligen okontroversiella frgor. Det torde vara mer vanligt att stllas infr olika sikter om vad som br granskas och mot vilka kriterier det ska ske. I den situationen blir det viktigt att finna former som kan ka mjligheterna fr olika grupper att gra sig gllande. Mjligheterna att pverka skiftar dock mellan olika intressegrupper beroende p maktpositioner, status, kunskap och resurser. Ytterligare en svrighet r att identifiera vilka som br medverka, eftersom det inte finns ngot entydigt begrepp fr vad som r en intressegrupp. En frga som ocks har aktualiserats i sammanhanget r om det ankommer p utvrderaren att frska balansera olika intressen i utvrderingen. Samtidigt som det r angelget att frorda en demokratisk utvrdering s finns det anledning att efterlysa mer forskning kring hur en sdan kan utvecklas fr att hantera makt och inflytande frn olika intressegrupper.
Scriven (1991). House (1990); Schwandt (1998). 5 Shadish (1994) s. 347358; Fetterman (1994) s. 115. 6 Termen omtvistbara begrepp eller essentially contested concepts har myntats av Gallie (1956). Begreppet analyseras och utvecklas av Hansson (1998). 7 Cronbach, m.fl (1981). 8 FrankeWikberg (1992) s. 17f. 9 Ekholm & Lander (1993) s. 14. 10 Ekholm & Hedin (1995) s. 13f; Johansson & Karlsson (1997). 11 Lander (1987) s. 16ff; Rombach & Sahlin-Andersson (1995) s. 21f. 12 berg (1997) s. 14. 13 Gunnarsson (1987) s. 118ff. 14 Dahllf (1978). Fr beskrivning av ramfaktorteorin vid utvrdering, se Gustafsson & Selander (1994) s. 1341. 15 Ekholm (1992); Franke-Wikberg (1990); Karlsson (1995). 16 Lindensj & Lundgren 1986a, b, samt 1992; Premfors (1989); Vedung (1998). 17 Gunnarsson (1982). Jfr. Rombach & Sahlin-Andersson (1995). 18 Sandahl (1991). 19 Gunnarsson (1987). 20 Eliasson & Nygren (1980); Eliasson, m.fl. (1990); Eriksson & Karlsson (1998). 21 Morn (1996). 22 Vedung (1998) s. 76f. 23 Hauge, m.fl (1992) s. 255, 231. 24 Shadish m.fl (1991) s. 475. 25 Sirotnik (1990); House (1980, samt 1991).
4
Statistiska centralbyrn (1993) s. 1. Definitionen r en versttning av The Program Evaluation Standards, utgiven av en kommitt fr utarbetande av riktlinjer eller kriterier fr utvrdering i USA.
25
2. Utvrdering i kommunerna
1980- och 90-talet har utvrdering som begrepp och verksamhet ftt kad betydelse inom offentlig verksamhet. I kommunerna har under de senaste ren skett ett omfattande uppfljnings- och utvrderingsarbete med betoning p uppfljning. En vanlig modell fr dessa aktiviteter har varit att lta brukare av kommunala verksamheter svara p om de r njda med den tjnst de erbjuds. Omdmet redovisas ofta i form av en procentsats fr andelen njda respektive icke njda brukare. Det r dock svrt att f ngon samlad bild ver den kommunala utvrderingsverksamheten. I detta kapitel ska ngra underskningar redovisas som kan ge en uppfattning om aktuella utvecklingslinjer. Drefter ges exempel p utvrdering frn tv kommuner.
NDER
Aktuella utvecklingslinjer
Den utbredda anvndningen av utvrdering gr att det knappast gr att teckna ngon entydig bild av utvecklingen utan att gra avgrnsningar av niv och verksamhetsomrde. Man kan som exempel nmna utvecklingen inom barnomsorgen som under 1960- och brjan av 70-talet prglades av ett politiskt-administrativt perspektiv p utvrdering. Utvrderingen gjor-
des frn statlig niv genom Socialstyrelsens rliga sammanstllningar av hur kommunerna klarade utbyggnadsmlet om full behovstckning. Under senare delen av 1970- och under 80-talet frndrades dock bilden av utvrdering. Dels blev ett mer forskningsinriktat perspektiv vanligare genom att barnomsorgsforskare brjade att arbeta med utvrdering, dels utvecklades ett professionellt pedagogiskt perspektiv p utvrdering med lokalt utvecklingsarbete som det centrala. Drmed kom ocks mer kvalitativt inriktade utvrderingsmodeller i frgrunden. Under 1990-talet finns flera parallella utvecklingslinjer. En bestende linje r det politiskt-administrativa perspektivet med betoning p kontroll och kvantitativ mtning. Drmed har den produktinriktade utvrderingen kat med frgor om vad verksamheten levererar och till vilka kostnader. En annan linje r kad betoning p vikten av aktiv medverkan frn olika berrda grupper, inte bara brukare. Frutom dessa styrningsinriktade och deltagarorienterade utvecklingslinjer finns ven inslag av en form av teoriinriktad utvrdering som betonar reflektion och kritisk granskning. Hr brukar de professionellas ansvar fr utvrdering baserad p den egna yrkeskunskapen framhllas som ett viktigt inslag.
26
Frn enkt till intervju

ven nr det gller de mer konkreta formerna fr utvrdering har det skett frndringar under 1990talet. I en enkt till Sveriges kommuner som genomfrdes av Svenska Kommunfrbundet 1997 undersktes vilka former av utvrdering man bedrev inom barnomsorgen.26 Enkten sndes ut till 450 kommuner/kommundelar. Resultatet visar att nio av tio av de svarande genomfr mtningar av attityder till barnomsorgen via enkter. Hlften gr det vid behov, medan en tredjedel gr det mer strukturerat enligt en fast utvrderingsplan. Den starka betoningen p anvndande av enkter har dock tonats ned den allra senaste tiden och tendensen idag verkar vara att allt fler kommuner prvar intervjuer och andra mer kvalitativt inriktade metoder. I ett projektarbete som omfattade samtliga kommuner i Vstmanland och som pgick under 1994-1996 under namnet Petrus-projektet skte man utveckla metoder fr utvrdering. Frn kommunerna beskrev man att det fanns en utbredd trtthet p enkter bland brukarna och att man mste ta fram andra metoder. 27
ten. Utvecklingen kan ses mot bakgrund av ett behov hos beslutsfattare p olika niver i organisationen att f snabb terkoppling fr att frskra sig om att olika verksamheter uppfyller de ml och riktlinjer som beslutats och avtalats. Det ligger utanfr syftet med denna bok att behandla det kvalitetsarbete i form av kvalitetsuppfljning, kvalitetskontroll, kvalitetsutveckling, etc, som kommunerna arbetar med. Hr ligger fokus p utvrdering som problem och verksamhet. Det betyder inte att grnsdragningen alltid r s ltt att upprtthlla nr man kommer in p praktiska exempel, men de som redovisas nedan har jag valt med utgngspunkt frn tv grundlggande kriterier fr vad som utmrker utvrdering: Att studien r systematiskt genomfrd och att den innehller en bedmning mot redovisade kriterier. Om ven kvalitetsarbete som uppfyller dessa kriterier drmed kunde kallas fr utvrdering r en frga som jag lmnar utanfr diskussionen. Fljande exempel gr heller inte ansprk p att vara representativa fr all den utvrderingsverksamhet som pgr i landets kommuner. De har valts fr att belysa generella problem inom utvrdering som diskuteras i boken.
Utvrdering och kvalitetsarbete

P senare r har mycket av den uppfljande verksamhet som bedrivs av staten och kommunerna skett inom ramen fr kvalitetsbegreppet. Kvalitetsskring och kvalitetsutveckling r koncept som har dominerat debatten vid sidan av utvrdering. Medan utvrdering allt mer har frknippats med forskningsinriktning s har de kvalitetskontrollerande och kvalitetsutvecklande aktiviteterna frknippats med uppfljning av den lpande verksamhe-
Samverkansprojektet 4 i Vxj
kad myndighetssamverkan var mlet fr ett projekt som genomfrdes av socialfrvaltningen i Vxj kommun, lnsarbetsnmnden, frskringskassan, samt landstinget i Kronoberg. Arbetet startade i januari 1997 och utvrderades i september 1998. Mlet med projektet var att finna gemensamma lsningar fr klienterna. Man ville
27
f till stnd en bttre samordning fr att effektivisera den arbetslivsinriktade rehabiliteringen fr de grupper med srskilda behov som var aktuella p tv eller flera samverkande myndigheter. Mlet var ocks att i samarbete med den enskilde finna lsningar fr att lttare f ut personer i arbete eller annan sysselsttning.3 De frbttringar som efterstrvades skulle man frmst n genom att utveckla samverkan mellan myndigheterna i planering och genomfrande av rehabiliterings- och andra arbetsfrberedande insatser fr mlgruppen p lokal niv. Projektet genomfrdes av en arbetsgrupp p cirka 18 handlggare frn de samverkande myndigheterna. Samarbetet organiserades i form av en gemensam samlingspunkt dr deltagarna mtte handlggare med ansvar fr olika rehabiliteringsinsatser. Fram till tiden fr utvrderingen var cirka 100 deltagare aktuella i projektet.
Utvrderingens genomfrande
Den ekonomiska utvrderingen fokuserades p sysselsttning, produktion, frdelning, samt vlfrdseffekter i vidare mening.29 Utvrderingen gjordes i form av effektutvrdering och kostnadnyttaanalyser. I sin rapport gr utvrderarna en ingende beskrivning av hur de har resonerat teoretiskt och metodiskt fr att gra en samhllsekonomisk kalkyl och ekonomisk utvrdering av projektet. De skiljer mellan att gra mluppfyllelseutvrdering och att utvrdera effekter och effektivitet. I det senare fallet besvaras frgan vad projektet har givit fr effekter och om det r effektivare n en alternativ tgrd. Utvrderingen bedmer effekter genom att berkna kostnaderna fr insatserna vid projektet (personal, lokaler, etc) och de samhllsekonomiska intkterna (minskade utgifter, tillskott till produktionen och skatt nr en person kan arbeta). Utvrderingen ligger vl i linje med den huvudfra fr ekonomisk utvrdering som jag beskrev i fregende kapitel. Nr det gller den andra aspekten, dvs effektivitet ur handlggarnas perspektiv, s gjordes utvrderingen genom intervjuer med personal i brjan och i slutet av projekttiden.30 Fokus lg p arbetsformer och deltagarnas upplevelser av moderorganisationen jmfrt med projektorganisationen. Utvrderarna jmfrde hur handlggarna sg p sin arbetssituation, relationer till kollegor, sjlvbild och frndring i dessa tv organisationer. Analysarbetet beskrivs ingende i utvrderingsrapporten och man anknyter till socialpsykologisk teoribildning fr sitt tolkningsarbete. Utvrderingen har med andra ord en teoribaserad ansats, vilket betyder att utvrderarna har utgtt frn en
Utvrderingens syfte och kriterier

Syftet med utvrderingen var att visa om projektet uppfyllde de ml som beskrivits ovan. Utvrderingen inriktades p tre omrden: (1) projektets effekter p samhllsekonomi och kommunal ekonomi samt berkningar av belastning p vlfrdssystemet, (2) effekter av den organisatoriska frndringen med bedmningar av fr- och nackdelar ur handlggarnas perspektiv, (3) individrelaterad utvrdering av projektets betydelse fr deltagarna i frga om frndringar av livskvalitet, arbetssituation och potential p arbetsmarknaden, frsrjningsstt, utbildning och rehabilitering, samt kontakter med personal i projektet.
28
teori om det som ska utvrderas i utformningen av sina frgor, snarare n att exempelvis utg frn uppdragsgivarens eller de berrdas frgor. Hr kan man se en parallell till nr pedagoger tillmpar teoribaserad utvrdering p frskolan och utgr frn en utvecklingspsykologisk teori om barns behov. Den tredje aspekten som utvrderades var klienternas upplevelser, vilket gjordes genom tv enkter.31 Den frsta beskrev klientens situation nr han/hon startade i projektet. Den andra underskningen, som genomfrdes efter 68 mnader, mtte hur klienten bedmde eventuella frndringar i sin livskvalitet, relaterat till projektet. Frgor stlldes dels vad gller klientens sociala situation (familjesituation, bostad, arbete, ekonomi, hlsa, fritid), dels vad gller psykologisk upplevelse av hlsa (hrsel, syn, minne, kondition, aptit, humr, energi, tlamod, sjlvfrtroende, smn, uppskattning). P dessa variabler fick den svarande ange ett omdme p en sjugradig skala med ytterpunkterna mycket dlig till alldeles utmrkt. Av cirka 100 tillfrgade svarade 59 p den frsta enkten. Vid det andra tillfllet kom det in 40 svar som kunde ing i de analyser som jmfrde de bda tillfllena. Bortfallet visar ett problem som mnga erfar nr de anvnder enkter fr att jmfra ver tid. Det man kan konstatera r att denna utvrdering fljer en traditionell form av mtande ansats med en kvantifierad skala fr att mta hur klienterna upplevde sin situation fre och efter insatsen.
Resultat och bedmning

Utvrderingens resultat i exemplet frn Vxj redovisas i separata rapporter fr ekonomi-,
handlggar- och klientperspektiv. Utvrderarnas slutsats nr det gller ekonomi r att verksamheten som effekt givit en samhllekonomisk vinst. De pekar ocks p att det av tids- och kostnadsskl inte har varit mjligt att berkna effektiviteten. Fr att gra detta hade det krvts en jmfrelsegrupp (verklig eller hypotetisk) som visar alternativsituationen att projektet inte hade kommit till stnd. Utvrderingen av hur samverkan mellan myndigheterna fungerat i praktiken, visar att handlggarna har kat sina kunskaper om de olika myndigheternas regelverk. Konflikter vid starten har ersatts med kad frstelse. I intervjuerna med utvrderarna talar handlggarna mer om atmosfren i gruppen n om hur deras arbetsuppgifter har pverkats. Handlggarna r positiva till projektet och likheterna i rollerna betonas. De bedmer kontakten med klienterna som mer positiv inom ramen fr projektet n vid myndigheten. Att mta klienterna i en annan milj n den traditionella myndigheten nmns som en tnkbar orsak. Arbetssttet r ocks mer inriktat p att finna lsningar som klienten nskar eller freslr. Utvrderarna noterar att handlggarna i hgre grad kan styra ver rendemngden i projektet jmfrt med arbetssituationen vid moderorganisationen, som upplevs som mer stressig. Utvrderarna sger att projektet fr en del handlggare har blivit ngot av en tillflyktsort dr man kan koppla av frn det hrda arbetet i moderorganisationen. Som helhet bedmer utvrderarna att arbetet i projektet har inneburit en utveckling fr handlggarna. De har ftt en kad omvrldskunskap genom erfarenhetsutbytet med kollegor frn andra myndigheter. Utvrderarna
29
bedmer att erfarenheterna p sikt kan medverka till positiva frndringar ven i den egna moderorganisationen. Resultatet av utvrderingen av klienternas bedmning och upplevelser av projektet visar att fr gruppen som helhet frbttrades den sociala och psykologiska livskvaliteten under projekttiden. Utvrderarna konstaterar samtidigt att det finns skillnader inom gruppen. Fler dimensioner av livskvalitet var smre hos ensamstende jmfrt med gifta/sambos, smre hos hgutbildade jmfrt med lgutbildade, och smre hos de som rapporterar mnga symtom jmfrt med de som rapporterar f symtom. Trots det relativt stora bortfallet i underskningen (cirka 60 procent) tolkar utvrderarna resultatet med frsiktig optimism och bedmer att det strker intentionerna till fortsatt verksamhet i liknande former.
Vrd och omsorg i stersund

Det andra exemplet p utvrdering r hmtat frn stersunds kommun 1998.32 Omsorgsnmnden i kommunen (bestllaren) ville veta om brukare, men ven anhriga och personal, upplever att brukarna fr den kvalitet p hemtjnsten som r avtalad med respektive enhet, samt om de fr hjlp i beviljad omfattning.
bemtande, personalens kompetens, brukarinflytande, kontinuitet, meningsfullhet och gemenskap. I utvrderingsrapporten beskrivs olika knnetecken fr respektive kriterium fr att precisera den kvalitet som avses. Utvrderingen genomfrdes genom att brukarna intervjuades personligen, samt genom enkter till anhriga och personalen. De frgor som anvndes i respektive underskning var strukturerade utifrn de kvalitetsdimensioner som nmnts ovan. Arbetet utfrdes av en extern utvrderare som analyserade och sammanstllde resultatet och rapporteringen. I utvrderingsrapporten beskrivs resultaten fr respektive kriterium i form av tabeller med procentandelar fr olika bedmningsgrader. P frgan om brukaren fr den hjlp som man kommit verens om anges exempelvis fem mjliga svarsalternativ: alltid, oftast, sllan, aldrig, vet ej. Skillnader och likheter mellan brukarnas, personalens och de anhrigas svar kommenteras av utvrderaren.
Resultat och bedmning

Resultatet frn utvrderingarna sammanfattas i en skrivelse till omsorgsnmnden i maj 1998 tillsammans med ett frslag till beslut. Nedan ges exempel p brister och frslag till tgrder som utvrderingen tar upp (min sammanfattning).
1. Tillgng/tillgnglighet. Resultat: Brister i frmedling av information. Frslag: En tydligare struktur fr hur information skall ges till brukarna. 2. Personkontakt/bemtande. Resultat: Bristande kontakt, personalen stressad. Frslag: Att personalen ges tid att tala med brukarna och frskra sig om att de r njda.
Utvrderingens syfte och genomfrande

Syftet med utvrderingen var att ta reda p om verksamhetsstyrelsen i kommunen (utfraren) hade uppfyllt de kvalitetsdimensioner som anges i avtalet: tillgng och tillgnglighet, personkontakt och
30
3. Kompetens. Resultat: Viss tveksamhet hos brukarna till personalens kompetens fr vissa insatser. Frslag: Att beviljade insatser ges av personal med den kompetens som svarar mot faststllda kvalitetskrav. 4. Inflytande. Resultat: 64 procent av brukarna anser att de kan pverka hjlpens utfrande i tillrcklig omfattning. Frslag: Att ka brukarnas inflytande enligt faststllt avtal. 5. Kontinuitet. Resultat: Brister i personalkontinuitet. Frslag: Att frbttra enligt de kontinuitetsaspekter som anges i avtalet. 6. Meningsfullhet och gemenskap. Resultat: Bristande tid att hinna med promenader, gemenskap och aktivering av brukare, etc. Frslag: Att ge brukaren den hjlp han/hon blivit beviljad.
slutliga utvrderingsrapporten. Verksamhetsstyrelsen anser ocks att kritiken mot personal som stressar mste ses i frhllande till den tid som omsorgsnmnden har anvisat fr uppgiften. Bestllare och utfrare har inte samma uppfattning om insatstiderna, konstaterar styrelsen. Avslutningsvis redovisas vilka tgrder som planeras p var och en av de punkter som kritiseras i utvrderingen.
Sammanfattning
De tv exemplen innehller klara uppgifter om hur utvrderingsuppdraget ser ut. I utvrderingarna redovisas ocks kriterier fr bedmning, metoder fr datainsamling och analys, samt en avslutande bedmning. I exemplet frn stersund redovisas dessutom frslag till tgrder som br vidtas fr att tgrda den kritik som framfrs. Jag anvnder mig av dessa tv utvrderingar i de fljande kapitlen fr att ge exempel p hur de principiella frgor som tas upp kan illustreras i praktiken. Anvndandet sker i samfrstnd med representanter fr FoU-Kronoberg och stersunds kommun.
terkoppling och anvndning

I en sammanfattning till omsorgsnmnden freslr utvrderaren att resultatet verlmnas till verksamhetsfrvaltningen fr reflektioner, analys och tgrder enligt redovisade punkter. En muntlig redovisning av nmndkontoret och omsorgsnmndens presidium av utvrderingen ska ske till verksamhetsstyrelsen, samt till brukare och anhriga. Dessutom fresls att verksamhetsfrvaltningen skall lmna en tgrdsplan till omsorgsnmnden senast i september 1998 som redovisar hur man avser att behandla de synpunkter som kommer fram i utvrderingen. Den ansvarige utfraren, verksamhetsstyrelsen, ger sin syn p utvrderingen i en skrivelse till bestllaren omsorgsnmnden i oktober 1998. Dels bemter styrelsen den kritik som framfrs och menar att utvrderingen har bristande objektivitet. Dels menar man att den borde ha redovisats i preliminr form s att styrelse, frvaltning och personal kunnat klarlgga frhllandena innan den
26 27 28 29 30 31 32
Svenska kommunfrbundet (1997). Karlsson (1996). Samverkansprojekt i Vxj (1998). Delander & Nilsson (1998). Mattsson & Okmark (1998). Burman & Petersson (1998). Lundberg & Bergh (1998).
31
3. Syftet med utvrdering

beslutsfattare som stter igng en utvrdering br kunna svara p varfr den sker, kan tyckas som ett sjlvklart krav. Det betyder inte att frgan har ett lika sjlvklart svar. I detta kapitel ska jag belysa frgan om varfr och nr utvrdering sker. Ett syfte kan vara att ge mjligheter att kontrollera och bedma effektiviteten och kvaliteten i offentlig verksamhet. Syftet kan ocks vara att ge den enskilde vgledning nr det gller att vlja, exempelvis vilken skola, daghem, sjukvrd, etc, som man vill ha. Ett tredje exempel kan vara att ge politiker och andra beslutsfattare underlag fr prioritering av insatser och ett fjrde att ge den professionella, praktiskt verksamma personalen underlag fr att utveckla och frbttra sin verksamhet. Syftet med utvrderingen kan ocks styras av nr den sker, eller med andra ord av om den r formativ eller summativ, vilket ska belysas sist i kapitlet.
TT DEN
Skillnaden mellan ml, syfte och funktion

Nr utvrderingsforskare diskuterar frgan varfr utvrdering sker brukar man skilja mellan utvrderingens ml, syfte och funktion eller anvndning.33 Filosofen och utvrderingsforskaren Michael Scriven menar att mlet med utvrdering
r att producera en bedmning som faststller vrdet med det som utvrderas. Bedmningen grs genom att tolka, beskriva och vrdera utvrderingsobjektet p ett systematiskt stt. Nr man dremot talar om syftet med utvrderingen r det den avsedda, tnkta anvndningen inom systemet som avses. Avsikten kan vara att kontrollera eller att utveckla verksamheten. Detta kan i sin tur skiljas frn frgan om vilken faktisk anvndning eller funktion som utvrderingen fr i praktiken. Funktionen behver inte vara densamma som det avsedda eller deklarerade syftet ven om det i de flesta fall frutstts vara s. Vilken funktion utvrderingen har kan variera i olika sammanhang och fr olika intressenter. Fr en del blir den en vckarklocka som leder till frndring av verksamheten fr att rtta till brister. I mnga fall torde en sdan funktion sammanfalla med syftet. Fr andra blir utvrderingen provocerande och de intar frsvarsstllning. Ytterligare andra kommer att uppfatta utvrderingen som en frhalningstaktik frn beslutsfattarnas sida som gr ut p att slippa ta slutlig stllning i knsliga frgor eller att rikta uppmrksamheten frn de verkliga problemen genom att utvrdera sidofrgor. Av de tre nmnda infallsvinklarna p varfr utvrdering sker (ml, syfte och funktion) r det syftesfrgan i bemrkelsen vad man avser att ut-
32
vrderingen ska leda till, som diskuteras i detta kapitel. Det br redan hr ppekas att alla utvrderingsforskare inte drar lika skarpa grnser mellan ml, syfte och funktion som Michael Scriven. Andra argumenterar fr att utvrdering br medverka till att resultatet blir anvnt och frmedla rekommendationer som syftar till att utveckla verksamheten.34 Frgan om funktion och anvndning ska jag behandla nrmare i kapitel tta.
Kontrollera, frmja, ifrgastta

Fljande punkter sammanfattar vanligt frekommande syften enligt forskare som har granskat utvrdering av offentlig verksamhet, exempelvis fretagsekonomerna Bjrn Rombach och Kerstin Sahlin-Andersson, och pedagogerna Inge Johansson och Bjrn Flising.35
1. Korrigerande och kontrollerande fr att styra frsk. 2. Positivt understdjande fr att f fram resultat som frmjar pbrjade frndringar. 3. Skeptiskt ifrgasttande fr att f fram resultat som kritiskt granskar verksamheten.
Att utvrdering sker fr att kontrollera r de flesta som diskuterar frgan eniga om. Inom den politiskt-administrativa domnen, dr besluten om utvrdering ofta fattas, har politiker och ledning behov av information fr att kunna prioritera mellan konkurrerande intressen. De behver ett s bra underlag fr beslut som mjligt och har ven behov av att kunna kontrollera att besluten genomfrs i praktiken. Hr blir utvrdering en viktig del i informationsunderlaget. Det r ocks vanligt att tala om ett frmjande syfte med utvrdering som dels handlar om att
verka fr att resultaten anvnds, dels om att man vill stdja den lokala verksamhetens och deltagarnas personliga utveckling. Detta r syften som ofta frknippas med ngot positivt, medan kontroll uppfattas negativt. Det gr att ven nr syftet r att bedriva kontroll s beskrivs det sllan i klartext. Att utvrderingen fungerar som kontroll blir ofta ngot som forskare och andra konstaterar nr de granskar utvrderingens faktiska funktion.36 Nr utvrderingen genomfrs av samhllsforskare brukar ett kritiskt granskande syfte st i fokus. Men ven en mer generellt kunskapsutvecklande ambition att kunna bidra till kad teoretisk frstelse av verksamheten brukar framhllas. Forskaren vill inte enbart begrnsa perspektivet till vilka effekter en insats fr, utan ocks frska att svara p varfr vissa resultat uppstr. En del, exempelvis statsvetaren Evert Vedung, menar att en sdan ambition krver att utvrderingen har en teoretisk ansats som stter in det som utvrderas i ett bredare sammanhang. Frst d r det mjligt att koppla resultat till olika omstndigheter som kan ge mer generella frklaringar till utfallet.37 Vissa av de syften som jag har pekat p kan frenas och de kan ocks frndras eller frskjutas under utvrderingens gng. I tider med ekonomisk tillvxt och expansion kan dessutom syftena kontroll och utveckling ofta frenas utan strre konflikter. Utvrderingen kan d ge underlag fr beslut om nya reformer och vara ett medel i kampen om kade resurser. Vid nedskrning dremot kan utvrderingen lggas till grund fr omprioritering och nedlggningar. Vid tillvxt r drmed konfliktrisken liten och utvrderaren kan st relativt neutral. Nr kampen om resurserna hrdnar
33
blir utvrderaren tydligare sedd som part och syftesfrgan blir mer brnnande.38
Syften p olika organisationsniver

Vilket syfte en utvrdering prioriterar hnger ofta samman med p vilken niv i organisationen den sker eller initieras. Sigbrit Franke-Wikberg gr en uppdelning i tre former av utvrdering kopplat till organisationsniver.39
Typ 1
Vilket syfte som stlls i frgrunden beror ocks p vilka huvudfrgorna r. Den verordnade nivn vill ofta veta om besluten omstts enligt gllande ml och riktlinjer. Ngot som mste ses som ett legitimt och demokratiskt kontrollkrav inom offentlig verksamhet. De som utfr verksamheten p lokal niv kan sjlva vilja granska sina insatser fr att f veta om de gr ett bra arbete och fr att kunna frbttra verksamheten. Slutligen kan mer externa intressenter vara intresserade av om det har utvecklats ngra mer grundlggande kunskaper som de kan lra sig av. De olika syftena kontroll, frmjande, kunskapsutveckling och kritiskt granskande, samt frgan om p vilken niv som syftet formuleras kan sammanfattas enligt fljande tabell.
Typ 2 Horisontell Vad r syftet? 1. Kontrollera och ge beslutsunderlag 2. Frmja och frbttra 3. Kunskapsutveckla och kritiskt granska Vilka r huvudfrgorna? Har man gjort det man ska enligt ml, beslut, lagar, riktlinjer, etc? Fungerar insatserna som det r tnkt? Kan arbetet frbttras? Vad kan man lra? Vems intressen tillgodoses? Vem gynnas/missgynnas? Vem formulerar syftet? Den verordande nivn
Vertikal utvrdering typ 1 sker uppifrn och ned (top-down). Exempelvis utvrderar ledningen hur verksamheten utfrs och utfaller. Vertikal utvrdering typ 2 sker nedifrn och upp (bottom-up). Exempelvis utvrderar personal ledningen, studenter utvrderar lrare, osv. Horisontell utvrdering sker inom samma organisationsniv. Exempelvis personalgruppens interna utvrdering dr personalen ger resultaten och sjlva avgr vad de vill lmna ut till andra niver i organisationen. Till dessa tre niver kan ocks lggas en niv utanfr organisationen i form av olika intressenter. Det finns anledning att ppeka att utvrdering enligt dessa olika beskrivningar kan existera parallellt. Ofta sker dock en sammanblandning eller ett frsk att framhlla en typ som den enda rtta.
Professionella och brukare i verksamheten Forskarsamhllet och en bredare extern publik
Tabell 3. Syftet med utvrdering p olika niver i organisationen
Formativ och summativ utvrdering

Syftet behver inte vara lst till en viss beslutsniv, utan kan mycket vl verlappa, inte minst drfr att en utvrdering kan vara bde av summativt och av mer formativt slag.40 Begreppen summativ och formativ har betydelse nr man
34
ska besluta vad utvrderingen skall ha fr inriktning. r syftet r att kunna frbttra en pgende verksamhet grs en formativ utvrdering. Vill man veta om en viss insats har givit det resultat som frvntades s grs en summativ utvrdering. Skillnaden kan illustreras med ett exempel som de flesta torde vara bekanta med: Du kastar pil med ngra vnner p landet och varje spelare har fem pilar. Nr det r din tur kastar du din frsta pil och gr en bedmning av resultatet. Du ser kanske att du mste sikta hgre, mer till vnster infr nsta kast. ven efter din andra pil gr du en bedmning infr nsta kast, osv. Du fortstter med denna formativa utvrdering efter varje kast och nr dina fem pilar r kastade lgger du samman resultatet, dvs gr en summativ utvrdering. S lngt r skillnaden mellan utvrderingsformerna klar. Men bilden kan kompliceras om vi tnker oss att spelet omfattar flera omgngar dr resultatet frn varje omgng lggs samman till ett totalresultat. Hr fr den summativa utvrderingen frn respektive omgng snarare formativ karaktr genom att den kan pverka hur du lgger upp din spelstrategi infr nsta omgng. Exemplet visar att summativ, bedmande, och formativ, stdjande, utvrdering blir beroende av vad som uppfattas som det totala utvrderingsobjektet.
Praktiska exempel
Det finns tre syften med utvrderingen av samverkansprojektet i Vxj: att kontrollera effektiviteten genom att se vilka ekonomiska resultat som projektet ger, att se om projektet ger kun-
skaper som kan frbttra den ordinarie verksamheten fr klienterna, och att frbttra personalens arbetssituation. Inriktningen har formulerats frn den verordnade ledningsnivn, men det finns ven exempel p hur personal och brukare har tagit del i formuleringen av utvrderingens frgor. Syftet med utvrderingen frn stersund r inriktat p kontroll av kvalitet i hemtjnsten och att ge den verordande nivn beslutsunderlag fr fortsatt styrning. Uppdragsgivaren omsorgsnmnden vill ven veta om brukarna fr hjlp i den omfattning som beviljats. En iakttagelse r att en utvrdering med s breda syften som den i Vxj blir omfattande. Genomfrandet har engagerat mnga utvrderare och redovisningen bestr av flera rapporter fr olika huvudfrgor. Frdelen r att utvrderingen ger en bred belysning av projektet. Samtidigt r den resurskrvande. Eftersom kostnadsfrgan ofta r avgrande fr hur omfattande utvrdering man har mjlighet att genomfra finns det skl att fundera ver prioriteringen mellan utvrderingens olika syften. Ur den synpunkten r utvrderingen frn stersund mer klart inriktad p de frgor som uppdragsgivaren vill f besvarade. Det gr att utvrderingen blir mer kostnadseffektiv, samtidigt som den riskerar att bli alltfr begrnsad. Utvrderingarna av 4-projektet i Vxj gjordes nr projektet hade pgtt ett par r. Utvrderingarna summerade resultaten och stllde dessa mot mlen fr projektet. Det innebr inte att projektet som sdant r avslutat, utan utvrderingsresultaten kommer att anvndas i det fortsatta utvecklingsarbetet. P s stt har utvrderingsresultaten ocks en s kallad formativ roll. Utvr-
35
deringen i stersund var frmst summativ, dvs den visade hur utfraren hade uppfyllt de brukarml som bestllaren stllt upp. ven hr kan man dock frutstta att resultatet frn utvrderingen i viss mn pverkar det fortsatta arbetet inom hemtjnsten.
Sammanfattning
I detta kapitel har jag belyst frgan om varfr utvrdering sker genom att skilja mellan ml (att producera en bedmning), syfte (utvrderingens avsedda anvndning) och funktion (faktisk anvndning). Avsikterna med utvrderingen kan variera beroende p vem som formulerar dem. Ett syfte kan vara att kontrollera att beslutade ml har uppfyllts. Ett annat syfte kan vara att stimulera till utveckling av den verksamhet som granskas. Ett tredje syfte kan vara att anvnda utvrdering fr att utveckla mer teoretiskt och vetenskapligt beprvad kunskap. Frgan om varfr utvrdering sker kan ocks analyseras utifrn vilken funktion den har i det sammanhang dr den genomfrs, med granskning av bde ppet uttalade och dolda motiv. (Se kapitel 8.) Till sist har jag ocks pekat p att grnsen mellan summativ, slutligt bedmande, och formativ, utvecklingsstdjande, utvrdering inte r s entydig. Det beror bland annat p i vilket tidsperspektiv och p vilken niv man betraktar resultatet av utvrderingen.
Worthen, m.fl (1997) s. 7ff. Exempelvis Shadish (1994) och Fetterman (1994) som menar att utvrdering ocks br medverka till att olika
34 33
aktrer sjlva tar ett strre ansvar fr det som br gras och hur. Med dessa ambitioner blir ml, syfte och funktion inte s tydligt separerade. 35 Rombach & Sahlin-Andersson (1995) s. 16ff; Johansson & Flising (1982) s. 93-100. 36 Franke-Wikberg & Lundgren (1980) s. 12. 37 Vedung (1998) s. 148, 162f. 38 Lindensj & Lundgren (1992) s. 235f. 39 Franke-Wikberg (1992) s. 21ff. 40 Begreppen summativ och formativ utvrdering ingr i den begreppsapparat vid utvrdering som har myntats av Scriven (1967).
36
4. Vilken kunskap sks?

skiftar jag perspektiv frn utvrderingen till utvrderingsobjektet. Frgan om vad som ska utvrderas innehller dels hur bestllaren uppfattar det som ska utvrderas, dels vad det r fr typ av kunskaper man sker om objektet. Som vi ska se fungerar kunskapsperspektivet som ett filter dr vissa svar rensas ut frn brjan.
DETTA KAPITEL
Samhllsfrndringar
Ramar och frutsttningar Ramar och frutsttningar Ml Ml Process Process Resultat Resultat
Figur 2. Tankemodell fr utvrderingens objekt
Utforma en tankemodell
Fr den som ska ta stllning till var utvrderingen ska ha sitt fokus, p vilka frgor, aspekter eller problem i en verksamhet, r det viktigt att gra sig en bild av vad som egentligen ska utvrderas. Ett stt att skapa en bild av utvrderingsobjektet r att gra en tankemodell som visar de centrala komponenterna. En mycket vanlig generell tankemodell vid utvrdering r den som innehller komponenterna ml, process och resultat. Utvrderingsforskare brukar utveckla modellen genom att uppmrksamma sdana ramar och frutsttningar som bestmmer vad som r mjligt att gra i en given situation och vad som inte kan frndras p kort sikt. ven samhllsfrndringar som kan pverka utvrderingsobjektet brukar markeras.41 Resultatet kan beskrivas genom fljande figur. En generell karta av detta slag gr det mjligt att pbrja en specificering av fokus i utvrde-
ringen. Samhllsfrndringar som kan pverka den aktuella verksamheten r exempelvis vad ett kat antal invandrarbarn i kommunen betyder fr skolan och barnomsorgen, eller vad ett kat antal ldre innebr. Ramar och frutsttningar kan vara en begrnsning av tillgnglig tid och ekonomiska resurser. Inom verksamheten r en frga om mlen verkar styrande eller om de br frndras. Att granska och vrdera processer leder till frgor om hur deltagarna kan pverka innehll och arbetsstt. Om resultat r utvrderingens huvudfokus kan det glla att se vad barn och elever lr sig i frskolan och skolan eller vilken omvrdnad och service ldreomsorgen ger. Exemplen visar att det kring varje begrepp i tankemodellen r mjligt att gra en mer specificerad lista ver aspekter som man vill veta mer om och kring vilka man kan formulera sina utvrderingsfrgor.42
37
Inte enkelt att utg frn mlen

Att brja med att bilda sig en tankemodell fr det som ska utvrderas r inte ngon sjlvklar metod. Det vanliga har varit att bestllaren tar utgngspunkt i mlen fr den verksamhet eller den aktivitet som ska granskas, och sker kunskap om i vilken grad mlen har uppntts. Tankesttet att mta mot p frhand faststllda och stabila ml r inspirerat av en syn p utvrdering som liktydig med experiment under kontrollerade betingelser. Utvrderaren blir en opartisk expert p att mta det utfall som bestllaren r intresserad av att kontrollera. Synen p offentliga ml har dock problematiserats under senare r och samhllsdebatten visar att det r tveksamt att hvda ml som enda utgngspunkt i frklaring av ett visst utfall. Det utvrderingsforskare och andra samhllsforskare har lyft fram r att offentliga ml har mnga funktioner och drfr r notoriskt svra att f grepp om p ngot entydigt stt. En del forskare som t ex Bjrn Rombach uttrycker det drastiskt genom att sga att det gr inte att styra med ml.43 Offentliga ml upplevs inte heller som lika legitima av alla grupper. Ml r ofta resultat av kompromisser mellan olika intressen och drfr vaga till sin natur. Deras funktion kan vara att ena parterna kring vissa gemensamma nmnare, snarare n att specifikt ange vad man ska uppn. r det d inte utvrderarens uppgift att krva att uppdragsgivaren preciserar mlen? Problemet med ett sdant krav r att det kan blottlgga konflikter som bestllaren, t ex politiker, inte vill ska blossa upp eftersom de hotar att sprcka en kanske mdosamt upprttad kompromisslsning. Fr
att behlla de centrala mlen intakta delegerar centrala beslutsfattare ansvaret fr att tolka och precisera innebrden till de som utfr verksamheten. Man fr drmed olika mlniver och vervganden att ta hnsyn till vid utvrdering. Ml som tvrtom r utformade i detalj, r heller inte alltid lyckade, vilket kan illustreras. I brjan av 70-talet arbetade utredningen Mlrelaterade utbildningsml med att bryta ner skolans ml i mtbara betygsniver. Mluppfyllelse blev en frga om att mta och kvantifiera hur mnga sidor eleven lst, hur mnga fakta som memorerats, osv. Utredningen lades ned efter att ha konstaterat att mlrelatering skulle innebra alltfr stark centralstyrning av skolan.44 Det sagda innebr givetvis inte att mlen ska frkastas, men att de br behandlas som en av flera faktorer som utvrderingen har att beakta. Idag kan man finna exempel p att utvrdering i offentliga verksamheter har syftesformuleringar som inte enbart handlar om att svara p om ett visst ml har uppntts. Syftet kan vara att ge en bredare kunskap och en djupare frstelse. Det stller krav p att anvnda idn bakom tankemodellen fr utvrdering; att se till organisatoriska frutsttningar, till det omgivande samhllet och till olika interna faktorer i verksamheten. Infr frgan vad utvrderingen ska svara p finns det ocks anledning att se med vilken kunskapssyn den ska genomfras.
Kunskapssyn vid utvrdering

Fr den som stter igng eller bestller en utvrdering r det viktigt att tnka ver sina kunskaps-
38
ml. Syftar utvrderingen till att ge en allmn information som kan ha intresse fr en bredare publik, eller till att ge en djupare frstelse, eller till att ge parterna kade mjligheter att stta sig in i och frst det som utvrderas ven ur andras perspektiv? Frgan om vad utvrderingen ska leda fram till kan sledes besvaras olika beroende p vad det r fr information och fr typ av kunskap som prioriteras.
Detta r en typ av kunskap som behvs fr att kunna orientera sig i tillvaron och som vi vanligen inte ifrgastter systematiskt. Talar vi dremot om att utveckla en djupare frstelse s handlar det mer om att kunna se sammanhang och att ge det fenomen som studeras en mening, exempelvis genom att se avsikten bakom det som sker.
Frklara orsaker och frst sammanhang

Skillnaden mellan orsaksfrklaringar och en mer sammansatt frstelse kan belysas med ett exempel. Anta att grannens bilmotor frusit snder en kall natt i oktober. Orsaksfrklaringen r att (kylar)vatten fryser under noll grader varvid det expanderar och sprnger snder kylaren (krlet). Drmed r orsakssambanden angivna och hndelsen har ftt sin frklaring. Om man dremot efterstrvar en djupare frstelse av det intrffade stlls andra frgor. Var grannen okunnig om att det krvs frostskydd i kylarvattnet vintertid? (Ett kunskapsproblem). Chansade han p att det inte skulle bli s kallt i natt eller hade han glmt bort att bilen inte stod i garaget? (Ett psykologiskt problem). Fanns ett missfrstnd om att verkstaden eller ngon annan i familjen hade fyllt i frostskydd? (Ett kommunikationsproblem). Exemplet visar att det krvs inlevelsefrmga och fantasi fr att frst situationen p ett djupare plan. Skillnaden kan ocks beskrivas s hr: Man kan frklara en hndelse genom att ange dess direkta orsaker. Men fr att frst samma hndelse mste man se vad den har fr mening vilken kan vara olika i olika sammanhang. Forskaren Per Dahlin som nmndes ovan hvdar att det framtida samhllet kommer att stlla allt strre krav p frmga att kunna anvnda
Information och kunskap

Att utvrdering ska ge information, t ex till beslutsfattare infr beslut, eller att den ska ge kunskaper, t ex om hur en verksamhet fungerar, r syften av tv skilda slag. Skolforskaren och pedagogen Per Dalin beskriver skillnaden mellan att f information kontra att utveckla en mer djup kunskap med fljande metafor:
Information r som maten vi ter. Det hjlper inte att bara svlja maten. Den mste smltas. Fr det krvs ett fungerande matsmltningssystem.45
Kunskap blir med andra ord en bearbetad tanke till skillnad frn information som kan vara ngot som vi noterar utan att nrmare reflektera ver vad den betyder, kanske som ett resultat av att vi inte hinner eller r intresserade av att ta till oss informationen p ett aktivt stt. Ytterligare ett steg r att frga om vi sker vlgrundad kunskap av ett upplysande slag eller en mer djupgende frstelse. En stor mngd av den kunskap som mnniskor utvecklar bestr av faktakunskaper som kan kvantifieras och som kan uppfattas som en vlgrundad sann beskrivning av sakfrhllanden. Exempelvis vad ett land har fr huvudstad eller vad olika ord vanligen betyder.
39
intuition, knslor, frstelse fr andra kulturer och deras stt att lsa problem. Han menar att vgen mot detta ml r lrande genom deltagande.46 Att ange frstelse av det som utvrderas som ml r sledes ett ambitist syfte som stller krav p de berrda. Att underltta fr olika parter att aktivt ta del av utvrderingen blir en viktig frga att beakta vid planeringen.
Tre perspektiv p kunskap

Vad som r viktigt att veta r inte bara en frga om relationen mellan information, kunskaper och frstelse. Det r ocks i hg grad en frga om utifrn vilket perspektiv vi betraktar utvrderingsobjektet och de frndringsprocesser som utvrderas. Valet av perspektiv bildar ett slags filter som styr hur vi tolkar information. Utvrderingsforskaren Ernest House har i en ofta citerad artikel beskrivit tre perspektiv som enskilt eller kombinerat prglar de flesta utvrderingar: Ett tekniskt perspektiv som betonar mtbara kunskaper fr att se om frvntade resultatet har uppntts. Ett kulturellt perspektiv som betonar kunskap om olika sammanhang fr att ka frstelsen av vad som pverkar genomfrande och resultat. Ett politiskt perspektiv som uppmrksammar fr vem utvrderingen grs och dr frndring och vrdefrgor spelar en viktig roll.47
En kunskapsfilosofisk aspekt
Det finns likheter mellan dessa tre perspektiv och en filosofisk diskussion kring kunskap och kunskapsbegreppet. Utan att g in p ngon djupare diskussion vill jag rikta uppmrksamhet p ngra cen-
trala kunskapsfilosofiska begrepp som kan ge en ytterligare dimension. Forskaren i idhistoria Bernt Gustavsson beskriver tre begrepp fr olika typer av kunskap.48 Begreppen gr tillbaka till Aristoteles som talar om (1) episteme, den vetenskapliga, teoretiskt baserade kunskapen, (2) techne, den handlingsbaserade kunskapen och (3) fronesis, den vrdebaserade eller etiska kunskapen. Den vetenskapliga, teoretiska kunskapstypen (episteme) som den traditionellt har beskrivits bygger p observation och erfarenheter. De lggs till grund fr hypoteser som prvas genom upprepade experiment och kontroll av utfallet. Upprepningsbarhet och kontroll spelar sledes en central roll. Den handlingsbaserade, praktiska kunskapen (techne) r frdigheter som en person behrskar, ssom att kunna utfra en komplicerad operation. Ibland beskrivs detta som tyst kunskap, eftersom den frmst uttrycks i handling och inte i ord. En del talar ocks om frtrogenhetskunskap och om professionell kompetens att kunna kombinera teori och praktik till en helhet. Den vrdebaserade eller etiska kunskapen (fronesis) r frmgan att kunna anvnda sin klokhet p ett sdant stt att handlingarna ocks r etiskt frsvarbara och omdmesgilla. Inte minst inom utvrderingsfltet har denna tredje kunskapsform uppmrksammats under senare r eftersom det allt oftare stlls krav p utvrderaren att ange etiska grunder fr sitt bedmningsarbete.49 (Jag ska terkomma till frgan om utvrderarens roll i kapitel sju.)
Vilken kunskap ger olika utvrderingar?

Man kan jmfra dessa tre perspektiv p kunskap med de tre huvudinriktningar eller -modeller fr
40
utvrdering som beskrevs i kapitel ett. D framgr det tydligt att modellerna har prglats av olika kunskapssyn. Ml-resultatmodellen kopplas till en teknisk kunskapssyn (episteme). Intresset inriktas mot om verksamheten nr mlen och vad det finns fr objektivt mtbara resultat som visar det. Processmodellen kopplas till frstelseinriktad kunskapsyn. Utvrderingen har ett kulturellt perspektiv och intresset inriktas mot tolkande, beskrivande och handlingsinriktad kunskap (techne). Hr finner vi diskussionen om reflekterande praktiker och tyst kunskap, liksom diskussionen om sjlvutvrdering. Interaktiv utvrdering kopplas till kunskap om frndringars vrdemssiga innebrd (fronesis) och frdelningspolitiska konsekvenser, men ven p vad deltagarna sjlva kan pverka. De olika kunskapsintressena och perspektiven p utvrdering sammanfattas i tabell 4. Givetvis finns det inslag av alla tre kunskapsperspektiv inom
Ml-resultatinriktad utvrdering Tekniskt perspektiv Objektivt mtbar kunskap (episteme) Processinriktad utvrdering Kulturellt perspektiv Tolkande, beskrivande och handlingsinriktad kunskap (techne) Viktigt kunskapsintresse r frstelse av det enskilda och av sammanhanget, samt hur verksamheten fungerar praktiskt och metodiskt Interaktiv utvrdering Politiskt perspektiv Vrdeinriktad, etisk kunskap (fronesis)
de tre inriktningar av utvrdering som beskrivs i tabellen. Hr har dock endast det mest framtrdande inslaget i utvrderingsmodellens syn p kunskap tagits med.
Praktiska exempel
I utvrderingen frn Vxj som beskrivits i kapitel tv och som gllde att bedma ett samverkansprojekt mellan olika myndigheter, finns prov p samtliga tre typer av kunskap som talas om ovan. I utvrderingens ekonomiska del finns dels ett utprglat tekniskt-administrativt kunskapsintresse fr att mta om projektet har lyckats uppfylla det faststllda effektivitetsmlet. Hr finns ven ett mer handlingsinriktat och praktiskt kunskapsintresse fr hur de olika myndigheterna kan fungera tillsammans och vad olika verksamhetskulturer betyder fr projektarbetarnas mjligheter att samarbeta. Kunskaper om det dagliga arbetet, vad man mter fr hinder och mjligheter, diskuteras med utgngspunkt frn kulturella och lokala skillnader. Slutligen kan man i utvrderingen ocks finna ett etiskt inriktat brukarperspektiv med betoning av hur klienterna upplever sin situation och vilka som gynnas och missgynnas av den arbetsmodell som prvas i projektet. ven i utvrderingen i stersund finns exempel p ett par av kunskapsperspektiven. Frmst r det ett tekniskt kunskapsperspektiv, dr utvrderingen brottas med frgan att mta resultatet fr att besvara om hemtjnsten har uppfyllt de krav som omsorgsnmndens avtal beskriver. Men ven i denna utvrdering finns inslag av ett etiskt och politiskt intressentperspektiv just i strvan att identifiera var kvaliteten brister och drigenom kunna tgrda
Viktigt kunskapsintresse r om verksamheten nr mlen och vad det finns fr objektivt mtbara resultat som visar det.
Viktigt kunskapsintresse r vrdemssiga och etiska aspekter p verksamheten, vad den betyder fr olika intressegrupper och hur de kan pverka
Tabell 4. Tre perspektiv p kunskap i frhllande till utvrderingsmodeller
41
glappet. Den vikt som lggs vid att hitta brister i uppfyllelse av tagandet gentemot brukarna kan ses som en vrdemarkering frn bestllaren att prioritera ett brukarperspektiv.
Ekholm och Rolf Lander uttrycker det, anvnda sig av ett flerdimensionellt perspektivseende som utvrderare fr att f balans i sina utvrderingsfrgor.50
Sammanfattning
I detta kapitel framgr att det perspektiv man anlgger p utvrderingsobjektet bildar ett komplext filter som styr hur information, vrderingar och frutsttningar kombineras i utvrderingsarbetet. Detta filter pverkar vad som blir viktigt att uppmrksamma, vilka handlingar som prioriteras, vilka problem som upptcks och vilka frklaringar man finner som vsentliga. Fr den som stter igng egen utvrdering, eller bestller den av andra, finns det drfr anledning att tnka efter vad det r fr kunskapsml man efterstrvar. Tre perspektiv har beskrivits fr att visa vad det rr sig om fr skillnader i synstt: Ett tekniskt mtinriktat, ett kvalitativt handlings- och frstelseinriktat, samt ett politiskt eller vrdemssigt perspektiv. Inom utvrderarsamhllet frs ocks en debatt kring detta. Traditionellt har utvrdering ofta skett utifrn ett tekniskt perspektiv p frndring. Men p senare r har de allt fler intressegrupper som medverkar i utvrdering gjort att ven andra kunskapsperspektiv har ftt en viktigare roll i analysen och frstelsen av utvrderingsarbetets villkor. Historien visar ocks att de olika perspektiven favoriseras av skilda grupper och att det inom varje perspektiv finns konkurrerande intressen och frestllningar. Mot den bakgrunden blir det viktigt fr en utvrderare att, som pedagogerna Mats
41
Gustafsson & Selander (1994) s. 14; Alexandersson & Krogsmark (1984) s. 31; Ekholm & Lander (1993) s. 27. 42 Frykholm (1997). 43 Rombach (1991). 44 Mhl (1991); Ramstrm (1998); Wallin (1998). 45 Dalin (1994) s.109. 46 Dalin (1994) s.118. 47 House (1981). 48 Fljande beskrivningar baseras p Gustavsson (1996) och p samtal med frfattaren. Kopplingen till perspektiven r dock min egen tolkning. 49 Schwandt (1997, samt 1998). 50 Ekholm & Lander (1993) s. 25; House (1981).
42
5. Att bedma
e DMNINGEN R utvrderingens centrala uppgift. Det r ocks den uppgift som terkommer som minsta gemensamma nmnare i olika definitioner av utvrdering. Hur bedmningsarbetet kan genomfras, mot vilka kriterier eller mttstockar, r temat fr detta kapitel. Samtidigt r inte bedmningsarbetet isolerat frn de vrderingar som styr valet av kunskapsperspektiv och den dolda vrderingsprocess som sker redan dr, vilket diskuterades i fregende kapitel.51 mnet fr detta kapitel r dock att diskutera den ppna bedmningsprocessen.
Jag brjar med att diskutera de tv inledande frgorna om vrdekriterier och vilka mtt p utfall som kan anges fr att gra en bedmning av kriteriet.
Vilka vrdekriterier ska vljas?

Utvrdering r en rationell verksamhet som utgr frn att det finns ngon form av avsikt att ta fasta p som referenspunkt fr bedmning. Traditionellt har kriterieproblemet hanterats genom att mlen ges en operationell definition i mtbara termer. Inom offentliga verksamheter finns dock mnga ml som kan vara motstridiga, utan att det r klarlagt hur de ska rangordnas.53 En alternativ bedmningsgrund som diskuteras av allt fler utvrderare r att formulera teoretiska utgngspunkter fr utvrderingen. Hr kan man skilja mellan tv synstt. Enligt det ena ska utvrderaren formulera en mer frdig teori som vgledning fr vad som ska uppmrksammas (s kallad deduktiv ansats). Ett exempel r anvndandet av utvecklingspsykologisk teoribildning inom frskolan. Utgngspunkten r att man med hjlp av teorin kan ange kriterier fr vad som br utmrka en trygg, utvecklande och stimulerande verksamhet som tillgodoser barnens behov. Enligt det andra synsttet (s kallad induktiv ansats) frsker man formulera kriterierna utifrn lokala
En rationell modell fr bedmning

Finns det ngon rationell modell fr hur bedmningen ska g till? Fljande analys av frgan bygger p en modell fr bedmning som Michael Scriven, en amerikansk utvrderingsforskare, har beskrivit och vars logik bygger p fljande fyra frgor.52
1. Vilka vrdekriterier finns fr att bedma och hur kan de vljas ut? 2. Vilka mtt och niver p utfall, vilka referenspunkter, kan anges fr olika vrdekriterier? 3. Hur och av vem kan bedmningen ske? 4. Hur kan resultatet fr respektive kriterium vgas samman?
43
verksamhetsteorier som tar hnsyn till verksamhetens speciella omstndigheter.54 Nr professionella yrkesgrupper formulerar kriterier fr att bedma sin verksamhet r det inte ovanligt att hnvisa svl till en utvecklad yrkesteori som till praxis inom yrkesomrdet som grund fr vad som br utmrka en kvalitativt god verksamhet. Man kan sga att professionella kritierier av dessa slag kan grundas p teorier av bde deduktiv och induktiv karaktr. Ytterligare ett exempel p kriterieklla vid bedmning r att frutom personalen ocks utg frn vad olika intressenter anser. Det bygger p en pluralistisk tanke att olika intressenter kan prioritera olika delar av en verksamhet, vilket gr att det finns olika mtpunkter fr bedmning. ven hr kan tv huvudlinjer med tydliga ideologiska frtecken sknjas. En variant r att se intressenterna som kunder vilka bedmer verksamheten enligt samma rationella principer som gller p marknaden, dvs som kpare av varor och tjnster. Effektivitet och mesta mjliga nytta fr pengarna blir hr det centrala vrderingskriteriet.55 Den andra huvudlinjen r att betrakta intressenterna som medborgare som bedmer verksamheten mot demokratiska vrden som t ex rttvisa, jmlikhet och inflytande. En annan kriterieklla fr att formulera referenspunkter vid bedmning r att ta utgngspunkt i kulturella vrden som olika grupper vill sl vakt om och hvda. Med detta vill man uppmrksamma sdana vrden som omfattas av olika minoritetsgrupper i frhllande till den dominerande kulturen. Det kan ocks rra sig om vrden som r specifika fr den verksamhets- eller fretagskultur dr utvrderingen sker.
Inte minst nr det gller demokratiska och kulturella vrden kan det vara svrt att ange ngra tydliga nyttoniver fr bedmning. Vad som utmrker social rttvisa, jmlikhet, humanitet eller vad som avses med att ta hnsyn till kulturella srarter, r inte alltid s ltt att uttrycka i mtbara termer. Drmed inte sagt att kriterierna r omjliga att bedma. Ett stt r att lta olika intressegrupper formulera och diskutera hur de anser att verksamheten lyckas motsvara kriterierna.
Utvrdering med olika kriterier

Ett exempel p utvrdering dr bland annat intressenterna och den lokala verksamhetsteorin spelade en viktig roll, r ett frsk med skolbarnsomsorg i Eskilstuna kommun 1985-1990. Den nya verksamheten avsg att lsa tre problem: Att stadkomma fler platser fr skolbarn genom en effektivare, mindre personalkrvande organisation. Att utveckla en annorlunda pedagogik anpassad fr 912-ringar. Att bidra till att lsa sociala problem genom en aktivt uppskande verksamhet till utsatta barn och ungdomar. Fr att n dessa ml formulerades ett projekt kring fljande insatser: (1) Att starta frsksverksamhet med 25 fritidsklubbar. (2) Att frndra det kommunala regelverket fr att mjliggra en strre lokal variation av verksamhetsformer. (3) Att pverka olika intressenter fr att frndra den traditionella bilden av hur skolbarnsomsorg kan se ut, genom att skapa alternativa bilder eller metaforer som gav ider om hur en utvidgad fritidsverksamhet kunde se ut med en tydligare inriktning p arbete i nrmiljn och freningslivet.
44
Utvrderingskriterier utformades dels fr att bedma utbyggnadsniv och verksamheternas kostnadseffektivitet (hr finner vi ter ett exempel p ett tekniskt kunskapsperspektiv), dels fr att bedma hur man lyckades att utveckla nya synstt p pedagogiken och p verksamhetens mlgrupper (hr terfinner vi svl ett handlingsorienterat som ett vrdeorienterat kunskapsperspektiv). I utvrderingen konstaterades att verksamheten ntt framgng i att ka antal platser inom skolbarnsomsorgen till lgre kostnader per plats n tidigare. Nr det gllde mlet att utveckla en annan pedagogik och ett nytt synstt p verksamhetens samhllsfunktion, visade utvrderingen att projektet inte var lika framgngsrikt. Inte heller lyckades man n socialt utsatta eller missgynnade barn. Utvrderingen avslutades med ett frsk att koppla dessa misslyckanden till en mer teoretisk frstelse av frndringsarbetets natur och av de traditioner som prglade synen p skolbarns fritid och p tgrder av detta slag. ven teorier om hur social segregation kan motverka de ml som projektet hade diskuterades i utvrderingens teoriinriktade analys.56 Exemplet visar hur en utvrdering kan anvnda sig av tekniska kriterier (antal platser), professionella kriterier (pedagogisk frnyelse), politiskt etiska kriterier (socialt missgynnade grupper), samt mer teoretiskt frankrade kriterier fr att utveckla frstelse av segregationens konsekvenser.
Objektiv och subjektiv bedmning

I det resonemang som jag har frt kring olika stt att frhlla sig till ml, teori, professionella, de-
mokratiska och kulturella vrderingar har jag pekat p att det sllan gr att reducera dessa bedmningsgrunder till helt entydiga mtt. Att gra en bedmning r frenat med frgor om vad som r vrdefullt och inte. Det r i sin tur beroende av en lng rad faktorer som t ex fr vem bedmningen grs, ur vilket perspektiv och i vilket sammanhang. En utvrdering kan ha till uppgift att gra en bedmning av vad som r den mest rttvisa lsningen nr det gller vilka som ska erhlla frdtjnst, skolskjutsar, frtur till platser i barnomsorg, sjukvrd, ldreomsorg. Eller vad som r den effektivaste och nyttigaste lsningen, den vackraste, mest estetiska utformningen av en byggnad, en park, en konstnrlig utsmyckning. Till grund fr sdana bedmningar ligger stllningstaganden kring vad som r rttvisa, sknhet, nytta etc. Eftersom det r svrt att svara p hur bedmningar av komplexa verksamheter kan gras med entydiga mtt, r det vanligt att hvda att utvrderingen inte fr bli subjektivt godtycke. I stllet framhlls att den br vara s objektiv som mjligt och anvnda metoder som r systematiska. Frgan r om det ocks finns objektiva vrderingar eller om alla vrderingar r subjektiva. Det r en komplicerad frga och det finns skl att peka p ngra aspekter som frgan innehller. I en beskrivning av subjektivitet och objektivitet menar filosofen Gran Hermern att det finns subjektivitet i vrderingsfrgan eftersom en person (subjekt) i sista hand mste bestmma.57 Subjektivitet kan uppfattas som ett godtyckligt knslouttryck ett usch! fy! jag gillar inte! Men ett subjektivt vrdeomdme kan ocks ses som individens sikt om hur man br handla. Att ut-
45
trycka avsky fr ddsstraff tolkas d inte enbart som ett knslouttryck, utan ocks som en vrdering om att det br avskaffas, dvs en uppmaning till handling. Nr man talar om objektivitet i vrderingssammanhang brukar man avse uppfattningen att det finns en permanent, ahistorisk uppsttning vrderingsprinciper till vilka man kan vnda sig och som gller oavsett vad en enskild individ anser. En mildare variant r att hvda att man kan ha kunskap om vissa vlgrundade vrdeprinciper och lmna mjligheterna ppna fr att kunskapen om hur mycket man kan veta i vrdefrgor utvecklas.58 Resonemanget om subjektiva och objektiva uppfattningar kan sammanfattas p en sammanhngande skala, dr ena ytterpunkten r en objektivistisk utvrdering med en generell vrdegrund och dr den andra ytterpunkten r vars och ens subjektiva uppfattning om vad som r bra eller dligt, rtt eller fel.59 Man kan ocks peka p ett tredje alternativ bortom det objektiva och subjektiva genom att se vrdeprinciperna som motiverade med en rationell argumentation.60 Det r en position som kan beskrivas som dialogisk intersubjektivitet. Begreppet r frn pedagogen Steinar Kvale och str fr ett rationellt samtal mellan bedmarna.61 Rationellt betyder att man r verens om syftet med samtalet och att dialogen sker med msesidighet och ppenhet fr varandras sikter. Syftet r att p ett rligt stt kritiskt prva olika stndpunkter och att lyssna till hur andra vrderar saken. En annan pedagogisk forskare, Erik Wallin, beskriver att intersubjektiviteten inte betyder att alla
tycker likadant men att deltagarna i samtalet frstr vad de andra sger.62 Det primra mlet r inte att n konsensus ven om kommunikationen kan leda till det. Mlet r en kritiskt granskande utvrdering som ser vad som kan finnas bakom det vi uppfattar vid en frsta anblick. Hr kan dialogen och reflektionen vara ett hjlpmedel.63 Denna korta utflykt i den vrdefilosofiska diskussionen ger en bild av att valet mellan subjektiva och objektiva vrderingar inte r s enkelt som det kan verka i vardagsdiskussionen. Det kan vara en viktig insikt att ha med sig vid lsning av frslag till mer eller mindre fasta mtpunkter som finns i olika utvrderingsmodeller och skalor, samt i fljande avsnitt. Mot bakgrund av detta kan det verka motsgelsefullt att presentera ett par skalor med mtpunkter. Mitt motiv r att frska knyta den filosofiska diskussionen om objektiva och subjektiva bedmningar till ngra exempel p mer konkreta referenspunkter som kan diskuteras som mjliga.
Referenspunkter av objektiv karaktr

I fljande tabell och kommentarer beskrivs fyra typer av mtinriktade referenspunkter av mer objektiv karaktr, i bemrkelsen att det rr sig om
4 Den teoretiskt optimala praktiken 3 Den bsta faktiskt konstaterade praktiken (bench marking) 2 De genomsnittliga vrdena t ex i kommunen, landet, etc. 1 Minimikraven
Tabell 5. Att bedma en verksamhet objektiva referenspunkter
46
kvantifierbara mtt p prestationer och kvaliteter, som drmed kan anvndas av olika utvrderare oberoende av varandra. Den frsta referenspunkten faststller grundlggande krav i form av en miniminiv som verksamheten ska motsvara fr att anses godknd som praktik. Frgan vid bedmning blir att avgra om den utvrderade verksamheten uppfyller dessa miniminormer eller minimikrav fr godknt. En annan typ av referenspunkt kan kallas fr den genomsnittliga praktiken. Hr jmfrs ett antal verksamheter med varandra utifrn en gemensam kravspecifikation fr att f fram genomsnittsvrden p olika prestationer. Det kan glla jmfrelser mellan verksamheter inom kommunen, landet, eller internationellt. Det utvrderingen undersker i detta fall r hur en viss verksamhet str sig i jmfrelse med genomsnittet fr vad som presteras inom omrdet. I trappan har denna niv lagts ver miniminivn vilket givetvis kan diskuteras. Genomsnittet kan ju visa sig under de krav man vill stlla som lgsta acceptabla niv. En tredje typ av referenspunkt r att jmfra mot den bsta praktiken definierad som den som erhllit den hgsta pongen, omdmet eller ekonomiska utfallet etc, vid en jmfrelse med andra likadana verksamheter inom omrdet. I stllet fr att som ovan jmfra mot en genomsnittlig praktik frgar man hr hur en viss verksamhet str sig i frhllande till den som fick de bsta vrdena vid jmfrelsen (benchmarking). Slutligen kan man tala om en fjrde typ av referenspunkt i form av den optimala praktiken som den kan formuleras som teoretisk idealbild. Exempelvis vad en verksamhet borde visa fr ekonomiskt resultat om den fungerar optimalt.
Referenspunkter av subjektiv karaktr

Som framgr av figuren presenteras de mer subjektiva referenspunkterna inte som en rangordnad stege utan som fyra infallsvinklar. Dessa kan anvndas var fr sig eller i kombination beroende p hur sammansatt utvrdering man vill gra och vilka resurser som finns till frfogande.
1. Den enskilde individens eller gruppens behov och krav 4. Professionella gruppers behov och krav 2. Brukarnas/ anvndarnas behov och krav
3.Intressenternas behov och krav (allmnintresset)
Figur 3. Att bedma en verksamhet subjektiva referenspunkter
En frsta typ av referenspunkter r de som kan uttryckas med hnvisning till egna intressen som individ eller grupp. S sker exempelvis vid egenutvrdering dr den enskilde eller arbetslaget granskar sin verksamhet och bedmer hur man lyckas ange de kriterier som man sjlva stller upp. Vi tycker att vi har ntt vra ml vad gller X, men vi r inte njda med Z och ska frska frbttra verksamheten i det avseendet. En annan variant r att vidga basen och ven ta med brukarna och anvndarintresset som re-
47
ferenspunkt. Hr blir det frga om att bedma i vilken grad som verksamheten uppfyller de aktuella mlgruppernas, brukarnas, klienternas, kundernas, etc, frvntningar. Det kan t ex ta sig formen av att underska om anvndarna r njda. Det tredje exemplet r att ytterligare vidga basen och utg frn ett brett intressentperspektiv. Avsikten r att bedma hur verksamheten motsvarar krav som samhllet stller utver vad som anges av de direkta anvndarna. Nr frgan formuleras utifrn ett bredare samhllsintresse blir det tydligt hur utvrderingen kommer in p politikens domn. Det fjrde exemplet p kriterier fr bedmning r att utg frn mer professionella referenspunkter och lta yrkesgrupper inom verksamheten bedma p vilken niv verksamheten presterar. Skillnaden mot det som beskrivits som den optimala praktiken p skalan med objektiva referenspunkter ovan, r att bedmningen av kriterier och niv hr handlar om en intuitiv process. Bedmaren anvnder sin expertkunskap fr att avgra kvaliteter intuitivt. Man kan jmfra med domare vid bedmning av prestationer inom olika sporter dr det inte anvnds objektiva mtinstrument, exempelvis vid gymnastik och konstkning. Ofta bestr expert- eller professionell bedmning av en kombination av objektiva och subjektiva mtt (jmfr bedmning av stil och lngd vid backhoppning).
mtning kan ske mer metodiskt kan man skilja mellan tre principer: (1) Jmfrelse mot en uttryckligt definierad referenspunkt av ngot slag, t ex ml, id, teoretiskt kriterium. (2) Jmfrelser mellan utvrderingsobjekt av samma slag. (3) Jmfrelser av frndring ver tid eller med andra ord hur utvrderingsobjektet har utvecklats. Den frsta punkten kan beskrivas som en frga om att stta betyg p ngot i jmfrelse med ett kriterium, exempelvis mlrelaterade betyg i grundskolan. Den andra principen handlar om att rangordna, dr jmfrelsen kan gras mellan verksamheter i en kommun, mellan olika kommuner i landet osv. Det tredje sttet att gra bedmning r att se hur det som utvrderas har utvecklats under en viss tidsperiod. Hr kan man hlla sig till mtt som r unika fr det aktuella jmfrelseobjektet eller till mtt som r gemensamma inom det aktuella verksamhetsomrdet. Intresset r frmst att jmfra med den egna utvecklingen ver tid, snarare n att jmfra med andra.
Vem ska bedma?

r det utvrderarens uppgift att svara fr bedmningen eller ska han/hon svara fr att beskriva och verlta till beslutsfattare och berrda att vrdera? Detta r en terkommande tvistefrga. Som framgick av den korta historiebeskrivningen i det frsta kapitlet s har utvrderarens roll frndrats frn att vara en expert p mtproceduren fr att visa om det finns skillnader, till att bli en recensent eller domare som uttalar ett omdme om en prestation eller ett resultat. Under senare r har ven olika intressenter kommit in i bilden som bedmare, vilket stller
Tre principer fr att jmfra

Hittills har jag beskrivit p vilket stt man kan resonera sig fram till p vilka vrdegrunder utvrderingen kan gras. Nr det gller frgan om hur
48
utvrderarens roll i en ny dager. En frga som diskuteras r om utvrderaren ska leverera sin bedmning vid sidan av olika intressenter som ytterligare en rst i kren. Utvrderarens roll blir i det fallet inte att vara experten som kan avge ett vrdeomdme. Snarare blir han/hon en samordnande resurs som sammanstller vad olika parter anser. En annan linje hvdar att utvrderaren ska svara fr att ur ett mer principiellt och vergripande vrderingsperspektiv avge ett samlat omdme. I det senare fallet bildar intressenternas bedmningar snarast ett underlag fr utvrderaren vid sidan av andra data som han/ hon ser som viktiga fr sitt bedmningsarbete. (Utvrderarens roll ska behandlas mer ingende i kapitel sju.)
vara att ska efter det genomskdande barnet bland bedmarna. Eller med andra ord att representera en kritisk bedmning som p rationella grunder kan visa alternativa tolkningar som r viktiga att beakta. Ett annat argument mot att vga samman resultat r att det reducerar precisionen nr man, fr att uppn jmfrbarhet, tvingas anvnda generella termer.
r alla offentliga tjnster jmfrbara?

Lt oss stanna upp lite och se p diskussionen om sammanvgningsfrgan i frhllande till vilken typ av resultat man talar om. Alla resultat r inte av den arten att man kan sammanfatta och jmfra mellan verksamheter. Problemet r att en stor del av det som produceras i offentlig verksamhet r tjnster och inte materiella produkter. Det som utmrker en tjnst r att den fr det frsta r ngot immateriellt, vilket gr den svrare att utvrdera innan man har kpt eller frbrukat tjnsten. Fr det andra produceras ofta en tjnst samtidigt som den konsumeras och fr det tredje r tjnsten en process som pgr, men influensen eller pverkan frn tjnsten kan pg lngt efter det att sjlva tjnsten konsumerats. Det r mot bakgrund av denna komplexa bild som frgan om i vilken grad det rder jmfrbarhet mellan olika offentliga tjnster stlls. Forskaren Rolf Sandahl, verksam vid Riksrevisionsverket, har gjort en analys av olika typer av prestationer och gr fljande gradering av jmfrbarhet mellan prestationer inom offentlig verksamhet.64 Jmfrbarheten sjunker ju lngre ned p lista man kommer.
Att vga samman resultat

Den sista frgan i Scrivens generella manual fr utvrdering gller hur resultat kan vgas samman. ven denna frga r freml fr en livlig debatt bland utvrderare. En del vnder sig mot att utvrderaren alltid ska avkrvas ett sammanvgt slutligt omdme. Ett argument mot sammanvgning r att de konflikter som kan finnas mellan olika bedmningar frminskas. Sammanvgning premierar ofta konsensus eftersom det ofta blir det alla r verens om som lyfts fram. Det gr att synpunkter frn minoriteter som principiellt kan ha en stor betydelse riskerar att komma bort. Problemet kan illustreras med H C Andersens saga om kejsarens nya klder dr barnet avsljar en kollektiv lgn. I stllet fr att sammanfatta vad majoriteten anser kan en uppgift fr utvrderaren
49
1. Identiska prestationer 2. Typlika prestationer 3. Beslktade prestationer 4. Unika prestationer
Strategier fr att vga samman

Den frga som kvarstr r hur man kan utvrdera de mer unika prestationerna utan att det resulterar i lngtgende frenklingar. En tnkbar strategi kan vara att organisera mtesplatser fr berrda intressenter som kan fra en dialog kring hur de ser p resultaten. Utfallet av sdana mten kan vara beskrivningar av mnster som visar verksamhetens svaga och starka sidor. Som hjlp att tnka runt sdana strategier kan man frutom att skilja mellan komplexa och enkla resultat, ven skilja mellan vra frestllningar och intressen att fresprka eller motarbeta vissa resultat. Forskarna Bertil Rolf, Eskil Ekstedt och Ronald Barnett har formulerat en analysmodell fr dessa variabler som beskrivs i figuren nedan. 65
Identiska prestationer: Hr kan man nmna exempel p offentliga tjnster som utfrdandet av pass, krkort, inspektion, kontroller, dr varje enskild prestation kan jmfras. Man kan exempelvis kontrollera om det finns ngon felfrekvens i utfrandet av tjnsterna, om det skiljer sig mellan olika utfrare nr det gller vntetider fr att f tjnsten utfrd, osv. Typlika prestationer: Hr rr vi oss med tjnster som sinsemellan r olika, men dr grupper av tjnster kan jmfras. Exempelvis kan man jmfra antal platser i barnomsorgen och ldreomsorgen mellan olika kommuner. Beslktade prestationer: Till denna kategori hr grupper av prestationer som i viss utstrckning kan jmfras. Exempelvis prestationer i form av revisionsrapporter och utstllningar. Var och en av dessa prestationer r unik, men det finns ocks gemensamma inslag som gr att man kan uppfatta vissa likheter. Unika prestationer r exempelvis en informationskampanj, en utfrdad riktlinje eller anvisning, en forskningsrapport. Hr utgr varje prestation ett specialfall som mste bedmas efter sitt specifika innehll. Inom kommunal verksamhet torde det finnas exempel p samtliga fyra typer av prestationer. Tendensen i debatten om utvrdering och kvalitetsskring r dock att betrakta alla prestationer som mjliga att reducera till identiska eller typiska fr att drmed kunna jmfra dem i kvantitativa termer.
Samordning av frestllningar
Instruktioner, utbildning
Rationella samtal, dialog
Stabila enkla resultat
1 2
3 4
Komplexa dynamiska resultat
Ml och riktlinjer
Frhandling och kompromisser
Samordning av intressen
Figur 4. Strategier vid sammanvgning av resultat
50
12. Problem med att sammanstlla mer entydiga och stabila resultat kan bero p bristande kunskaper om hur olika resultat kan klassificeras och bearbetas, t ex med hjlp av statistiska metoder. Problemet kan ocks bero p oklara besked om vilka resultat som ska prioriteras. Strategier fr att hantera dessa problem visas i figurens vnstra sida och kan vara utbildning eller att ange klarare ml och riktlinjer. 34. Problem med att sammanstlla mer komplexa och dynamiska resultat kan handla om bristande verensstmmelse i frestllningar om vilka de centrala frgorna r. Problemet kan ocks handla om intressekonflikter. Att vga samman komplexa resultat stller krav p andra strategier n nr man rr sig med mer stabila och entydiga resultat. Exempel p sdana strategier redovisas i figurens hgra sida. Fr att samordna olika frestllningar hos intressenterna krvs en dialog och en beredskap att se de nya infallsvinklar som andras perspektiv kan ge och en vilja att eventuellt omprva egna uppfattningar. Fr att hantera intressekonflikter krvs ocks en frhandlingsvilja och en beredskap att n kompromisser.
1. Vrdekriterier att bedma mot
Ml Teori Intressen Demokratiska och kulturella vrden
2.Typ av bedmning Objektiva och referenspunkter Subjektiva Intersubjektiva tolkningar av olika mtt eller referenspunkter fr bedmning 3. Tre principer fr att jmfra 4. Strategier att vga samman resultat Med ideal och verksamhet Mellan olika verksamheter Med utvecklingen ver tid Kvantitativa resultat summeras till totalbetyg. Bearbetas med statistisk metod. Kvalitativ analys av komplexa resultat. Bearbetas i dialog med olika intressegrupper.
Tabell 6. Fyra huvudpunkter vid bedmning
Praktiska exempel
Valet av vrdekriterier i utvrderingen i stersund baseras frmst p de ml fr hemtjnsten som politikerna i kommunen angivit: Tillgng/ tillgnglighet, personkontakt/bemtande, kompetens, inflytande, kontinuitet, meningsfullhet och gemenskap. De mer preciserade mtt eller mtpunkter som anvnds utgrs av ett antal indikatorer av objektiv karaktr som preciserar mlen. Fr tolkningen av mlet tillgng/tillgnglighet anges tta mtt eller referenspunkter, varav fljande exempel ger en uppfattning om preciseringens karaktr: att veta vart man vnder sig och p vilka tider man nr ngon inom hemtjnsten; att ha tillgng till infor-
Att bedma en versikt

Tabellen till hger r en sammanstllning ver de fyra huvudpunkterna som beskrivits i kapitlets inledning fr hur bedmningsarbetet vid utvrdering kan g till. Huvudpunkterna kan anvndas som utgngspunkt fr att se nrmare p de tv exemplen p utvrdering frn stersund och Vxj.
51
mation om hemtjnstutbudet; att f kunskap om behovsbedmningens grunder; att f tillgng till adekvat behandling (t ex smrtlindring); handikappanpassade lokaler och bostder. Fr mlet kontinuitet r indikatorerna indelade i tre typer: personal, omsorgs- och tidskontinuitet. Strvan ska vara att brukaren inte utstts fr ondiga personalbyten mot sin vilja och trygghet, att hjlpen ges p samma stt det verenskomna, och att brukaren fr hjlpen p verenskomna tider. Metoden fr bedmning r att jmfra den utvrderade verksamheten mot de ideal som kvalitetsdimensionerna beskriver. Vad gller strategi fr sammanvgning s sammanfattade utvrderaren resultaten inom var och en av de kvalitetsdimensioner som politikerna faststllt. Dremot summerades inte sammanstllningarna till ngot totalomdme om hemtjnsten. I stllet gjorde utvrderaren en allmnt hllen kommentar om att verksamheten hade en god kvalitet, men att utvrderingen visade att det fanns en del problem som behvde uppmrksammas, t ex behov av att personalen gnade mer tid till kontakter med vrdtagarna. Utvrderingen i Vxj bestr i praktiken av tre separarata utvrderingar. I den frsta delutvrderingen, som gller ekonomisk bedmning, r besparingsml och effektivitetsmtt mtpunkter. Metoden fr bedmning r att stlla den genomfrda verksamheten mot en idealbild i form av en teoretisk modell fr vad verksamheten skulle ha kostat. Resultatet av jmfrelsen summerades till en slutresultat fr hela projektet vad gller ekonomisk effektivitet.
I den andra utvrderingen, som gller handlggarnas arbete, dvs en processutvrdering, formuleras vrdekriterierna p basis av en teori om social interaktion. Med utgngspunkt frn teorin resonerar utvrderarna sig fram till tnkbara mtt fr att bedma genomfrandet. Bedmningsmetoden bestr i att jmfra empiriska observationer mot dessa teoribaserade kriterier. Utvrderarna avslutar med att avge ett samlat omdme om hur projektarbetet genomfrdes. Den tredje utvrderingen i Vxj gller frndringar i livskvalitet och upplevd hlsa fr de som deltog i projektet. Vrdekriterierna fr utvrderingen av livskvalitet formuleras utifrn en teori om vilka behov mnniskor mste f tillgodosedda fr att leva ett drgligt liv. Utifrn detta behovsteoretiska resonemang formuleras ocks referenspunkter fr att bedma klienternas situation. Metoden fr bedmningen av livskvalitet r att mta utveckling ver tid och se p frndring hos klienterna efter deltagande i programmet. Utvrderarna gr till sist en sammanvgning av resultaten till ett totalomdme om vad projektet har inneburit fr klienternas livskvalitet.
Sammanfattning
Utgngspunkten fr detta kapitel har varit att ge en beskrivning av hur bedmingsarbetet kan organiseras. Resonemanget har frts med hjlp av Michael Scrivens logik fr bedmning i form av fyra frgor. Den frsta gller urvalet av vrdekriterier att bedma mot. Hr beskrevs olika alternativ i form av ml-, teori-, intressent- och kulturellt baserade kriterier.
52
Den andra frgan gller att ange mtt och niver fr dessa kriterier. Hr skilde jag mellan den objektiva stndpunkten att det finns generella vrderingsprinciper, den subjektiva stndpunkten att alla bedmningar r beroende av tolkaren, samt den dialogiskt intersubjektiva stndpunkten att det gr att gra bedmningar utan att fastna i objektivismens eller subjektivismens antingen-eller-resonemang. I stllet kan vrderingsprinciperna utformas efter en diskussion mellan bedmare som frsker stta sig in i och frst den andres synpunkter. Med denna filosofiska analys som ram beskrev jag ett antal referenspunkter fr bedmning. Scrivens tredje frga gller hur bedmningar kan utfras. Hr beskrev jag tre principer: Att jmfra mot en tydlig utgngspunkt, att jmfra mellan utvrderingsobjekt och att jmfra hur det aktuella utvrderingsobjektet utvecklas ver tid. Den fjrde frgan slutligen gller om och hur man kan vga samman och jmfra resultat frn verksamheter av vitt skilda slag. Hr visade jag att det finns kommunala verksamheter dr jmfrbarheten r lg och andra dr jmfrbarheten r strre. En frga blir drmed hur man kan hantera sammanvgning av resultat med radikalt olika karaktr. En tnkbar vg r att p samma stt som i frgan om urval av kriterier och mtt frska skapa ett ppet och maktfritt samtal mellan utvrderingens olika intressenter.
51 Guba & Lincoln (1989) s. 57ff, talar om organizers dvs organiserande begrepp, som de kriterier eller frgor som styr hur utvrderingen blir utformad. 52 Scriven (1980). 53 Hur ml kan utformas fr att vara styrande diskuteras av Philgren & Svensson (1990) s. 44. Se ven Kriterier och anvisningar fr 1995 rs Kvalitetsutmrkelse Svensk Skola (1994). Fr en kritisk granskning av mlfrgan se Rombach (1991). 54 berg (1997) s. 88f. 55 House (1989) s. 4564. 56 Karlsson (1990). 57 Hermern (1987) s. 13ff. 58 Bergstrm (1990) s. 6172, 88. 59 Indelningen utgr frn Lindensj & Lundgren (1992) s. 223 och House (1983). 60 Bernstein (1983) s. 2f. Det br ppekas att uppdelningen mellan objektiv-subjektiv r problematisk. Bernstein menar att man snarare br tala om objektivism-relativism. Fr en analys av skillnaden mellan begreppsparen se t ex sid 816. 61 Kvale (1996) s. 64ff. 62 Wallin (1998). 63 Lindensj & Lundgren (1992). 64 Sandal (1991) s. 17ff. 65 Rolf, m.fl (1993) s. 109. Se ven Krogstrup (1997) s. 223ff, fr en diskussion kring tama och vilda problem som metaforer fr modellens stabila och enkla respektive komplexa och dynamiska resultat.
53
6. Utvrderingens praktik
detta kapitel r att beskriva olika synstt p utvrderingens praktik. De perspektiv p praktiken som diskuteras bland utvrderingsforskare inleder kapitlet. Tio olika modeller fr utvrdering knyts till de olika perspektiven och ringar in vad en viss utvrdering prioriterar fr frgor, metoder och innehll. Utvrderingens praktik p teknikniv, dvs olika stt att samla data om utvrderingsobjektet, ligger utanfr den hr bokens syfte. Framstllningen har strukturerats utifrn fljande tv frgor: Frn vilket strategiskt perspektiv sker utvrderingen? Med vilken modell eller design utformas utvrderingen?
YFTET MED
r som utfr eller antas medverka i utvrderingen, t ex expert, intressent eller brukare. En fjrde indelningsgrund r att tala om olika strategier fr utvrdering, dvs lta frgan om varfr utvrdering sker vara utgngspunkten. Man kan hr skilja mellan (1) utprvande och mtande, (2) upplysande och frklaringsinriktade, samt (3) interaktiva, samarbets- och frndringsinriktade strategier. 67 I det fljande avsnittet ska jag granska vad det innebr fr valet av utvrderingsmodell om man utgr frn ett visst strategiskt perspektiv. Valet av utgngspunkt sker med tanke p bokens mlgrupp av beslutsfattare som frmodas gra strategiska vervganden infr val av syfte och form fr utvrdering.
Strategiska perspektiv vid utvrdering

En indelning av olika utvrderingsmodeller kan gras p flera stt.66 En variant r att utg frn vrdekriterier, om utvrderingen baseras p objektiva eller p mer subjektiva vrderingar, och dela in utvrderingsmodeller i dessa tv grupper. Hr brukar man tala om produktinriktade och intuitivt inriktade modeller. Ett annat exempel p klassificering som frekommer i utvrderingslitteraturen r att utg frn vad som utvrderas, t ex system, ml och resultat, beslutsalternativ. En tredje variant r att dela in modeller efter vem det
Den utprvande strategin

Den utprvande och mtande strategin innebr att ska den bsta lsningen p sociala problem eller andra behov genom att testa vilket alternativ som r mest effektivt fr att n mlen (nyttan). En utgngspunkt i denna prvningsprocess r att det r mindre viktigt att veta hur eller varfr en viss lsning fungerar. Det viktiga r att den fungerar. Tankegngen kan beskrivas s hr: Om du vill ha hjlp med att tillgodose ditt behov X s kan utvrderingen ge besked om att Y fungerar bst. Om du vill ha en rymlig och familjevnlig bil, kp detta
54
mrke, det r bst i test. Om du vill bli botad frn din huvudvrk, tag denna medicin, den r vetenskapligt utprvad. Om det du vill lsa r ett pedagogiskt eller socialt problem av detta slag, anvnd denna metod eller insats, den r utvrderad och bedmd som effektivast osv. Hur bilen, medicinen, metoden eller insatsen verkar behver du inte knna till. Utvrderingen har jmfrt alternativen utifrn dina anvndningsbehov och visat vilket som r bst. Fresprkarna fr denna strategi ser som utvrderingens uppgift att ge service till en bred publik. Drfr fredrar de metoder som ger tillfrlitliga vardagsslutsatser som kan presenteras fr mnga olika intressenter, politiker, ledning, brukare, allmnheten. Man utgr frn att det existerar bra lsningar p marknaden. Genom att utvrdera alternativen ges en verblick fr tnkta anvndare som sedan kan gra sin egen bedmning. Man kan sga att utvrderingen har en besvarande och kontrollerande funktion. Mlet r att utvrderingen ska reducera oskerhet om vilka effekter som en viss lsning ger, snarare n hur man kan frbttra den. Utvecklingsansvaret ligger hos den som producerar varan eller tjnsten och inte hos utvrderaren. Det r inte heller utvrderarens uppgift att sga vilket av de prvade alternativen som slutligen ska vljas. Nr det gller sociala insatser eller alternativ inom offentlig verksamhet r det politikerna som ansvarar fr dessa beslut. Strategin har varit dominerande inom utvrdering men dess popularitet har dalat d mnga av dess antaganden visat sig problematiska. Den utprvande strategins metoder har inte kunnat ge klara svar p vilka lsningar som r de bsta fr
att hantera sociala, pedagogiska eller andra samhlleliga problem. Ett annat kritiserat antagande r att de lsningar som identifieras som de bsta ska bli spridda och anvndas automatiskt. Kritikerna menar att mnniskor vger in en rad bedmningar av vrdemssig och knslomssig karaktr vilket gr att sociala frndringsprocesser inte r s lttstyrda som strategin frutstter.
Den frklaringsinriktade strategin

Den upplysande och frklaringsinriktade strategins syfte r att f kunskap om processer, hur de gr till, kan utvecklas och vad de betyder fr de inblandade. En grundlggande tanke hr r att olika lsningar p sociala frgor och problem kan visa sig olika framgngsrika inom olika grupper. Hr gller det inte att utse den bsta lsningen eller det bsta kpet fr alla. Man tror inte heller att en viss lsning kan infras p ngot enkelt stt i en verksamhet. Snarare ligger betoningen p att se varje frndring i sitt sammanhang och uppmrksamma de specifika omstndigheterna. Utvrderingens uppgift r att bidra med kunskaper om varfr lsningar kan fungera i vissa situationer och inte i andra. Som syfte betonar man kognitiv, upplysande anvndning av utvrdering. Fr att genomfra analyser av detta slag behver utvrderaren bilda sig en mer teoretisk frstelse av utvrderingsobjektet och av social frndring. Teorin ska ge viktiga begrepp fr att beskriva och analysera dels problemets karaktr, dels de logiska relationerna mellan problem och tgrd. Problemet med strategin r hur man ska kunna konstruera tillrckligt praktiskt anvndbara teorier som ger de berrda mjlighet att se var deras
55
frgor kommer in i bilden och blir besvarade. Strategin r ofta inriktad p att utveckla generell kunskap om hur sociala problem kan bearbetas och tenderar att anlgga ett helikopterperspektiv. Ett sdant kan vara viktigt fr att skaffa en verblick ver sammanhang, men risken r att detaljerna blir mindre synliga. Detaljer som kan vara ndvndiga fr den som ska utfra verksamheten i praktiken.
Den interaktiva strategin

En tredje huvudstrategi inom utvrdering r snarast en samling av strategier med interaktion mellan olika intressenter som den gemensamma nmnaren. Med anknytning till metaforen ovan kan man sga att strategin betonar att utvrderaren br befinna sig p marken, i kontakt med de som berrs eller har intressen i verksamheten. Dessa kan vara svl beslutsfattare och anvndare som mer perifera intressenter till verksamheten, exempelvis skattebetalare och representanter fr organisationer som engagerar sig inom omrdet. Ambitionen att vnda sig till olika aktrer vcker frgan om utvrderingen i frsta hand ska prioritera de som r direkt berrda eller ha ett brett perspektiv p intressenter. Den interaktiva, samarbets- och frndringsinriktade strategin sker i frsta hand utvrderingsresultat som gller fr den aktuella verksamheten. Den sker med andra ord lokal eller situationsbunden kunskap. Utvrderarens uppgift r att frska medvetandegra olika berrda intressenter om problem och behov som behver tgrdas. Fresprkarna fr interaktiv utvrdering kritiserar ocks andra strategier fr att vara alltfr sam-
mankopplade med traditionell social forskningsmetod p bekostnad av lokala teorier och metoder som involverar de berrda. De r ven kritiska mot att rikta sig till diffusa allmnintressen med information i stllet fr att ge de berrda den information de behver. Kritiken riktas ocks mot att resultat inte presenteras snabbt nog fr att anvndas i beslutsprocessen. Argument som i sin tur riktas mot den interaktiva strategin r att den med sin starka betoning p samverkan med de nrmast berrda fr ett alltfr begrnsat kunskapsperspektiv. Kritikerna menar ocks att strategin bygger p en orealistisk syn p mjligheterna att utbilda alla intressenter till kritiska, engagerade medutvrderare. Ytterligare en kritik r att strategin inte har givit ngra klara bevis p att ge bttre utdelning fr bestllaren n andra, mindre kostnadskrvande former av utvrdering.
Sammanstllning av strategier och modeller

I tabellen p nsta sida beskrivs de tre huvudstrategier som har redovisats ovan och ett antal utvrderingsmodeller som brukar anges i utvrderingslitteraturen. Strategierna och modellerna kopplas hr till tre olika beslutsniver i kommunal verksamhet: (1) den vergripande nivn, dvs kommunfullmktige, kommunstyrelse och frvaltningsledning, (2) mellanniv som kan vara ett distrikt eller en kommundel, eller i mindre kommuner en platschef, skolledare etc, samt slutligen (3) den praktiska verksamhetsnivn. P varje niv formuleras utvrderingsbehovet utifrn de frutsttningar och frgor som nivn ansvarar fr. Det innebr att
56
Strategi/ Beslutsniv
1. Utprvande och mtande
2. Upplysande och frklaringsinriktad Hur verkar insatsen generellt? Vilka r problemen? Teorimodell fr utvrdering (deduktiv ansats) Hur kan organisationen gras effektivare? Aktionsforskningsmodell
3. Interaktivt och frndringsinriktad Vilka behov finns? Hur kan man pverka/frndra frvntningar och behov? Intressentmodellen (omfattar ofta flera niver) Vad betyder insatsen fr brukare? Hur samarbeta fr att utvrdera? Brukarmodell Hur bedmer anvndarna insatsen? Kan de pverka? Mlfri utvrdering Brukarmodell
Centrala beslutsfat- Vilket system fungerar effektivast? Vad ger tare i kommunen insatsen fr resultat? Exempel p modell: Systemanalys Ml-resultatmodell Hur omstta ml till beslut och riktlinjer? Beslutsmodell
Mellanniv, t ex distriktsledning, skolledare, etc. Exempel p modell: Praktisk verksamhetsniv Exempel p modell:
Vad ger insatsen fr Hur fungerar insatsen konkret mluppfyllelse? lokalt och hur kan den utvecklas? Expertmodell Sjlvutvrdering Yrkesmssig reflektion Teorimodell (induktiv ansats) Aktionsforskningsmodell
Tabell 7. Strategier och utvrderingsmodeller p olika beslutsniver
de tre strategier som jag har beskrivit ovan fr olika uttryck. Olika frgor kan naturligtvis verlappa mellan niverna liksom olika utvrderingsmodeller kan vara aktuella p flera niver. Tabellen ger en generell verblick, dr ett urval av frgor och modeller visar hur en analys av utvrderingsstrategi och modell kan gras.
Utvrderingsmodeller
Nedan ska de olika utvrderingsmodeller som nmns i tabellen beskrivas nrmare. Med modeller menas mer preciserade ansatser eller tillvgagngsstt fr att genomfra utvrdering. Det br ppekas att ven om de flesta utvrderingsforskare anvnder sig av modellnamn som liknar de som rknas upp, s finns det inget enhetligt beskriv-
ningssystem som alla ansluter sig till.68 Modellindelningar kan anvndas bde normativt fr att planera en utvrdering och som analytiska hjlpmedel fr att kunna diskutera kring den svrverskdliga mngd varianter av utvrdering som man mter i praktiken. De klassificeringar som olika modellindelningar representerar gr det mjligt att kritiskt granska olika utvrderingar, t ex med avseende p fr vem den sker och med vilket syfte. 1. Systemanalys Utvrderingen innebr att ett system jmfrs med ett annat, t ex tv olika skol-, sjukvrds- eller socialvrdssystem. Detta sker genom att frmst se p utfallet av systemen, dr frgan r vilka alternativ som ger bsta utfall till vilken kostnad. Fr utvrderaren r uppgiften att samla empiriska
57
versiktsdata och statistiskt analysera dem fr att frse beslutsfattare med kunskaper om systemets effektivitet. Effektmtning och kostnader (budgetutfall) r vanliga jmfrelsepunkter. Det kan exempelvis glla att bedma olika utbildningssystem genom att anvnda sig av kunskaps- och begvningsprov som metoder och testpong som mtt. 2. Beslutsmodellen Beslutsinriktad utvrdering fokuserar p sdana variabler som beslutsfattarna kan kontrollera och besluta om. Exempelvis vilka ml som ska glla, hur organisationen ska se ut, vilka medel den ska ha, hur verksamheten ska genomfras, om verksamheten ska fortg, modifieras eller avbrytas. Utvrderingen sker mot vedertagna kriterier fr vad som anses utmrka bra verksamhet, ofta uttryckt i vrden som effektivitet och nytta. Utvrderingen har likheter med hur traditionell utredningsverksamhet tar fram beslutsunderlag och frslag till beslut. 3. Ml-resultatmodellen Utvrderingen jmfr ml och resultat, t ex hur vl elevers kunskaper motsvarar undervisningens ml. Jmfrelsen sker vanligtvis genom att uttrycka ml och effekter i samma termer. Det nskvrda tillstndet eller beteendet som mlet uttrycker ska kunna mtas som resultat, fretrdesvis med kvantitativa metoder, testmetodik, systematiska observationer etc. Fokus ligger p vad som blev snarare n p hur det blev s, dvs utvrderingen har en summativ snarare n en formativ inriktning och koncentreras p slutresultatet.
4. Mlfri utvrdering (konsumentmodell) Den mlfria utvrderingen har ett ngot vilseledande namn eftersom ml spelar en central roll ven i denna modell. Men i stllet fr att utg frn officiella ml, tas utgngspunkten i andra ml nr resultatet ska bedmas. Vilka dessa ml kan vara r inte s klart, men betoningen i utvrderingen ligger p kundens eller brukarens behov och nytta. Tanken r ocks att utvrderaren kan upptcka bieffekter och andra resultat n de som utpekas inom det officiella mlomrdet. 5. Expertmodellen Expertmodellen innebr att utvrderaren utgr frn kriterier som han/hon sjlv stller upp som sakkunnig. Nr det gller t ex social verksamhet dr utvrderingen ska bedma komplicerade processer r det frmst utvrderarens intuitiva bedmning med en mngd sammansatta kriterier som anvnds. Kriterierna legitimeras av utvrderarens specialistkunskaper inom omrdet. Expertisen kan ocks handla om att vara specialist p utvrderingsmetodiken. Med den betoningen p expertkunskap kan man tnka sig att utvrderaren kan utg frn kriterier som beskrivs av andra. 6. Teoriinriktad utvrdering Enligt den teoriinriktade utvrderingen utgr utvrderaren frn en teoretisk referensram. Referensramen kan vara en beskrivning av utvrderingsobjektets tillkomst, framvxt, organisation, ml, metoder och samhlleliga koppling. Den kan ocks ta upp aktuell debatt och problem i verksamheten. Enligt teorimodellen ska utvrderingen ge ett vidgat diskussionsunderlag dr
58
frndringsarbetet kan frankras i insikter om hur verksamheten styrs och begrnsas av de villkor som gller. Som framgick i kapitel fyra kan teorin vara i form av etablerade och beprvade teorier. D styrs utvrderingen av ett kunskapsintresse representerat av forskarsamhllet. Man kan ocks tala om en utvrdering som bygger p lokala teorier rekonstruerade ur aktrernas referensramar och frestllningar om verksamheten.69 7. Sjlvutvrdering, kritisk reflektion Modellen gr ut p att de mnniskor som har till uppgift att genomfra en bestmd verksamhet ges tillflle att reflektera ver och stta in sitt konkreta handlande i relation till mlet fr verksamheten. Modellen kan exemplifieras med arbetet i frskolan dr en enskild pedagog eller ett arbetslag kan utvrdera sitt arbete i relation till en srskild uppgift som de ansvarar fr. Genomfrande av utvrderingen kan gras genom att den enskilde frskollraren och arbetslaget samlar in material som dokumenterar och p olika stt illustrerar vad barnen har arbetat med. Dokumentationen ligger till grund fr reflektioner och diskussioner i arbetslaget och tillsammans med barn och frldrar.70 8. Brukarmodellen Hr avses med brukarmodellen den form av interaktiv utvrdering som bygger p att olika berrda parter kontaktas och medverkar i utformningen. Det r utvrderaren som ansvarar fr och driver utvrderingen, men det sker i nra samarbete med de berrda inom den verksamhet som granskas, t ex brukare, personal och ledning. Brukarmodellen kan ses som en variant av intressentutvrdering (se nedan) men med en mer avgrnsad mlgrupp.
I jmfrelse med den mlfria utvrderingen som ocks har konsumenten/brukaren i centrum r det inte lika sjlvklart att det endast r nyttokriteriet som utgr grundvrdering. Snarare ligger hr betoningen p demokratiska kriterier och mjligheterna fr berrda att pverka. 9. Intressentmodellen Intressentmodellen vidgar skaran av berrda deltagare i jmfrelse med brukarmodellen. Intressenterna kan vara anvndare, utfrare, ansvariga beslutsfattare, finansirer, institutioner som drabbas av kostnader och sidokonsekvenser och ven de som har ett allmnt politiskt intresse inom verksamhetsomrdet. Utvrderaren har en nyckelroll som samordnare och ansvarig genomfrare. Modellen stller krav p utvrderaren att lyssna p vad olika intressenter anser och vill ha ut av utvrderingen. Det innebr att frgan om vilka delar av en verksamhet som ska bedmas och mot vilka kriterier kan bli freml fr diskussion och frhandling mellan ett stort antal parter. Utvrderingen blir drmed relativt resurskrvande samtidigt som mjligheterna till frankring hos de som berrs och r intresserade r stora. 10. Aktionsforskningsinriktad intressentutvrdering En radikalare variant nr det gller att ge de berrda en aktiv roll som har utvecklats under senare r r en form av aktionsforskningsinriktad intressentutvrdering. Hr tjnar utvrderaren snarast som resurs fr intressenterna att sjlva utvrdera de frgor de prioriterar. Syftet r att ge alla berrda grupper en chans att gra sin rst hrd, men med speciell tonvikt p resurssvaga grupper. En variant av denna modell har empowerment som centralt
59
Frgor/ Modeller 1. Systemmodell/ analys 2. Beslutsmodell 3. Ml-resultatmodell 4. Mlfri utvrdering 5. Expertmodell
Syfte Bedma system t ex fr utbildning Ge underlag fr rationella beslut Kontrollera mluppfyllelse Bedma nyttan fr brukare, kunder Vrdera professionell standard ka frstelsen fr processvillkor ka medvetenhet om vad som fungerar och inte Bedma det relativa vrdet fr brukaren Vrdera ur intressegruppens perspektiv Strka och utveckla inflytande och egenmakt
Frn vems perspektiv Beslutsfattare och systemanvndare Beslutsfattare p verordnad niv Politiker/tjnstemn p verordnad niv Brukare, kunder Bestllaren och andra experter Berrda anvndare Forskarsamhllet Verksamhetens utfrande Berrda anvndare eller brukare Berrda anvndare samt vriga intresserade Berrda anvndare speciellt svaga grupper
Kriterier Effektivitet och kostnader Beslutsalternativ, kostnader, nytta Preciserade ml i resultattermer Kundens, brukarens nyttokriterier Etablerade kriterier inom professionen Kriterier i etablerade alternativt lokala teorier Professionella kriterier p god verksamhet
Metod Jmfra kostnader och result Behovsanalyser, jfr. olika verksamheter Jmfra ml och resultat Underska mot kundens behov Kritisk granskning av villkor, milj och genomfrande Forskningsmetod att kritiskt beskriva och frklara Egen reflektion, diskussion med kollegor o. berrda
6. Teorinriktad utvrdering 7. Sjlvutvrdering
8. Brukarmodell
Officiella ml och Samarbete med brukarnas preferenser berrda fr att jmfra resultat Officiella ml samt fr- o. nackdelar fr olika intressenter Frndringsbehov fr utsatta grupper Observationer, intervjuer, mten, fallstudier, dialog Kritisk granskning och dialog
9. Intressentmodell
10. Aktionsforskningsinriktad intressentmodell
Tabell 8. versikt av utvrderingsmodeller
begrepp med vilket avses att strka de berrda parternas egen frmga till makt och inflytande. Tabellen ovan ger en versikt av de olika utvrderingsmodeller som redovisats.
Praktiska exempel
Utvrderingen av hemtjnsten i stersund r gjord med en tydlig ml-resultatmodell. Utvrderarens
uppgift r att kontrollera om utfraren hade uppfyllt bestllarens, dvs omsorgsnmndens, ml enligt det avtal som upprttats. Utvrderingen sker frn politikernas perspektiv som vergripande ansvariga fr verksamheten och med kriterier som politikerna beslutat i ml fr hemtjnsten. Metoden r att jmfra ml och resultat och man utesluter medvetet att utg frn personalens perspektiv eftersom det r verksamhetsstyrelsen, inte
60
nmnden, som har personalansvaret till frmn fr frgor om kvalitet fr brukarna. I de tre utvrderingarna som genomfrdes av projektet 4 i Vxj praktiseras flera olika utvrderingsmodeller. Den ekonomiska utvrderingen kan beskrivas som systemanalys, dr metoden r att jmfra kostnader och resultat mot effektivitetskriterier utifrn beslutsfattarens och systemanvndarens perspektiv. Handlggarnas arbete utvrderas med utgngspunkt frn teoretiska resonemang kring grupprocesser. Utvrderarna formulerade frst en teori om vad som utmrker olika typer av grupper och grupprocesser och en kommunikationsmodell med ett antal centrala begrepp som de sedan utgick ifrn nr de samlade data om handlggarnas arbete. Det gr att man mjligen kan sga att utvrderingen utgick frn en teoriinriktad, eller kanske snarare teoribaserad modell. Skillnaden kan beskrivas som en frga om var teorin kommer in i bilden. Vid teoribaserad utvrdering anvnds en formulerad teori som utgngspunkt och styr vad som ska uppmrksammas. Vid en teoriinriktad utvrdering grs kopplingar till teori i analysen av utfall fr att frska att frklara och frst resultaten p en teoretisk niv. Utvrderingen av klienternas sikter om livskvalitet och upplevd hlsa kan ses som en form av mlfri utvrdering. I stllet fr att utg frn projektets ml utgick utvrderarna frn klienternas upplevelse av hlsa och livskvalitet. Det r sledes klienternas nyttokriterier som str i fokus. Men utvrderingen kan ocks ses som en variant av teoribaserad utvrdering. Utvrderarna utgr frn teorier om mnniskors grundlggande behov fr att fokusera vilka frgor som ska utvrderas
och anger tre viktiga dimensioner i form av fysisk, psykologisk och social livskvalitet.
Sammanfattning
I detta kapitel har tv frgor behandlats: frgan om med vilket perspektiv utvrderingen sker och med vilken modell den kan genomfras. I kapitlet har betoningen legat p val av modell utifrn strategiska vervganden. Tre strategiska perspektiv har beskrivits i form av den utprvande strategin, den upplysande strategin och den interaktiva strategin. Med utgngspunkt frn dessa tre vgval kan fljande konsekvenser beskrivas: (1) utvrdering som testverksamhet fr att visa bsta val i en beslutssituation, (2) utvrdering som ger tillskott till den samlade kunskapsmassan, (3) utvrdering som ger mjligheter fr olika intressenter att engagera sig i bedmningen. Ocks i valet mellan olika modeller fr hur utvrderingen kan utformas mer konkret, kan olika perspektiv anlggas. Ett tiotal modeller har beskrivits som ger en uppfattning om den variation som finns inom utvrderingslran. ena sidan kan man utg frn ledningsintressen eller professionella intressen vid utvrdering. andra sidan kan man utg frn de som deltar i verksamheten. Vi kan hr tala om ett elitistiskt respektive ett massinriktat perspektiv.71 Utvrdering som grs frn elitens perspektiv gr ofta ut p att kontrollera verksamhetens kvalitet och effektivitet. En vanlig metod r att gra fortlpande beskrivningar utifrn ett antal nyckelvariabler (uppfljning) tillsammans med specifika utvrderingar av vissa aspekter. Utvrdering kan ocks gras frn en un-
61
derordnad niv mot en verordnad. Man kan exemplifiera med elevers utvrdering av undervisning, eller brukarnas utvrdering av verksamhetens innehll, metoder och resultat.72 Genomgngen visar att valet av utvrderingsmodell har vrdemssiga aspekter som det r viktigt fr beslutsfattare att begrunda innan man tar stllning fr en viss strategi och modell och kritiskt vill granska den typ av utvrderingar som av tradition anvnds i kommunen.
Se exempelvis Franke-Wikberg & Lundgren (1980) s.120 128; Owen (1999) s. 53f. 67 Shadish, m. fl (1991) s. 472476. 68 Indelningen grundas i huvudsak p Franke-Wikberg & Lundgren (1980); Vedung (1998). 69 berg (1997) s. 64. 70 Rubenstein-Reich & Wesn (1992). 71 berg (1997) s. 36. 72 Franke-Wikberg (1992).
66
62
7. Utvrderarens roll
CENTRAL frga vid utformning av utvrderingens praktik r hur man ser p frhllandet mellan utvrderaren och det som utvrderas. Ska utvrderaren vara en opartisk, objektiv iakttagare eller en engagerad bedmare i den situation eller verksamhet som ska utvrderas? Nr bestllare vnder sig till specialister p utvrdering kan ett motiv vara att de vill f en objektiv bedmning, till skillnad frn de mer partiska bedmningar som frknippas med intressenter och berrda. Utvrderaren ses som en oberoende expert specialiserad p att gra objektiva tolkningar av verkligheten och anses vara en person som inte har ngra frutfattade meningar om frtjnster, vrde eller srskilda srdrag hos det som han/hon utvrderar. Men utvrderaren kan ocks ses som en engagerad part i det som utvrderas och trots sitt engagemang representera ett kritiskt granskande perspektiv. Exempelvis i egenskap av professionell, medveten person som frmr att se kritiskt p den situation han eller hon r del i. Dessa tv ytterligheter beskriver den spnnvidd i synen p utvrderaren som ska diskuteras i detta kapitel. N
Vad utmrker utvrderarens expertis?

Krnan i utvrdering r, som jag hvdade i bokens introduktion, att kritiskt granska och dref-
ter uttrycka ett vrdeomdme. Debatten om professionell utvrderingspraktik har domineras av en diskussion om lmpliga modeller och metoder, som speglats i de fregende kapitlen. Hr vill jag fra frgan vidare frn modelldiskussion till utvrderarens roll. Fljande resonemang utgr frn en analys som Thomas Schwandt, amerikansk utvrderingsforskare och filosof gr av utvrdering som professionell, expertbaserad verksamhet.73 Den traditionella bilden av vad som utmrker ett professionellt utvrderingskunnande och vad som r utvrderarens rtta roll har kritiserats under senare r. Kritiker ifrgastter om det kunnande som professionella utvrderare representerar verkligen r vrdeneutralt, fritt frn ideologi och opverkat av utvrderarens eget perspektiv. Det ifrgastts ocks om utvrderaren sjlvklart br vara en opartisk domare. Snarare br utvrderaren vara en fresprkare fr frndring, fr rttvisa, fr strkande av olika gruppers frmga och makt, hvdar kritikerna. Deras stndpunkt aktualiserar frgan om utvrderaren ska vara mer av en medforskare eller medarbetare i en utvrderingsstudie och mindre av en utomstende expert. Svar p dessa och liknande frgor avspeglar olika uppfattningar om utvrderarens professionella etik, plikter och ansvar. Som visas ovan kan tv generella stndpunkter urskiljas, dr den ena r objektivt vrdeneutral och analytisk, och den andra r subjektivt vrdebaserad och kritisk. Den
63
vrdeneutrala hllningen kan beskrivas som den traditionella utvrderarrollen, dr en analytisk utvrderare ser sig som opartisk i frhllande till de vrden som kan tnkas vara inblandade. Med den andra hllningen r utvrderaren en del av den vrderingsbas som utvrderingen vilar p. Med det synsttet blir det viktigt fr utvrderaren att ange vilka vrderingar som driver bedmningsarbetet. Det r ocks vanligt att frorda att utvrderaren br ha ett emancipatoriskt ml och uppmrksamma de frgor om rttvisa, ojmlikhet, makt och frtryck som antas ligga till grund fr samhllets verksamheter. Utvrderarens kunskaper anvnds hr fr att utva olika typer av samhllskritik.
Utvrdering som del i professioner och medborgarskap

Utvrdering som en sysselsttning fr specialister som gr objektiva, oberoende bedmningar r sledes inte det enda sttet att se p utvrdering. Man kan ocks peka p att det inom en rad yrken som sjukskterska, lkare, lrare, administratr, arbetsledare, stlls krav p att yrkesutvaren kan bedma vad som r det bsta sttet att handla. I sdana mten med mnniskor gr det inte att gra sig helt neutral eller koppla bort sina knslor och sikter. Tvrtom krvs att yrkesutvaren engagerar sig fr att kunna bedma situationen p ett insiktsfullt stt. Detta slags informell utvrdering, som de flesta kan knna igen, illustrerar ocks de frhllanden som en formell utvrdering stlls infr. Det innebr att utvrdering som verksamhet inte kan isoleras till srskilda utvrderare som ser saker utifrn. Utvrdering r ocks en del av varje
professionell yrkesutvares roll. Det kan handla om situationer som r problemfyllda och konfliktladdade och dr yrkesutvaren mste gra egna utvrderingar av situationen. Sdana kan gras med olika ideal fr gonen. Ett stt r att g in i situationen helt och handla efter vana, rutin och intuition. Ett annat handlingsstt r att distansera sig, se kallt p det hela och flja en uppsttning utarbetade principer fr hur situationer av detta slag br hanteras, med kontroll av regler och rutiner. Ett tredje handlingsstt r att tillmpa bda dessa principer p ett avvgt stt. Dels att anvnda sig av sitt kunnande och engagemang, dels att se till ml, principer och teorier fr den aktuella situationen. Det fattade beslutet blir drmed inte ngot fristende frn yrkesutvarens sjlvfrstelse och uppfattning om sina frpliktelser, ml och ansvar. Bedmningen r helt enkelt en del i den professionella identiteten. Utvrdering kan ocks vara en del av rollen som medborgare. Inte heller d r engagemang i situationen ett problem, snarare en frutsttning fr att kunna gra en insiktsfull bedmning. Det sagda behver inte ndvndigtvis st i motsttning till att det ocks behvs utomstende utvrderingsexperter. Sdana behvs fr att ge ett alternativt perspektiv och vara ett bollplank fr den beslutsfattare, yrkesutvare eller intressent som str mitt i skeendet och gr sina bedmningar. Den externa utvrderaren kan vara en handledare, utbildare, samtalspartner snarare n en domare som avkunnar hur det egentligen r. Dessa olika roller; utvrderaren som fristende expert, som reflekterande yrkesutvare, eller som medveten och kritisk medborgare, leder vidare till frgan om intern respektive extern utvrderare.
64
Extern eller intern utvrderare

Vid intern utvrdering, som exempelvis vid sjlvutvrdering, r det ngon inifrn verksamheten som bde tar fram och anvnder resultatet. Vid extern utvrdering dremot kommer utvrderaren utifrn medan anvndaren av resultatet r intern. I tabell nio beskrivs fr- och nackdelar med dessa tv varianter.74 Till den interna utvrderingens frdel brukar framhllas att den har god knnedom om vad saken gller, vet var skon klmmer. Det gr att den kunskap som produceras kan frvntas vara vl anpassad till organisationens krav och behov, vilket kan ka chansen att resultatet blir anvnt. Samtidigt kan det vara knsligt att ge sig p organisationens mma tr. Till den externa utvrderingens frdel rknas att den str fri frn interna strider och tabun och lttare kan kritisera heliga kor i organisationen. Vilken av dessa varianter som ska vljas beror p syftet med utvrderingen. Om syftet r konIntern utvrderare Positivt 1. Utvrderaren r vl insatt i frsket och vet vilka avsikterna r. 2. Utvrderaren vet hur verksamheten fungerar, kan dess sprk och speciella frhllanden. 3. Utvrderaren kan intrngande belysa vad som sker. Extern utvrderare Positivt 1. Allsidigt belysande - har inga bindningar till verksamheten. 2. Kan ha distans till det som sker och verblicka fler verksamheter n den som utvrderas. 3. Specialistkunskap i forsknings- och underskningsmetodik, samt i rapportskrivning och resultatspridning.
troll och frvaltningsrevision r det en frdel att utvrderaren kommer utifrn. En del forskare anser att utvrderaren mste skapa distans till den verksamhet och de personer som utvrderas. Det som behvs r frmlingar som kan se p verksamheten med klara kritiska gon.75 Om syftet andra sidan r att frmja utveckling och lrande brukar valet luta mot att vervga intern utvrdering. Den kan frmja delaktighet och att utvrderingens resultat blir de berrdas egendom. Ett argument r ocks att utvrderingen ses som ett stt att tnka som mste lras ut bland personalen. Motivet r att varje organisation br vara sjlvlrande och sjlvutvrderande och fortlpande granska sin verksamhet och om det som grs r bra .76
Uppfattningar om utvrderaren
I utvrderingslitteraturen finns exempel p en rad olika roller som en utvrderare antingen kan
Negativt 1. Svrt att skilja p roller som personal och utvrderare. 2. Risk fr att bortse frn, tona ned misslyckanden och att verbetona det som gtt bra. 3. Brist p erfarenhet av utvrderingsarbete, rapportering, etc.
Negativt 1. Bristande knnedom om verksamheten. 2. Brist p engagemang i de ider som ligger bakom frsket. 3. Svrigheter att anpassa resultaten s att de r praktiskt direkt anvndbara i verksamheten, eller med andra ord bristande lokal legitimitet i resultatet.
Tabell 9. Fr- och nackdelar med intern och extern utvrderare
65
hamna i eller sjlv ska sig till. Fljande beteckningarna r kanske att se mer som mlande n analytiska. De blandar objektiva och subjektiva stndpunkter, liksom externa och interna uppdrag. De ger dock en id om vilka positioner och relationer utvrderaren kan ha till sin uppdragsgivare och till de som utvrderas.77 Utvrderaren som den fristende experten har redan beskrivits ovan som den traditionella rollen. En risk med den r att utvrderaren placeras p en piedestal och hlls utanfr det verkliga livet. Man kan vlja att fsta avseende vid expertens utsagor eftersom det passar egna intressen. En motsatt roll r amatren. Valet att beskriva utvrderaren som amatr kan dels bero p att man anser att resultaten r triviala, snt vi redan visste, eller ngot annat n man frvntat sig eller kanske krvt, dels kan det vara ett stt att frska neutralisera obekvma resultat. Utvrderaren kan ocks uppfattas som infiltratr och frrdare. Personalen kanske vill hjlpa utvrderaren att f inblick i verksamheten och i frhllanden som kan vara problematiska. Nr utvrderaren sedan fullfljer sitt uppdrag och p ett kritiskt stt beskriver frhllanden som r negativa, kan det uppfattas som illojalt och ett svekfullt tack fr hjlpen. Nr utvrderaren andra sidan vill undvika att bli alltfr delaktig i verksamheten kan resultatet bli att hon/han betraktas som ledningens spion eller lakej. Det kan ocks intrffa att ledningen uppfattar utvrderaren som partisk fr personalens intressen, som en frsvarsadvokat som tycks frsvara innehllet i verksamheten mot kritik. Utvrderaren kan ocks hamna i rollen som provokatr, vilket kan intrffa nr resultaten pekar p obehagliga sanningar som an-
svariga inte vill knnas vid. Ett stt att neutralisera sdana resultat r att tillskriva utvrderaren dolda motiv, dr ett r att enbart vara ute fr att provocera och stlla till brk. Utvrderare fr ofta en viss verblick ver organisationen och de enskilda mnniskornas problem och svrigheter. Det r en position som gr att utvrderaren frvntas kunna sga var olika svaga punkter finns och sga hur det borde vara. Utvrderaren blir tipsare och rdgivare. Att utvrderaren skulle sitta inne med denna totalbild r en verdriven frestllning. Det r nog ett klokt rd att utvrderaren inte br ge sken av att ha denna totalkunskap, ven om det kan ge en viss status. D ett projekt startar finns ofta ett stort behov av utbildning och fortbildning. Frvntningar p att utvrderaren skall delta eller ansvara fr sdan kan finnas hos svl beslutsfattare som verksamhet. Utvrderaren hamnar i rollen som utbildaren. En sdan roll r srskilt aktuell nr det r frga om formativ utvrdering dr utvrderaren fljer arbetet frn brjan. Om detta ska uppfattas som en negativ roll eller inte r en frga om personlig uppfattning. Fr den som frordar distans blir utbildarens roll negativ, medan den som frordar delaktighet ser en positiv, aktivt pverkande roll. En annan variant p temat att bli delaktig av den verksamhet som utvrderas r att utvrderaren blir betraktad som projektledaren. Det kan bero p att den egentliga projektledningen r svag och att utvrderaren blir den som styr genom sina frgor. Rollen kan ocks vara officiell genom att projektledaren samtidigt grs ansvarig fr att leda och utvrdera projektet vilket kan fresta till att
66
anvnda utvrderingen fr att legitimera att det blev som det blev.
Traditionell utvrderare
En oberoende, utifrnkommande utvrderare som representerar en objektiv vrderingsgrund r knnetecken fr den traditionella utvrderarrollen. Utvrderaren r den fristende experten med en bild av verksamheten som r verordnad intressenternas eftersom beskrivningen grundas p vetenskaplig metod. Den traditionella utvrderaren har sin frebild i en forskarroll som objektiv bedmare. Det r ocks hr som rollen utstts fr kritik frn den del av forskarsamhllet som menar att forskaren inte br syssla med att gra vrderingsarbete utan hlla sig objektiv och till neutralt beskrivande verksamhet, vilket de ifrgastter om utvrdering kan vara.
Analys av utvrderarroller
Jag ska avsluta detta avsnitt om olika utvrderarroller genom att analysera dem utifrn de tudelningar som diskuterats tidigare i kapitlet. Dels genom att skilja mellan objektivistisk vrdeneutral respektive subjektivistisk vrdebaserad utvrdering, dels genom att skilja mellan extern respektive intern utvrderare. I fljande figur har fyra olika huvudroller fr utvrderare identifierats i form av traditionell, intern, demokratisk och deltagande utvrderare. Under dessa placerar jag ven de mer mlande beteckningarna fr vilka roller utvrderare tar eller kategoriseras i.
Intern utvrderare
EXTERN 1. Traditionell utvrderare. Utvrderaren som expert p utvrderingsmetod. Fristende expert Tipsare och rdgivare 3. Demokratisk utvrderare. Utvrderaren som expert p utvrdering och den verksamhet som granskas. Infiltratr och frrdare Frsvarsadvokat VRDENEUTRAL 2. Intern utvrderare. Utvrderaren anstlld inom organisationen och har sin legitimitet som expert p utredning, ofta i kombination med utvrderingskunskap. Spion och lakej Provokatr Utbildare Projektledare INTERN VRDEBASERAD 4. Deltagande utvrderare. Utvrderaren som delaktig, t ex en professionell i verksamheten eller en aktiv intressent. Amatr
Figur 5. Olika vrderingsperspektiv och utvrderarroller
Den interna utvrderaren har etablerats inom organisationen genom att man bygger upp egna utvrderingsfunktioner, vilket har blivit allt vanligare under senare r. Den interna utvrderaren r ofta en fortsttning p en traditionell utredarroll och bygger ofta sin utvrderingskompetens p att representera teknisk kunskap, helst i termer av forskningsmetodik. Det gr att den interna utvrderaren (liksom den externa) frvntas kunna ge rd om metoder och i vissa fall ven i verksamhetsfrgor. I det sammanhanget kan andra sidan ocks den interna rdgivaren kritiseras av praktikerna fr att inte kunna verksamhetens verkliga natur tillrckligt vl. Villkoren fr utvrderare som arbetar inom den egna organisationen har uppmrksammats inom forskningen. Man har ifrgasatt om den interna utvrderaren kan agera som kritisk bedmare utan
67
att styras av att samtidigt vara anstlld och beroende av arbetsgivaren fr sin karrir. Innebr krav p lojalitet att utvrderaren ska hlla tillbaka kritik? Sdana krav uttalas givetvis inte ppet, men kan finnas underfrsttt eller som ett upplevt hot av internt anstllda utvrderare.78
ocks rrt sig kring begrepp som den reflekterande praktikern och den upplyste medborgaren som aktivt deltar i och granskar den verksamhet som han eller hon berrs av. Detta r en form av utvrdering som ofta argumenteras fr under namn som dialoginriktad, interaktiv, utvrdering med tyngdpunkt i verksamheten.
Demokratisk utvrderare
Den demokratiska utvrderaren vill stlla sin expertkunskap till frfogande fr att ta fram varierande och kritiska, alternativa, bilder till de som intressenterna har. Den demokratiske utvrderarens beskrivningar kan betraktas som ytterligare ett stt att se p verksamheten. Ibland kan de ocks hvdas som mer sanna bilder genom att utvrderaren ser verksamheten frn ett utifrnperspektiv. Sammantaget kan man likna rollen vid en frhandlare som frsker f olika parter att se den andres perspektiv och att vara ppna fr kompromisser. Denna variant av utvrderarroll har diskuteras allt mer i utvrderingslitteraturen. Hur vanligt det r att rollen faktiskt praktiseras r det dremot svrare att uttala sig om.
Praktiska exempel
I de utvrderingar som beskrivs i kapitel tv frn stersund och Vxj finns exempel bde p externa och interna utvrderare. I stersund grs utvrderingen genom en kombination av bda dessa roller. Dels anlitas en extern utvrderare som r fristende frn frvaltningarna och genomfr utvrderingen p konsultbasis. Dels finns ven, inom omsorgsnmndens bestllarorganisation, en ansvarig tjnsteman som upprttar frgorna, samordnar och avrapporterar utvrderingen. I utvrderingen av 4 i Vxj r det huvudsakligen externa utvrderare som anlitas. Den ekonomiska utvrderingen var knuten till Centrum fr arbetsmarknadspolitisk forskning vid Hgskolan i Vxj (numer Vxj universitet), processutvrderingen till samma lrostes samhllsvetenskapliga institution, och utvrderingen av livskvalitet till frskringskassan och landstinget.
Deltagande utvrderare
Den deltagande utvrderaren kan vara en enskild eller en grupp yrkesutvare som praktiserar egenutvrdering genom att p ett systematiskt stt reflektera ver sin verksamhet och sina insatser. Denna form av utvrderande kan ocks glla fr andra aktrer eller upplysta, informerade intressenter som p ett medvetet och reflekterat stt bedmer verksamheten med ett inifrnperspektiv. Diskussionen kring den deltagande utvrderaren har
Sammanfattning
Strvan att markera utvrderarens professionella status som expert p utvrdering har kat i takt med att utvrdering som verksamhet har vuxit i betydelse. Det finns en internationell utvrderingsexpertis som representerar hg kompetens inom
68
svl det vetenskapliga som det politiskt-administrativa samhllet. Under senare r har utvrderarrollen utvecklas mot att vara mer av samordnare, organisatr, informatr och frmedlare av olika synpunkter och resultat mellan olika grupper. Rollen har frndras till att vara dialogpart, kritisk granskare, utbildare. Detta stller nya krav p utvrderaren att kunna balansera olika krav och intressen. Vi rr oss sledes med en svr balansgng fr utvrderare och andra intressenter i utvrdering. En balansgng mellan att ena sidan upprtthlla en vetenskaplighet som garanterar saklighet och kritisk granskning och andra sidan en vrderande aktivitet vars resultat inte kan frikopplas frn vrderingar som har politiska konsekvenser. Om detta handlar nsta kapitel.
73 74 75 76 77 78
Schwandt (1998). Johansson & Flising (1982). Scriven (1971). Vedung (1998) s. 108. Frfattarkollektivet AURORA (1983); Johansson (1979). Sonnichsen (1987, samt 1989); House (1986 samt 1988).
69
8. Utvrdering och politik
konstatera att utvrdering av offentlig verksamhet befinner sig i ett politiskt laddat spnningsflt vilket gr att utvrdering som verksamhet inte kan betraktas fristende frn politik. Utvrderingsforskare som diskuterar relationen mellan utvrdering och politik, exempelvis Carol Weiss, Dennis Palumbo, Peder Haug, brukar peka p fljande kopplingar.79 Utvrdering inom offentlig verksamhet blir, om den anvnds, en del av den politiska beslutsprocessen. Nr utvrderingen tar stllning till positiva och negativa aspekter av en verksamhet s blir den en del av politiken kring denna verksamhet. Att exempelvis redovisa utvrderingsresultat som visar att daghem r bra fr sm barn uppfattas inte enbart som ett resultat. Det uppfattas ocks som ett inlgg i den politiska debatten, vare sig utvrderaren avser det eller inte.
AN KAN
kar hur utvrderingen uppfattas inom forskning och politik.80

1. Utgngspunkt i anvndarnas frestllningar om utvrderingens problemram. 2. Utgngspunkt i utvrderarens tolkningsfretrde, efter hans/hennes egen politiska och teoretiskt bestmda problemram. 3. Utgngspunkt i ett mer uttalat frndringssyfte, dr utvrderaren blir en frndringsagent som frsker att utveckla svl sin egen som anvndarnas problemramar.
Utvrderingens legitimitet
Utvrderingen har en speciell roll genom att den dels frvntas vara anpassad till beslutsprocessen och uppfylla bestllarens krav p att komma till nytta, dels ska uppfylla vetenskapliga krav fr att ha legitimitet. Vad dessa dubbla krav betyder fr utvrderingens utformning och legitimitet r en angelgen frga att granska nrmare. Pedagogen Rolf Lander pekar p tre utformningar som pver-
I det frsta fallet fr utvrderingen en renodlat beskrivande karaktr som kan accepteras som en neutralt beskrivande vetenskaplig roll och som ocks kan tnkas passa den politiska vrldens intressen i vissa typer av utvrderingar. I det andra fallet har utvrderaren givits privilegiet att precisera problemet, vilket ger utvrderingen legitimitet inom forskarvrlden, samtidigt som risken finns att den mter misstro frn den politiska vrlden. Det tredje fallet mter troligtvis det strsta problemet nr det gller att vinna legitimitet inom bde vrldar. Om utvrderingen sker med ett politiskt kunskapsperspektiv dr frndring r en central mlsttning blir frgan konfliktladdad. Att medverka i ett frndringsarbete stller utvrderaren infr en mer utsatt position n i de tv frsta fallen.
70
Utvrderare levererar akademikerkritik

Nr utvrderaren, inte minst fr att motsvara forskningens krav p kritiskt granskande, som sig br stller kritiska frgor och efterlyser tgrder p eftersatta omrden riskerar han/hon att komma i konflikt med grupper som knner sig kritiserade. Utvrderaren kan hamna i rollen som provokatr eller beskyllas fr att med utvrdering som tckmantel driva politiska intressen. Ytterligare ett angreppsstt r att anklaga utvrderaren fr att vara alltfr akademisk och att ha bristande kontakt med den praktiska verkligheten. Konflikter av detta slag frekommer inte minst nr politiska intressen knner sig angripna av utvrderingen. Fljande exempel frn en utvrdering av det svenska utredningsvsendet belyser hur kollisionen mellan forskarvrldens och den politiska vrldens logiker kan gestalta sig. I en rapport frn Expertgruppen fr studier av offentlig ekonomi81 tar forskarna, dvs frfattarna, upp brister i Statens offentliga utredningar. I sin utvrdering kritiserar forskarna utredningarnas kvalitet utifrn forskningsmssiga kriterier p vad som br krvas av en god utredning och rapportering. Resultatet visar att 10 av de 20 underskta utredningarna inte uppfyller dessa krav. Bristerna gller bland annat datamaterialet, metodvalet, analysen och sttet att dra slutsatser. Kritiken gller ocks att resultatet ofta blir alltfr styrt av direktiven. Utredarna levererar frslag som stmmer med nskemlen frn regeringen ven om frslagen inte har logiskt std i det empiriska underlaget, sger utvrderarna. I en reaktion p kritiken frn politiskt hll anklagar en fre detta statssekreterare vid socialdepartementet utvrderarna fr att leverera typisk
akademikerkritik som inte r anvndbar fr det praktiska politiska beslutsfattandet. En av de kritiserade utredningarna var skriven av en politiker som hade praktisk erfarenhet frn omrdet att bidra med, framhlls i frsvaret fr utredningarnas kvalitet.82
Aktionsforskning, utvrdering och politik

Ett stt att analysera det problem som uppstr vid en frndringsinriktad utvrdering med utvrderaren som aktiv frndringsagent r att dra en parallell till aktionsforskning. I en analys av vetenskapens kontra politikens praxis pekar forskaren Jorunn Mller ut fljande skillnader.83
Vetenskaplig praxis Problematiserande och reflekterande ver lsningar Regler fr insamling av data Krav p argumentation Frihet frn handlingstvng Argumentativa dialoger Lngt tidsperspektiv Ideologiskt opartisk Politisk praxis Problemlsande Procedurer fr problemlsning Krav p handling Handlingstvng Beslut om tgrd Kort tidsperspektiv Handla utifrn ideologi
Tabell 10. Skillnader mellan vetenskaplig och politisk praxis Klla: Mller, J. 1996, sid 67.
Sammanfattningsvis kan man sga att politikens logik innebr att handla utifrn en bestmd ideologi och att vertyga andra om den egna stndpunkten. Vetenskapens logik dremot innebr att
71
systematiskt samla erfarenhetsmaterial enligt regler som forskarsamhllet enats om. Dessa resultat ska vara ppna fr kritik oberoende av om det drabbar resultatet. Att fra en argumentativ dialog kan jmfras med den form av dialogisk intersubjektivitet som beskrevs i kapitel fem. Det handlar om att fra ett samtal och utbyta synpunkter i syfte att kritiskt granska grunderna fr ett pstende, snarare n att med retorik frska vertala eller verbevisa. P s vis skiljer sig forskningens dialog frn politikens vertalningsdialog, dr det r legitimt att gra taktiska vervganden innan man redovisar allt underlag. Detta fr att inte frslag ska ddas redan innan de har hunnit frankras i opinionen. Det betyder inte att motstndaren inte anklagar frslagsstllaren fr att ha spelat under tcket. Sdant tillhr ocks den politiska logiken. Tidsaspekten r en annan vsentlig skillnad i politiskt och vetenskapligt arbete. Politik frknippas med konflikt och makt men ocks med konsensus fr att n kompromisser som mjliggr std fr beslut. Kompromisserna r ndvndiga inte minst drfr att man inom politiken ofta mste ta beslut inom en viss tid. Inom vetenskapen dremot r det legitimt att skjuta upp besked till dess att forskaren har tillrckligt skert underlag fr att kunna uttala sig. Detta anses inte som en brist utan snarare som ett krav eftersom det ingr i forskningens etik att s lngt det r mjligt ge sker kunskap. Problemet med att utforma en utvrdering som samtidigt frmr vara frndringsinriktad, kritiskt granskande, och uppfattas som legitim av forskare och politiker kan frsts i detta spnningsflt mellan vetenskaplig och politisk praxis. Dessa tv
praxisflt representerar olika infallsvinklar p frgan om utvrderarens roll och kompetens, de frmedlar en dubbel kravbild. Hr kan rollen som aktionsforskare vara en frebild att diskutera fr den som vill kombinera en kritiskt vrderande forskning med en utvrdering som ocks medverkar till frndring. Pedagogen Per-Johan dman diskuterar p vilket stt som utvrderaren r beslktad med aktionsforskaren.84 Den svrighet som bda mter r att svara p hur de kan legitimera sina resultat. Den traditionella forskaren legitimerar sina resultat p grundval av distans och opartiskhet. Genom att aktionsforskaren sker genomfra sin forskning i samverkan med de berrda blir grnsen mellan parterna svrare att gra synlig p ett praktiskt stt. Det hindrar inte att grnsen kan finnas som ett vldefinierat och medvetet frhllningsstt hos forskaren. Fr den yttre betraktaren kan det dock vara svrt att se var grnsen mellan rollerna gr nr forskaren i praktiken upptrder tillsammans med representanter fr den verksamhet som utforskas. Hr finns en klar parallell till den svrighet som en frndringsinriktad utvrderare mter, srskilt nr utvrderingen bedrivs i ett formativt, utvecklande, syfte.
Utvrderarens dubbla kompetens

Ambitionen att kombinera teoretiskt och metodiskt vetenskapligt kunnande med kunskaper om den politiska processens natur aktualiserar frgan om utvrderarens kompetens. Det som krvs verkar vara att behrska svl forskningens som politikens sprk och tnkande. Detta behov har uppmrksammats av fler utvrderingsforskare. S har
72
exempelvis J-O berg pekat p den unika kompetens som utvrderare borde besitta och som kan ge legitimitet i bde den politiska vrlden och i forskarvrlden.85 Fr den utvrderare som kunskapsmssigt uppfyller dessa krav p tvsprkighet terstr frgan om det gr att kombinera vetenskapens och politikens logiker i den praktiska utvrderingen. Att utva utvrdering som del i en politisk process gr den suspekt i de mnga forskares gon som vill se sin verksamhet som vrdeneutral. andra sidan kan kravet p att genomfra utvrdering som forskningsprocess, med ett stort mtt av oberoende fr utvrderaren, gra politiker oskra p om de erhller den utvrdering de bestllde. Det finns sledes risk att den tvsprkige utvrderaren hamnar mellan tv stolar med en utvrdering som inte fr erknnande vare sig inom den politisktadministrativa eller den vetenskapliga domnen.
en seris utvrdering kunna uppfylla krav som en form av aktionsforskning i en politisk kontext. Fr att detta ska vara mjligt krvs dock att utvrderingens kritiskt granskande roll vrnas och att den ges ett oberoende i frhllande till olika intressen och den verksamhet som utvrderas.
Utvrdering utifrn en gemensam problemram

Det finns ett antal krav som utvrdering ska uppfylla fr att vara legitim utifrn vetenskaplig praxis. Att den ska vara problematiserande och systematisk och ha frihet frn handlingstvng utvrderaren r inte beslutsfattare. Vidare att utvrderingen ska arbeta med argumentativa, intersubjektiva, dialoger, vilket kan kopplas till frgan om att medverka till frndring av svl egna som andras problemramar. Begreppet problemram markerar en skillnad i synstt i frhllande till begreppen uppdragsram och teoriram, vilka beskriver bestllarens respektive forskarens utgngspunkter (se kapitel 1). Problemram avser att ringa in det som olika parter ser som gemensamma frgor att utvrdera. Frgorna kan i sin tur beskrivas frn olika perspektiv och olika tolkningar kan brytas fr att utveckla synen p det som utvrderas. Genom att vlja problemram som organiserande begrepp fr utvrdering kan man komma frbi den lsning som riskerar att uppst i kampen mellan den forskningsinriktade utvrderarens ambition att kvalificera utvrderingen utifrn teoretiska krav och bestllarens nskan att styra utvrderingen genom en preciserad uppdragsbeskrivning.
r forskning och politik s tskilda?

Frgan r dock om inte det scenario som mlas upp ovan ger en alltfr pessimistisk bild av utvrderingens mjligheter att vinna legitimitet inom bde forskning och politik. Man kan som pedagogen Rolf Lander konstatera att historiskt har samhllsforskare bedrivit forskning med ett politiskt (frndringsinriktat) kunskapsintresse. Inte minst pedagoger har ofta deltagit med beslutsfattare i olika politiska konstellationer vid reformarbetet inom undervisning. Det har inte hindrat forskare frn att ocks bedriva forskning som har legitimitet bland kollegor. Frn det perspektivet br ven
73
Utvrderingen br ocks vara ideologiskt opartisk. Ett politiskt kunskapsintresse, dvs att medverka till frndring fr utsatta grupper, betyder inte att utvrderarna har deklarerat val av sida i en motsttning eller bestmda politiska uppfattningar. Vad det handlar om r snarare att redogra fr den roll som utvrderingen har i frhllande till de vrderingsmssiga implikationer som man vljer fr studien i frga. Ett sdant synstt ppnar vgar fr en mer nyanserad diskussion kring mjligheterna att utveckla en utvrdering som finner legitimitet svl inom vetenskap som politik. En kritisk punkt som det finns anledning att uppmrksamma r tidsaspekten. Hr tror jag att kravet p att vara anpassad till policyprocessen r en avgrande skillnad i frutsttningarna fr forskning och utvrdering. Den amerikanska utvrderingsforskaren Ellinor Chelimsky pekar p att just bristen p kunskaper om policyprocessen r en viktig frklaring till att utvrdering inte anvnds eller uppfattas som relevant av politiker.86 Om inte utvrderingen lyckas f en timing till beslutsprocessen r risken stor att resultatet inte anvnds. Hr ligger en risk att utvrderaren pressas till att presentera resultat som inte r tillrckligt vl underbyggda. Drmed frlorar utvrderingen sin vetenskapliga legitimitet. Men eftersom man kan anta att det ven ligger i bestllarens intresse att motverka att s sker finns det anledning att tro att problemet kan hanteras. Praktiskt handlar det om att uppdragsgivare mste finna sig i att utvrdering ibland mste avst frn att besvara en frga nr utvrderaren bedmer att det inte gr att ge ett vlgrundat svar.
Praktiska exempel
Att det finns exempel p utvrdering som uppfyller forskningsmssiga kriterier visas bland annat i utvrderingen av det myndighetssamverkande projektet 4 i Vxj. Samtidigt kan vi ocks se att det hr rr sig om en utvrdering dr den politiska aspekten inte r srskilt kontroversiell, efter vad man kan bedma av rapporter och reaktioner p utvrderingens resultat. Utvrderarens uppgift var inte att aktivt bedriva ngot frndringsarbete utan att beskriva vad olika intressenter ansg om verksamheten. I utvrderingen av hemtjnsten i stersund r utvrderarens koppling till politisk styrning betydligt klarare. Hr har utvrderaren en uttalad roll som omsorgsnmndens ombud som ska kontrollera att utfraren verkstller sina avtalade uppgifter gentemot brukarna. Utvrderaren svarar ocks fr att fra utvrderingens resultat vidare in i den politiskt-administrativa beslutsprocessen med frslag till beslut och tgrder fr att hantera utvrderingsresultaten i hemtjnsten. Samtidigt var utvrderaren medveten om sin koppling till den politiskt-administrativa sfren och man anlitade drfr en extern utvrderare som tillsammans med den interna utfrde uppdraget. Det r en tgrd som kan bidra till att frskra att resultatet motsvarar vetenskapliga krav.
Sammanfattning
En del av frstelsen av utvrderingens roll r att uppmrksamma det spnningsflt som finns mellan forskningens och politikens praxis. Utvrdering som verksamhet befinner sig i en brytnings-
74
punkt mellan de logiker som dessa vrldar representerar med frvntningar p att bde motsvara forskningsmssiga och politiskt-administrativa krav. Det stller utvrderaren infr problemet att kunna balansera dessa krav p ett konstruktivt stt. I kapitlet konstateras att det behvs mer kunskap kring hur denna konflikt kan hanteras i praktiken fr att utveckla en utvrdering som har legitimitet i svl vetenskap som politik. Att uppmrksamma de krav p timing som stlls utifrn policyprocessens krav r ett viktigt inslag i utvecklingen av en sdan kompetens fr utvrderare.
79 80 81 82 83 84 85 86
Weiss (1989); Haug (1991 samt 1998). Lander (1987) s. 154f. Finansdepartementet. ESO-gruppen (1998). Riksdag & Departement, nr 33/98, s. 46. Mller (1996). dman (1980). berg (1997) s. 49. Chelimsky (1987).
75
9. Anvndning av utvrdering
DETTA KAPITEL diskuteras frgan om anvndning av utvrdering som process och vad som sker med de resultat som produceras. Som jag har ppekat i kapitel tv kan man gra en skillnad mellan vad som r den deklarerade avsikten att utvrderingen ska anvndas till och utvrderingens faktiska anvndning eller funktion. I detta kapitel r det den senare av dessa aspekter som behandlas.
Vad menas med anvndning?

Inledningsvis kan man peka p ett antal krav p anvndning som brukar diskuteras i utvrderingslitteraturen. Utgngspunkten r sjlvklart att efterstrva en hg anvndningsgrad. Frgan r dock vad man lgger fr innehll i anvndning. I en forskningsversikt ger Michael Nydn sju exempel som samtidigt visar olika stt att se p anvndningsbegreppet:87
1. Instrumentell eller konceptuell 2. Nu eller senare 3. Alla frslag eller ngra 4. Individ eller organisation 5. Interaktiv anvndning 6. Legitimerande 7. Taktisk
Anvndning av utvrdering kan ses som en i huvudsak instrumentell frga, dvs ngot som visar sig i direkta handlingar. En annan infallsvinkel r att tala om konceptuell anvndning, dvs att utvrderingens resultat pverkar mnniskors stt att tnka och se p saken. Anvndning kan ocks ses ur en tidsaspekt. Kravet kan vara att tillmpningen av utvrderingens resultat ska visa sig omedelbart, eller i varje fall i nra samband med att resultatet har presenterats. Men kravet kan ocks avse mer lngsiktiga effekter. Erfarenheter frn underskningar av anvndning visar att det ofta kan drja innan resultaten fr ngon genomslagskraft och att anvndningen visar sig frst p lite lngre sikt. Det gr att tidsaspekten vid bedmning av anvndning r viktig att ta hnsyn till. Ett krav p hg anvndning r att alla utvrderingens frslag skall komma till ngon nytta. Hr finns det anledning att frga om det inte r mer realistiskt att frvnta sig att det i praktiken handlar om ett urval av utvrderingens slutsatser, snarare n samtliga. Anvndningsfrgan kan ocks ses ur ett individ- respektive ett organisationsperspektiv. Med ett individuellt perspektiv blir frgan om enskilda personer tar till sig utvrderingens resultat eller ej. Med ett organisatoriskt perspektiv r kriteriet att
76
anvndningen ocks mste komma till uttryck p en mer strukturell niv. En annan typ av tillmpning r att betona interaktiv anvndning, dr utvrderingen fr funktionen av en skprocess med olika aktrer inblandade. Genom mngden deltagare och infallsvinklar anvnds utvrderingen fr att f problemet allsidigt belyst. Offentlig verksamhet r politiskt styrd och en avgrande frga fr politikerna r att erhlla std eller i vart fall acceptans fr sina sikter och beslut. Utvrdering kan hr ha en legitimerande funktion som std fr redan befintliga stndpunkter och fr att strka den egna saken. Eller med andra ord anvndas som ett vl underbyggt argument eller inlgg i en pgende debatt. Utvrdering kan ocks ha en taktisk funktion, att vinna tid och undg ansvar. Hr r det inte utvrderingens resultat som r intressant utan utvrderingen som process. Genom att hnvisa till att en utvrdering pgr kan man antingen slippa svara p vad som ska gras just nu eller skjuta upp ett definitivt beslut i en konfliktladdad frga.
1. Brister i utvrderingen (hur den sker och vad den producerar) 2. Brister i kommunikationen mellan utvrdering och utvrderare 3. Brister hos anvndaren (som individ och system)
Utvrderingen
Brister i utvrdering kan glla design och metodval. Det kan ocks handla om att utvrderingen inte frmr att producera kunskaper som uppfattas som tillfrlitliga eller relevanta fr anvndaren. Brister i utvrderingens genomfrande brukar ofta kopplas samman med utvrderarens kompetens. Fr att garantera att utvrderingen genomfrs p ett professionellt stt, och drmed kan frvntas att bli anvnd, r det vanligt att betona att utvrderaren mste uppfylla professionella krav.90 Nr orsaken till bristande anvndning fokuseras p utvrderingens resultat r det vanligt att hvda att dessa inte hller tillrcklig vetenskaplig kvalitet. Hr r ofta utgngspunkten att det rder likheter mellan den offentliga verksamhetens och forskningens logik. Garantin fr anvndning blir drfr att framhlla vetenskapliga kvalitetskrav, exempelvis tillfrlitliga resultat, frklaringsdjup, systematik och teoretisk integration, etc. P senare r har utvrderingar ocks kritiserats fr att inte ha tillrcklig yttre relevans, dvs inte uppfattas som viktiga och aktuella fr den situation och de problem som verksamheten vill hantera. Hr blir lsningen i frsta hand inte att efterfrga mer vetenskaplighet utan snarare att efterfrga mer praktisk relevans. (Jmfr kapitel 8 och diskussionen om vetenskaplig och politisk praxis.)
Bristande anvndning
En kanske nnu mer livligt diskuterad frga n den om hur utvrdering anvnds r frgan om bristande anvndning. Det har vuxit fram en forskningsgren inom utvrdering som studerar anvndningsproblemet. En knd amerikansk anvndningsforskare r Carol Weiss och bland nordiska forskare kan nmnas Erik Albaeck, Michael Nydn, Rune Premfors och J-O berg.88 Man kan sammanfatta anledningar till att utvrdering inte anvnds i tre grupper.89
77
Kommunikationen
Brister i kommunikationen mellan utvrdering och anvndare kan glla svl hur rapporteringen utformas som hur resultaten frmedlas. Utformningen kan ses som ett redaktionellt problem. Det r inte ovanligt att utvrderingsrapporter kritiseras fr att vara alltfr omfattande och skrivna p ett krngligt sprk. Frmedlingen r ett pedagogiskt problem, dr en brist som brukar ptalas r att utvrderingen kommer fr sent i frhllande till den politiska beslutsprocessen. Politikerna kan ha knt sig tvingade att ta ett beslut utan att invnta resultaten. Det rd som ges r att utvrderaren mste hlla sig informerad om nr i policyprocessen som resultat mste redovisas fr att bli beaktade.91 Resultat r ocks i mnga fall att betrakta som frskvara i en snabbt frnderlig verksamhet. Vitsen med att publicera resultat kan g frlorad om anvndarna inte lngre uppfattar dem som aktuella.
Anvndarna
Det som brukar ppekas som problem hos anvndaren r bristande kunskaper, bristande motivation och bristande frmga att handla utifrn utvrdering.92 Att det saknas kunskaper hos den enskilde anvndaren kan bero p att politikern, medarbetaren, brukaren etc, inte har satt sig in i vad utvrderingen syftar till och vad den har fr betydelse fr den egna praktiken. P det organisatoriska planet kan problemet vara att det saknas kunnande hos ledning och stabsfunktioner att analysera och formulera utvrderingens betydelse fr verksamheten och fr strategiska beslut som ska tas. Ett annat skl kan vara att bestllaren, om
den r anvndaren, har gjort en felaktig eller ogenomtnkt bestllning. Bristande motivation att ta till sig utvrderingen kan ocks bero p att man inte vrderar utvrdering som verksamhet. De tnkta anvndarna kanske fredrar andra informationskllor. Politikern, medarbetaren, brukaren, kan tnkas gra egna observationer, tala med arbetskamrater, bekanta, och andra berrda som ger sina uppfattningar om verksamheten och sedan utvrdera p grundval av dessa informationer. Det senare r ett frhllande som statsvetaren och politikern Daniel Tarschys93 pekar p i en analys av varfr politiker inte tar till sig utvrderingsresultat. Fr politiker r det viktigt att hlla sig underrttade om vad medborgarna anser. Det gr han eller hon genom sina partiorganisationer och genom att bygga upp ett personligt kontaktnt. Politikerna har med andra ord egna informationskanaler som de frlitar sig p som ett alternativ till den formella utvrderingen. Andra frhllanden som Tarschys pekar p r att politik inte r s effektorienterat som utvrdering ofta frutstter. Politik handlar om att visa vilja och ur det perspektivet blir det inte lika prioriterat att frdjupa sig i rapporter om hur det har varit. I stllet fredrar man att tala om vad som ska tgrdas fr att det ska bli bttre. Att utvrderingen uppfattas som en partsinlaga r nnu en tnkbar orsak till bristande anvndning. Utvrderingen kan ocks uppfattas som en kravmaskin som ofta freslr att nya resurser ska skjutas till, men sllan att ngot ska sparas. Slutligen kan orsaker till bristande anvndning ven skas i faktorer som har att gra med anvn-
78
Orsaker till bristande anvndning av utvrdering 3. Synstt hos utvrderingens publik och avsedda anvndare
1. Utvrderingens utformning, genomfrande och resultat
2. verfring av information
Strategier fr att ka anvndning
Frndra utvrderingens form, innehll och utfrande
Utveckla kommunikationen med anvndare
Pverka anvndarnas kunskaper, attityder och frmga till handling
Figur 6. Bristande anvndning och strategier fr kad anvndning. Klla: berg, J-O (1997).
darens faktiska mjligheter att ta till sig och omstta resultatet. Om det saknas tid eller ekonomiska och personella resurser att handla p grundval av utvrderingens resultat kan dessa rimligtvis inte omsttas i verksamheten p ngot konkret stt. Dock kan anvndarna vara medvetna om resultaten och kanske till och med nska att de kunde anvnda dem. Fr den som bedmer anvndning r det drfr viktigt att uppmrksamma om ickeanvndningen ligger p ett instrumentellt plan, medan det dremot finns en anvndning och medvetenhet om resultaten p ett kognitivt plan.

Ovan har vi sett hur utvrderingsforskningen analyserar och diskuterar orsaker till utebliven anvndning av utvrdering. I fljande avsnitt granskas ngra olika stt som brukar fresls fr att ka anvndningen. Frst tar jag upp ett par ider om hur sjlva utvrderingen kan frbttras. Drefter ser jag nrmare p frslag om att utveckla frmedlingen av utvrderingsresultat och slutligen p frslag om att frbttra anvndarnas kompetens att ta till sig och omstta resultaten. Orsaker och strategier sammanfattas i ovanstende figur.
Felaktig anvndning
Inom utvrderingsforskningen frs ocks en diskussion kring felaktig eller illegitim anvndning av utvrdering, dvs att anvnda utvrdering endast som dimrid eller skenmanver fr andra syften. Forskare p omrdet menar dock att utvrdering som taktiskt spel r en renodlad politisk anvndning och knappast en uppgift fr utvrderingsforskaren.94
Frndra utvrderingen
En strategi fr att frbttra anvndning r att gra utvrderingen mer vetenskaplig i bemrkelsen mer tekniskt rationell. Ett annat alternativ r att flja en kommunikativ och frndringsinriktad linje.95 Den tekniskt rationella utgngspunkten r att social frndring effektivast kan genomfras i fljande tv steg: 1) tgrder fr att hantera ett problem prvas i ett smskaligt frsk tskilt frn den
79
ordinarie verksamheten och grna i form av ett experiment med frsks- och kontrollgrupp. Resultat frn frsket utvrderas i syfte att ta fram den bsta lsningen. 2) Utvrderingsresultatet med den utprvade bsta lsningen terfrs till det politiska systemet fr beslut. Anvndningen av utvrderingen kan drefter avlsas i form av frndrade beteenden eller i beslut och konkreta tgrder i verksamheten. Bristande anvndning betraktas med andra ord som ett trovrdighetsproblem som kan lsas genom att gra resultaten mer vetenskapliga. Det kommunikativa och frndringsinriktade synsttet betonar utvrderingsresultatens betydelse fr att pverka och frndra deltagarnas frestllningar. Utgngspunkten hr r att aktrerna r involverade i verksamhetens praktik och har utvecklat en attityd till det de erfar. Frndringsbehov mste drfr vara frankrade i deras egna upplevelser och erfarenheter. Om det uppstr en dissonans mellan handling och attityd, dr individen eller gruppen inte r njd med det som utfrs, s blir man medveten om brister och sker ny kunskap fr att frndra situationen. Anvndning av utvrderingen och dess resultat r d beroende av om utvrderingen verkligen upplevs som relevant, lyckas stimulera till kritisk granskning och reflektion hos berrda och till att utveckla medvetenhet och kritiska tankar kring verksamheten. Dessa tv synstt p frndring ger ocks olika strategier fr att frbttra anvndning, enligt den ena genom att stlla vetenskapliga krav p resultatet, enligt den andra genom att skapa interaktion mellan utvrdering och anvndare. Hr ligger anvndningsfrgan mer p utvrderingen som process, dr anvndandet blir en frga om kon-
ceptuell eller kunskapsinriktad anvndning snarare n en instrumentell tillmpning av ett visst frslag, metod eller teknik.
Utveckla kommunikationen
En annan orsak till bristande anvndning r kommunikationen mellan utvrderare och anvndare. Som nmnts tidigare kan frgan ses som ett redaktionellt problem och strategin blir hr att frska frbttra och frenkla sprket, gra rapporteringen klarare, mer vldisponerad, intressevckande och mer anvndaranpassad. En kompletterande strategi som statsvetaren Evert Vedung fresprkar r att p ett organiserat stt engagera mellanhnder som kan koppla samman utvrdering och anvndare.96 Det kan glla att mobilisera opinionsbildare som representerar utvrderingen och som kan presentera resultatet bde under pgende utvrderingsarbete och efter. Vedung nmner ocks idn att inrtta referensgrupper med ombud fr olika tnkbara mlgrupper, liksom att utse srskilda mottagare av information med ansvar att fra ut resultat p arbetsplatser eller i andra aktuella sammanhang. Ytterligare en tgrd kan vara att engagera en informationsspecialist som besitter professionella kunskaper fr att sprida resultat och kunskaper om utvrderingen.
Utbilda anvndarna
Slutligen kan orsaker till bristande anvndning ligga hos anvndarna. Till att brja med kan man konstatera att bilden av anvndare har blivit mer komplicerad i den offentliga sektorn. Frr var mottagaren av utvrdering liktydig med bestlla-
80
ren tydligt identifierbar. Idag r anvndaren en rad olika intressenter. Det gr att orsaken till bristande anvndning blir olika beroende p sammanhang. (En analys av anvndarsammanhang kan gras med utgngspunkt frn den figur fr roller i det demokratiska systemet som redovisades i kapitel 1.) I en organisation kan strategier fr att ka kunskap vara att hja den allmnna kompetensnivn nr det gller utvrdering och hur man kan omstta resultat. Exempelvis genom utbildning av personal och genom att uppmuntra till diskussion och kritisk reflektion i det praktiska arbetet. Strategiska tgrder kan ocks vara att prioritera analytisk frmga i organisationen och att hja stabens professionella kompetens i utvrdering, samt att utveckla kontakter med externa utvrderingsmiljer fr kontinuerligt utbyte av erfarenheter och kunskap. Fr att pverka motivation och intresset fr att anvnda utvrdering kan ledningen visa att de nskar och vrdestter utvrderingsarbete och att det r en merit att utfra en fortlpande granskning av den egna verksamheten. En viktig tgrd fr att pverka attityderna r dessutom att tillstta resurser som gr det mjligt att tillmpa utvrderingsresultat som anses viktiga.
Praktiska exempel
En beskrivning av hur utvrderingen presenterades fr uppdragsgivaren ger en bild av hur anvndningen ser ut i exemplet frn stersund. Som framgick av beskrivningen i kapitel tv presenterade utvrderingen bedmningar av kvaliteten inom hemtjnsten och verlmnade resultatet till verksamhetsfrvaltningen fr reflektioner, analy-
ser och tgrder. I uppdraget till utvrderaren ingick ocks att gra en muntlig redovisning fr andra berrda parter p de olika arbetsenheterna och till brukare och anhriga. Konkret innebar det att utvrderaren beskte varje enhet och redovisade resultatet till ledning och personal. Utvrderaren terkom ocks ytterligare en gng fr att svara p frgor sedan mottagarna hade diskuterat resultaten. Exemplet visar hur en dialog kan upprttas mellan utvrderare och anvndare i verksamheten fr att sprida resultatet. Nr det gller redovisningen till brukare s beskriver utvrderaren att denna information nnu inte har genomfrts fullt ut, men att information har givits till olika brukargrupper och till pensionrsrd med flera. Omsorgsnmnden har ocks beslutat att starta en kvalitetsgrupp dr alla utfrare av hemtjnst i kommunen kommer att delta. Tanken r att gruppen ska bli ett forum fr att diskutera mellan bestllarsidan och utfrarna om vilka kvalitetskrav som kan stllas och hur dessa kan utvrderas. Genom dessa externa kontakter kan dialogen mellan utvrdering och intressenter utvecklas till fler parter n personalen och ledningen. ven i redovisningen av utvrderingen i Vxj finns exempel p en rad aktiviteter fr att sprida resultatet till anvndarna. Utvrderingen av 4 har redovisats vid en srskild utvrderingsdag dr cirka 120 personer deltog. Deltagarna var frutom anstllda och frtroendevalda i 4:s organisationer ven lnets vriga frskringskassor, arbetsfrmedlingar och kommuner, samt AMI och landstinget. En handfull personer frn andra FoUenheter i landet var ocks nrvarande. Utvrderingarna om ekonomi respektive livskvalitet har getts ut i arrangren FoU-Kronobergs
81
rapportserie och spridits via denna. Ekonomihgskolan vid Vxj universitet har aviserat att anvnda utvrderingsrapporten om ekonomiska aspekter p 4 som undervisningsmaterial. Rapporten har ven vckt uppmrksamhet som metod fr att utvrdera ekonomiska aspekter. Nr det gller utvrderingen av arbetsprocesser, handlggarnas arbete, s har man gjort en terkoppling under arbetets gng. Processutvrderingen anvndes direkt i arbetsgruppens arbete, dels genom den deltagande observationen och dels genom att gruppen lste utvrderingen och diskuterade frbttringar. Processutvrderingen har ocks presenterats fr 4:s styrgrupp vid speciella genomgngar, och styrgrupp och arbetslag har mtts fr gemensam diskussion. Slutligen har olika beslut fattats under resans gng, t ex bildades en referensgrupp fr att f med mellanchefer i arbetet, och livskvalitetmtningen kompletterades med uppgifter om sysselsttning. I bda dessa utvrderingar ges allts prov p interaktiv anvndning. Med Michael Nydns anvndningsbegrepp kan man vidare se att instrumentell anvndning dominerar, men ven konceptuell anvndning med frslag och reflektioner kring tnkbara frbttringar finns med i bilden. Nr det gller tidpunkten s ligger tyngden p anvndning i nuet, ven om det ocks hr finns anledning frmoda att resultaten kommer att diskuteras ven fortsttningsvis. Den uppfljning som diskuteras kring utvrderingen i stersund och den anvndning av utvrderingsrapporterna som FoU-Kronoberg redovisar i kommande utbildning r exempel p detta. Huruvida alla eller delar av resultaten kommer till anvndning r svrt att svara p utan nrmare underskningar. Av utvrderarnas redo-
visningar att dma frefaller dock anvndningen glla stora delar av resultaten. Man kan ocks se att anvndningen i frsta hand ligger p organisationsniv. En fortsatt mer kognitiv anvndning kommer antagligen att ha mer individuella frtecken. Slutligen kan man kommentera de anvndningsstt som Michael Nydn identifierar i form av taktisk och legitimerande anvndning och konstatera att utvrderingarna medverkar till att legitimera pgende verksamheter. Utvrderingen i Vxj visar att samverkansprojektet r framgngsrikt och ger std fr fortsatt verksamhet. Utvrderingen i stersund visar att hemtjnstens verksamhet uppfyller de grundkrav som bestllaren har, samtidigt som den visar p viktiga omrden som behver frbttras. Svitt jag kan bedma har ingen av utvrderingarna genomfrts av rent taktiska skl utan frefaller vara serist menade granskningar fr att f vrderingskunskap om de aktuella utvrderingsobjekten.
Sammanfattning
I diskussioner om bristande anvndning r det ofta utvrderingens resultatsida som str i fokus. Man talar om problemet med att utvrderingens olika slutsatser och frslag inte uppmrksammas och sprids vidare. Vad det kan finnas fr orsaker till detta har engagerat mnga utvrderingsforskare. Bland frklaringsfaktorerna finns omvrlds- eller bakgrundsfrhllanden av olika slag som pverkar hur utvrderingen kan lggas upp och genomfras. Orsaker till bristande anvndning kan hr skas i oklarheter i organisationens stt att frhlla sig till utvrdering, hur man ser p varfr
82
utvrdering sker, om det finns en vertygelse om nyttan med utvrdering, etc. Frutom sdana externa faktorer kan det ocks finnas brister i sjlva utvrderingen. Problemen hr gller hur utvrderingen r organiserad, vems frgor eller kunskapsbehov som tillgodoses och hur utvrderingens resultat ser ut och presenteras. En kritisk frga r hur resultaten frhller sig till tidigare dominerande frestllningar om hur verksamheten fungerar. Slutligen kan ocks egenskaper hos de tilltnkta mottagarna frklara bristande anvndning, exempelvis att det saknas kunskap, motivation och resurser att anvnda utvrdering.
87
Nydn (1992) s. 91. Albaeck (1988); Nydn (1992); Premfors (1986); Weiss (1989, 1991); berg (1997). 89 Albaek (1988) s. 74. 90 House (1996). 91 Chelimsky (1987). 92 Lundqvist (1987) s. 87ff. 93 Tarschys (1986). 94 Vedung (1998) s. 232. 95 Vedung (1998). 96 Vedung (1998) s. 227.
88
83
10. Sammanfattning av centrala frgor och strategier

BOKENS NIO kapitel har ett antal huvudfrgor presenterats att tnka p vid utformning av utvrdering. Syftet med detta kapitel r att sammanfatta ngra viktiga punkter att beakta infr den uppgiften. Frhoppningen r att den lsare som str infr att bestlla eller utfra en utvrdering kan granska sitt tnkande med hjlp av dessa frgor.
Beroende p vilka huvudfrgor man vill belysa eller besvara och vad man vill stadkomma med utvrderingen, kan olika syften prioriteras:
att kontrollera att beslutade ml har uppfyllts att stimulera till utveckling av den verksamhet som granskas att anvnda utvrdering fr att utveckla mer teoretiskt och vetenskapligt beprvad kunskap.
1. Varfr ska utvrdering gras? 2. Vilka kunskaper sks? 3. Vilka bedmningskriterier ska anvndas? 4. Hur ska utvrderingen genomfras? 5. Vilken roll ska utvrderaren ha? 6. Hur ska utvrderingen anvndas?
Vad ska utvrderas?

Ett stt att tnka infr valet av vilka frgor och problem en utvrdering ska fokusera p r att utg frn olika begreppsliga ramar. Som uppdragsgivare r det vanligt att tnka i termer av en uppdragsram, medan forskaren fredrar att formulera utvrderingsfrgorna utifrn en teoriram som han/ hon sjlv utformar. En tredje mjlighet att tnka om vad som ska utvrderas r att anvnda begreppet problemram. Med problemram som organiserande begrepp lmnas frgan ppen fr svl bestllare och utvrderare som andra berrda intressenter att pverka vad som kommer att granskas. Argumentet fr ett sdant synstt r att utvrderingar inom offentlig verksamhet ofta granskar komplexa frhllanden och frgor. Dessa kan sllan avgrnsas
Varfr ska utvrderingen gras?

Syftet bakom en utvrdering kan variera beroende p vem som formulerar det. Utvrderingen kan formuleras p en verordnad organisationsniv, exempelvis av politiker eller ledning. Den kan ocks formuleras av de berrda sjlva inom en verksamhet, exempelvis personal och brukare. Syftet kan ven formuleras av forskarsamhllet eller en bredare publik i samhllet. (Se vidare kapitel 3.)
84
p ett entydigt stt innan utvrderingen kommer igng. Drfr br det finnas utrymme fr modifieringar allt eftersom man lr sig mer om den aktuella verksamheten. Drmed motverkas att utvrderingen blir alltfr snvt styrd frn brjan med risk att viktiga bieffekter som inte kunde frutses inte uppmrksammas.
Bedmningsarbetet
Utvrderingens ml r att producera vrderingskunskap, dvs att sga ngot om utvrderingsobjektets meriter och vrde. Hur bedmningsarbetet kan genomfras kan analyseras med hjlp av fyra frgor som finns utvecklade i kapitel fem.
1. Vilka vrdekriterier ska bedmas mot? 2. Med vilka mtt ska kriterierna preciseras? 3. Enligt vilka principer ska jmfrelsen ske? 4. Skall resultat vgas samman och i s fall hur?
Vilka kunskaper sks?

Till grund fr att gra en bedmning krvs att utvrderaren skaffar sig kunskap som gr utvrderingsobjektet rttvisa. I alla underskningar sker ett val av vad som ska uppmrksammas och vad som kommer att hamna vid sidan om. Skilda synstt p frndring speglas i olika kunskapssyn. En utvrdering kan sledes gras med olika kunskapsfilter. Tre sdana filter kan beskrivas i form av olika perspektiv p kunskap:
ett tekniskt perspektiv ett kulturellt perspektiv ett politiskt perspektiv.
Traditionellt har utvrdering ofta skett utifrn ett tekniskt perspektiv p frndring. Det innebr ofta att uppmrksamhet riktas mot kvantitativt mtbara frhllanden, som t ex ekonomi. P senare r har allt fler intressegrupper kommit in som deltagare vid utvrdering, vilket har gjort att ven andra kunskapsperspektiv har ftt en viktig roll, inte minst ett politiskt frndringsperspektiv som uppmrksammar sociala, politiska och kulturella effekter fr olika grupper. (Se vidare kapitel 4.)
Den frsta frgan, valet av vrdekriterier, kan baseras p ml, teorier, intressen eller kulturella vrden, beroende p vilka vrderingar som prioriteras. Nr det gller den andra frgan, hur kriterierna kan preciseras i mtbara mtt, finns tre stndpunkter: En objektivistisk som anser att det finns generella mtt, en subjektivistisk som anser att bedmning r beroende av tolkaren, och en dialogiskt intersubjektiv stndpunkt som anser att referenspunkter fr bedmning br utformas i diskussion mellan olika bedmare. Den tredje frgan, valet av jmfrelseprinciper, kan glla antingen att jmfra objektet mot en yttre referenspunkt, att jmfra mellan objekt eller verksamheter, eller att jmfra en verksamhet med sig sjlv ver tid. Den fjrde frgan slutligen handlar om att vga samman resultat och att jmfra olika verksamheter. Resultat har ofta kommit till under skilda omstndigheter som gr att de inte kan jmfras p ngot enkelt stt. Det gr att man mste vara frsiktig nr det gller att efterlysa jmfrelser och
85
rangordningar som inte kan beakta detta. Samtidigt har bestllare och andra intressenter ofta ett stort intresse av att f jmfrelser, och utvrderaren kan sllan undvika frgan. Hr rder en stndig kamp mellan kravet p enkla och verblickbara resultat kontra insiktfulla och nyanserade beskrivningar. En tnkbar strategi fr att hantera sammanvgningen av komplexa resultat, presenterad i kapitel fem, r att frska skapa ett ppet och maktfritt samtal mellan olika intressenter fr att enas kring en bedmning.
lmnar till utvrderaren. Det hindrar inte att ven beslutsfattaren br gra sig en uppfattning om vilken strategi och typ av utvrdering som man vill prioritera. ven hr finns ngra valmjligheter nr det gller utvrderingsstrategier i form av:
den utprvande strategin den upplysande strategin den interaktiva strategin.
Utvrderingens genomfrande
Ansvaret fr det praktiska utfrandet av utvrderingen brukar vara en frga som bestllaren ver-
Vilken strategi som ska vljas kan analyseras med hjlp av frgorna i fljande tabell. Frgorna har formulerats med utgngspunkt frn de olika beslutsniver dr utvrderingen bestlls eller utformas. (Utvrderingsmodellerna i tabellen presenteras i kapitel 6.)
Strategi/ Beslutsniv
1. Utprvande och mtande
2. Upplysande och frklaringsinriktad Hur verkar insatsen generellt? Vilka r problemen? Teorimodell fr utvrdering (deduktiv ansats) Hur kan organisationen gras effektivare? Aktionsforskningsmodell
3. Interaktivt och frndringsinriktad Vilka behov finns? Hur kan man pverka/frndra frvntningar och behov? Intressentmodellen (omfattar ofta flera niver) Vad betyder insatsen fr brukare? Hur samarbeta fr att utvrdera? Brukarmodell Hur bedmer anvndarna insatsen? Kan de pverka? Mlfri utvrdering Brukarmodell
Centrala beslutsfat- Vilket system fungerar effektivast? Vad ger tare i kommunen insatsen fr resultat? Exempel p modell: Systemanalys Ml-resultatmodell Hur omstta ml till beslut och riktlinjer? Beslutsmodell
Mellanniv, t ex distriktsledning, skolledare, etc. Exempel p modell: Praktisk verksamhetsniv Exempel p modell:
Vad ger insatsen fr Hur fungerar insatsen konkret mluppfyllelse? lokalt och hur kan den utvecklas? Expertmodell Sjlvutvrdering Yrkesmssig reflektion Teorimodell (induktiv ansats) Aktionsforskningsmodell
Tabell 7. Strategier och utvrderingsmodeller p olika beslutsniver
86
Intern utvrderare Positivt 1. Utvrderaren r vl insatt i frsket och vet vilka avsikterna r. 2. Utvrderaren vet hur verksamheten fungerar, kan dess sprk och speciella frhllanden. 3. Utvrderaren kan intrngande belysa vad som sker. Extern utvrderare Positivt 1. Allsidigt belysande - har inga bindningar till verksamheten. 2. Kan ha distans till det som sker och verblicka fler verksamheter n den som utvrderas. 3. Specialistkunskap i forsknings- och underskningsmetodik, samt i rapportskrivning och resultatspridning. Negativt 1. Bristande knnedom om verksamheten. 2. Brist p engagemang i de ider som ligger bakom frsket. 3. Svrigheter att anpassa resultaten s att de r praktiskt direkt anvndbara i verksamheten, eller med andra ord bristande lokal legitimitet i resultatet. Negativt 1. Svrt att skilja p roller som personal och utvrderare. 2. Risk fr att bortse frn, tona ned misslyckanden och att verbetona det som gtt bra. 3. Brist p erfarenhet av utvrderingsarbete, rapportering, etc.
Tabell 9. Fr- och nackdelar med intern och extern utvrderare
Utvrderarens roll
Valet av strategi och modell fr utvrdering pverkar ocks utvrderarens roll. Ett val str mellan att anlita en extern eller en intern utvrderare. Ovanstende tabell visar fr- och nackdelar med de olika valen. Frutom valet mellan intern och extern utvrderare finns det en rad aspekter som kan beaktas nr det gller utvrderarens roll. I kapitel sju beskrivs och analyseras fyra olika huvudinriktningar som utvrderaren kan ha traditionell, intern, demokratisk och deltagande utvrderare samt en rad olika roller som kan frknippas med dessa inriktningar. Strvan att markera utvrderarens professionella status som expert har kat i takt med att utvrdering som verksamhet har vuxit i betydelse. Det finns ett allt strre utvrderingskunnande inom svl det vetenskapliga som det politiskt-administrativa samhllet. Under senare r har utvrderar-
rollen utvecklas mot att vara mer av samordnare, organisatr, informatr och frmedlare, vilket stller nya krav p utvrderaren att kunna balansera olika krav och intressen. Det r viktigt att beslutsfattare och utfrare av utvrdering av offentlig verksamhet uppmrksammar det spnningsflt som finns mellan forskningens och politikens praxis. Dessa tv vrldar representerar olika logiker, vilket utvrderaren frvntas kunna balansera p ett konstruktivt stt. Detta stller krav p utvrderaren att ha en kompetens som motsvarar bde vetenskapliga och politisktadministrativa kriterier. Frgan utvecklas i kapitel tta, dr jag framhller att det behvs mer kunskap kring hur en sdan kompetens kan utvecklas.
Anvndningsfrgan
Redan vid planeringen av en utvrdering br frgan om hur anvndningen ska se ut diskuteras.
87
Orsaker till bristande anvndning av utvrdering 3. Synstt hos utvrderingens publik och avsedda anvndare
1. Utvrderingens utformning, genomfrande och resultat
2. verfring av information
Frndra utvrderingens form, innehll och utfrande
Utveckla kommunikationen med anvndare
Pverka anvndarnas kunskaper, attityder och frmga till handling
Figur 6. Bristande anvndning och strategier fr kad anvndning. Klla: berg, J-O (1997).
Bristande anvndning har olika frklaringar och frslagen till tgrder blir drmed olika. (Se vidare kapitel 9.) Bland frklaringarna till bristande anvndning finns externa omvrlds- eller bakgrundsfrhllanden som pverkar utvrderingens upplggning och genomfrande. Orsakerna kan ocks ligga i hur utvrderingen genomfrs och utifrn vems frgor. Ytterligare orsaker till bristande anvndning kan vara att utvrderingens resultat inte uppfattas som relevanta eller att de presenteras p ett bristflligt stt. Slutligen kan problemet vara att de tilltnkta mottagarna saknar kunskap, motivation och resurser att anvnda utvrdering. Till vart och ett av dessa orsaksomrden kan man koppla tnkbara strategier fr att undanrja anvndningshindren. Ett stt att frbttra utvrderingen r att gra den mer tekniskt anvndbar genom att betona det kvantitativt mtbara. Ett annat alternativ fr att ka anvndningen r att betona kommunikation och interaktion med berrda intressenter.
Med det kommunikativa synsttet r man inne p betydelsen av att pverka och frndra deltagarnas frestllningar. Frgan om bristande kommunikation kan ocks vara ett redaktionellt problem, dr strategin blir att gra rapporteringen mer anvndaranpassad. Om man anser att orsakerna till bristande anvndning ligger hos anvndarna r en tgrd att hja den allmnna kompetensnivn i organisationen nr det gller utvrdering och hur man kan omstta resultat, exempelvis genom att utbilda personal och uppmuntra till diskussion och kritisk reflektion i det praktiska arbetet. En viktig tgrd fr att pverka attityder r dessutom att tillstta resurser som gr det mjligt att tillmpa de utvrderingsresultat som anses vara viktiga.
88
89
Litteratur
Albaek, E. (1988). Fra sandhed til information. Evalueringsforskning i USA for og nu. Viborg: Akademisk Forlag. Alexandersson, M. & Krogsmark, T. (1984). Utvrdering och skolutveckling. En hjlpreda. Lund: Studentlitteratur. Bergstrm, L. (1990). Grundbok i vrdeteori. Stockholm: Thales. Bernstein, R. J. (1983). Beyond Objectivism and Relativism. Oxford: Basil Blackwell. Burman, P. & Petersson, C. (1998). Livskvalitet och upplevd hlsa. En utvrdering inom ramen fr 4. Vxj: Landstinget Kronoberg. Frskringskassan Kronoberg. Chelimsky, E. (1987). What have we learned about the politics of program evaluation? Evaluation Practice, 8 (1), s 521. Cronbach, L. J., Ambron, S. R., Dornbusch, S. M., Hess, D. C., Hornik, R. C., Phillips, D. C., Walker, D. F., & Weiner, S. S. (1981). Toward Reform of Program Evaluation: Aims, Methods, and Institutional Arrangements. San Francisco: Jossey-Bass Publishers. Dahllf, U. (1978). Curriculum Evaluation, Frame Factors, and Teaching for Mastery; Reprints of three articles. Pedagogiska institutionen vid Uppsala universitet: Uppsala reports in education, 2. Dalin, P. (1994). Utbildning fr ett nytt rhundrade. Stockholm: Liber Utbildning. Delander, L. & Nilsson, M. (1998). Ekonomiska aspekter p 4. Centrum fr arbetsmarknadspolitisk forskning. Hgskolan i Vxj. Ekholm, B. & Hedin, A. (1995) Upptck vardagen! Om praktisk utvrdering av daghemsverksamhet. Lund: Studentlitteratur. Ekholm, M. (1992) Lokal utvrdering som grund fr kunskapstillvxt. Nordisk Pedagogik, (1), s 2229. Ekholm, M., & Lander, R. (1993). Utvrderingspraktikan. Att utvrdera skolans verksamhet. Stockholm: Liber Utbildning. Eliasson, R., & Nygren, P. (1980). Utvrderingsforskning kritisk vetenskap eller professionaliserad reformism? (s 1039). I B-. Armelius (red.), Ger behandlingen resultat? Stockholm: Norstedts. Eliasson, R., Levin, C., Meeuwisse, A., & Sunesson, S. (red.). (1990). Den vrderande blicken. Om utvrdering i socialt arbete. Lund: Studentlitteratur. Eriksson, B. & Karlsson, P-. (1998). Utvrdera bttre. Fr kvalitetsutveckling i socialtjnsten. Gteborg: Gothia. Fetterman, D. M. (1994). Empowerment evaluation. Evaluation Practice, 15 (1), s 115. Finansdepartementet. ESO-gruppen (1998). Kommitterna och bofinken. Kan en kommitt se ut hur som helst? Ds 1998:57. Franke-Wikberg, S. (1990). En strategi fr utvrdering och lokal utveckling av utbildningskvalitet. Ume: Pe-
90
dagogiska institutionen vid Ume universitet. Arbetsrapport 81. Franke-Wikberg, S. (1992). Utvrderingens mngfald. Ngra ledtrdar fr vilsna utbildare. Stockholm: Universitets- och hgskolembetet. Franke-Wikberg, S. & Lundgren, U. P. (red.). (1980). Att vrdera utbildning. Del 1. Stockholm: Wahlstrm & Widstrand. Frykholm, C-U. (1997). Att utvrdera kunskapslyftet ett servicematerial. Stockholm: Delegationen fr kunskapslyftet. Frfattarkollektivet AURORA. (1983). Social fltforskning. Uppsala: Almqvist & Wiksell. Gallie, W. B. (1956). Essentially Contested Concepts. London. Guba, E. G. & Lincoln, Y.S. (1989). Fourth Generation Evaluation. London: Sage. Gunnarsson, L. (1987). Nr mttstocken r problemet. Kritik av utvrderingsforskning. (s 118ff). I C. Edlund, C. Gunnarson, L. Gunnarsson, G. Hermern, K. Moberg och T. Nilstun, Utvrderingsforskning. Kartlggning av forskningslget. MURA-projektet. Lund: Studentlitteratur. Gunnarsson, C. (1982). Ekonomisk forskning och utvrdering. (s 3343). I C. Edlund, C. Gunnarson, L. Gunnarsson, G. Hermern, K. Moberg och T. Nilstun, Utvrderingsforskning. Kartlggning av forskningslget. MURA-projektet. Lund: Studentlitteratur. Gustafsson, C. & Selander, S. (1994). Ramfaktorteoretiskt tnkande. Pedagogiska perspektiv. En vnbok till Urban Dahllf. Uppsala: Pedagogiska institutionen, Uppsala universitet. Gustavsson, B. Bildning i vr tid. Om bildningens mjligheter och villkor i det moderna samhllet. Stockholm: Wahlstrm & Widstrand.
Hansson S. O. (1998). Vad r socialism? Tidskrift fr politisk filosofi, (3), s 2739. Haug, P. (1991) Evaluering vitskap eller politikk? Nordisk Pedagogik, (4), s 195205. Haug, P. (1998). Linking Evaluation and Reform Strategies. (s 520). I New Directions For Program Evaluation, nr 77. San Francisco: Jossey-Bass Publishers. Hauge, R., Harrop, M. & Breslin, S. (1992). Comparative government and politics. An introduction. London: Macmillan Press. Hermern, G. (1987). Teoretisk analys, politisk debatt och vrderingar. (s 926). I C. Edlund, C. Gunnarsson, L. Gunnarsson, G. Hermern, K. Moberg och T. Nilstun, Utvrderingsforskning. Kartlggning av forskningslget. MURA-projektet. Lund: Studentlitteratur. House, E. R. (1980). Evaluation with Validity. London: Sage Publications. House; E. R. (1981). Three Perspectives on Innovation: Technological, Political and Cultural. I R. Lehming och M. Kanne (red.), Improving Schools. London: Sage. House, E. R. (1983). Assumptions underlying evaluation models. (s 4565). I G. F. Madaus, M. Scriven, & D. L. Stufflebeam (red.). Evaluation models: Viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff. House, E. R. (1986). Internal evaluation. Evaluation Practice, 7 (1), s 6364. House, E. R. (1988). Evaluating the FBI: A response to Sonnichsen. Evaluation Practice, 9 (3), s 4346. House, E. R. (1989) Assumptions underlying evaluation models. (s 4564). I G. F. Madaus, M. Scriven, & D. Stufflebeam (red.), Evaluation models: Viewpoints on educational and human services evluation. Boston: Lluwer-Nijhoff.
91
House, E. R. (1990). Participant Introductory Comments. (s 8184). I M.C. Alkin (red.). Debates on Evaluation London: Sage Publications. House, E. R. (1991). Evaluation and Social Justice: Where are We? (s 232247). I M. W. McLaughlin och D. C. Phillips (Eds.), Evaluation and Education: At Quarter Century Chicago: University of Chicago Press. House, E. R. (1996). Professional Evaluation. London: Sage. Johansson, I. (1979). Utvrdera barnomsorgen. Institutionen fr praktisk pedagogik. Gteborgs universitet. Rapport 91. Johansson, I. & Flising, B. (1982). Utveckla barnomsorgen. Information och ider om lokalt FoU-arbete. Stockholm: Liber. Johansson, I. & Karlsson, O. (1997). Kunskapslget i barnomsorg infr framtida utvrdering. En inventering och analys. Stockholm: Skolverket. Kvale, S. (1996). InterViews. An introduction to Qualitative Research Interviewing. London: Sage. Karlsson, O. (1990). Utvrdering av fritidsklubbar. Eskilstuna: Socialtjnsten. Karlsson, O. (1995). Att utvrdera mot vad? Om kriterieproblemet vid intressentutvrdering. Stockholm: HLS Frlag. Karlsson, O. (1996). Petrus-projektet. Vsters: Lnsstyrelsen i Vstmanland. Vstmanlands kommunfrbund. Krogstrup, H. K. (1997) Brugerindragelse og organisatorisk laering i den sociale sektor. rhus: Forlaget Systime. Kvalitetsutmrkelse Svensk Skola. Svenska kommunfrbundet och Institutet fr Kvalitetsutveckling, Gteborg 1994.
Lander, R. (1987). Utvrderingsforskning till vilken nytta? Pedagogiska rster och tv exempel frn forskningsfltet skolutveckling. Gteborg: Acta Universitatis Gothoburgensis. Lindensj, B. & Lundgren, U. P. (1986a). Att skilja det goda frn det dliga. I (s 95106). I. Palmlund. (red.), Utvrdering av offentlig verksamhet Stockholm: Liber. Lindensj, B. & Lundgren, U. P. (1986b). Politisk styrning av utbildningsreformer. Helsingborg: Liber. Lindensj, B. & Lundgren, U. P. (1992). Att utvrdera utvrdering. (s 221243). I S. Selander, (red.), Forskning om utbildning. En antologi. Stockholm: Brutus stlings bokfrlag. Lundberg, O. & Bergh, K. (1998). Hur bra r vi p vrd och omsorg? En rapport om kvalitetsuppfyllelse i hemtjnst och hemsjukvrd. Resultatenhet Vstervik. stersunds kommun. Omsorgsnmnden. Utvrderingsrapport 1998:3. Lundqvist, L. (1987). Implementation Steering. An ActorStructure Approach. Lund: Studentlitteratur. Mattsson, B. & Okmark, G. (1998). Samverkan mellan myndigheter. En processutvrdering av en arbetsgrupp. Vxj: Samhllsvetenskapliga institutionen. Hgskolan i Vxj. Morn, S. (1996). Att utvrdera socialt arbete. Stockholm: Norstedts Juridik. Mhl, P. (1991). Betyg men p vad? En bok om kunskapssyn och prov. Stockholm: HLS Frlag. Mller, J. (1996). Aksjonsforskning i spenningsfeltet mellom politikk og vitenskap. Nordisk Pedagogik, 16 (2), s 6677. Nydn, M. (1992). FoU utvrdering och anvndning. Stockholm: Byggforskningsrdet. Owen, J. M. (1999). Program evaluation. Forms and approaches. London: Sage.
Philgren, G. & Svensson, A. (1990). Mlstyrning 90talets ledningsform fr offentlig verksamhet. Malm: Liber. Premfors, P. (1986). Utvrdering i offentliga beslutsprocesser. (s 8194). I I. Palmlund (red.), Utvrdering av offentlig verksamhet. Stockholm: Liber. Premfors, R. (1989). Policyanalys. Kunskap, praktik och etik i offentlig verksamhet. Lund: Studentlitteratur. Ramstrm, D. (1998). Mlstyrning i utbildningen skpmat eller en reell frnyelsekraft? Forskning om utbildning, (2), s 414. Riksdag & Departement, nr 33, 1998, Debatten Typisk akademikerkritik. Rolf, B., Ekstedt, E. & Barnett, R. (1993). Kvalitet och kunskapsprocess i hgre utbildning. Nora: Bokfrlaget Nya Doxa. Rombach, B. & Sahlin-Andersson, K. (1995). Frn sanningsskande till styrmedel. Moderna utvrderingar i offentlig sektor. Stockholm: Nerenius & Santrus Frlag. Rombach, B. (1991). Det gr inte att styra med ml. Lund: Studentlitteratur. Rubenstein Reich, L. & Wesn, B. (1992). Utveckla mera! Sjlvvrdering och egen utveckling i barnomsorgen. Lund: Studentlitteratur. Samverkansprojekt i Vxj. (1998). Slutrapport till Inrikesdepartementet. Kommittn fr Kommunalt Omstruktureringsstd. Vxj: Samverkansprojektet 4. Sandahl, R. (1991). Resultatanalys. Stockholm: Riksrevisionsverket. Schwandt, T. A. (1997) The Landscape of Values in Evaluation: Charted Terrain and Unexplored Territory. (s 4156). I New Directions for Program Evaluation, nr
76, San Francisco: Jossey-Bass Publishers. Schwandt, T. A. (1998). De dubbla aspekternas dilemma. Pedagogiska Magasinet, (4), s 4247. Scriven, M. (1967). The methodology of evaluation. (s 3983) I R. W. Tyler, R. M. Gagne & M. Scriven (red), Perspectives of curriculum evaluation. Chicago: Rand McNally. Scriven, M. (1971). Evaluating Educational Programs. (s 4953). I F. G. Caro (red.), Readings in Evaluation Research. New York: Sage. Scriven, M. (1980). The Logic of Evaluation. Inverness, CA: Edgepress. Scriven, M. (1991). Evaluation Thesaurus. London: Sage Publications. Shadish, W. R. (1994). Need-based evaluation theory: What do you need to know to do good evaluation? Evaluation Practice, 15 (1), s347358. Shadish, W. R. Jr., Cook, T. D. & Leviton, L. C. (1991). Foundations of Program Evaluation: Theories of Practice. Newbury Park, Calif: Sage. Sirotnik K. A. (1990). Evaluation and Social Justice: Issues in Public Education. New Directions fr Program Evaluation, nr 45. San Francisco: Jossey-Bass. Sonnichsen, R. C. (1987). An internal evaluator respond to Ernest Houses views on internal evaluation. Evaluation Practice, 8 (4), s 3436. Sonnichsen, R. C. (1989). Open letter to Ernest House. Evaluation Practice, 10 (3), s 5963. Statistiska centralbyrn (1993). Gyllene regler vid utvrdering versttning av en amerikansk standard. Stockholm: SCB. Svenska kommunfrbundet (1997). Hur arbetar Sveriges kommuner med utvrdering och kvalitetsmtning inom barnomsorgen? Stockholm: Svenska Kommun-
frbundet och Skandinaviska utvrderingsinstitutet. Tarschys, D. (1986). Fr dva ron? Politikern och utvrderaren. (s 2026). I I. Palmlund (red.), Utvrdering av offentlig verksamhet Stockholm: Liber. Wallin, E. (1998). Om pedagogikens identitet som vetenskaplig disciplin. Pedagogisk Forskning i Sverige, 3 (3), s 216222. Wallin, E. (1998). Om mlstyrningens bekymmer. Forskning om utbildning,(3), s 1929. Vedung, E. (1998). Utvrdering i politik och frvaltning. Lund: Studentlitteratur Weiss, C. H. (1989). Where Politics and Evaluation Research Meet. (s 4772). I D. Palumbo (red.) Politics and Evaluation. London: Sage. Weiss, C. H. (1991). Evaluation Research in the Political Context: Sixteen Years and Four Administrations later. (s 210231). I M. MacLaughlinoch D. C. Phillips, Evaluation and Education at Quarter Century. Chicago: Chicago University Press. Worthen, B. R. , Sanders, J. R. & Fitzpatrick, J. L. (1997). Program evaluation. Alternative approaches and practical guidelines. (2.a uppl.). New York: Longman. berg, J-O. (1997). Det rationella och det legitima. En studie av utvrderingars teori och praktik. Gteborg: Sociologiska institutionen, Gteborgs universitet. dman, P. J. (1981). Aktionsforskning som utvrdering. (s 268285). I S. FrankeWikberg & U. P. Lundgren (red.), Att vrdera undervisning. Del 2. Stockholm: Wahlstrm & Widstrand.
94
95
96

Karlsson, Utvärdering Mer Än Metod

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Karlsson, Utvärdering Mer Än Metod

Transféré par

Droits d'auteur :

Formats disponibles

UTVRDERING MER N METOD

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

3. Syftet med utvrdering

4. Vilken kunskap sks?

Utvrdering mer n metod

8. Utvrdering och politik

Tankar och synstt i utvrderingsforskning

Praktiska exempel Sammanfattning

10. Sammanfattning av centrala frgor och strategier

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Utvrdera mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Fokus p anvndning och delaktighet

Tankar och synstt i utvrderingsforskning

Frgor om genomfrandet utformas utifrn vad olika intressenter vill veta

Tabell 1. Tre huvudmnster inom utvrdering

Utvrdering mer n metod

Uppfljning, utveckling, utvrdering

Tankar och synstt i utvrderingsforskning

Vedertagna metoder och tekniker

Inbyggda system/ rutiner i verksamheten

Vedertagna forskningsmetoder och tekniker

Tabell 2. Jmfrelse av utvrdering och nraliggande verksamheter

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Fr vem ska utvrderingen ske?

Sociologi och socialt arbete

Utvrdering mer n metod

Intressegrupper inom och utom systemet

Tankar och synstt i utvrderingsforskning

Figur 1. Intressenter i det demokratiska styrsystemet.

Utvrdering mer n metod

Tankar och synstt i utvrderingsforskning

Utvrdering mer n metod

Frn enkt till intervju

Utvrdering och kvalitetsarbete

Tankar och synstt i utvrderingsforskning

Utvrderingens syfte och kriterier

Utvrdering mer n metod

Resultat och bedmning

Tankar och synstt i utvrderingsforskning

Vrd och omsorg i stersund

Resultat och bedmning

Utvrderingens syfte och genomfrande

Utvrdering mer n metod

terkoppling och anvndning

Tankar och synstt i utvrderingsforskning

3. Syftet med utvrdering

Skillnaden mellan ml, syfte och funktion

Utvrdering mer n metod

Kontrollera, frmja, ifrgastta

Tankar och synstt i utvrderingsforskning