Vous êtes sur la page 1sur 221

Publikacja pod redakcj Agnieszki Haber i Macieja Szaaja Wsppraca redakcyjna dotyczca tekstw D. Batorskiego oraz P.

Strawiskiego: Rafa Trzciski Redakcja merytoryczna tekstu A. Haber, M. Szaaja: Jacek Pokorski Redakcja jzykowa: Anna Krasucka Redakcja techniczna: Micha Moczarski

Copyright by Polska Agencja Rozwoju Przedsibiorczoci

ISBN 978-83-60009-86-4

Wydawca: Polska Agencja Rozwoju Przedsibiorczoci ul. Paska 81/83 00-834 Warszawa tel.: (22) 432 80 80, 652 80 80 fax: (22) 432 86 20, 432 84 04, 652 86 20, 652 84 04 www.parp.gov.pl Wydanie I

Przygotowanie techniczne publikacji do druku: Studio Graficzne MIMO Micha Moczarski, tel. (22) 642 01 18 Druk i oprawa: Agencja Reklamowo-Wydawnicza Arkadiusz Grzegorczyk www.grzeg.com.pl

Spis treci
Agnieszka Haber,Maciej Szaaj Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Cz I. Ewaluacja w organizacji i spoeczestwie


Kazimierz W. Frieske Nauki spoeczne wsubie spraw publicznych polskie tradycje . . . . . . . . Dariusz Zalewski Moliwoci iograniczenia wykorzystania wynikw ewaluacji przez instytucje publiczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Stanisaw Mazur Zarzdzanie wiedz wpolskiej administracji publicznej . . . . . . . . . . . . . . . Leszek Korporowicz Interakcyjne aspekty procesu ewaluacyjnego: pomidzy analiz aanimowaniem zmian spoecznych . . . . . . . . . . . . . . . . Agnieszka Haber, Maciej Szaaj Kapita spoeczny warunek iefekt udanych ewaluacji . . . . . . . . . . . . . . . . 13

31 51

71 91

Cz II. Wybrane zagadnienia warsztatu bada ewaluacyjnych


Aleksander Surdej Metoda analizy kosztw ikorzyci: imperatyw efektywnoci wpolitykach publicznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Cezary Trutkowski O uwarunkowaniach stosowania metod jakociowych wbadaniach spoecznych iewaluacyjnych . . . . . . . . . . . . . . . . . . . . . . . . . . . Tomasz Kaczor Modele ekonomiczne wewaluacji, czyli oczym jej odbiorca wiedzie powinien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

109

127

145

Spis treci

Stanisaw Bienias Wykorzystanie wynikw modelowania ekonomicznego w procesie ewaluacji polityki spjnoci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dominik Batorski Metody analizy sieci iich zastosowanie wewaluacji . . . . . . . . . . . . . . . . . . . Pawe Strawiski Quasi-eksperymentalne metody ewaluacji . . . . . . . . . . . . . . . . . . . . . . . . . . .

155 167 193

Szanowni Pastwo,
Wraz z rozwojem systemu wdraania funduszy strukturalnych oraz wielokrotnym zwikszeniem dostpnych rodkw wzrasta rola ewaluacji jako elementu zarzdzania interwencj publiczn. Znaczce poszerzenie grona instytucji odpowiedzialnych za prowadzenie ewaluacji funduszy strukturalnych tworzy potrzeb pilnych dziaa ukierunkowanych na rozwj potencjau ewaluacyjnego. Ksztatowanie i rozwj rynku usug ewaluacyjnych, zarwno po stronie wykonawcw, jak i po stronie zamawiajcych, rodzi rwnie konieczno systematycznej dyskusji na temat moliwoci i warunkw niezbdnych dla efektywnego wykorzystania i implementacji narzdzia, jakim jest ewaluacja. Ufam, i jedn z moliwych odpowiedzi na powysze potrzeby bdzie prezentowana Pastwu propozycja wydawnicza PARP rodowisko i warsztat ewaluacji. Jej charakter, podobnie jak w przypadku poprzedniego tomu, zatytuowanego Ewaluacja ex-post. Teoria i praktyka badawcza, wynika z chci zaprezentowania zrnicowanych punktw widzenia oraz uchwycenia moliwie szerokiego zakresu zagadnie. Mam rwnie nadziej, i przygotowana przez PARP publikacja dostarczy Pastwu inspiracji przydatnych w Pastwa praktyce zawodowej. Licz, i lektura zawartych w niej artykuw stanie si impulsem do dyskusji nad gwnymi problemami polskich bada ewaluacyjnych oraz najwaniejszymi wyzwaniami stojcymi przed rodowiskami zaangaowanymi w ich realizacj. Jeeli stanie si tak w istocie, bdzie to najbardziej miarodajnym wyznacznikiem sukcesu naszej propozycji wydawniczej oraz dowodem na trafno tego przedsiwzicia. Danuta Jaboska Prezes Polskiej Agencji Rozwoju Przedsibiorczoci

Wprowadzenie

Przedstawiamy Pastwu kolejny zbir tekstw powiconych dziedzinie, ktra ju na dobre zaistniaa nie tylko wwiadomoci, ale rwnie wpraktyce wielu polskich instytucji publicznych. Ewaluacja systematycznie zyskuje na znaczeniu, poszerza krgi swojego oddziaywania, siga po nowe podejcia imetody bada oraz zapewnia sobie wpyw na dziaania podejmowane w polityce publicznej. Liczba realizowanych wPolsce ewaluacji regularnie ronie iprzybiera coraz bardziej zinstytucjonalizowan form. Obserwujc szybk ewolucj tej stosunkowo modej dziedziny, nie naley jednak traci zoczu jej dwch gwnych funkcji. Bezporednio wynikaj one ze wzrostu publicznego nacisku na efektywno, celowo reagowania, trafno alokowania rodkw iodpowiedzialno dziaa rzdu, czyli nurtu nowego zarzdzania publicznego. Pierwsz funkcj jest dostarczenie wsparcia organizacjom oraz jednostkom wosiganiu ich celw (zrespektowaniem wartoci inorm spoecznych), budowanie strategii rozwoju ialokacji zasobw. Drug jest zabezpieczanie interesu publicznego poprzez dostarczenie obywatelom informacji woparciu osprawdzone dane iobiektywne sdy na temat skutecznoci, efektywnoci ioddziaywaniu polityk, programw rzdowych oraz szeroko rozumianym sektorze usug publicznych (funkcji tzw. adwokata spoecznego). Dlatego te przygotowujc drugi tom powicony ewaluacji, obok szeregu podej badawczych oraz profesjonalnych instrumentw oceny stosowanych wramach stale udoskonalanego warsztatu badawczego, podjlimy tym razem prb spojrzenia na ewaluacj nieco szerzej ni na sam proces jej realizacji. Dzi nikt nie kwestionuje pogldu, e sukces ewaluacji (wykorzystanie jej wynikw) zaley wrwnej mierze od poprawnoci metodologicznej, prowadzenia dialogu zotoczeniem instytucjonalnym, zarzdzania wiedz, kultury organizacyjnej ipolitycznej oraz kapitau spoecznego. Wmyl tak zarysowanej problematyki dokonalimy te podziau niniejszej ksiki. Pierwsza cz powicona zostaa zagadnieniom funkcjonowania ewaluacji w rodowisku spoecznym, atake w rodowisku organizacji, druga tradycyjnie przyblia wybrane zagadnienia warsztatu bada ewaluacyjnych. Mamy nadziej, e zaproponowany wybr tekstw przybliy Czytelnikowi ewaluacj wjej kolejnych wymiarach oraz uatwi poruszanie si wjej

10

zoonym otoczeniu i implementacje najlepszych rozwiza w wymiarze zarwno projektowym, jak iinstytucjonalnym. Icho ksika ta zpewnoci nie obejmuje wszystkich zagadnie zwizanych zszeroko rozumianym rodowiskiem i warsztatem ewaluacyjnym, mamy nadziej, e zainicjuje dyskusj, ktra przyczyni si nie tylko do refleksji nad codzienn praktyk ewalucyjn, ale rwnie do rozwoju jej teorii oraz zarzdzania politykami publicznymi. Agnieszka Haber iMaciej Szaaj

Cz I

Ewaluacja w organizacji i spoeczestwie

Kazimierz W. Frieske

Nauki spoeczne wsubie spraw publicznych polskie tradycje


Spoeczestwo oparte na wiedzy
Prezentowany dalej wywd jest zorganizowany wok kilku tez podstawowych. Wtej czy innej postaci byy one formuowane wstosownej literaturze przedmiotu, cho suyy zwykle jako argumenty prowadzce do nieco innych konkluzji. Nad rozmaitymi formami praktycznego wykorzystania wiedzy naukowej, czy szerzej jakiejkolwiek systematycznej wiedzy, zastanawiao si wielu metodologw ifilozofw nauki, dochodzc do wnioskw tyle oczywistych, co cigle nieco amorficznych. Po pierwsze, nie ma jakichkolwiek wtpliwoci co do tego, e jedn znajbardziej typowych form praktycznoci systematycznej wiedzy owiecie jest to, e ksztatuje ona coraz silniej wypierajc zdrowy rozsdek i potoczne dowiadczenie rozmaite praktyki dnia codziennego. To jedna znajbardziej oczywistych interpretacji sloganu mwicego ospoeczestwie opartym na wiedzy. Obecno nauk przyrodniczych wnaszej codziennoci zaznacza si wtysicach dziaajcych wok nas urzdze, bez ktrych nie wyobraamy sobie ycia, cho zwykle nie pamitamy, e ich powstanie stao si moliwe dziki bardzo, niekiedy, zaawansowanej refleksji teoretycznej. Ale to samo mona powiedzie owiedzy gromadzonej wnaukach spoecznych. Przecie to, jak urzdzamy nasz wiat spoeczny, jest, przynajmniej wjakim stopniu, konsekwencj tego, co wsystematyczny sposb wiemy orzdzcych nim prawidowociach. Jako form rzdu wybieramy demokracj reprezentatywn, przekonani otym, e lepiej stabilizuje ona ycie zbiorowe anieli jakakolwiek tyrania nawet, gdyby miaa to by tyrania cnt merytokratycznych. Wszyscy, czy prawie wszyscy, yjemy wjakich porzdkach organizacyjnych, ale ksztat istruktura tych porzdkw jest funkcj tego, co onich wiemy. Poszukiwania rozsdnego kompromisu midzy ide wolnego rynku wraz zjego proefektywnociow zasad konkurencji iide regulacji to wprawdzie przedmiot tyle ideologicznych, co merytorycznych sporw, ale przecie wiemy, e wanie rozsdny kompromis, nie za nacisk na rozwizania skrajne, dobrze suy gospodarce. Popularna literatura pena jest wielonakadowych porad-

14

Kazimierz W. Frieske

nikw opowiadajcych oefektywnych sposobach osigania indywidualnego sukcesu iczegokolwiek by si otych poradnikach, atake ozawodowych kreatorach wizerunku, nie powiedziao starannie odsiewajc bzdur, przekonujemy si, e tkwi wtym wszystkim systematyczna, nieuchwytna wpotocznym dowiadczeniu, wiedza ofunkcjonowaniu czowieka wjego spoecznym otoczeniu. Po drugie, wiedza gromadzona w naukach spoecznych bywa wykorzystywana praktycznie jako instrumenty sprawowania wadzy politycznej. Wmniejszym stopniu idzie tu okierunek mylenia wyznaczony przez dorobek Machiavellego, wwikszej mierze natomiast owszystko, co wie si zadministrowaniem sprawami publicznymi iprocesami podejmowania decyzji. Jeli nawet za tymi decyzjami, wstopniu wikszym, ni bymy tego chcieli, kryj si rozmaite grupowe interesy, to jednak o czym poucza przypadek synnego peronu we Woszczowej istniej rozsdne granice lekcewaenia regu alokacyjnej racjonalnoci, za ich przekraczanie czy si zwykle z politycznymi skandalami. Mwic najkrcej, coraz czciej chcemy, eby ex ante decyzje wsprawach publicznych byy uzasadniane jakimi analizami kosztw ikorzyci, chcemy te, eby ex post byy one uzasadniane studiami ewaluacyjnymi wyaniajcymi, na przykad, tzw. dobre praktyki. Nawiasem mwic, warto te bra pod uwag ito, e zarzdzanie politykami publicznymi czsto sprowadza si nie tyle do racjonalizacji decyzji alokacyjnych, sucych rozwizaniu problemu, ile do przedstawienia informacji sugerujcych jego pilno czy publiczn donioso. To akurat jest przypadek do charakterystyczny, bo przecie bywa tak, i uruchomienie procesu dla wypracowania lepszego czy gorszego rozwizania okazuje si trudniejsze, anieli jego znalezienie wtedy zwaszcza, gdy kada zwchodzcych wgr opcji decyzyjnych narusza jakie politycznie doniose interesy. Jednak iwtedy nauki spoeczne bywaj uyteczne cho lepiej jest mwi w takich sytuacjach oich naduywaniu. Wiemy wszak, e jedn ztypowych strategii dowiadczonych administratorw, usiujcych unikn podjcia jakiejkolwiek decyzji, jest powoanie panelu ekspertw iniespieszne oczekiwanie na to, e uzgodni oni swoje rekomendacje. Po trzecie, systematyczna wiedza pynca z nauk spoecznych wkracza wludzk codzienno, podsuwajc takie jej wizje, ktre nie mogyby powsta w oparciu o to, co dyktuje zdrowy rozsdek, skumulowane indywidualne dowiadczenia czy yciowe mdroci. Nie wida powodw, dla ktrych te ostatnie naleaoby lekceway, maj one jednak t wad, e atwiej znosz wewntrzne sprzecznoci, tych za w nauce staramy si unika. To i tak brzmi jedna z prezentowanych dalej tez wana forma wykorzystania czy stosowania nauk spoecznych. Jest ona tym istotniejsza, e ksztatuje ludzkie postpowanie w tym take dziaania tych, ktrzy o biegu spraw publicznych decyduj w sposb mao dostrzegalny iczsto taki, ktry wydaje si wielce kontrowersyjny. Na przykad, zwyklimy tumaczy wiele zachowa

Nauki spoeczne wsubie spraw publicznych polskie tradycje

15

dewiacyjnych, take przestpczo, marn efektywnoci rozmaitych mechanizmw kontroli spoecznej i odpowiednio do tego tworzy stosowne technologie prewencji czy resocjalizacji. Tymczasem, okazuje si, e wspczesne opportunity theories ka traktowa dewiantw jak ludzi racjonalnych, ktrzy w zastanej sytuacji d do maksymalizacji swoich indywidualnych korzyci istarannie rozwaaj relacj midzy karami inagrodami, ktre s konsekwencj zachowania uznawanego za spoecznie naganne. Nie warto moe wdawa si w zoon, teoretyczn dyskusj tego punktu widzenia, warto natomiast wskaza, e przenikajc do codziennego, praktycznego mylenia radykalnie zmienia on pytanie, ktre rozpoczyna dywagacje nad sposobami kontrolowania przestpczoci. Mianowicie, zamiast pyta jak robiy to cae pokolenia kryminologw ipolitykw spoecznych o przyczyny, dla ktrych ludzie popeniaj przestpstwa, pytamy opowody, dla ktrych mieliby oni ich nie popenia skoro zastana struktura moliwoci mwi, e oglny bilans dokonywania rozmaitych zdronoci moe okaza si pomylny. Nie jest wykluczone, e ten punkt widzenia zakorzenia si powoli wcodziennym myleniu Polakw, za jego wyrazem jest uchwytna wbadaniach opinii publicznej represyjno ich postaw wobec przestpcw. Na kolejnych stronach nieco szerzej zaprezentowana zostanie argumentacja, e ostatnia, ze wskazanych wyej, forma wykorzystania wiedzy gromadzonej wnaukach spoecznych jest nie tylko wana, lecz take e bya ona charakterystyczna dla polskiej socjologii ju wjej pocztkach. Co wicej, pocztki te wizay si zrecepcj co prawda wielce eklektyczn dorobku Comtea. Socjologia te posuy wniniejszym tekcie jako ilustracja zjawisk wsplnych dla ogu polskich nauk spoecznych, ktrych granice przez dugie lata pozostaway do pynne, jeli bra pod uwag zarwno ich instytucjonalne wyodrbnienie wpostaci oddzielnych katedr, instytutw, czy te programw ksztacenia nowych adeptw poszczeglnych dyscyplin, jak ispecyfik stosowanego warsztatu. Dalej, sigajc do mniej odlegej, bo ju dwudziestowiecznej tradycji polskiej socjologii, wskazuje si te na ten jej nurt, ktry ma wyranie krytyczny charakter iwie si zkoncepcjami tkwicymi upodstaw Instytutu Gospodarstwa Spoecznego. Prace IGS-u demonstruj przy tym ito, e idea ewaluacji jeli rozumie j jako, wspart systematycznymi danymi empirycznymi, ocen rozmaitych polityk publicznych wcale nie jest nowa! Nowy jest tylko termin, za to, co si za nim kryje, stanowio jedno zzasadniczych, programowych zada instytucji, ktra obecna bya wpolskim yciu publicznym przez cay okres midzywojenny. Wreszcie, ostatnia zprezentowanych tez mwi, e koncepcja bada ewaluacyjnych wyraa dwie formuy wykorzystania wiedzy gromadzonej wnaukach spoecznych. Pierwsza, bardziej popularna, sprowadza si do posugiwania si t wiedz wprocesach zarzdzania politykami publicznymi dla

16

Kazimierz W. Frieske

ich racjonalizacji. Nie wida powodw, dla ktrych naleaoby donioso tych zabiegw kwestionowa, cho odpowied na pytanie, wjakim stopniu s one wieczone sukcesami, jest nader zoona iniepewna. Druga, rzadziej dostrzegana imniej zbadana, cho, wedle prezentowanego tu pogldu, mniej doniosa, polega na dostrzeeniu tego, e studia ewaluacyjne, gdy zostaj zinstytucjonalizowane jako jedna ze spoecznych praktyk, s wanym elementem procesw demokratyzacji ycia zbiorowego. Pozwalaj nie tylko testowa obietnice merytokratycznych elit, lecz take usuwa przynajmniej cz napi, jakie powstaj wtedy, gdy usiuje si poddawa demokratycznej kontroli profesjonalny aparat administracyjny. Odnoszc powysze tezy do problematyki popularnych ostatnio bada ewaluacyjnych, warto pokaza, i nie stanowi one bynajmniej nowego fenomenu, lecz s raczej powieleniem pewnej kliszy, typowej dla dugiej tradycji stosowanych podej do naukowej iprzednaukowej wiedzy ospoeczestwie.

Fatamorgana stosowania
Myl opraktycznym wykorzystaniu wiedzy gromadzonej wnaukach spoecznych jest w tej samej mierze uniwersalna co niejasna. Podatnicy chcieliby zapewne wiedzie, jakie to uchwytne korzyci czerpi z finansowania instytucji naukowych iich personelu. Itrudno zadowoli ich oglnikowym stwierdzeniem, wedle ktrego korzyci te polegaj na lepszym czy gbszym rozumieniu spoecznych procesw. Politycy, nieustannie naraeni na naciski rozmaitych akademickich grup nacisku, zniefrasobliw hipokryzj wpisuj si wpolityczn poprawno, zktrej miaoby wynika, e droga do sukcesu prowadzi przez zwikszanie nakadw na rozmaite, ekstrawaganckie rojenia oracjonalnie zaplanowanej zmianie spoecznej. Studenci, buntujcy si przeciwko wysikom swoich nauczycieli, bezlitonie posugujcych si symboliczn przemoc teorii spoecznych, pytaj do naiwnie oto, co ztych teorii wynika dla tumienia skrzeku rzeczywistoci syszanego tym boleniej, im si jest modszym i bardziej wraliwym. Najkrcej wykorzystywa, dla mniej czy bardziej godziwych racji, chce wielu, niektrzy na stosownych deklaracjach buduj swoj indywidualn czy grupow pomylno. Wychylajc si nieco zloy szydercy, wktrej krlowa niegdy Antoni Sonimski warto moe zapyta, co waciwie robi ci, ktrzy mwi, e wswojej praktycznej dziaalnoci wykorzystuj wiedz, jak proponuj akademickie nauki spoeczne? Wbrew pozorom, pytanie nie jest banalne. Wypada te stwierdzi, e nie jest oryginalne bo byo stawiane wielokrotnie. Wanglosaskiej literaturze, powiconej krytycznej refleksji nad miraami postpu fundowanego na sukcesach nauki, pojawio si ono, gdy stao si jasne, e transfer wiedzy midzy nauk ipraktyk, zwaszcza praktyk polityczn, jest procesem wielce skomplikowanym idalece nieoczywistym.

Nauki spoeczne wsubie spraw publicznych polskie tradycje

17

Nie jest wykluczone, e pniejsze kopoty zodpowiedzi na to pytanie przeczuwa przed blisko pwieczem Alvin Gouldner, gdy zwraca uwag na rnice pomidzy techniczn i kliniczn formu wykorzystania. Gould ner pisa tak: () dominujce wspczenie definicje roli badacza iroli decydenta, jakie przyjmuje wikszo socjologw s osadzone wklasycznym, utylitarystycznym kontekcie (). Decydent definiuje swoje kopoty jako konsekwencje niedostatecznej wiedzy () zakada on, e dysponujc odpowiedni wiedz byby wstanie upora si ze swym problemem () majc na uwadze te zaoenia prosi orad socjologa. () Socjolog () siebie samego okreli najpewniej jako rdo wiedzy skadajcej si z faktw i cyfr ()1. Wspczenie ju wiemy, e taka techniczna wanie formua wykorzystania, ktra miaaby polega na poszerzaniu wiedzy oten czy inny problem spoeczny, aby przekaza j zainteresowanemu politykowi lub administratorowi, na uwzgldnianiu w procedurach podejmowania decyzji rozmaitych obiektywnych czy naukowych danych, to jedynie radosna iluzja. Nie warto moe wdawa si wzoone uzasadnienia tej tezy, do powiedzie, e nawet najprostszy pomiar jakiejkolwiek zmiennej nieuchronnie odwouje si do teoretycznych zaoe, przyjmowanych zpewn doz samowiadomoci. Warto natomiast wskaza, e nawet jeli wyniki takiego pomiaru, wic wanie zestaw owych faktw icyfr, s atwo dostpne, to ztego nie wynika wcale, e zostan wzite pod uwag iwpyn na tre decyzji. Rozczarowania socjologw, ktrzy wielokrotnie przekonywali si otym, e nie tylko mniej czy bardziej amorficzne wizje spoecznej reformy, lecz take systematycznie gromadzone dane s ignorowane, przypominaj dowiadczenia Platona, ktry w roli filozofa ipolitycznego intryganta zosta dwukrotnie relegowany z Syrakuz. Szeroko propagowane frazesy su bardziej legitymizacji politycznych decyzji ni ich zakorzenieniu w systematycznej wiedzy gromadzonej przez socjologw. Takie, na przykad, haso gospodarki opartej na wiedzy, bywa wprawdzie instytucjonalizowane wpostaci rozmaitych formalnych procedur, ale realia pokazuj, e starym zwyczajem stanowi ono fasad, za ktr kryje si arbitralno zdrowego rozsdku czy partykularyzm interesw grupowych. Nieustannie przekonujemy si otym, e wiedza gorsza cho ztych czy innych wzgldw wygodna wypiera wiedz lepsz, bo systematyczn, cho niekoniecznie zgodn ze zinstytucjonalizowanymi stereotypami. Mwic najkrcej, nie wida jakichkolwiek powodw, dla ktrych reguy masowej konsumpcji nie miayby si stosowa do konsumpcji wiedzy wszak o tym, e gorsza moneta wypiera lepsz, wiedzia ju Kopernik. Oczywicie nie dzieje si tak zawsze, e empiryczna ewidencja gromadzona w naukach spoecznych jest kompletnie ignorowana w zoonych procesach podejmowania decyzji o wanych sprawach publicznych. Mona
1 Gouldner A.W., Explorations in Applied Social Science, w: A.W. Gouldner, S.M. Miller (red.), Applied Sociology, Opportunities and Problems, The Free Press, N.Y. 1964, s. 1718.

18

Kazimierz W. Frieske

jednak utrzymywa zpowodzeniem, e to, wjakiej mierze decyzje te s przez ni uzasadnione, jest wyznaczane przez przypadek czy przez osobliwoci polityki, nie za przez jako gromadzonych danych. Nie jest jednak wykluczone, e wdemokratycznych spoeczestwach tak wanie by powinno nawet, gdyby miao si to kci zpryncypiami racjonalnego decydowania. Rzecz jednak nie wtym, aby narzeka, e wiedza gromadzona wnaukach spoecznych bywa marnie wykorzystywana. Trzeba uwiadomi sobie, e entuzjazm wobec idei wykorzystania a zatem rwnie wobec rozmaitych koncepcji socjologii stosowanej jest funkcj tego, jak si to wykorzystanie rozumie. Moliwoci mamy wtym wzgldzie bardzo wiele. Spora cz rozczarowa zwizanych z rozmaitymi koncepcjami socjologii stosowanej wynika z wskiej, bardzo instrumentalnej formuy wykorzystania, rozumianego jako wdroenie rekomendacji wyaniajcych si z prezentowanych danych empirycznych. Niechtnie stajemy wobliczu problemw strukturalizowanych wedle schematu kochaj albo rzu. Mwic nieco inaczej: demokratyczne procesy polityczne rzadko stawiaj ich uczestnikw wobec zero-jedynkowych wyborw, najczciej politycznie wygodne rozwizania sprowadzaj si do propozycji, wedle ktrych troch pokocham, a potem si zastanowi, czyli do poszukiwania rozwiza kompromisowych. Instrumentalna formua wykorzystania wiedzy naukowej przez swoje konsekwencje koczy si najczciej oddawaniem wadzy grupom ekspertw i wydaje si, e jest to zjawisko tym groniejsze, im czciej wchodz wich skad anonimowi analitycy zaludniajcy zastpy rzdowych biurokracji. Nawet gdybymy przyjli, e instrumentalna formua wykorzystania stanowi jedn zjego skrajnych wprawdzie irzadko spotykanych, ale efektywnych form rozwizywania rozmaitych problemw spoecznych, czyli, e to, co dyktuje naukowy rozum, jest traktowane powanie, nie ulega znieksztaceniom w toku komunikowania jego konstatacji ie jego zalecenia s realizowane bez wzgldu na polityczny kontekst, e nie brakuje ani pienidzy, ani instytucjonalnej infrastruktury, ani odpowiednio wykwalifikowanego personelu, to itak zniechca ona tym, e kryje si za ni wadza merytokratycznych elit urzdzajcych ycie zbiorowe bez demokratycznego mandatu.

Nieoczywiste formy wykorzystania


Fortunnie idea wykorzystania wiedzy gromadzonej w naukach spoecznych moe by te rozumiana szerzej na przykad, jako wprowadzanie wstruktury mylenia potocznego nowych poj czy sposobw obrazowania spoecznej rzeczywistoci. To zapewne druga, przez swj amorfizm rwnie skrajna, interpretacja wykorzystania. Rzecz nie wtym eby posuy si okreleniem Mary Douglas i scjentystyczna kosmologia jest blisza realiom, azatem pozwala dziaa sprawniej, bardziej efektywnie. To kwestie dugich

Nauki spoeczne wsubie spraw publicznych polskie tradycje

19

sporw koczcych si zwykle takim czy innym wyznaniem wiary wweberowski proces racjonalizacji, wiary wwyszo naukowego poznania nad poznaniem porzdkowanym przez zdrowy rozsdek icodzienne dowiadczenie, wreszcie wiary w poytek pyncy z racjonalnego projektowania zmiany spoecznej. Chodzi o to, e prby nasycania zdrowego rozsdku wiedz naukow nawet, jeli niekoniecznie prowadz do lepszego odwzorowywania spoecznego wiata, to jednak maj t zalet, e umoliwiaj testowanie obiegowych stereotypw ikwestionowanie tego, co uchodzi za oczywisto ijako takie bywa instytucjonalizowane. Trzy przykady mog zilustrowa t myl. Pierwszy znich dotyczy czasw odlegych, sigajcych gbokiego PRL-u, to jest, koca lat 50. Funkcjonowao wtedy wprasowych enuncjacjach pojcie najpierw bikiniarzy, potem za chuliganw przejmujcych kapitalistyczny styl ycia istanowicych widomy dowd dywersji ideologicznej rwnie gronej, co zachcanie stonki ziemniaczanej do poerania socjalistycznych kartofli. Czesaw Czapw odnis wtamtym czasie spektakularny sukces, publikujc wraz ze Stanisawem Manturzewskim ksik pt. Niebezpieczne ulice wtaczajc do mylenia ochuliganach obce klasowo pojcie frustracji co czyo si ze zwrceniem uwagi na to, e nie wszystko w socjalistycznym adzie spoecznym ukada si tak harmonijnie, jak chcieliby tego jego twrcy. Miao to swoje oczywiste konsekwencje praktyczne, bo wskazywao, e rozwizywanie strukturalnych problemw modziey nie moe polega wycznie na ideologicznych szkoleniach, udziale wczynach spoecznych itp. Pocztkowo na niewielk skal, pniej na skal zgoa masow, zaczy powstawa rozmaite formy, dalej wprawdzie starannie kontrolowanej, ale te wjakim stopniu autonomicznej aktywnoci modych ludzi usiujcych nieco ubarwi szaro miejsca iczasu, przerobi tzw. hotel robotniczy wmiejsce nadajce si do ycia. Bardzo podobne s losy popularnej wspczenie koncepcji spoecznego wykluczenia. Termin wszed do jzyka publicznych debat izacz organizowa mylenie ipraktyk pracownikw socjalnych w drugiej poowie lat 90. Midzy innymi dlatego, e posugiway si nim oficjalne dokumenty Komisji Europejskiej wyznaczajce kierunki transferw socjalnych i zasady alokacji zasobw na rozmaite programy polityki spoecznej. Do wiedzy ozjawiskach spoecznej marginalnoci, gromadzonej przynajmniej od stu lat w ramach akademickiej socjologii, nowy termin nie wnosi nic nowego, ale interpretowany na poziomie zdrowego rozsdku jako jeden zkluczy do rozumienia codziennych realiw przekonywa otym, e zbiorowy sukces iprocesy spoecznej modernizacji maj take swoje ofiary. Wskazywa, e s wok nas ludzie, ktrzy wbrew stereotypowi s tacy, jacy s, nie tylko na skutek rozmaitych indywidualnych deficytw, lecz take wrezultacie rozmaitych strukturalnych determinizmw i z tego wzgldu warto publicznymi zasobami wspiera wysiki zmierzajce do ich spoecznej reintegracji.

20

Kazimierz W. Frieske

Przykad trzeci dotyczy pojcia, ktre zdobyo sobie do niechlubn saw, mianowicie popularnego wpublicystyce, czasem uznawanego za polityczny fantom, czasem za cz otaczajcej nas rzeczywistoci, pojcia ukadu. Ot, wbrew tym, ktrzy istnienie ifunkcjonowanie ukadu odkrywali, nie mwili oni ospoecznym wiecie niczego nowego: socjologowie wiedz lub przynajmniej powinni byli wiedzie, e jest to zjawisko ponadczasowe iponadustrojowe. Bywao, e suyo ono do opisu realiw PRL-u lat 70. iwtedy Adam Podgrecki posugiwa si terminem brudna wsplnota. Bywao te, e wyraao ono rozczarowania zwizane z efektywnociowymi iluzjami wolnokonkurencyjnego kapitalizmu: Mancur Olson opisywa w Logic of Collectiva Action powstawanie koalicji dystrybucyjnych, tj. wanie ukadw skadajcych si zludzi monopolizujcych dostp do jaki publicznych zasobw i rozdzielajcych je wrd jakich swoich. Nie ma zatem w tezie oukadach opltujcych ycie zbiorowe niczego szczeglnie oryginalnego, pozostaje jedynie polityczna eksploatacja zjawiska nazwanego, znanego iczasem badanego.

Komplikowanie potocznoci
Kady ze wskazanych przykadw demonstruje to, e przynajmniej cz rezultatw akademickiego namysu wpisuje si wwiaty przeywane praktykw, wzbogaca je, wyznacza ico moe waniejsze legitymizuje decyzje alokacyjne, jak iwskazuje na kierunki dziaania wrozlegych obszarach polityki spoecznej. Wopisywanych sytuacjach mamy do czynienia zwan form wykorzystania wiedzy gromadzonej wramach nauk spoecznych tym waniejsz, e wiedza ta przekada si nie tyle na decyzje podejmowane wpolitycznych czy administracyjnych establishmentach, ile na praktyki ycia codziennego. Posuwajc si tym tropem, moemy te powiedzie, e amorficzn wprawdzie i pomiarowo skomplikowan form wykorzystania wiedzy, jak maj pozaakademickiemu wiatu do zaproponowania nauki spoeczne, jest posugiwanie si t wiedz dla uzasadniania pogldw wchodzcych wszerszy spoeczny obieg, czyli wstruktur publicznego dyskursu. Gdyby przyj taki punkt widzenia, to okazaoby si zapewne, e socjologia take zreszt wjej przedakademickiej postaci bya wykorzystywana zawsze ie to zawsze dotyczy take pocztkw refleksji socjologicznej wPolsce.

Nauki spoeczne wsubie spraw publicznych polskie tradycje

21

Socjologia izaangaowana publicystyka


Trudno zreszt, by byo inaczej bo pocztki polskiej socjologii to przede wszystkim oswajanie dorobku Comtea2. Prawdziwa filozofia pozytywna pisa Comte polega wic przede wszystkim na tym, aby wiedzie dla przewidywania (); () wfilozofii koniecznym przeznaczeniem wszystkich naszych zdrowych docieka jest cige ulepszanie naszych indywidualnych oraz spoecznych warunkw, w ktrych yjemy, nie za czcze zaspokojenie bezpodnej ciekawoci ()3. Ale, pamitajc otym, warto te dostrzega to, e polska filozofia pozytywna powstawaa wszczeglnym kontekcie dowiadcze iobserwacji, ktre nastrczao dziewitnastowieczne spoeczestwo. Gdy Jzef Supiski w1857 r. prezentowa opinii publicznej iprzekazywa galicyjskiej administracji projekt stworzenia Narodowego Banku Oszczdnoci, to racje, ktre w projekt uzasadniay, wywodzi wtej samej mierze zoglnych zasad gospodarowania i funkcjonowania bankowoci, co z charakterystyki gospodarczej i diagnozy lokalnych warunkw: () pienidz przechowywany bezrozumnie, szczeglnie pienidz zoty isrebrny, ukryty za strzech, wgrzdzie ogrodowej lub wlesie pod dbem, to ycie naszych wieniakw, poczciwych i wielce roztropnych () lecz yjcych yciem pocztkujcym, lub yciem zwichnitym iodurzonem. Te pienidze () przedstawiaj cz zasobu spoecznego. () Te wartoci skryte, lece nieuytecznie () uyte zrcznie iwsposb odpowiadajcy naszym stosunkom mog sta si materyaem rozlegej instytucji kredytowej ()4. Jan Welichowski, wydawca Pism Supiskiego, uzupeni druk wspomnianego tu pomysu nastpujcym komentarzem: () projekt tedy () przedoony by () Dyrekcyi galicyjskiej kasy oszczdnoci, ktra go na jednym ze swoich posiedze jednomylnie przyja ichciaa wprowadzi wwykonanie; nie dozwolio jednak tego ministeryum pastwa ()5. Ci zatem, ktrzy narzekaj na to, e wadze publiczne miewaj do sceptyczny stosunek do reform instytucjonalnych proponowanych przez socjologw znajduj si wdobrym towarzystwie. Ale to, wswojej mdroci, Supiski wiedzia sam, piszc zgryliwie, e: () bank, ktry tu projektuj nie powstanie nigdy; bo aeby pomyle onim szczerze, trzeba pragn dobra powszechnego wicej, anieli wasnych korzyci ()6. Instytucjonalna poraka Supiskiego bya jednak zarazem zwycistwem, bo przecie jego propozycja wesza wobieg spoecznego mylenia ibya uznawana za jeden zmoliwych sposobw gospodarczej emancypacji. Nie bez powodw, komentujc jego dorobek, J. Szacki napisa,
2 3

4 5 6

Por. Szacki J. (red.), Sto lat socjologii polskiej, PWN, Warszawa 1995, s. 12. Comte A., Rozprawa oduchu filozofii pozytywnej, PWN, Warszawa 1973, s. 46. Supiski J., Pisma. Wydanie poprawione ipomnoone, t. IV, Warszawa 1872, s. 247. Ibidem, s. 235. Ibidem, s. 262.

22

Kazimierz W. Frieske

e () wpyn on bardziej na styl mylenia ipostawy obywatelskie ni na szczegowe pogldy socjologiczne ()7. Polska dziewitnastowieczna socjologia bya w duej mierze moe za wyjtkiem typowego homo academicus, Gumplowicza dzieem ludzi, ktrzy zajmowali si ni jednoczenie zaktywnociami ocharakterze obywatelskim, wyraajcymi si m.in. wpublicystyce. Wszak od publicystyki idziaalnoci ocharakterze politycznym zaczyna take, ju wpocztkach wieku dwudziestego, Stefan Czarnowski. Nina Assorodobraj pisaa wprawdzie, e jako publicysta () stara si Czarnowski zawsze wiza swe wypowiedzi zanaliz naukow ()8, ale byoby zapewne przesad utrzymywanie, e on i wczeniejsi polscy socjologowie szukali wwiedzy socjologicznej systematycznego uzasadnienia dla prezentowanych pogldw wsprawach publicznych. Byoby to te trudne do zademonstrowania poprzez kwerend oryginalnych tekstw. Nie jest jednak wykluczone, e to, co mieli oni do powiedzenia wsprawach publicznych, wich wizjach ycia zbiorowego byo jako zakorzenione. Uwaga ta charakteryzuje obecno w polskim yciu umysowym Bolesawa Limanowskiego. J. Szacki, komentujc ycie i dzieo Limanowskiego, pisa, e: () przejawia temperament dziaacza politycznego, ktry nauk zajmuje si nie dla niej samej, lecz ze wzgldu na jej spodziewane poytki praktyczne ()9. Istotnie, okazuje si, e Limanowski, socjolog eklektyczny, po trosze comtysta, po trosze spencerowski organicysta, spory fragment swojej Socjologii10 powici zmianom spoecznym pojawiajcym si wrezultacie przyrostw wiedzy naukowej: nauki stosowane iwpyw onych bezporedni a olbrzymi na zachowanie, przeduenie, uprzyjemnienie i uszlachetnienie ycia ludzkiego to stanowczy dowd, e zasb umysowy wrozwoju ludzkoci ma istotnie pierwszorzdne znaczenie. () Jeeli wemiemy histori ktrejkolwiek z nauk stosowanych () to przekonamy si, e postpy tych nauk nie byy przypadkowe, ale zawsze zaleay od oglnego postpu wiedzy ie wynalazki nabieray prawdziwej wartoci wwczas tylko, kiedy umiano je ocenia znaukowego stanowiska ()11. Po stu latach wiemy, e Limanowski si myli, e tzw. nauki stosowane generuj wasn wiedz iwasne teorie naukowe, ktre swoj struktur iwewntrznymi kryteriami metodologicznej poprawnoci rozmijaj si zoglnym modelem nauki. Idzie tu przede wszystkim opokazanie tego, wjaki sposb socjologiczne koncepcje Limanowskiego wpyway na sposb definiowania tego, co mia on za istotny problem praktyczny, tj. kwesti narodowej niepodlegoci Polakw.
Szacki J., op.cit., s. 13. Assorodobraj N., ycie i dzieo Stefana Czarnowskiego, w: S. Czarnowski, Dziea, PWN, Warszawa 1956, t. V, s. 114. 9 Ibidem s. 19. 10 Por. Limanowski B., Socjologia, Gebethner i Wolf, Warszawa 1919. 11 Limanowski B., Socjologia, cyt. za: J.Sztumski (red. ), Socjalizm jako konieczny objaw dziejowego rozwoju, KiW, 1989, s. 126.
8 7

Nauki spoeczne wsubie spraw publicznych polskie tradycje

23

Mona to robi, odwoujc si do wielu wtkw tych koncepcji, tu wystarczy zapewne wskaza na jeden zprzykadw. Ot, znajduje si wSocjologii Limanowskiego wywd, poparty zreszt szeregiem danych empirycznych, zktrego wynika, e pojawianie si gospodarczych monopoli jest naturaln, eby nie rzec, ewolucyjn konsekwencj komplikacji procesw gospodarowania. Ta teza skania jednak naszego autora nie tyle do pytania o jej modelowe konsekwencje, lecz do pytania, co zniej wynika dla rozumienia jego wspczesnoci: () jeli wic ma istnie monopol, to powstaje suszne pytanie: czy lepiej, aeby istnia on wrkach prywatnych, czy te nalea do pastwa? Odpowied nie byaby trudna, gdyby pastwo miao na celu interesy caego narodu. Tam jednak, gdzie rzd, trzymajcy wszystkie spryny organizacji pastwowej, jest nie przedstawicielem narodu, ajego wrogiem, jak np. wPolsce, azwaszcza wzaborach rosyjskim ipruskim; tam, gdzie pastwo suy interesom jednej klasy panujcej tam monopol, powikszajc si pastwow, jest szkodliwy, anie poyteczny narodowi ()12. Wreszcie, warto te odnotowa i to, jak bardzo bliskie wspczesnoci okazuj si te pogldy Limanowskiego, ktre dotycz wszczeglnoci wiedzy gromadzonej w naukach spoecznych: () wpyw stosowanych nauk spoecznych waciwie jest wiadomym oddziaywaniem spoeczestwa na wasny swj ustrj, na wasne swe losy. () Na uniwersytetach wykadaj si nauki spoeczne, gwnie na wydziale prawnym, ale na nim wykada si jeszcze dotd caa scholastyka iformalistyka praw, zlekcewaeniem istotnych nauk teoretycznych, azzupenym pominiciem najwaniejszej, socjologii. Tymczasem prawnictwo bez podstawy socjologicznej () jest zupenie wpodobnym stanie, wjakim byaby nauka lekarska bez podstawy biologicznej ()13. Tych, ktrzy nie ledz toku wspczesnych reform dydaktycznych na polskich wydziaach prawa, wystarczy poinformowa o tym, e w kocu pierwszej dekady XXI w. socjologia zostaa relegowana do przedmiotw fakultatywnych, nauczanych wtedy, gdy przyszli prawnicy kocz ju swoj edukacj. Tyle moe wkwestii losw przenikania idei do mylenia organizujcego spoeczn praktyk: czasem zakorzeniaj si wniej trwale, czasem oportunizm zwany niekiedy wichrem historii wymiata je na duej lub krcej.

Socjolog wsubie swojej wadzy


Niezalenie od tego, w jakiej mierze i w jaki sposb socjologia wkraczaa wmylenie potoczne, warto mie na uwadze, e zakorzeniaa si ona wpraktyce poprzez uwikanie samych socjologw. Pierwsi polscy socjologowie nawet jeli nie w ramach akademickiej socjologii, budowali sobie
12 13

Ibidem, s. 158. Ibidem, s. 171172.

24

Kazimierz W. Frieske

swoj zawodow tosamo wchodzili, bywao, w skad administracji iwykonywali wniej swoje zadania, usiujc czyni to wzgodzie ze swoimi profesjonalnymi kwalifikacjami. Mwic najkrcej iwykorzystujc dystynkcj R.Mertona, ktry wswoim czasie podzieli ekspertw na insiderw funkcjonujcych wstrukturach wadzy ioutsiderw, usiujcych forsowa swoje opinie zzewntrz, na przykad, ze wiata akademii14 takim socjologieminsiderem by przez czas jaki Stefan Czarnowski, pracujc jako oficerspecjalista, na rzecz odtwarzajcej si, polskiej armii. N. Assorodobraj pisaa oCzarnowskim tak: () podczas suby wojskowej () na og nie zaprzestawa pracy naukowej (). Do ostatniej swej suby wSztabie Generalnym, (pamitajmy, e Czarnowski odszed zwojska dopiero w1923 r. KWF), wykonywa szereg zada naukowych, przede wszystkim wdwch dziedzinach: demografii igeografii wojskowej. Prace demograficzne suy miay za podstaw do planowania akcji mobilizacyjnych. Prace z zakresu geografii wojskowej byy pracami przygotowawczymi do ustalenia strategicznych podstaw przyszych granic Polski15. T informacj warto zapamita dla dwch przynajmniej powodw. Po pierwsze teza o niemale koniecznym napiciu midzy wiatem wadzy iwiatem akademii nawet jeli na og trafna w szczeglnych sytuacjach okazuje si jawnie faszywa. Mona atwo wyobrazi sobie, e ta czy inna wadza jest przez badacza uznawana, akceptowana itraktowana jako swoja wic taka, ktrej chce si suy nawet wtedy, gdy bez trudu mona zauway jej polityczne ograniczenia. To, czego dowiadujemy si zbiografii Czarnowskiego, to przecie wzr zpowodzeniem powielany po latach przez akademickich socjologw, ktrzy w pocztkach lat 90. rezygnujc ze swoich karier uniwersyteckich zabierali si do budowy nowej Polski isuyli politycznym establishmentom, ten cel majc na uwadze. Powd drugi sprowadza si do odnotowania tego, e socjolog podejmujcy rol insidera tych czy innych struktur politycznych, administracyjnych, usiujcy funkcjonowa wnich nie tylko sprawnie, ale inie wyzbywajc si swych zawodowych umiejtnoci, musi zaakceptowa ito, e zaczyna funkcjonowa jako czonek zespou, ktry nie moe forsowa swoich profesjonalnych racji. Musi godzi si ztym, e racje te s sensowne tylko wtej mierze, wjakiej sprzyjaj realizacji szerszych, grupowo zaakceptowanych celw, e zatem staje si jednym zwielu uczestnikw zoonych procesw podejmowania decyzji politycznych czy administracyjnych. Wprawdzie akademickie ego moe ztych powodw bardzo cierpie, ale przecie wide wykorzystania wiedzy gromadzonej wnaukach spoecznych s wbudowane wartoci skoncentrowane nie na pryncypialnym deniu do racjonalizacji spoecznego wiata, lecz na jego naprawianiu. Gdyby zatem
Por. Merton R., Rola intelektualisty winstytucjach pastwowych, w: R. Merton, Teoria socjologiczna istruktura spoeczna, PWN, Warszawa 1982, s. 267 in. 15 Assorodobraj N., op. cit.
14

Nauki spoeczne wsubie spraw publicznych polskie tradycje

25

okazao si, e zbiorowy poytek pynie zdecyzji, ktre socjologiczn wiedz ignoruj, to bez wzgldu na to, jak bardzo byoby to bolesne nie wida pyncych ztego nieszcz.

Socjologia krytyczna
Jedn zklasycznych form wpywania na spoeczn rzeczywisto, atwych do odszukania w tradycji polskich nauk spoecznych, jest wszystko to, co wizao si zlosami Instytutu Gospodarstwa Spoecznego. S one stosunkowo dobrze udokumentowane16, aco wicej, tradycja IGS-u przetrwaa czasy PRL-u. Jako placwka naukowo-badawcza i dydaktyczna istnieje do dzisiaj wstrukturze Szkoy Gwnej Handlowej. Pamitajc ozwizanej zpolsk lewic, zwaszcza zLudwikiem Krzywickim, tradycji IGS-u, stosunkowo rzadko przywouje si okolicznoci poprzedzajce jego powstanie. Ot, warto powiedzie, e wpocztkach XX w. w ramach warszawskiego Towarzystwa Popierania Pracy Spoecznej od 1910 r. funkcjonowao Biuro Pracy Spoecznej pomylane jako powiedzielibymy dzisiaj think tank, stanowice intelektualn grup wsparcia dla reprezentantw Krlestwa Polskiego wrosyjskiej Dumie Pastwowej. Jednym zaktywistw tego Biura by Wadysaw Grabski, ktry na krtko przed wybuchem wojny, wramach dziaalnoci sucej upowszechnieniu systematycznej wiedzy spoecznej, wyda dwa roczniki statystyczne Krlestwa Polskiego. Wswoich pocztkach Biuro Pracy Spoecznej byo kierowane przez Zygmunta Chrzanowskiego, prawnika owyranie konserwatywnych afiliacjach, ale zbiegiem czasu wrd wsppracownikw Biura zaczli pojawia si ludzie albo bliscy socjalistycznym orientacjom ideologicznym, albo ludzie zwizani zruchem ludowym T. Howka, M. Niedziakowski czy W. Wakar. W 1917 r. ten ostatni zosta jego kierownikiem, za prace Biura potoczyy si nader dynamicznie przygotowany zosta projekt ordynacji wyborczej do Sejmu Ustawodawczego, wykorzystany w1919 r., atake opracowanie Polski Program Terytorialny i trzy tomy raportu Rozwj terytorialny narodowoci polskiej, zawierajcego uzasadnienie dla polskiego stanowiska na konferencji wersalskiej. Ideowe i personalne konflikty doprowadziy do zawieszenia dziaalnoci Biura. W. Wakar zosta odsunity od funkcji kierowniczych, za ideologiczna fronda zoona zjego wsppracownikw przeniosa si do Towarzystwa Ekonomistw iStatystykw Polskich, zakadajc Instytut Gospodarstwa Spoecznego, czyli t placwk, ktrej dzieje znamy znacznie lepiej. Jej pierwszym szefem dalej by W. Wakar, ale w1921 r. zastpi go Ludwik Krzywicki.
16 Por. Szturm de Sztrem T., Instytut Gospodarstwa Spoecznego 19201944. Przyczynek do historii instytucji naukowo-spoecznych wPolsce, PWN, Warszawa 1959.

26

Kazimierz W. Frieske

Waciwie w tym momencie rozpocza si krytyczna faza dziaalnoci IGS-u, ktr jeden zjego wsppracownikw Tadeusz Szturm de Sztrem, opisywa wsposb nastpujcy: W latach 19211923 chodzio przede wszystkim o pokazanie i zdemaskowanie istotnej roli mechanizmu dziaajcego wwczas wgospodarstwie spoecznym Polski, za pomoc ktrego jak si okazao cay ciar powojennej odbudowy kraju oraz dokonywanych inwestycji przerzucano na barki klasy pracujcej. () Wbroszurach Instytutu chodzio owykrycie rzeczywistej wartoci stawek pac, oobliczenie ich prawdziwej siy nabywczej () potrzebie tej uczynio zado par prac, () ktre rzuciy wiato na rzeczywiste pooenie klasy robotniczej wokresie narastajcej droyzny ()17. Wpowstaym w1926 r. Statucie IGS-u tak opisane zostay jego zakadane funkcje spoeczne: () celem Instytutu jest oparcie gospodarstwa spoecznego w Polsce na naukowych podstawach (). Natomiast Ludwik Krzywicki we Wstpie do wydanych w1936 r. Pamitnikw Chopw, dziele nalecym do klasyki polskiej literatury socjologicznej, pisa, e () Instytut Gospodarstwa Spoecznego jest instytucj ocelach natury poniekd doranej: usiuje () trzyma rk na pulsie naszego ycia spoecznego () celem wyjanienia tego czy innego niedomagania, owietlenia tej lub innej sytuacji (). Tak wanie mona sobie wyobraa szeroko rozumiane prace ewaluacyjne, usiujce wydoby na uytek publicznej debaty rezultaty rozmaitych politycznych obietnic, ktre przy bliszym ogldzie okazuj si czsto jedynie propagandowym frazesem. Rezultaty prac prowadzonych w IGS-ie wydaj si zgoa imponujce: do klasyki polskich bada spoecznych zaliczaj si systematyczne badania nad budetami gospodarstw domowych czy analizy obcienia podatkami porednimi rozmaitych grup spoeczno-zawodowych oraz pionierskie wtedy badania nad migracjami zarobkowymi Polakw. To, co owarsztacie tych prac mielibymy do powiedzenia, wspczenie nie ma wikszego znaczenia. Donioso IGS-u tkwi wtym, e wnosi on do publicznych debat systematycznie uzasadniane punkty widzenia, ktre bliskie byy idei socjologii krytycznej, wic socjologii kwestionujcej reguy politycznej poprawnoci i pryncypia ideologii sukcesu. Czegokolwiek zatem nie powiedziaoby si o ideologicznych przesankach wyboru problematyki prowadzonych w Instytucie bada, nie da si zakwestionowa tego, e nadaway one spoecznej refleksji nader praktyczny wymiar. Wicej nawet program ujawniania nieoczekiwanych czy starannie pomijanych konsekwencji jakiejkolwiek praktycznej polityki spoecznej to nic innego, jak program kadcy nacisk na () oparcie gospodarstwa spoecznego na naukowych podstawach (). Nie ma wikszego znaczenia, czy w zgodzie ze wspczesn konwencj powiemy, e jest to program systematycznie prowadzonych ewaluacji, czy moe wybierzemy inny, sensownie brzmicy termin.
17

Ibidem.

Nauki spoeczne wsubie spraw publicznych polskie tradycje

27

Konkluzje
O badaniach ewaluacyjnych mona mwi dwutorowo: jedni chc wnich widzie sposb na racjonalizacj procesw ksztatowania decyzji alokacyjnych, podejmowanych wwyspecjalizowanych segmentach administracji publicznej, drudzy za widz wnich jedn zmoliwych metod demokratyzacji tych procesw. Nie ma sensu spiera si oto, ktra ztych funkcji ewaluacji jest waniejsza, warto natomiast dostrzec to, e rezultaty ewaluacji s jedn zwanych form demokratycznej kontroli merytokratycznych establishmentw. Mwic nieco inaczej, wyniki ewaluacji dziki swojej funkcji krytycznej to jeden ze sposobw znoszenia demokratycznego deficytu, oczym we wspczesnych demokracjach mwi si coraz czciej. Wdemokratycznej retoryce zwyko si przyjmowa, e deficyt demokracji jest zjawiskiem gronym wtej mierze (pomijajc ju kwestie prawomocnoci), wjakiej pomniejsza jej przewidywalno bo utrudnia budowanie consensusu. Publiczny dyskurs, deliberacja, rozmaite formy obywatelskiej partycypacji, maj suy wanie poszukiwaniu rozwiza kompromisowych, a wic consensualnych. Tymczasem empirycznie uchwytne argumenty nie wskazuj na to, e jest tak istotnie. Takie instytucjonalne rozwizania, ktre umoliwiaj rozmaite formy publicznej debaty, mog mie wprawdzie t zalet, e su jako psychologiczne wentyle pozwalajce na osabianie spoecznych napi, ale nie zbliaj uczestnikw do osignicia zadowalajcego dla wszystkich kompromisu, wic, wkonsekwencji moe si okaza nie stabilizuj systemu politycznego. Co wicej, nie ma wikszych wtpliwoci co do tego, e s one rdem rozmaitych kosztw transakcyjnych. Gdyby tak by miao rzeczywicie, to znaczenia nabiera argumentacja wspierajca taki sposb mylenia, ktry kadzie nacisk na korzyci pynce zmerytokracji: () what matters most to citizens is the securing of certain goods such as high employment, economic growth and environment protection () what people want in these fields is expertise, efficiency and equity. They look for Pareto-efficient improvements that corrects for market failure () There should be consultation with affected parties, but this exercise is for information gathering not to promote democratic accountability. () Even at the domestic level, technical regulatory issues tend to be delegated to unelected expert bodies ()18. Podsumowujc, nie jest wykluczone, e obywatele chc by rzdzeni dobrze co wkontekcie oznacza tyle, e zgodnie z reguami technokratycznej czy ekonomicz18 Por. Willets P., The Cardoso Report on the UN and Civil Society: Functionalism, Global Corporatism, or Global Democracy?, Global Governance 2006, nr 12, s. 305324; Moravscik A. , In Defence of the Democratic Deficit: Reassessing Legitimacy in the EU, Journal of Common Market Studies 2002, vol. 40, s. 727. Podobny punkt widzenia prezentuj te amerykascy obserwatorzy problemw instytucjonalnych UE, np. Giandomenico Majone, Europes Democratic Deficit, The Ques tion of Standards, European Law Journal 1998, vol. 5, nr 4.

28

Kazimierz W. Frieske

nej efektywnoci niekoniecznie za chc w procesach sprawowania wadzy uczestniczy. Problem nie sprowadza si jednak tylko do refleksji wok pytania o to, czego oczekuj od wadzy obywatele demokratycznej partycypacji czy moe Pareto-racjonalnego zarzdzania?. Rzecz jest znacznie bardziej podstawowa ipolega na ustaleniu, jakie okolicznoci imechanizmy spoeczne stabilizuj system polityczny. Tu pojawia si moliwo rozsdnego kompromisu: obywatele nie garn si w ramach rozmaitych instytucji demokracji partycypacyjnej do kosztownego uczestniczenia wprocesach zarzdzania politykami publicznymi, ale jednak chc kontrolowa ich rezultaty. Czasem jest to moliwe bez angaowania zoonego warsztatu analitycznego, bo koniec kocw to, czy dziury wdrodze s zaatane, czy nie, atwo zauway! Ale nieco wicej wysiku wymaga odpowied na pytanie, jakim kosztem zostay one zaatane, irozstrzygnicie, czy warto byo je ata, biorc pod uwag natenie ruchu. To wymaga ju bardziej zoonych analiz. Moemy je nazwa studiami ewaluacyjnymi icieszy si ztego, e oto pojawi si nowy sposb kontrolowania arbitralnoci decyzji alokacyjnych. Moemy te zpen pokor uwiadomi sobie, e wprawdzie warsztat ewaluacji zosta wcigu ostatnich dziesicioleci znakomicie rozbudowany, ale ich idea podstawowa nie jest nowa: ta formua wykorzystania wiedzy gromadzonej wnaukach spoecznych pojawiaa si wnich take iwtedy, gdy wchodzca wich skad socjologia miaa jeszcze wielce prenaukowy charakter.

Kazimierz Frieske doktor habilitowany, profesor Uniwersytu Warszawskiego i Wyszej Szkoy Handlu i Prawa w Warszawie, a take warszawskiego Instytutu Pracy iSpraw Socjalnych. WInstytucie Socjologii WFiS UW kieruje Zakadem Problemw Spoecznych i Planowania Spoecznego. Jego prace badawcze mieszcz si wobszarze szeroko rozumianej socjologii problemw spoecznych isocjologii prawa, atake tzw. socjologii stosowanej. Jest autorem bd wspautorem lub redaktorem szeregu ksiek, apoza tym wielu artykuw publikowanych wprofesjonalnych czasopismach. Napisa m.in.: Pijastwo. Interpretacje problemu spoecznego (Warszawa 1984); Narkomania (Warszawa 1987); Socjologia w dziaaniu. Nadzieje i rozczarowania (Warszawa 1990); Opieka ikontrola. Instytucje wobec problemw spoecznych (Warszawa 1996) Zjawiska marginalizacji spoecznej wPolsce (Warszawa 1997). Zajmuje si te tumaczeniami. Przeoy na jzyk polski takie ksiki, jak: Prawnik jako negocjator L.Hawkinsa, M. Hudsona iR.Cornalla (Warszawa 1994); Zarzdzanie firm prawnicz Alana Pannetta (Warszawa 1996), Administracja publiczna wsystemie politycznym B.Guya Petersa (Warszawa 1999). W wolnych chwilach tumaczy literatur rozrywkow.

Nauki spoeczne wsubie spraw publicznych polskie tradycje

29

Bibliografia
Assorodobraj N., ycie idzieo Stefana Czarnowskiego, w: S. Czarnowski, Dziea, PWN, Warszawa 1956, t. V. Comte A., Rozprawa oduchu filozofii pozytywnej, PWN, Warszawa 1973. Gouldner A.W., Explorations in Applied Social Science, w: A.W. Gouldner, S.M. Miller (red.), Applied Sociology, Opportunities and Problems, The Free Press, N.Y. 1964. Limanowski B., Socjologia, Gebethner i Wolf, Warszawa 1919. Limanowski B., Socjologia, w: J.Sztumski (red.), Socjalizm jako konieczny objaw dziejowego rozwoju, KiW, 1989. Majone G., Europes Democratic Deficit, The Ques tion of Standards, European Law Journal 1998, vol. 5. Merton R., Rola intelektualisty winstytucjach pastwowych, w: R. Merton, Teoria socjologiczna istruktura spoeczna, PWN, Warszawa 1982. Moravscik A., In Defence of the Democratic Deficit: Reassessing Legitimacy in the EU, Journal of Common Market Studies 2002, vol. 40. Supiski J., Pisma. Wydanie poprawione ipomnoone, t. IV, Warszawa 1872. Szacki J. (red.), Sto lat socjologii polskiej, PWN, Warszawa 1995. Szturm de Sztrem T., Instytut Gospodarstwa Spoecznego 19201944. Przyczynek do historii instytucji naukowo-spoecznych wPolsce, PWN, Warszawa 1959. Willets P., The Cardoso Report on the UN and Civil Society: Functionalism, Global Corporatism, or Global Democracy?, Global Governance 2006, nr 12.

Dariusz Zalewski

Moliwoci iograniczenia wykorzystania wynikw ewaluacji przez instytucje publiczne


Diaboliczne wiczenie
Czym jest ewaluacja ijakie s jej funkcje wyjaniano na wiele sposobw. Nie ma wic powodu, aby po raz kolejny przytacza znane podrcznikowe definicje. Kariera, jak zrobio to pojcie, wydaje si by nierozerwalnie zwizana zdwoma zjawiskami. Po pierwsze zposzerzaniem si sfery publicznej iwzrostem znaczenia administracji odpowiedzialnej za realizacj okrelonych zada. Po drugie zrozczarowaniem efektywnoci realizacji tyche zada przez administracj zorganizowan wedle klasycznych zasad sformuowanych przez M. Webera. Oczywicie, musimy pamita, e sama ewaluacja ma znacznie dusz histori siga ona pocztkw XX wieku, a w jej rozwoju mia swj udzia m.in. Florian Znaniecki ni krytyka weberowskiej biurokracji istosownie do niej poszukiwanie nowych form organizacyjnych administracji publicznej dla skuteczniejszego iefektywniejszego realizowania zada. Naleaoby te dla porzdku doda, e badania ewaluacyjne, jako narzdzie oceny realizowanych programw interwencji spoecznej, stosowane s nie tylko wobrbie dziaalnoci administracji publicznej, ale to gwnie jej specyfice czy te niedoskonaoci zawdziczamy wznacznej mierze ich rozwj. Wzrost zainteresowania badaniami ewaluacyjnymi w Polsce jest cile zwizany zprzystpieniem Polski do Unii Europejskiej. Przyczyna jest prozaiczna i ma charakter obligatoryjnego wymogu ewaluowania programw publicznych finansowanych przez UE1. Czarujcy powab ewaluacji widoczny jest niemale w kadym oficjalnym dokumencie UE powiconym teje problematyce. Wpierwszym zdaniu jednego zdokumentw Komisji Europejskiej moemy przeczyta: Ewaluacja moe by traktowana przez kogo jako diaboliczne wiczenie. Jednake, jeli ewaluacja jest dobrze przeprowadzona
Inicjatywa Komisji Europejskiej Sound and Efficient Management 2000 (znana jako SEM 2000) wcza uycie ewaluacji jako kluczowego elementu poprawy kultury zarzdzania samej Komisji. Kluczow innowacj SEM bdzie wymaganie, aby systematyczn ewaluacj obj wszystkie programy UE; zob. Evaluating UE Expenditure Programmes: A Guide, European Commission, 01.1997, s.7.
1

32

Dariusz Zalewski

ijeli rezultaty ewaluacji s wykorzystane przez decydentw, moe ona przyczyni si do poprawy publicznych programw, jak rwnie zwikszy ich przejrzysto, odpowiedzialno iefektywno2. Chocia ewaluacja peni wiele funkcji, ajej warto powinna by oceniana przez pryzmat zoonoci funkcji icelw, jakie przed ni si stawia, to jednak zuwagi na fakt, e najwikszym odbiorc jej wynikw jest administracja publiczna, najwaniejsza wydaje si by ocena racjonalnoci poniesionych kosztw dla osignicia okrelonych celw. Myl t do dobrze wyraa nastpujce zdanie: Ewaluacja ma dostarcza kryteriw, metod irodkw do oceny racjonalnoci dziaa publicznych, speniajc wsektorze publicznym rol analogiczn do mechanizmu rynkowego w sektorze prywatnym3. Mona by oczywicie argumentowa, e taka redukcja funkcji bada ewaluacyjnych jest nieuprawniona, a porwnanie ich roli do mechanizmu rynkowego jest wtej mierze nietrafne, wjakiej pastwo rni si od rynku, alogika dziaa administracji publicznej jest odmienna ni wprzypadku prywatnego przedsibiorstwa. Jednak krytyka administracji publicznej, inspirowana gwnie przez przedstawicieli neoliberalnej ekonomii klasycznej oraz teorii wyboru publicznego, sprawia, e to wanie rynek ze swoimi zasadami konkurencji i deniem do ekonomicznej efektywnoci sta si paszczyzn odniesienia dla proponowanych reform wzarzdzaniu sektorem publicznym. Natomiast rol ewaluacji miaaby by odpowied na pytanie, czy realizowane programy publiczne s efektywne wekonomicznym tego sowa znaczeniu. Mona sdzi, e oczekiwania formuowane pod adresem ewaluacji s zbyt due. Jeli tak, to jakie s, zjednej strony, moliwoci, azdrugiej strony ograniczenia wykorzystania wynikw ewaluacji wpraktyce administracyjnej? Odpowiedzi na te pytania wydaj si by interesujce wkontekcie poszukiwanej efektywnoci dziaania sektora publicznego, owego witego Grala wszystkich reformatorw, jak zrcznie uj to V. Writgh4. Analiza bdzie koncentrowaa si na zewntrznych ograniczeniach moliwoci wykorzystania wynikw ewaluacji pomimo wiadomoci, e jej aplikacyjna warto zaley wrwnym, jeli nie wikszym, stopniu od czynnikw wewntrznych procesu ewaluacyjnego (poprawnoci zaoe metodologicznych, przestrzegania standardw badawczych, kompetencji badacza itp.). Taki wybr podyktowany jest powszechnie formuowanymi pod adresem bada ewaluacyjnych oczekiwaniami (nierzadko sprzecznymi) ze strony rnych rodowisk, aby ich wyniki przyczyniay si do wzrostu efektywnoci realizowanych programw publicznych.
Evaluating UE Expenditure Programmes, op. cit. Shadish W.R, Cook T.D., Leviton L.C., Foundations of Program Evaluation: Theories of Practice, Sage Publications, Newbury Park, London 1991, s.19; cyt. za K. Olejniczak, Teoretyczne podstawy ewaluacji ex-post, w: A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka, PARP, Warszawa 2007, s.19. 4 Wright V., Paradoxes of Administrative Reform, w: W.J.M. Kickert, Public Management and Administrative Reform in Western Europe, Edward Elgar, Cheltenham 1997, s.11.
3 2

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

33

Rozdzia ten jest tak pomylany, aby wklarowny sposb przedstawi, jakie s oczekiwania wobec ewaluacji oraz jej moliwoci iograniczenia. Poniewa znaczenie ewaluacji moe by rne wrnych koncepcjach realizacji zada publicznych, pokaemy wskrtowy sposb propozycje zmian wadministracji publicznej iewentualne konsekwencje dla ewaluacji programw interwencji spoecznych. Byoby wskazane, aby w tekst inspirowa dyskusj omoliwociach iograniczeniach ewaluacji nie tylko wrd przedstawicieli rodowiska naukowego, gdy ci zawsze znajd czas, by spiera si oco, ale take wrd przedstawicieli administracji, odpowiedzialnej za realizacj zada ocharakterze publicznym.

Sw kilka oreformach administracji i ich konsekwencjach dla ewaluacji


To, jak rol ewaluacja moe odegra wprocesie efektywnego wydawania rodkw publicznych, wjakim stopniu przyczyni si do racjonalnego podejmowania decyzji alokacyjnych, zaley wduej mierze od tego, wjaki sposb ikto realizuje usugi ocharakterze publicznym. Przed prawie trzydziestu laty M. Friedman wsplnie ze swoj maonk Rose opublikowali ksik Free to Choose, wktrej przystpnie przedstawili zasady rzdzce racjonalnoci alokacji zasobw finansowych, ze wzgldu na dwie pary zmiennych: czyje pienidze wydajemy (wasne bd cudze) oraz na kogo wydajemy (na siebie bd na kogo innego). W wyniku poczenia tych dwch par alternatyw uzyskujemy macierz odpowiedzi, na ktr skadaj si cztery warianty: wasne pienidze na wasne potrzeby (1), wasne pienidze na potrzeby innych (2), cudze pienidze na wasne potrzeby (3) oraz cudze pienidze na potrzeby innych (4)5. Krytykujc nieracjonalno alokacyjn administracji publicznej, Friedmanowie skoncentrowali si na wariantach 3 i4, dowodzc, e wydawanie publicznych pienidzy stanowi przesank do marnotrawstwa tych rodkw, gdy nie ma wystarczajcych bodcw do uruchomienia racjonalnych strategii dziaania tak, aby optymalizowa uzyskiwane przez beneficjantw korzyci do poniesionych publicznych kosztw. Wpodobnych duchu wypowiadaj si przedstawiciele teorii wyboru publicznego, ktrzy swoje analizy opieraj na mikroekonomicznych zaoeniach neoliberalnej ekonomii. Nobody spends somebody elses money as carefully as he spends his own pisa przed laty W. Mitchell, analizujc funkcjonowanie sektora publicznego w ramach teorii wyboru publicznego6.
Friedman M., Friedman R., Wolny wybr, Wyd. Panta, Sosnowiec 1994, s.111. Cyt. za: Dunleavy P., Democracy, Bureaucracy and Public Choice, Harvester Wheatsheaf, 1991, s.173.
6 5

34

Dariusz Zalewski

Uwagi poczynione przez Friedmanw raczej nie przyczyniy si do rozwoju bada ewaluacyjnych, aich intencj byo pokazanie, e administracja publiczna gwnie dba owasne, anie publiczne interesy. Jeden zmoliwych wnioskw, jaki moglibymy wyprowadzi zneoliberalnej krytyki funkcjonowania sektora publicznego, byby taki, e wyniki bada ewaluacyjnych mogyby by pomocne, by nie powiedzie rozstrzygajce, w dyskusji nad efektywnoci programw realizowanych przez instytucje publiczne. Potwierdza to przekaz pyncy zrozmaitych wypowiedzi przedstawicieli politycznych establishmentw, szczeglnie dobrze widoczny dla politykw UE, ktrzy wyniki ewaluacji traktuj jako czynnik racjonalizacji procesu decyzyjnego wsektorze publicznym. Ewaluacja jest niezbdn czci nowoczesnej praktyki zarzdzania sektorem publicznym pisa przed kilku laty E. Liikanen, czonek Komisji Europejskiej odpowiedzialny za budet iadministracj7. Oczywicie musimy pamita, e ewaluacja jest tylko narzdziem sucym ocenie rozmaitych programw spoecznej interwencji, podejmowanych nie tylko przez administracj publiczn, i w adnym przypadku nie mona jej traktowa jako funkcjonalnej recepty na rozmaite kopoty, ktrych nastrcza funkcjonowanie sektora publicznego. Jeli jednak chcemy odpowiedzie na takie czy inne zarzuty kierowane pod adresem instytucji publicznych, czsto zreszt uzasadnione, lub te dostarczy samej administracji informacji okosztach iefektach jej funkcjonowania, to wydaje si, e powinnimy odwoa si do wynikw oceny teje dziaalnoci, ktre moemy uzyska wramach prowadzonych bada ewaluacyjnych. Naley jednak zdawa sobie spraw nie tylko zrozmaitych ogranicze wykorzystania wynikw tych bada, ale te i z tego, e znaczenie samej ewaluacji moe by rne ze wzgldu na to, kto iwjaki sposb bdzie realizowa okrelone zadania tradycyjnie przynalene do sektora publicznego wramach wzajemnych powiza pastwa irynku.

Urynkowienie pastwa aewaluacja


Propozycje radykalnych zmian w administracji publicznej, jakie pojawiy si m.in. wlatach 80. ubiegego wieku, gwnie za spraw ekonomistw ze Szkoy Chicagowskiej oraz zwolennikw teorii wyboru publicznego, nawizyway do zasad funkcjonowania wolnego rynku z jego logik maksymalizowania korzyci. Dowiadczenie byo takie, e administracja publiczna nie radzi sobie z rozwizywaniem rozmaitych problemw, do czego zostaa powoana, a jej efektywno alokacyjna jest zdecydowanie mniejsza ni podmiotw prywatnych dziaajcych na rynku. Uzasadnieniu
7

Evaluating UE Expenditure Programmes, op. cit.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

35

utrzymywania sektora publicznego i zarzdzajcej nim administracji zawartemu whale market failure przeciwstawiono haso government failure. Porwnujc zatem dziaanie administracji publicznej do przedsibiorstw rynkowych (czy susznie to zupenie inna sprawa) neoliberalni ekonomici zaproponowali, po pierwsze, deregulacj sektora publicznego, po drugie, jego prywatyzacj8. Deregulacja sektora publicznego miaa na celu przede wszystkim zredukowanie odpowiedzialnoci pastwa za rozwizywanie rozmaitych problemw tak, aby zwikszy przestrze dla dziaa rynkowych. Jeli publiczna regulacja argumentowa George Stigler nie jest konieczna, zatem wiele programw publicznego sektora regulujcych gospodark powinno zosta usunitych, wczajc w to agencje, ktre wprowadzaj te publiczne regulacje9. Krtko mwic, deregulacja, a w lad za ni prywatyzacja agencji sektora publicznego, miay zapewni wiksz konkurencyjno midzy jednostkami odpowiedzialnymi za realizacj funkcji publicznych pastwa, afunkcj ewaluacyjn ich dziaalnoci miay peni przede wszystkim reguy gry rynkowej ze swoj zdolnoci do skutecznego rozwizywania problemw alokacji zasobw. Kopot tylko wtym, e rynkowe czy quasirynkowe instytucje alokuj swoje zasoby tam, gdzie istnieje moliwo uzyskania wysokiej stopy zwrotu zainwestowanych rodkw. Poza tym nie ma adnych gwarancji, e konkurencja midzy podmiotami rywalizujcymi orealizacj okrelonych usug ocharakterze publicznym bdzie prowadzona wedle zasad bezstronnoci. Abstrahujc jednak od wielu problemw ikrytyk propozycji ekonomistw Szkoy Chicagowskiej czy przedstawicieli teorii wyboru publicznego, jak na przykad takich, e deregulacja wymaga nowych form regulacji10, aprywatyzacja zwiksza koszty transakcyjne, naley zauway, e jedn zkonsekwencji tych propozycji powinno by zmniejszenie roli bada ewaluacyjnych. T rol powinien w znacznym stopniu przej rynek ze swoj czyteln zasad ekonomicznej efektywnoci. Prywatyzacja bowiem stanowi odwrcenie procesu poszerzania pastwowego interwencjonizmu, ktry to proces by jedn zkluczowych przesanek rozwijania bada ewaluacyjnych czy szerzej, implementacji dorobku nauk spoecznych do rozwizywania konkretnych problemw11.

8 Lane J.E., Public Sector Reform: Only Deregulation, Privatization and Marketization?, w: J.E. Lane (red.), Public Sector Reform. Rationale, Trends and Problems, Sage Publications, London 1997, s.3. 9 Ibidem. 10 Majone G., The rise of the regulatory state in Europe, West European Politics, 17, s.77101. 11 K.W. Frieske np. podaje, e pocztki zaangaowania przedstawicieli nauk spoecznych wpraktyk spoeczn wStanach Zjednoczonych miay miejsce wokresie New Dealu, kiedy pastwo zwikszyo obszar swojego interwencjonizmu; zob. Frieske K.W., Socjologia wdziaaniu. Nadzieje irozczarowania, Wyd. Uniwersytetu Warszawskiego, Warszawa 1990, s.7879.

36

Dariusz Zalewski

Urynkowienie wadzy aewaluacja


Propozycje zmian wsektorze publicznym zoone przez neoliberalnych ekonomistw z pewnoci stanowiy powane zagroenie dla interesw ewaluatorw, awjakiej mierze take idla samych bada ewaluacyjnych, gdy rycho mogoby si okaza, e nie ma czego ewaluowa albo nie byoby dla kogo ewaluowa. Takiego zagroenia zpewnoci nie ma ze strony reformatorskiej koncepcji publicznej przedsibiorczoci (public entrepreneurship), ktrej bodaj najbardziej znanymi ordownikami stali si wlatach 90. ubiegego wieku D. Osborne iT.Gaebler, autorzy bardzo gonej ksiki Reinventing Government. Sama propozycja, wpisujca si wszersz strategi nowego zarzdzania publicznego (New Public Management) nie bya ani specjalnie nowa, ani oryginalna, aczerpaa zarwno zzaoe teorii wyboru publicznego (opartej na neoliberalnym modelu racjonalnoci jednostki), jak i neo taylorowskiej teorii organizacji i zarzdzania. To, co ewidentnie rni koncepcj publicznej przedsibiorczoci od koncepcji urynkowienia usug publicznych, pochodzcej ze Szkoy Chicagowskiej, zawiera si wrnym podejciu do si rynkowych, ktre miay zreformowa sektor publiczny. Oile neoliberalni ekonomici proponowali ograniczy dziaalno pastwa, aby zwikszy przestrze dla sektora prywatnego, otyle menederyci zaproponowali wczenie mechanizmw rynkowych do dziaalnoci administracji tak, aby stworzy tzw. wewntrzny rynek wramach sektora publicznego. Nawizujc do neotaylorowskiej koncepcji efektywnego zarzdzania, zaproponowali oni model administracji zorientowanej na osiganie celw, awszczeglnoci pooyli nacisk na wykorzystywanie wskanikw wydajnoci iskutecznoci, ewaluacj realizowanych programw, wynagradzanie wedle zasady uzyskiwanych rezultatw ipodnoszenie jakoci wiadczonych usug12. Osborne iGaebler, zachcajc do systematycznej ewaluacji realizowanych przez administracj publiczn programw, wskazali jednoczenie na szereg problemw, jakie zwykle towarzysz pomiarowi oczekiwanych wynikw. Ich uwagi, sformuowane na bazie dowiadczenia administracyjnej praktyki, miay przestrzega, jakich bdw przy dokonywaniu pomiaru osiganych wynikw naley unika. Warto do nich odnie si chociaby po to, aby pokaza, nie kwestionujc ich merytorycznej zasadnoci, e ani nie wyczerpuj one katalogu moliwych do popenienia bdw, na jakie naraone jest wnioskowanie na podstawie wynikw ewaluacji, ani zastrzee, jakie pod adresem ewaluacji kieruj rozmaici badacze.

Keraudren Ph., van Mierlo H., Theories of Public Management Reform and their Practical Implications, w: T. Verheijen, D. Coombes, Innovations in Public Management. Perspectives from East and West Europe, Edward Elgar, Cheltenham 1998, s.40.

12

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

37

Po pierwsze, midzy mierzeniem procesu dziaania a mierzeniem jego wynikw jest wielka rnica13. Uwaga ta brzmi do banalnie dla kadego, kto przynajmniej wstopniu podstawowym jest wtajemniczony warkana ewaluacyjnego rzemiosa, cho niekoniecznie musi by rwnie oczywista dla przedstawicieli administracji. W gruncie rzeczy autorom chodzio oto, e administracja czsto koncentruje si na pomiarze nie tego, co powinno by przedmiotem oceny. Skonno do koncentrowania si na jakim procesie jest naturalna menederowie mierz to, co robi powierzone im organizacje, aworganizacjach kierujcych si regulaminami iprzepisami ludzie traktuj swoj prac jako pewien proces, ktrego przebieg wyznaczaj te przepisy. Jeli zatem przestrzegaj dokadnie przepisw iwytwarzaj tyle, ile si od nich oczekuje, to wywizuj si ze swoich zada. Rzadko myl owynikach swojej pracy, otym, jaki wpyw ma ona na tych, ktrym dana agencja ma suy. Jednake taka, nawet doskonale wykonana praca, jest strat czasu ipienidzy, jeli nie prowadzi do osignicia podanych wynikw14 . Po drugie, istnieje wielka rnica midzy mierzeniem wydajnoci amierzeniem skutecznoci15. Dla kadej jednostki organizacyjnej, powiadaj autorzy, wane powinno by skuteczne osiganie zakadanego celu. Wydajno nie jest inie powinna by celem, do jakiego zmierza organizacja, ajedynie rodkiem do jego osignicia. Koncentracja uwagi na wydajnoci (i jego pomiarze) woderwaniu od skutecznoci dziaania prowadzi do paradoksalnej sytuacji marnotrawstwa rodkw. Nie ma nic gupszego ni wydajniejsze robienie czego, czego nie powinno si wogle robi16. Co wicej, Osborne iGaebler twierdz, e: koncentrowanie si na wydajnoci prowadzi rwnie do wytworzenia upracownikw instytucji publicznych poczucia alienacji. Kiedy wadze podkrelaj koszt kadej jednostki pracy, to czsto osigaj tylko tyle, e pracownicy widz jedynie swj odcinek, co ogranicza ich inteligencj iumiejtnoci. () Jeli jednak ich przeoeni koncentruj si wycznie na ich wydajnoci na tym, jak szybko wykonuj kad jednostk pracy to zaczynaj si oni czu, jakby byli zatrudnieni przy tamie montaowej17. Na marginesie warto doda, i wyranie wida, e autorzy przestrzegajc przed negatywnymi konsekwencjami pomiaru tylko wydajnoci pracy, wychodz poza tradycj neotayloryzmu, anawizuj do tradycji bada zkrgu tzw. Organizational humanism wyznaczanej przez takie nazwiska, jak John Dewey, Elton Mayo, Chester Bernard
13 Osborne D., Gaebler T., Rzdzi inaczej. Jak duch przedsibiorczoci przenika iprzeksztaca administracj publiczn, Media Rodzina, Pozna 1992, s.467. 14 Ibidem. 15 Ibidem, s.468. 16 Ibidem, s.469. 17 Ibidem.

38

Dariusz Zalewski

czy Kurt Levin zorientowanych na eksploracj relacji midzyludzkich wewntrz organizacji, m.in. po to, aby testowa zwizek midzy poziomem satysfakcji oraz stopniem zaspokojenia spoecznych iemocjonalnych potrzeb czonkw organizacji aosiganymi przez ni rezultatami18. Po trzecie, istnieje te wana rnica midzy wynikami programu aobejmujcymi szerszy zakres wynikami polityki19. Wedug Gaeblera iOsborna to, co jest wane ze spoecznego punktu widzenia, odnosi si do rezultatw szerzej rozumianej polityki, ktrej poszczeglne programy s tylko czci. Wymowny jest przykad, jaki podaj autorzy. Ot instytucje realizujce programy szukania miejsc pracy dla klientw systemu pomocy spoecznej czsto obliczay liczb osb, dla ktrych udao si j znale, oraz wysoko ich zarobkw, jednake nie uwzgldniay liczby osb przechodzcych na zasiek dla bezrobotnych, dugoci okresu pobierania zasiku itd. Jakie zatem byy tego konsekwencje? Osoby bezporednio nadzorujce program mog odrzec, e s odpowiedzialne za liczb znalezionych miejsc pracy, ale nie za liczb osb przechodzcych na zasiek ibd miay racj. Na wielko tej drugiej liczby wpywa bowiem oglna polityka wtej dziedzinie, to znaczy zasady ustalajce, kto kwalifikuje si do uzyskania zasiku, wjakiej relacji pozostaje zasiek do wynagrodzenia za wymagajc maych kwalifikacji inisko patn prac iile mona znale takich miejsc pracy. Jeli jednak wydzia opieki nie mierzy obu zbiorw liczb, to jego pracownikom moe si wydawa, e wykonuj znakomit robot, znajdujc prac dla swoich klientw itym samym pozbywajc si ich, gdy tymczasem szeregi podopiecznych wrzeczywistoci rosn. Tak wanie dzieje si od dziesiciu lat wwielu stanach. () Takie statystyki podkrelaj wag mierzenia zarwno wynikw programu, jak te polityki20. Geabler iOsborne formuuj te kilka praktycznych zalece dla administracji publicznej, ktra powinna by zainteresowana pozyskaniem wartociowych informacji pochodzcych zbada ewaluacyjnych. Pierwsze zalecenie, ktre brzmi przeprowadzaj zarwno analiz ilociow, jak ijakociow, ma swoj bardzo obszern literatur inie ma powodu aby cokolwiek wtej sprawie dodatkowo wyjania21. Po drugie, uwaaj na amatorw atwych kskw. Chodzi oto, aby nie pozwoli zwie si pozorom atwych rozwiza, ktre miayby wiadczy oskutecznoci takiego czy innego programu. Odwoujc si do praktyki
18 Szerzej na ten temat m.in. wMcKinney J.B., Howard L.C., Public Administration. Balancing Power and Accountability, Praeger Publishers, Westport 1998, s.159165. 19 Osborne D., Gaebler T., op. cit., s.470. 20 Ibidem, s.471. 21 Jasiski M., Kowalski M., Faszywa sprzeczno: metodologia jakociowa czy ilociowa?, w: A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka, PARP, Warszawa 2007.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

39

amerykaskiego sektora publicznego, autorzy pisz tak: Usugodawcy zazwyczaj podaj takie liczby, jakich si od nich oczekuje, nawet jeli musz wtym celu uproci sobie prac albo obej przepisy. Jeli musz znale prac dla tysica osb rocznie, to wybior tysic osb, dla ktrych najatwiej znale prac iprzeszkol je. () Tak wanie postpoway orodki pomocy spoecznej wpierwszych latach realizacji ustawy owspudziale wksztaceniu zawodowym22. Po trzecie, bd przygotowany na silny opr, co oznacza mniej wicej tyle, e rzetelne informacje o wydajnoci i skutecznoci mog stanowi due zagroenie dla bytu danej jednostki organizacyjnej. Autorzy podaj kilka przykadw takiej sytuacji, np. Stanu Floryda, ktry zlikwidowa program nagradzania szk za popraw jakoci pracy czy Stanu Arizona, ktry zaprzesta publikowania danych dotyczcych odsetka absolwentw szk zawodowych ipomaturalnych, ktrzy uzyskali prac. Powd by prozaiczny college iszkoy zawodowe uznay bowiem, e informacje takie stanowi dla nich zagroenie, jako e ujawniaj, jak naprawd przygotowuj modych ludzi do podjcia pracy23. Po czwarte, wczaj w proces tworzenia metod pomiaru usugodawcw ipodwadnych. To zalecenie odwouje si do znanych zteorii organizacji izarzdzania modeli, jak chociaby przywoywany wczeniej Organizational humanism, zalecajcych kooperacj dla wypracowania wsplnych rozwiza iuniknicia konfliktw wewntrz-organizacyjnych. Najlepszym jak pisz autorzy sposobem przeamania oporu przed wprowadzeniem metod mierzenia wykonania ijakoci pracy jest wczenie usugodawcw iwszystkich pracownikw wproces ich tworzenia24. Po pite, poddawaj metody pomiaru corocznej rewizji imodyfikacji. Po szste, nie stosuj zbyt duo ani zbyt mao miar. To icie arystotelsowskie zalecenie umiaru opiera si na przekonaniu, e jest on moliwy do wypracowania wramach kooperacyjnej strategii tworzenia miar. Jeli () pracownicy iusugodawcy bior czynny udzia wtworzeniu metod pomiaru ijeli pozwala si im na okresowe ich korygowanie, to zazwyczaj potrafi zachowa umiar wtworzeniu miar25. Po sidme, strze si antybodcw. Chodzi o to, aby unika rozwiza, ktre prowadz do nieefektywnych, zpunktu widzenia caociowej polityki, rezultatw. Metody pomiaru wykonania pracy przyjte pocztkowo w ustawie o wspudziale w ksztaceniu zawodowym zachcay usugodawcw do wyszukiwania atwych kskw. Takie antybodce mog obrci wniwecz wszystkie wysiki zmierzajce do stworzenia miar wy22 23

24 25

Osborne D., Gaebler T., op. cit., s.476. Ibidem, s.477. Ibidem. Ibidem, s.478.

40

Dariusz Zalewski

konania pracy. Dla ich uniknicia organizacje, przed wprowadzeniem nowych miar, powinny je przetestowa, starajc si znale wszelkie moliwe sposoby robienia unikw, ktre stosowaliby sprytni usugodawcy26. W kolejnym, smym zaleceniu, autorzy namawiaj, aby skupi si na maksymalnym wykorzystaniu danych o wykonaniu pracy. Samo stworzenie miar nie daje jeszcze gwarancji, e menederowie wykorzystaj je do zmiany sposobu dziaania kierowanych przez siebie instytucji ani e ciaa ustawodawcze skorzystaj z nich, zmieniajc kierunki isposoby finansowania programw iinstytucji27. Krtko mwic, nie naley zwleka zwykorzystaniem dostpnym danych istosowa polityk faktw dokonanych woparciu ozgromadzone informacje dotyczce efektywnoci iskutecznoci dziaania. Po dziewite, zlecaj mierzenie politycznie niezalenej, obiektywnej instytucji. Jeli ludzie maj polega na danych, to musz wierzy, e s one obiektywne. Dlatego dobrym rozwizaniem jest korzystanie zusug niezalenej instytucji28. Realizacja tego zalecenia napotyka jednak na pewne trudnoci. Kopot nie polega tylko na tym, czy wiara wobiektywno dostarczonych informacji, jak sugeruj Gaebler iOsborne, czyni je rzeczywicie obiektywnymi. To fundamentalne dla nauki pytanie oobiektywno rzeczywistoci imoliwo jej poznania moemy wtym miejscu uchyli, gdy intencje autorw s bardzo klarowne. Chodzio im bowiem oto, aby pomiaru wydajnoci iskutecznoci realizowanych programw dokonyway zewntrzne wstosunku do wykonawcw, rwnoczenie niezalene od nich, organizacje. Obiektywno oceny osignitych wynikw naleaoby zatem traktowa jako funkcj niezalenoci instytucji oceniajcej. Itu pojawia si problem ztzw. niezalenoci instytucji oceniajcej, ktra mogaby dostarczy administracji obiektywnych informacji. Mona by oczywicie powiedzie, zgodnie zsugesti autorw, e niezaleno oznacza tyle, co brak personalnych i kapitaowych powiza instytucji oceniajcej z organizacj realizujc dany program. Ale taka redukcjonistyczna wykadnia instytucjonalnej niezalenoci jest zawodna wtej mierze, wjakiej nie uwzgldnia zoonoci rozmaitych punktw widzenia iinteresw wsferze publicznej. Nie wida specjalnie dobrych uzasadnie, dla ktrych tzw. niezalena instytucja (wszystko jedno czy prywatna czy publiczna), dokonujca ewaluacji programu, nie miaaby uwzgldnia w swojej ocenie oczekiwa zleceniodawcy. Niewtpliwie uwzgldnienie punktu widzenia czy interesw zleceniodawcy powinno mie wpyw na ostateczny rezultat ewaluacji, nawet jeli jej wyniki oparte byyby na dobrze przygotowanych narzdziach badawczych. Ostateczny wynik
26 27

Ibidem. Ibidem, s.479. 28 Ibidem, s.478479.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

41

ewaluacji jest nie tylko, amoe nawet nie przede wszystkim, rezultatem zastosowania okrelonych standardw badania, co ich ustalenia wfazie przedbadawczej. Co wicej, mona by dowodzi, e decyzje wsferze publicznej najczciej ksztatowane s nie wedle empirycznych ustale wolnych od osobistych wartoci ipogldw decydentw, ale zgodnie znimi. Wyniki rozmaitych bada ewaluacyjnych wykorzystywane wdyskusjach opolityce penalizacyjnej, edukacji seksualnej, aborcji itd. gwnie su jako instrument wzmacniajcy wyznawane przez strony pogldy czy wartoci i zwykle kwestionuje si obiektywno wynikw niezgodnych zwyraanymi pogldami, ni zmienia pogldy. Dotychczas brakuje jakichkolwiek przesanek (iempirycznych dowodw), by sdzi, e dobrze przeprowadzone przez niezalene instytucje badania ewaluacyjne, nad np. programami resocjalizacyjnymi gronych przestpcw, skoni zwolennikw kary mierci do porzucenia swoich pogldw penalizacyjnych czy te odwrotnie z zagorzaych zwolennikw resocjalizacji uczyni rwnie gorliwych zwolennikw kary mierci. Krtko mwic, problem niezalenoci iobiektywnoci wynikw bada ewaluacyjnych uwikany jest wstruktur interesw iwartoci wyznaczajcych dynamik procesw decyzyjnych wsferze publicznej.

Ewaluacyjne nadzieje irozczarowania


G. Majone, znany ze swojego sceptycyzmu wobec moliwoci wyznaczania racjonalnoci procesu decyzyjnego wsferze publicznej wedle czysto empirycznych ustale bada ewaluacyjnych, podkrela, e profesjonalna ewaluacja stanowi zaledwie niewielk cz oglnego procesu krytyki ioceny polityk publicznych, w ktrym wszyscy politycznie aktywni czonkowie demokratycznej wsplnoty bior udzia na rne, lecz rwnie uyteczne sposoby29. Dostrzegajc znaczenie ewaluacji, jako rozlegej i rozwijajcej si dziedziny analizy polityki powiconej gromadzeniu, sprawdzaniu i interpretowaniu informacji na temat wdraania iskutecznoci istniejcych polityk iprogramw publicznych, Majone twierdzi, e dla efektywnego wiadczenia usug publicznych nie wystarczy przygotowanie jakiego teoretycznie optymalnego programu dziaania. Jeszcze waniejsze jest poznanie, jak faktycznie przebiega wdraanie programu, kto zniego korzysta, akto na nim traci, czy program realizuje zamierzone cele, ajeli tak si nie dzieje to jak mona go poprawi lub przerwa30. Przykadowo, ocena szczeglnie popularnych wkrajach UE
Majone G., Dowody, argumenty iperswazja wprocesie politycznym, Wyd. Naukowe Scholar, Warszawa 2004, s.249. 30 Ibidem, s. 248.
29

42

Dariusz Zalewski

programw aktywizacji bezrobotnych nie zawiera zwykle informacji otym, kto na nich zyskuje, a kto traci, gdy milczco zakada si, e zwikszenie zatrudnienia ley winteresie wszystkich, azatem uzasadnione jest, aby koszt takich szkole wpisa wkoszty opodatkowania obywateli. Mona by argumentowa, e przedstawiona kontrowersja jest raczej pozorna ni rzeczywista, gdy ustalenie wygranych iprzegranych wwyniku realizacji okrelonych programw czy polityk publicznych, stopnia realizacji zamierzonych celw czy sposobw wdraania rozmaitych programw, naley do kanonu zada ewaluacji. Trudno jednak nie zgodzi si zMajone, ktry twierdzi, e: Wydaje si, e wielu ewaluatorw zakada, i s to czysto empiryczne ustalenia, ktre nie wi si ani zwyborami wartoci, ani zosobistymi pogldami. Wrzeczywistoci wartoci ipogldy bardzo si licz wewaluacji, nie tylko ze wzgldu na niejednoznaczno wynikw wpraktyce trudnoci zprzypisaniem okrelonych przyczyn konkretnym rezultatom, zpomiarem wynikw iocen niezamierzonych skutkw, zrozrnieniem bdnych koncepcji iniepowodze we wdraaniu lecz jeszcze wwikszym stopniu wskutek nieuniknionych rnic pogldw na temat rodzaju kryteriw ewaluacyjnych, ktre s sensowne, uzasadnione lub politycznie dopuszczalne wdanej sytuacji. Takich niejasnoci i rnic zda nie mona w peni rozwiza za pomoc ulepszonych metod pomiarowych i sprawdzajcych, lecz mona je przedstawi iwyjani poprzez dyskusj iwzajemn perswazj31. Argumenty Majone bardzo wyranie wskazuj na ograniczone moliwoci perswazyjne wynikw bada ewaluacyjnych i na niewiele, jak sugeruje autor, zda si poszukiwanie coraz bardziej wyrafinowanych metod pomiaru. Kopot polega na tym m.in., e wyjciowy rezultat ewaluacji zaley od tego, jakim materiaem wejciowym dysponuj ewaluatorzy, a jego zebranie to nie tylko kwestia zastosowania takich czy innych technik badawczych, ale take pewnych uzgodnie punktw widzenia, wartoci czy interesw midzy zainteresowanymi realizacj programu ijego ewaluacj stronami. Stosowanie okrelonych standardw badawczych jest kompletnie czym innym ni ustalanie tyche iaby zdawa sobie spraw zmoliwoci perswazyjnych osignitych rezultatw ewaluacji, konieczne jest, jak twierdzi Majone, rozrnienie ustalania standardw istosowania standardw32 . Dyskutowanie okrelonych standardw ewaluacyjnych, np. uzgodnienie wrd zainteresowanych stron podstawowych kryteriw oceny programu ze wszelkimi tego konsekwencjami dla ostatecznych rezultatw ewaluacji moe uchroni ewaluatorw przed rozmaitymi zarzutami, np. e nie mierz tego, co powinni, albo, e nie uwzgldnili istotnych aspektw ewaluowanego programu bd te problemu, ktrego rozwizanie tene program mia przynie. Takie zarzuty mog by szczeglnie czsto podnoszone, kiedy wyniki ewa31 32

Ibidem, s. 249. Ibidem, s.249.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

43

luacji zagraaj mniej lub bardziej wyartykuowanym interesom grupowym zaangaowanych w realizacj programu czy te dotknitych skutkami jego implementacji33. Powinni szczeglnie dobrze pamita o tych zagroeniach wszyscy ci, ktrzy realizuj programy naruszajce okrelony ukad interesw, take wwczas, gdy dysponuj empirycznymi dowodami, e utrzymywanie status quo jest niekorzystne dla wszystkich, aproponowana zmiana spenia kryteria postpu wedle Pareto. Odwoywanie si jednak do argumentu, e liczby nie kami, moe by rwnie irytujce iniezrozumiae dla takiej czy innej grupy, jak podejmowane przed laty prby przekonywania opornych robotnikw przez arliwych marksistw, e s oni nosicielami faszywej wiadomoci klasowej, ale dla ich dobra trzeba to zmieni w ramach zobiektywizowanych procesw dziejowych. Przyjcie okrelonych kryteriw ewaluacyjnych, np. efektywnoci i skutecznoci dziaania, woczywisty sposb warunkuje ostateczny rezultat oceny programu. To, jakie kryteria oceny zostaj przyjte, to wduej mierze konsekwencja rl spoecznych, jakie odgrywaj aktorzy zaangaowani wproces ewaluacji. Ten sam program inaczej bdzie oceniany przez ekonomist, dla ktrego najwaniejsze jest poszukiwanie efektywnoci iskutecznoci realizowanego programu, ainaczej przez prawnika, dla ktrego wana jest np. ocena jego zgodnoci z obowizujcym prawem. Nie ma niczego zego w tym, e programy oceniane s zrnych punktw widzenia. Wane jest, aby zachowa odrbno rnych punktw widzenia, bowiem, dopki pogldy wyraane zperspektywy jednej konkretnej roli nie s przedstawiane ani mylnie interpretowane jako pogldy odnoszce si do wszystkich moliwych rl lub wygaszane w ich imieniu, mamy do czynienia ze zdrowym stanem wielokrotnej lub pluralistycznej ewaluacji34. Kopot tylko wtym, e wpraktyce ewaluacyjnej rne punkty widzenia nakadaj si na siebie, abdem jest zakadanie pewnej uniwersalnoci wnioskw wypywajcych zewaluacji wtym sensie, e powinny by one rwnie istotne dla aktorw odgrywajcych rne spoeczne role. By moe najczstszy problem wystpuje, kiedy zakada si, e wnioski zewaluacji dokonanej na uytek okrelonej roli s rwnie istotne zperspektywy innych rl stosujcych odmienne kryteria ewaluacyjne. Poniewa role ikryteria do siebie nie pasuj, jest niemal nieuniknione, e wnioski zewaluacji oka si nieprzekonujce35.
33 Kluczowy dylemat reformatorw mona okreli bardzo prosto: wikszo bada z zakresu public policy podkrela fakt, e skuteczne reformy musz uzyska akceptacj grup, ktrych reformy najbardziej dotycz. Jednake wielu z tych, ktrych reformy dotkn, s albo niechtni, albo wrogo nastawieni do reform ito nie jest zaskoczeniem, poniewa ich miejsca pracy mog by zagroone; tylko najbardziej ekscentryczne indyki wygldaj wit; zob. Wrigth V., The Paradoxes of Administrative Reform, w: W. Kickert (red.), Public Management and Administrative Reform in Western Europe, Edward Elgar, Cheltenham 1997, s.9. 34 Majone G., op. cit., s.251. 35 Ibidem.

44

Dariusz Zalewski

Szczeglny kopot wydaje si wystpowa wwczas, kiedy nacisk kadzie si na nieco zmitologizowan efektywno iskuteczno osigania zakadanych celw, przy czym prawie zawsze wtakich przypadkach chodzi otzw. racjonalizacj publicznych wydatkw, awzasadzie oograniczenie kosztw. Szczeglny dlatego, e kryteriom efektywnoci i skutecznoci najczciej przypisuje si najwaniejsz rol wprocesie oceny publicznych programw, czsto zapominajc, e ich podnoszenie, zgodnie zekonomicznym standardem racjonalnoci, moe narusza wiele ywotnych interesw czy podzielanych wartoci gwnych aktorw, ktrych program dotyczy. Zdrugiej wszake strony, nieuwzgldnienie tyche interesw moe sprawi, e dno do racjonalizacji decyzji moe prowadzi do skutkw odwrotnych od zamierzonych iznacznego marnotrawstwa rodkw (casus obwodnicy Augustowa). Zalecane wraportach ewaluacyjnych sposoby podniesienia efektywnoci iskutecznoci mog by te sprzeczne zpanujc worganizacji, realizujc dany program, kultur pracy czy obowizujcymi wniej standardami profesjonalizmu. Co wicej, jak wskazuje V. Wright, analizujc paradoksalne konsekwencje podejmowanych reform administracji publicznej, ewaluacja moe przynosi zgoa nieoczekiwane rezultaty z punktu widzenia podstawowego celu, jakim jest tzw. racjonalizacja wydatkw publicznych. Czwartym paradoksem jest to, e podczas gdy zamierzeniem wielu reform jest cicie kosztw, ostateczny rezultat niektrych znich moe okaza si cakiem odmienny. Wemy na przykad ewaluacj, to wspczesne szalestwo, ktra ignoruje koszty siy roboczej. Ewaluacja moe identyfikowa obszary marnotrawstwa rodkw, ale odkrywa take rnice nie tylko w wydajnoci (performance), lecz rwnie osiganych oglnych wynikw (outcomes): pewni ludzie mog by jednak relatywnie gorzej traktowani. Te rnice byy wczeniej ukrywane. Rezultatem bdzie wywieranie politycznej presji, aby takie rnice usuwa. Zgodnie zzamierzeniem, przeksztacanie obywateli wklientw, zjasno okrelonymi przez cele prawami, moe mie wpyw na popraw jakoci realizowanych programw, lecz to take tworzy oczekiwanie ipresj zadouczynienia (ujawnionych nierwnoci przyp. D.Z.), czsto na drodze sdowej36. Jeli uwaga Wrighta jest trafna, to nadzieje, e dziki staej ewaluacji programw publicznych czy dziaa administracji uda si zwikszy ich ekonomiczn efektywno, wydaj si by ponne wtej mierze, wjakiej nie uwzgldniaj one zoonoci relacji midzyludzkich ipowielaj bdne przekonania oprostej relacji bodca iefektu, zawarte wkonwencjonalnych mechanistycznych teoriach organizacji izarzdzania. G. Majone utrzymuje, e oprcz uwzgldnienia rl, pozwalajcych na rozrnienie kryteriw ewaluacji, uyteczne jest te odniesienie si do trzech

36 Wright V., Paradoxes of Administrative Reform, w: W.J.M. Kickert, Public Management and Administrative Reform in Western Europe, Edward Elgar, Cheltenham 1997, s.10.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

45

rnych trybw ewaluacji: trybu wynikowego, nakadowego iprocesowego37. Szczeglnie atrakcyjny wydaje si by tryb wynikowy, bowiem ocena dokonywana na podstawie osiganych wynikw najbardziej apeluje do wyobrani decydentw. Naley przypomnie, e wszelkie prby racjonalizowania wydatkw publicznych i optymalizowania wynikw podejmowanych dziaa wsferze publicznej opieraj si na deniu do pomiaru rezultatw iich kwantyfikowaniu. Nie bez powodu paszczyzn odniesienia dla krytykw dziaalnoci administracji publicznej jest rynek oraz prywatne przedsibiorstwo zprzypisywan im zdolnoci do pomiaru osiganych wynikw. Zaoenie jest logiczne, jak te wbudowane wmetodologiczny kanon ewaluacji, amianowicie, aby mc moliwie najlepiej oceni realizowany program, trzeba dokona pomiaru jego efektw. Odwoanie si do czysto ekonomicznych zasad oceny programw spoecznej interwencji jest jednak kopotliwie ito nie tylko dlatego, e logiki funkcjonowania rynku ipastwa oraz funkcje, jakie kade znich peni, s odmienne. Kopot polega m.in. na tym, e wyniki nie zawsze poddaj si kwantyfikacji, cele nie zawsze s jednoznacznie okrelone, anarzdzia pomiaru czsto zawodz. Jeszcze wiksz trudno jednak stanowi to, e zwizek midzy zarejestrowanym wynikiem ajego przyczyn czsto jest niepewny ibardziej polegamy na intuicji ni naukowych dowodach. E. Babbie susznie zauwaa, e: potencjalnie jednym znajbardziej uciliwych aspektw bada ewaluacyjnych jest ustalenie, czy badany program odnis sukces, czy ponis porak. Celem programu nauczania jzyka obcego moe by pomoc studentom w lepszym nauczeniu si tego jzyka, lecz jak duy postp jest tu wystarczajcy? Celem programu odwiedzin maonkw w wizieniu moe by poprawa nastrojw wrd winiw, lecz jak bardzo maj by one poprawione, by mc uzasadni ten program? Jak mona si spodziewa, nie ma ostatecznych odpowiedzi na tego typu pytania. Dylemat ten woczywisty sposb sta si podstaw analiz kosztw ikorzyci (cost benefit analysis). Niestety sytuacje, zjakimi zwykle ma si do czynienia podczas bada ewaluacyjnych, rzadko kiedy poddaj si prostemu rachunkowi ekonomicznemu38. Wydaje si jednak, e take oczekiwania, jakie ewaluatorzy maj wobec analizy kosztowo-korzyciowej, s nieco przesadzone w tym sensie, e jej wyniki bywaj podwaane jako nieobiektywne, gdy sama analiza opiera si raczej na subiektywnych zaoeniach skadajcych si na jej ekonomiczny model. Pamitajc otym, e analiza kosztw ikorzyci jest tylko jednym z narzdzi wykorzystywanych w badaniach ewaluacyjnych, musimy mie
37 Wtrybie wynikowym ewaluacja koncentruje si na rezultatach konkretnego dziaania. Wtrybie nakadowym ewaluacja kadzie nacisk na zasoby, umiejtnoci i ludzi, a w trybie procesowym przenosi si na metody stosowane do przeksztacania nakadw wrezultaty; zob. Majone G., Dowody, argumenty, op. cit., s.253. 38 Babbie E., Badania spoeczne wpraktyce, PWN, Warszawa 2004, s.376.

46

Dariusz Zalewski

wiadomo ograniczonej wartoci wynikw. R. Formaini, wswojej ksice obardzo sugestywnym tytule The Myth of Scientific Public Policy, przekonuje, e nie ma czego takiego, jak obiektywna analiza kosztw ikorzyci, a zatem wyniki, jakie dziki niej uzyskujemy, nie s obiektywne w tym sensie, e nie dostarczaj nam pewnej, moliwej do przyjcia przez kadego, wiedzy potrzebnej do oceny realizowanego programu39. Zarzuty, jakie stawia Formaini, maj charakter ontologiczno-epistemologiczny, a dotycz bdnych, jego zdaniem, zaoe neoklasycznej ekonomii co do natury porzdku spoecznego, na ktrych oparta jest analiza kosztw ikorzyci. Analiza kosztw ikorzyci ineoklasyczna ekonomia s symbiotycznie powizane ze sob przez fakt, e analiza kosztw ikorzyci nie mogaby by dokonana bez zaoe dostarczonych przez neoklasyczne metody. Kiedy analitycy mierz, definiuj iagreguj koszty ikorzyci, robi to wramach neoklasycznej struktury poczynionych zaoe. Jest zatem uprawnione, aby argumentowa, e analiza kosztw ikorzyci jest dzieckiem, aneoklasyczna teoria ekonomiczna ojcem. () Koniecznym zatem jest, aby zrozumie analiz kosztw ikorzyci, trzeba najpierw pozna podstawowe zaoenia neoklasycznej ekonomii40. Dyskusja oontologicznych podstawach modeli analizy, przeciwstawianiu modelowi czowieka ekonomicznego modelu czowieka socjologicznego, iuzyskiwanych wich ramach wynikach stanowi kanon naukowych docieka. Nie ma powodu, aby w tym miejscu t dyskusj rekonstruowa. Wystarczy przypomnie tylko, e to, co dla jednych uchodzi za zobiektywizowany wramach przyjtych teoretycznych zaoe rezultat, woparciu oktry mona podejmowa racjonalne decyzje, dla innych jest niczym wicej ni tylko projekcj pewnych zakadanych motyww czy postaw, ktre nie mog by podstaw do czynienia uoglnionych wyjanie wsferze teorii czy podejmowanych dziaa wsferze praktyki. Zarzut, jaki czyni Formaini tzw. unaukowionej Public Policy, jest niczym innym jak prb obnaenia niedostatkw ekonomicznego modelu czowieka ekonomicznego czy kalkulujcego (homo economicus). Mona by go uzna za zasadny take dla bada ewaluacyjnych, ktrych ordownicy czsto przekonuj, e oile przeprowadzone s one wedle starannie przygotowanej metodologii, to ich wyniki stanowi podstaw do podejmowania racjonalnych decyzji. Konkluzja Formainiego brzmi, e oparta na naukowych podstawach polityka publiczna (Public Policy), to marzenie, ktre wzrastao coraz bardziej od czasw Owiecenia iby moe osigno swoje apogeum pod koniec tego wieku, jest mitem, teoretyczn iluzj. Ona istnieje wnaszych umysach, analizach imetodach tylko dlatego, e szukamy by j odkry, azmierzamy do odkrycia tego, czego szukamy41.
39 40

Formaini R., The Myth of Scientific Public Policy, Transaction Publishers, 1990, s.3965. Ibidem, s.39. 41 Ibidem, s.1.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

47

Zakoczenie
Wycignicie wniosku, e wszelkie ograniczenia, na jakie naraona jest ewaluacja, czyni jej wyniki mao przydatnymi wprocesach podejmowania decyzji, wszczeglnoci dotyczcych racjonalizowania wydatkw publicznych, wydaje si by tak samo nieuprawnione, jak twierdzenie, e wyniki starannie przeprowadzonej ewaluacji zzachowaniem wszelkich prawide sztuki s pewnym oparciem dla racjonalizowania decyzji wsferze publicznej. Powiedzenie jednak, e prawda ley gdzie porodku jest obarczone takim samym prawdopodobiestwem bdu, jak wskazanie na ktr ze skrajnych opinii. Ponadto spr nie powinien przebiega wedle logiki kto ma racj i wedle jakich argumentw t racj jestemy skonni przyzna jednej ze stron sporu. Raczej powinnimy poszukiwa konsensusu tak, aby wyniki bada ewaluacji, nawet jeli zgodzimy si co do ich rozmaitych niedoskonaoci, stanowiy okrelon warto dla administracji publicznej odpowiedzialnej za podejmowanie takich czy innych decyzji wsektorze publicznym. Dla decyzjonistw, by posuy si terminem uywanym przez G. Majone, problem wzasadzie nie istnieje, gdy racjonalne decyzje powinny by podejmowane woparciu o informacje, jakie przynosi starannie przeprowadzona analiza kosztw i korzyci. Poniewa jednak oponenci wskazuj na wiele niedoskonaoci takiego podejcia, gwnie ocharakterze ontologiczno epistemologicznym, to pojawia si pytanie, co zrobi zogromn iloci wyprodukowanych informacji wramach prowadzonych ewaluacji programw interwencji spoecznych. Gdyby bez jakichkolwiek zastrzee uzna racje antydecyzjonistw kwestionujcych przydatno analiz ewaluacyjnych dla procesu racjonalizowania decyzji publicznych, to musielibymy wjakiej mierze przyzna, e dno do alokacyjnej racjonalnoci woparciu oewaluacj wynikw przeradza si wswoje przeciwiestwo wtym sensie, e chcc racjonalnie wydawa publiczne pienidze, nie uzyskujemy adnej pewnej wiedzy, za ktr musimy jeszcze zapaci. Propozycja krytykw bada ewaluacyjnych, prowadzonych wedle zaoe modelu ekonomicznego, jest taka, aby wczy wysiki ewaluatorw wszersz demokratyczn debat powicon ustalaniu kryteriw istandardw realizacji programw publicznych iich oceny. Jedn ze stron takiej debaty powinna by administracja publiczna, ktra nie bezkrytycznie wykorzystywaaby dostarczane jej informacje pochodzce zprzedsiwzi ewaluacyjnych. Innymi sowy, warto ewaluacji nie polegaaby na tym, e mona by na jej podstawie podj racjonaln decyzj maksymalizujc korzyci przy okrelonych kosztach czy te minimalizujc koszty przy okrelonych korzyciach, ale na tym, e stanowiaby ona wartociowy wkad do dyskusji midzy stronami reprezentujcymi rne punkty widzenia czy interesy. Obecnie pisze Majone konieczne jest nie tyle opracowanie obiektywnych wskanikw wynikw

48

Dariusz Zalewski

tradycyjny cel analiz ewaluacyjnych ile uatwienie szerokiego dialogu wrd zwolennikw rnych kryteriw42. Gdyby udao si wyniki ewaluacji wykorzysta wszerszej debacie ozasadnoci prowadzenia interwencji spoecznych, ich kosztach ikorzyciach oraz kryteriach, wedle ktrych oceniane byyby rezultaty interwencji, to zpewnoci moglibymy powiedzie, e ewaluacja moe wnosi swj wkad wdemokratyczny proces uzgadniania rozmaitych racji czy punktw widzenia. We wspczesnych demokracjach, cierpicych na deficyt legitymizacji, taka funkcja ewaluacji wydaje si by bardzo atrakcyjna przynajmniej zdwch powodw. Pierwszy jest taki, e prowokujc debat, wjakiej mierze zwiksza si legitymizacj procesu decyzyjnego wadministracji publicznej, drugi za taki, e debata ta, oparta jednak na rezultatach uzyskanych zgodnie znaukowymi standardami bada empirycznych, wnosi okrelony potencja wiedzy, ktry moe przyczyni si do bardziej wysublimowanego, jak mwi Majone, postrzegania procesu ksztatowania polityki publicznej. Zpewnoci nie oznacza to, e wyniki bada ewaluacyjnych, zktrych moe ipowinna korzysta administracja publiczna, uwolni nas od rozmaitych manipulacji zasobem informacyjnym, gdy sama nauka nie jest wolna od tego typu pokus, ale to jest temat na zupenie inn dyskusj. Wane jednak jest, aby moliwoci iograniczenia wykorzystania wynikw bada ewaluacyjnych byy szeroko dyskutowane wrd przedstawicieli administracji publicznej, gdy to od niej zaley jako realizowanych programw spoecznej interwencji. Gdyby miao si okaza, e decydenci na poziomie systemu administracyjnego przeceniaj moliwoci ewaluacji, to wyniki, ktre dziki niej uzyskujemy, niekoniecznie musiayby odzwierciedla rzeczywist warto realizowanych programw. Ta ostatnia, jak mwi antydecyzjonici, nie zawsze jest moliwa do policzenia. Sceptycyzm wobec ewaluacji nie powinien jednak przesania jej moliwoci, gdy wiele programw spoecznej interwencji zpowodzeniem mona podda procesom ewaluacji, dostarczajc tym samym wielu cennych informacji orozmaitych aspektach realizowanych programw. Dyskusja wok ewaluacji powinna toczy si zatem zarwno wrd przedstawicieli rodowiska akademickiego wramach midzydyscyplinarnej czy paradygmatycznej wymiany opinii, jak imidzy nimi aprzedstawicielami administracji. Oni z racji swojego dowiadczenia mog znacznie wicej wnie do procesw doskonalenia bada ewaluacyjnych, ni to wydaje si zperspektywy akademickiej katedry. C to oznacza dla procesu podejmowania decyzji przez administracj? Zpewnoci ewaluacja nie jest wstanie zastpi zdrowego rozsdku idowiadczenia, ktre generowane jest wtoku codziennej praktyki administracyjnej, a do ktrego czsto odwouj si inkrementalici. Musimy jednak pamita, e postpowanie wedle okrelonych schematw grozi petryfikacj struktur decyzyjnych, awyniki ewaluacji mog
42

Majone G., op. cit., s.264.

Moliwoci iograniczenia wykorzystania wynikw ewaluacji

49

nas przed takim niebezpieczestwem uchroni. Arystotelesowska pochwaa umiaru wydaje si by rozsdn propozycj, zktrej powinna korzysta take administracja publiczna.

Dariusz Zalewski doktor, adiunkt w Instytucie Socjologii WFiS Uniwersytetu Warszawskiego (Zakad Socjologii Problemw Spoecznych iPlanowania Spoecznego) oraz wInstytucie Pracy iSpraw Socjalnych (Zakad Zbiorowych Stosunkw Pracy). Od lat zajmuje si problematyk instytucji pastwa opiekuczego, administracji publicznej idialogu spoecznego. Jest autorem iwspautorem m.in. takich publikacji, jak: Opieka ipomoc spoeczna. Dynamika instytucji, Utopie inkluzji. Sukcesy iporaki programw reintegracji spoecznej, Dialog spoeczny na poziomie regionalnym. Ocena szans rozwoju. Wielokrotnie uczestniczy w projektach badawczych powiconych m.in.: formom reprezentacji interesw grupowych, sposobom realizacji zada przez administracj publiczn, dialogowi spoecznemu na poziomie centralnym iregionalnym. Wramach swoich zawodowych zainteresowa bra udzia take wbadaniach ewaluacyjnych, np. wewaluacji programu wymiany modziey Leonardo da Vinci wspfinansowanego przez Uni Europejsk.

Bibliografia
Evaluating UE Expenditure Programmes: A Guide, European Commission, 01.1997. Babbie E., Badania spoeczne wpraktyce, PWN, Warszawa 2004. Dunleavy P., Democracy, Bureaucracy and Public Choice, Harvester Wheatsheaf, 1991. Formaini R., The Myth of Scientific Public Policy, Transaction Publishers, 1990. Friedman M., Friedman R., Wolny wybr, Wyd. Panta, Sosnowiec 1994. Frieske K.W., Socjologia wdziaaniu. Nadzieje irozczarowania, Wyd. Uniwersytetu Warszawskiego, Warszawa 1990. Haber A. (red.), Ewaluacja ex-post. Teoria ipraktyka, PARP, Warszawa 2007. Kickert W.J.M., Public Management and Administrative Reform in Western Europe, Edward Elgar, Cheltenham 1997. Lane J.E. (red.), Public Sector Reform. Rationale, Trends and Problems, Sage Publications, London 1997. Majone G., Dowody, argumenty i perswazja w procesie politycznym, Wyd. Naukowe Scholar, Warszawa 2004. Majone G., The rise of the regulatory state in Europe, West European Politics, 17. McKinney J.B., Howard L.C., Public Administration. Balancing Power and Accountability, Praeger Publishers, Westport 1998. Osborne D., Gaebler T., Rzdzi inaczej. Jak duch przedsibiorczoci przenika iprzeksztaca administracj publiczn, Media Rodzina, Pozna 1992. Verheijen T., Coombes D., Innovations in Public Management. Perspectives from East and West Europe, Edward Elgar, Cheltenham 1998.

Stanisaw Mazur

Zarzdzanie wiedz wpolskiej administracji publicznej


Zarzdzanie wiedz (ZW)1 to podejcie konceptualno-aplikacyjne, wktrym generowanie ikapitalizowanie wiedzy stanowi podstawow kategori doskonalenia organizacji i systemw organizacyjnych. Jego istot jest gromadzenie danych iinformacji, ich selekcja ikonwersja na wiedz zakorzenion wkulturze organizacji. Tak wytworzona wiedza staje si podstawowym zasobem organizacji warunkujcym jej zdolno do osigania ustanowionych dla niej celw. Efektywne iskuteczne zarzdzanie wiedz winstytucjach sektora publicznego wymaga odpowiedniej strukturyzacji iintegracji czyli systemu ZW. System ZW wpolskiej administracji publicznej znajduje si in statu nascendi. Jego zasadnicza konstrukcja instytucjonalna ielementy konstytutywne nie zostay jeszcze okrelone. Wsystemie tym wystpuje nadmiar danych, niepeny zasb informacji iograniczony potencja wiedzy, ktra stanowiaby podstaw racjonalnych ekonomicznie ispoecznie decyzji podejmowanych przez pastwo i jego struktury. Podstawowym mankamentem jest jego niski poziom zdolnoci do wykorzystywania wiedzy dla potrzeb procesw decyzyjnych. Dla budowania systemowego rozwizania sucego wzrostowi wiedzochonnoci administracji publicznej kluczowe jest stworzenie systemu infrastruktury ZW. Jej celem byoby wzmocnienie wadministracji publicznej kapitaw, ktre stanowi podstaw systemw otwartych na wiedz, systemw refleksyjnych iuczcych si, tj. kapitau: ludzkiego2, kulturowego3 oraz tech1 Posugiwanie si pojciem zarzdzania wiedz moe stanowi przykad swoistego imperializmu racjonalnego rozumu. Bardziej adekwatne jest raczej uywanie pojcia zarzdzania warunkami dla rozwoju iwykorzystywania wiedzy. Zwaywszy jednak na dominujc iugruntowan konwencj semantyczn, autor skonny jest posugiwa si terminem zarzdzania wiedz wznaczeniu kreowanie warunkw do jej rozwoju, anie zarzdzanie ni wmyl klasycznych zasad nauki ozarzdzaniu. 2 Kapita ludzki informacja, wiedza, kreatywno, umiejtno izdolno ich efektywnego wykorzystania, przywdztwo polityczne itp. 3 Kapita kulturowy (organizacyjny) organizacje otwarte, uczce si, refleksyjne elastyczne, zadaniowo zorientowane, premiujce wspprac idzielenie si wiedz.

52

Stanisaw Mazur

nologicznego4. Realizacja tego postulatu suyaby tworzeniu podstawowego zasobu, ktry pastwo moe oferowa swoim obywatelom. Zasobem tym jest dobre rzdzenie. Tworzenie tego zasobu jest procesem zoonym idugotrwaym, zwizanym zkoniecznoci zmiany kultury rzdzenia, wtym kultury administracyjnej. Procesy zmian kulturowych, w szczeglnoci w instytucjach publicznych, cechuj si nisk dynamik wynikajc zich konserwatyzmu, skonnoci oraz zdolnoci do obrony status quo. Celem niniejszego wywodu jest zarysowanie odpowiedzi na pytania: a)oistot ZW wadministracji publicznej? b) ojako ZW wpolskiej administracji publicznej? c) oto, co naleaoby uczyni, aby polska administracja publiczna kapitalizowaa wwikszym zakresie, ni ma to miejsce obecnie, korzyci wynikajce zpraktykowania formuy ZW. Dlaczego wpublikacji powiconej ewaluacji zajmujemy si kwestiami zarzdzania wiedz wtak szerokim kontekcie? ZW to paradygmat, wktrym refleksja nad decyzjami, sposobami ich realizacji oraz ich konsekwencjami stanowi zagadnienie centralne. Takie jego ujcie sytuuje go blisko ewaluacji i jej konstytutywnych funkcji. Co zatem stanowi jego wyrnik wzgldem ewaluacji? Odpowiadajc na tak postawione pytanie, naley podkreli, e zarzdzanie wiedz jest konceptem szerszym wzgldem ewaluacji. Ewaluacja przede wszystkim bada zalenoci przyczynowo-skutkowe oraz ocenia konsekwencje ich wystpienia (zarwno zamierzone, jak iniezamierzone). Tworzy korpus specjalistycznej wiedzy niezbdnej do programowania, implementacji ioceny polityk iprogramw publicznych. Rol systemu ZW jest aktywizacja tej wiedzy poprzez jej standaryzacj iupowszechnienie wsystemie instytucji publicznych. Relacje midzy systemem ZW aewaluacj maj charakter integralny ten pierwszy tworzy architektur dla przepywu strumieni wiedzy, aewaluacja jest jednym ze sposobw generowania treci, ktre strumienie te tworz. To te uzasadnia ujmowanie zagadnienia ZW w rozwaaniach nad ewaluacj.

Zarzdzanie wiedz zagadnienia oglne


Pojcie zarzdzania wiedz (ZW) jest terminem rwnie nonym co niedookrelonym. Nadaje mu si wiele znacze, interpretuje si go na wiele sposobw. Wsplnym rdzeniem semantycznym jego rnorodnych perspektyw definicyjnych jest wiedza i jej zastosowanie. Eksponowanie znaczenia wiedzy nie oznacza, e wczeniejsze paradygmaty zarzdzania nie odwoyway si do niej jako do istotnego zasobu rozwojowego. Jednake to
Kapita technologiczny nowoczesne instrumenty realizacji ustrojowych powinnoci pastwa, np. nowoczesne systemy analizy i programowania, systemy zarzdzania, wiadczenia usug, e-administracja.
4

Zarzdzanie wiedz wpolskiej administracji publicznej

53

wnurcie refleksji nad ZW jej generowanie ikapitalizowanie uznane zostay za kategorie oznaczeniu centralnym. Wwiedzy upatruje si podstawowej determinanty doskonalenia organizacji isystemw organizacyjnych, wzrostu ich innowacyjnoci, wzmacniania ich pozycji konkurencyjnej oraz potencjau adaptacyjnego. Rozwaania oZW stanowi centralny przedmiot debaty nad sposobami doskonalenia organizacji i ich systemw. Koncept ten to swoistego rodzaju przykad wielkiej narracji aspirujcej do roli holistycznej perspektywy wyjaniania istoty zmian zarwno wwymiarze organizacyjnym, jak ispoecznym. Jego sia oddziaywania przysparza mu wielu zwolennikw, czynic go jednym zdominujcych podej konceptualnych wyjaniania logiki jakociowej zmiany dziaania organizacji iich systemw.

Podejcia definicyjne
Badacze zwizani z Organizacj Wsppracy Gospodarczej i Rozwoju (Organization for Economic Co-operation and Development OECD) pojcie ZW definiuj, zperspektywy teleologicznej, jako: () szeroki zbir praktyk organizacyjnych luno powizanych zgenerowaniem, pozyskiwaniem, upowszechnianiem know-how ipromowaniem dzielenia si wiedz worganizacji iw jej zewntrznym rodowisku, obejmujcych: rozwizania organizacyjne (decentralizacja wadzy, uelastycznienie biurokratycznych struktur, wykorzystanie technologii informacyjnych ikomunikacyjnych), rozwj zasobw ludzkich (doradztwo, szkolenia, mobilno itp.) iumiejtnoci zarzdczych, transfer kompetencji (bazy danych dotyczcych personelu, opisy dobrych praktyk itp.), promowanie zarzdzania ibodcw zachcajcych do dzielenia si wiedz (ocena jakoci pracy i awans warunkowane skonnoci do dzielenia si wiedz, ocena roli menederw)5. Rwnie powszechnym sposobem definiowania ZW jest jego ujmowanie procesowe: () zarzdzanie wiedz skada si zszeciu kluczowych procesw: lokalizowania, pozyskiwania, rozwijania, dzielenia si wiedz ijej rozpowszechniania, wykorzystywania oraz zachowywania wiedzy6. Istot ZW w instytucjach publicznych jest zatem gromadzenie danych i informacji, ich selekcja i konwersja na wiedz organizacyjn oraz oparcie
The Learning Government: Introduction and Draft Results of the Survey of Knowledge Management Practices in Ministries/Departments/Agencies of Central Government OECD, 2003, s. 7. 6 Probst G., Raub S., Rombardt K., Zarzdzanie wiedz worganizacji, Oficyna Ekonomiczna, Krakw 2002, s. 48.
5

54

Stanisaw Mazur

procesu podejmowania decyzji na zasobach wiedzy instytucjonalnej (skodyfikowanej inieskodyfikowanej) zakorzenionej wkulturze organizacji.

Infrastruktura zarzdzania wiedz


Efektywne i skuteczne zarzdzanie wiedz w instytucjach sektora publicznego, podobnie zreszt jak wsektorze podmiotw gospodarczych czy te spoecznych, wymaga odpowiedniej strukturyzacji iintegracji wielu elementw skadowych konstytuujcych infrastruktur systemu ZW. Skadaj si na ni: 1. Ugruntowana wrd politycznych zwierzchnikw administracji publicznej wiadomo znaczenia wiedzy dla dobrego rzdzenia, skutkujca okrelonymi decyzjami sprzyjajcymi tworzeniu kultury ZW (np. przyjmowanie stosowanych strategii, alokowanie rodkw na ich realizacj, wprowadzanie odpowiednich regulacji, wtym dotyczcych polityki kadrowej, tworzenie konkurencyjnych warunkw pracy iwynagradzania). 2. Ewolucyjna zmiana kultury organizacyjnej (tworzenie klimatu zaufania iwspdziaania, kreowanie liderw promujcych postawy innowacyjne, przechodzenie z proceduralnego, formalistycznego sposobu dziaania administracji w kierunku dziaania zorientowanego na osiganie celw, zmiana wzorcw wsppracy administracji z partnerami spoecznymi igospodarczymi odejcie od imperatywnoci na rzecz interakcyjnoci, odejcie od mylenia wertykalnego (resortowego) na rzecz mylenia horyzontalnego (holistycznego) wprocesach tworzenia iimplementacji polityk oraz programw publicznych. 3. Doskonalenie kompetencji zawodowych urzdnikw (wzmacnianie systemw szkole i doskonalenia zawodowego, wprowadzanie bodcw skaniajcych do podnoszenia kompetencji zawodowych, konkurencyjne systemy rekrutacji iselekcji pracownikw, ich oceny oraz planowania ich rozwoju zawodowego itp.). 4. Doskonalenie metod zarzdzania opartych o intensywne wykorzystanie wiedzy (np. zarzdzanie jakoci, zarzdzanie przez cele, doskonalenie metodologii analizy, programowania oraz oceny polityk i programw publicznych, wtym wykorzystanie metod ekonometrycznych, tworzenie sieci wiedzy opartych owspdziaanie zorodkami akademickimi idoradczymi). 5. Nasycenie administracji publicznej nowoczesnymi technologiami informatycznymi i komunikacyjnymi (np. e-administracja, portale, Intranet, informatyczne systemy przepywu informacji idokumentw, bazy danych, informatyczne narzdzia wspierania procesw decyzyjnych). 6. Stosowanie elastycznych izadaniowych form organizacyjnych wyprowadzonych zkoncepcji organizacji uczcej si (np. stosowanie paskich struk-

Zarzdzanie wiedz wpolskiej administracji publicznej

55

tur organizacyjnych, wprowadzanie formuy zespow zadaniowych oraz efektywnych systemw informacyjno-komunikacyjnych zorientowanych na szybki przepyw informacji iwiedzy). Na rysunku 1 przedstawiono, wpostaci diagramu, elementy skadowe infrastruktury ZW.

wiadomo i determinacja politykw formy organizacyjne Infrastruktura zarzdzania wiedz technologie informacyjne i komunikacyjne metody zarzdzania kompetencje zawodowe urzdnikw kultura organizacyjna

Rysunek 1. Infrastruktura systemu zarzdzania wiedz


rdo: Opracowanie wasne.

Reasumujc, infrastruktura systemu zarzdzania wiedz to wielowymiarowa konstrukcja, na ktr skadaj si: a) instytucjonalna architektura ocharakterze sieciowym, b) aktorzy poruszajcy si wprzestrzeni wytyczonej przez ow architektur, c) zestaw bodcw sucych otwarciu systemu instytucjonalnego oraz jego aktorw na internalizacj ipeniejsze wykorzystanie wiedzy, d) otwarto systemu oznaczajca zarwno zdolno do wchaniania bodcw zmiany (izomorfizm refleksyjny), jak iumiejtno zachowania dynamicznej rwnowagi (relacja midzy zewntrznymi bodcami, adaptacj rodowiskow awewntrzn integralnoci systemu), e) mechanizm zwrotnej refleksyjnoci rozumiany jako zdolno do krytycznej refleksji nad jakoci podejmowanych dziaa oraz zdolno do rekonfiguracji zasobw iwzorcw wiedzy wcelu lepszego ich wykorzystania.

56
Korzyci wynikajce zZW

Stanisaw Mazur

Zapoyczajc zteorii modernizacji pojcia centrum, peryferii oraz pperyferii, przez analogi mona stwierdzi, e kraje, ktrych administracje nie adaptuj si do reimu wiedzy nie bd wstanie oprze na niej procesw programowania polityk publicznych iich implementacji traci bd pozycj wcentrum ukadw ispychane bd wkierunku pperyferii iperyferii. Jeli ukady instytucjonalne pastwa (w tym administracja publiczna) oraz reguy imechanizmy ich dziaania pozostawa bd wopozycji do logiki reimu wiedzy, wzrasta bdzie ich bezsilno wzakresie wpywania na bieg wydarze midzynarodowych, aich zdolno do sterowania wewntrznymi procesami spoecznym wcoraz wikszym stopniu bdzie iluzoryczna. Rysunek2 przedstawia przykadowe korzyci wynikajce zzarzdzania wiedz winstytucjach publicznych. Ich prezentacji dokonano wpodziale na dwie kategorie, tj. korzyci wewntrzne izewntrzne.
Korzyci zewntrzne: 1. Wzmacnianie zdolnoci pastwa do sterowania procesami rozwojowymi i wzrost jego zdolnoci do wpywania na ksztat decyzji podejmowanych na arenie midzynarodowej. 2. Tworzenie przestrzeni dla przedsiwzi spoecznych oraz gospodarczych obywateli i ich zwizkw. 3. Redukowanie kosztw transakcyjnych przedsiwzi gospodarczych i spoecznych. 4. Tworzenie warunkw dla wzrostu konkurencyjnoci i innowacyjnoci gospodarki. 5. Wzrost spjnoci spoeczno-gospodarczej i przestrzennej pastwa. 6. Tworzenie i realizacja trafnie adresowanych polityk i programw publicznych. 7. Poprawa jakoci usug publicznych. 8. Wzrost zaufania do instytucji publicznych. 9. Wsprzdzenie uczestniczce oparte o zasady partnerstwa, autonomii i subsydiarnoci.

Korzyci wewntrzne: 1. Poprawa jakoci dziaania instytucji publicznych w wymiarach: ekonomicznoci, skutecznoci, responsywnoci, przejrzystoci, rozliczalnoci. 2. Wzmacnianie etosu suby publicznej. 3. Zmiana kultury organizacyjnej instytucji publicznych.

Korzyci z zarzdzania wiedz

Rysunek 2. Korzyci zZW winstytucjach publicznych


rdo: Opracowanie wasne.

Zarzdzanie wiedz wpolskiej administracji publicznej

57

Percepcja zagadnienia ZW winstytucjach publicznych


Interesujce spostrzeenia na temat zjawiska ZW ipercepcji tego zagadnienia zawiera raport zbada przeprowadzonych przez OECD7. Zinformacji tam zawartych wynika, e szybko wzrasta liczba pastw, ktre uznaj ZW za obszar o znaczeniu priorytetowym dla poprawy jakoci rzdzenia. Zdecydowana wikszo respondentw (75%) postrzega ZW jako podstawowy sposb na wzrost efektywnoci i skutecznoci dziaania kierowanych przez nich instytucji. Wymiernym tego przykadem jest wzrost rodkw na szkolenia pracownikw, wiksze nasycenie instytucji publicznych nowoczesnymi technologiami informatyczno-komunikacyjnymi, jak rwnie delegowanie zada zwizanych zkoordynacj dziaa zzakresu ZW na osoby zajmujce kluczowe miejsce whierarchii organizacyjnej. Jako zalety wprowadzania systemu ZW wymienia si midzy innymi: popraw jakoci funkcjonowania organizacji, obnienie kosztw funkcjonowania, wzrost przejrzystoci dziaa, popraw jakoci wiadczonych usug oraz wzrost zdolnoci adaptacyjnych. Ustalenia w raporcie wskazywa mog, e ZW to nie tylko przejciowa moda na kopiowanie nonych medialnie koncepcji wytworzonych wsektorze rynkowym, araczej presja otoczenia na szeroko pojty sektor publiczny, bdca wynikiem swoistej racjonalnoci systemowej gospodarki opartej na wiedzy. Wyniki przywoywanego badania nie oznaczaj bynajmniej, i jako, ZW osigna winstytucjach publicznych pastw OECD stan zadowalajcy. Wskazuje si, bowiem na potrzeb: dalszej decentralizacji zarzdzania, usprawniania poziomego przepywu informacji wewntrz organizacji publicznych imidzy nimi, podniesienia jakoci szkole, wzmacniania bodcw skutkujcych dzieleniem si wiedz, doskonalenia technologii informatyczno-komunikacyjnych.

Zarzdzanie wiedz wkontekcie zmian zachodzcych wotoczeniu pastwa ijego administracji


Administracja publiczna staje si wanym elementem dziaa na rzecz szeroko rozumianego rozwoju spoeczno-gospodarczego. Ze stwierdzeniem tym zgadza si coraz wiksza liczba ekonomistw, socjologw ipolitologw. Wtym rwnie, to pewien paradoks, ci, ktrzy jeszcze nie tak dawno wyraali opinie odmienne.
7

The Learning Government, op. cit.

58

Stanisaw Mazur

Coraz czciej przyjmuje si, e bez dobrej administracji nie ma sprawnego pastwa, a bez dobrze dziaajcego pastwa rozwj spoeczno-gospodarczy cechuje si sab dynamik, niepewnoci oraz brakiem spjnoci wjej szerokim rozumieniu. Dobrze dziaajca administracja publiczna staje si jednym zcondicio sine qua non dla rozwoju pastwa izapewnienia odpowiedniej jakoci ycia jego obywateli. Mona zatem uzna, e pastwom, ktre maj sprawn administracj, bdzie si powodzio lepiej ni tym, ktre jej nie posiadaj. Kontekstem systemowym dla wzmacniania ZW winstytucjach publicznych jest pojawienie si gospodarki opartej na wiedzy. W tym nowym paradygmacie podstawowym zasobem, ktry instytucje publiczne mog wnie, jest dobre rzdzenie pojmowane jako dobro publiczne. Nie jest ono moliwe bez nasycenia tych instytucji praktykami zarzdzania wyprowadzonymi zkonceptu ZW. Wzrost znaczenia administracji i charakter oczekiwa wzgldem niej formuowanych zakorzenione s jednak w rzeczywistoci rnej od tej, w ktrej ojcowie nowoytnej administracji wytyczali zasady jej dziaania. Istota pastwa ijego administracji ulega redefinicji. Zmieniaj si jego relacje ze spoeczestwem. Bez zrozumienia roli wadzy publicznej oraz jej miejsca w rnicujcym si i nabierajcym cech autopojetycznoci8 systemie spoecznym, projektowanie programw doskonalenia administracji i ich realizacja moe charakteryzowa si dysfunkcjonalnoci wzgldem zaoonych celw. Wzrost policentrycznoci porzdku spoecznego i politycznego9, narastajce zrnicowanie funkcjonalne poszczeglnych segmentw spoecznych oraz erozja wadzy hierarchicznej, prowadz do deficytu zaufania wzgldem wadzy publicznej i problemu jej legitymizacji. Zjawiska te pogbiaj przecienie pastwa, kryzys polityki regulacyjnej oraz problem efektywnej, skutecznej i spoecznie aprobowanej alokacji dbr publicznych. Narastajca konkurencja i globalizacja to kolejne czynniki, ktre w odmienny sposb ni to miao miejsce dotychczas wytyczaj relacje pastwa, administracji iobywateli. Rzdzenie za pomoc klasycznych zasad iinstrumentw staje si coraz bardziej problematyczne wspoeczestwie zmiany, niepewnoci iryzyka. Tworz si nowe kody iwzorce zachowa spoecznych. Wzrasta zapotrzebowanie na dobre rzdzenie, ktrego konstytutywnym elementem jest dobra administracja, ajej warunkiem jest zdolno do kapitalizowania wiedzy dla realizacji interesu publicznego. Pastwo i administracja w coraz wikszej
Pojcie autopojetycznoci rozumiane jest wtym opracowaniu jako proces wewntrznego rnicowania si elementw systemu spoecznego wujciu opisywanym przez N. Luhmanna, The Differentiation of Society, Columbia University Press, New York 1982. 9 Poprzez pojcie policentrycznoci porzdku spoecznego rozumie si erozj instytucji tradycyjnie uwaanych za dominujce orodki wadzy iwpywu (np. pastwo, Koci) ipojawianie si wielu nowych orodkw wadzy, jak rwnie spadek znaczenia hierarchicznych metod koordynacji dziaa zbiorowych.
8

Zarzdzanie wiedz wpolskiej administracji publicznej

59

mierze funkcjonuj w reimie wiedzy, w ktrym zasobem najcenniejszym jest zdolno do refleksyjnego jej wykorzystania iprzeoenia na procedury operacyjne organizujce ich aktywnoci. Nie oznacza to, e w poprzednich reimach wiedza nie bya wykorzystywana, ajedynie, e nigdy wczeniej jej zastosowanie nie miao tak fundamentalnego znaczenia dla jakoci dziaania struktur pastwa.

lojalno versus neutralno efektywno i skuteczno versus responsywno

efektywno versus odpowiedzialno Administarcja publiczna

profesjonalizm versus dzialania wolne od technokratyzmu

formalizm versus elastyczno

Rysunek 3. Ekosystem dziaania administracji publicznej rdo: Opracowanie wasne.

W kontekcie nowej strategicznej roli pastwa warto zwrci uwag na rodowisko, w ktrym dziaa administracja publiczna. Funkcjonuje ona w zoonym ekosystemie instytucji, aktorw, celw, zasad, interesw, ukadw wadzy, wartoci iprzekona. Od administracji oczekuje si: lojalnoci wobec rzdzcych politykw, azarazem politycznej neutralnoci iprzestrzegania regu demokracji reprezentatywnej, efektywnoci i sprawnoci w rozwizywaniu problemw spoecznych, azarazem odpowiedzialnoci wzgldem politycznych przeoonych irespektowania oczekiwa spoecznych, kierowania si proceduraln logik wynikajc z porzdku prawnego, azarazem niepopadania wnadmierny formalizm, wykorzystywania profesjonalnej, specjalistycznej wiedzy bez przyjmowania kultury technokratycznej, kierowania si zasadami skutecznoci i ekonomicznej efektywnoci, azarazem dostosowania si do oczekiwa spoecznych, stosowania za-

60

Stanisaw Mazur

sad rynkowych oraz dziaania na rzecz ograniczania wykluczenia spoecznego, uwzgldniania spoecznych preferencji ioczekiwa, azarazem niepoddawania si ich presji ioddziaywaniu grup interesu10. Przywoane tu oczekiwania, wpewnej mierze wykluczajce si, to dodatkowy element, ktry zjednej strony wymusza stosowanie coraz bardziej zoonych mechanizmw zarzdzania, opartych ozalecania wypywajce zmodelu ZW, ajednoczenie zarzdzanie to utrudnia.

Zarzdzanie wiedz wpolskiej administracji publicznej diagnoza


Sprawnie dziaajcy system ZW powinien umoliwia gromadzenie odpowiednich danych iinformacji oraz tworzenie iwykorzystanie wiedzy wpraktyce. Dla potrzeb dalszego opisu dokonuj arbitralnego wyrnienia trzech typw wiedzy: a) strategicznej11, b) taktycznej12, c) operacyjnej13. Zakadam, e kady znich przynaley do dajcych si wyodrbni domen aktywnoci pastwa ijego administracji. Przywoana dystynkcja nie ma charakteru wpeni rozcznego, poniewa wpraktyce dziaania administracji publicznej iwyspecyfikowane powyej kategorie wiedzy s mocno skorelowane, aczsto ich granice nakadaj si na siebie.

Wiedza strategiczna
Kreowanie strategicznych warunkw dla polityki rozwoju, krelenie dobrych scenariuszy rozwoju pastwa i ich realizacji to dziaanie lokujce si wsferze cisych interakcji pomidzy urzdnikami iich politycznymi przeoonymi. Powodzenie tych dziaa wymaga integrowania komplementarnych zasobw informacji iwiedzy przynalenych zarwno politykom, jak iurzdnikom oraz ekspertom. Twrcze kombinacje irekombinacje tych zasobw powinny zachodzi wukadach otwartych, sieciowych, wprocesie wielu interakcji. WPolsce proces ten przebiega wsposb nieodgadniony ijego efekty czsto

Olsen J.P., Towards aEuropean Administrative Space?, ARENA Working Papers WP 02/26. Wiedza strategiczna rozumiana jest jako zasb konieczny do refleksyjnego tworzenia metaregu programowania zasad iprojektowania instrumentw sterowania polityk rozwoju pastwa. 12 Wiedza taktyczna rozumiana jest jako zasb znajdujcy zastosowanie wtworzeniu polityki iprogramw publicznych sucych realizacji celw polityki rozwoju pastwa. 13 Wiedza operacyjna to zasb umoliwiajcy zarwno efektywn, skuteczn i responsywn realizacj polityk iprogramw publicznych, jak iwiadczenie klasycznych usug publicznych.
11

10

Zarzdzanie wiedz wpolskiej administracji publicznej

61

uznaje si za wtpliwe. Problem deficytu wiedzy, ade facto jej wykorzystania, przejawia si na wiele wymownych sposobw. W dziaaniach, wprzypadku ktrych wiedza strategiczna ma szczeglne zastosowanie, wyranie dostrzegalny jest brak architektury instytucjonalnej dla jej tworzenia, przepywu ikapitalizowania. To oznacza, e nie ma strategiczno-koordynacyjnego orodka odpowiedzialnego za wytyczanie celw polityki rozwoju pastwa ikoordynacj dziaa prowadzonych wjej ramach. Ta kluczowa kompetencja dzielona jest midzy resorty, kancelari prezesa rady ministrw, urzdy centralne iagencje oraz zespoy doradcw, wsposb oczywisty prowadzc do niespjnoci programowej podejmowanych dziaa iich zakotwiczeniu wrzeczywistoci wertykalnie zorientowanych resortw. Nasuwaj si co najmniej dwa pytania. Po pierwsze, gdzie znajduje si wstrukturze egzekutywy orodek wytyczania strategicznych dla pastwa planw rozwojowych? Po drugie, jaki segment egzekutywy iw jaki sposb jest rozliczany za jako jej implementacji ikoordynacji? Odpowied wskazujca, e to rzd kolegialnie, apremier personalnie ponosi odpowiedzialno za jako rzdzenia, jest dalece niewystarczajca, wkontekcie speniania standardw dobrego rzdzenia, wtym zasady rozliczalnoci. Innego rodzaju kwesti jest brak odpowiedzialnego przywdztwa politycznego. Jest to szczeglnie dotkliwe, kiedy konieczne jest podjcie wysiku sucego rozwizaniu problemu o charakterze strukturalnym. Zwaszcza, jeeli jest to obarczone wysokim stopniem niepewnoci, ryzyka ipotencjalnie wysokimi kosztami politycznymi w przypadku niepowodzenia. Chodzi zatem oreformy obiektywnie uzasadnione, ale wyniki kalkulacji politycznych wskazuj, e prawdopodobiestwo ich niepowodzenia i koszty polityczne mog okaza si znaczce. Bez wiedzy, ktra pokazywaaby konsekwencje tych zaniecha, ich zrozumienie przychodzi politykom niezmiernie trudno. Paralelny problem braku systemu zarzdzania wiedz strategiczn odnotowa mona wprzypadku samorzdu regionalnego. Brak odpowiedniego zaplecza merytorycznego, niewielkie wykorzystanie wiedzy analitycznej i regu programowania strategicznego w celu projektowania rozstrzygni kluczowych dla regionu, to tylko niektre zprzykadw obrazujcych istot problemu.

Wiedza taktyczna
Pomimo wielu pozytywnych zmian, jakie zaszy w ostatnich latach, potencja administracji publicznej wzakresie kompetencji taktycznych jest niewystarczajcy. Za niezadowalajc uzna naley jako procesw kreowania oraz implementacji programw publicznych. Szczeglnie wiele problemw pojawia si wsferze procesw koordynacyjnych. Kolejnym deficytem wzakresie kompetencji taktycznych administracji publicznej jest niewystarcza-

62

Stanisaw Mazur

jca jako oceny skutkw podejmowanych dziaa oraz niska jako polityki regulacyjnej. Czsto dziaania podejmowane wtym zakresie cechuj si ma uytecznoci. Poprawy wymagaj rwnie mechanizmy integrowania oceny programw publicznych podejmowanych przez administracj zprocesami decyzyjnymi. Nierzadko dziaaniom tym nadaje si charakter rytualny, aich warto poznawcza i implementacyjna jest mocno ograniczona. Implikuje to konieczno doskonalenia systemu ewaluacji polityk i programw publicznych. Zdolno do ich oceny oraz refleksji nad ich racjonalnoci ekonomiczn ispoeczno-gospodarcz efektywnoci to zagadnienie kluczowe dla dobrego rzdzenia. To podstawa dla strategicznego namysu i dobrego dziaania, sposb na kumulowanie wiedzy o zalenociach przyczynowo-skutkowych ibudowanie pamici instytucjonalnej organizacji. Tak pomylana ewaluacja czy dwie funkcje: poznawcz irozliczeniow. Pierwsza znich jest podstaw racjonalizacji polityk publicznych, druga natomiast suy do kontrolowania kwestii dotyczcych gospodarowania rodkami publicznymi iegzekwowania zwizanej z tym odpowiedzialnoci. Funkcje te s rwnie wane i ze sob zespolone. Tylko ten sposb ich postrzegania tworzy caociowy aco za tym idzie obiektywny obraz efektw interwencji publicznych. Koniecznoci staje si wkomponowanie ewaluacji w proces tworzenia imodyfikacji programw publicznych, doprowadzenie do tego, aby decydenci traktowali badania diagnostyczne i ewaluacyjne jako wartociowe oraz potrzebne rdo informacji oefektach dziaa przeszych iprawdopodobnych konsekwencjach tych, ktre nastpi. Wymaga to legitymizacji bada ewaluacyjnych przez ich wysoki standard metodologiczny, profesjonalizm oraz obiektywizm. Potrzebne jest take wyposaenie decydentw w instytucjonaln moliwo weryfikacji poziomu owych standardw, atake agregacji, analizy i syntezy wynikw ewaluacji rnych projektw i programw oraz przeksztacania ich w wiedz uyteczn w procesie projektowania dziaa ipodejmowania decyzji.

Wiedza operacyjna
Zmiany wymagaj mechanizmy zarzdzania bazujce na wiedzy operacyjnej wykorzystywane w polskiej administracji publicznej. Konieczne jest rozszerzenie zakresu stosowania nowoczesnych systemw inarzdzi zarzdzania zasobami ludzkimi ifinansowymi (np. zintegrowane zarzdzanie strategiczne, budetowanie zadaniowe itp.). Niezadowalajcy jest stopie wykorzystania technologii informatycznych, zwaszcza narzdzi zwizanych zmodelem e-administracji. Istotnym mankamentem jest rwnie brak standaryzacji usug publicznych (dotyczy to gwnie administracji samorzdowej) oraz systemowych rozwiza wzakresie pomiaru usug publicznych.

Zarzdzanie wiedz wpolskiej administracji publicznej

63

Negatywny wpyw na sytuacj ma rwnie brak caociowych opracowa, cechujcych si odpowiednimi standardami metodologicznymi, ktre stanowiyby podstaw systemowego doskonalenia administracji i podnoszenia jakoci rzdzenia. Nie ma take danych, ktre wujciu porwnawczym pozwalayby lokowa zmiany i tendencje zachodzce w polskiej administracji wzgldem procesw modernizacyjnych zachodzcych winnych krajach. Nierzadko dziaania podejmowane przez administracj publiczn s zorientowane na wewntrzne procedury, a sposb postrzegania wsppracy zpartnerami spoecznymi igospodarczymi ma charakter imperatywny. Wydaje si rwnie, e niski jest stopie kapitalizowania korzyci wynikajcych z zastosowania mechanizmw wsppracy zarwno z organizacjami pozarzdowymi, jak iz orodkami badawczymi inaukowymi. Wtym kontekcie warto jednak wspomnie oograniczonej zdolnoci aby moe izainteresowaniu organizacji spoecznych iuczelni wyszych wspprac zadministracj publiczn. Z perspektywy zagadnienia ZW wymienione powyej deficyty odczytywa mona zarwno jako konsekwencj braku umiejtnoci pozyskiwania itworzenia wiedzy, jak iniezdolno do wykorzystywania istniejcej. Dowodem jest rozproszenie wiedzy zwizanej zwynikami ewaluacji polityki iprogramw publicznych oraz niski poziom ich wykorzystania dla programowania interwencji publicznych. Wyniki bada ewaluacyjnych stanowi cenny rezerwuar wiedzy, ktrego wykorzystanie explicite prowadzioby do poprawy jakoci rzdzenia. Dorobek polskiej praktyki ewaluacyjnej moe okaza si szczeglnie wartociowy w odniesieniu do wzmacniania wiedzy taktycznej w polskiej administracji publicznej. Charakter gwnego nurtu aktywnoci ewaluacyjnej lokuje si bowiem wtej sferze wiedzy, aco za tym idzie, wyniki tych bada ewaluacyjnych cechuj si wysok wartoci poznawcz iuytecznoci. Inkorporowanie dorobku ewaluacyjnego do praktyki dziaa instytucji publicznych prowadzioby do konsolidacji rodzcej si kultury ewaluacyjnej, stanowicej jeden zpodstawowych elementw systemu ZW.

ZW wpolskiej administracji istota problemu


Polska administracja publiczna jest przykadem systemu, w ktrym wystpuje nadmiar danych, niepeny zasb informacji iograniczony potencja wiedzy, ktra stanowiaby podstaw racjonalnych ekonomicznie ispoecznie decyzji oraz dziaa publicznych. rdo problemu ZW wadministracji publicznej tkwi wjej niezdolnoci do zrozumienia istoty tej koncepcji i poytkw pyncych z jej stosowania. Bdc struktur wysoce scentralizowan ihierarchiczn, cechuje si ona konserwatyzmem kulturowym, determinowanym systemem bodcw zniechca-

64

Stanisaw Mazur

jcych do dziaa innowacyjnych. Prymat procedury iracjonalno proceduralna premiujce zachowania zorientowane na wypenienie procedury, anie osignicie rezultatu czy rozwizanie problemu, to istotne demotywatory. Jej cechy konstytutywne itkwice wniej immanentne ograniczenia czyni zadministracji publicznej struktur mao plastyczn iraczej reaktywn. Dobrze rozpoznane wsocjologii ograniczenia wdziaaniu duych sformalizowanych organizacji (proceduralna racjonalno, przemieszczenie celw, wyuczona nieudolno, oligarchizacja iwiele innych) znajduj odzwierciedlenie wadministracji publicznej. Warunkiem koniecznym dla podniesienia wiedzochonnoci pastwa ijego struktur jest gruntowna modernizacja polskiej administracji publicznej. Podstawowym celem powinna sta si transformacja struktur administracyjnych wsystem zorientowany na absorpcj wiedzy, prowadzca do efektywnego, skutecznego, responsywnego iinteraktywnego sposobu dziaania. Proces ten miaby charakter dualnego sprzenia zwrotnego. Zjednej strony podstaw jego przeprowadzenia byaby wiedza, zdrugiej za jego efektem byoby wprowadzenie systemowych rozwiza wzakresie oparcia dziaa administracji na wiedzy wwikszym stopniu ni ma to miejsce obecnie. Skala wyzwa modernizacyjnych stojcych przed polsk administracj publiczn jest znaczca. Warunkiem koniecznym powodzenia dziaa wtej sferze jest ugruntowanie si wrd politykw przekonania, e profesjonalna administracja to zasb kluczowy dla dobrego rzdzenia. Proces modernizacji administracji musi by poprzedzony jednak nie tylko debat publiczn i refleksj na temat podanego modelu pastwa i jego relacji z obywatelami, ale rwnie uzgodnieniem, czemu administracja ma suy i w jaki sposb ma dziaa. Naley zaznaczy, i rwnie wane jak ustalenie celw dziaania administracji, jest wczenie w ten proces wszystkich jego kluczowych aktorw, gwnie urzdnikw. Bez ich zaangaowania izrozumienia celowoci wprowadzanych zmian prawdopodobiestwo sukcesu naley uzna za mae. Wprowadzenia wielu udoskonale wymaga obszar zarzdzania kadrami w administracji publicznej. Katalog dziaa, ktre naleaoby podj jest szeroki poczwszy od potrzeby przeprowadzenia rzetelnej analizy wartociowania stanowisk pracy, poprzez wypracowanie motywacyjnego, przejrzystego systemu konkurencyjnego wynagradzania14 iawansowania, akoczc na systemie szkole ipodnoszenia kwalifikacji. Bez kompetentnych iumotywowanych urzdnikw zarzdzanie wiedz pozostaje szlachetnym, ale romantycznym postulatem.
Jednym zistotnych problemw stojcych przed polsk administracj publiczn jest zjawisko ruchliwoci midzysektorowej, przybierajce posta rezygnacji zpracy osb owysokich kwalifikacjach. Potguje to niezdolno pastwa ijego struktur do sterowania wanymi procesami rozwojowymi.
14

Zarzdzanie wiedz wpolskiej administracji publicznej

65

W ramach politycznie uzgodnionego programu modernizacyjnego konieczne byoby rwnie podjcie dziaa sucych wzmocnieniu potencjau analitycznego administracji, jej zdolnoci do programowania polityk i programw publicznych oraz poprawie zdolnoci do koordynacji procesw ich implementacji. Naturaln konsekwencj sygnalizowanych powyej kierunkw dziaa powinno by przejcie od imperatywnych do interaktywnych mechanizmw zarzdzania sprawami publicznymi iwspdziaania zpartnerami zewntrznymi, opartych oposzanowanie ich autonomii oraz wzrost stopnia responsywnoci wrelacjach zobywatelami iich organizacjami.

Od bezsilnoci do zarzdzania wiedz


Administracja jako narzdzie pastwa wrealizacji polityki rozwoju izaspokajania potrzeb spoecznych powinna by jednym znajwaniejszych konsumentw wiedzy wiedzy generowanej wporzdku, ktry znamienici badacze pastwa, John L. Campbell i Ove K. Pedersen15, okrelili jako reim wiedzy, tj. worodkach akademickich, badawczych, uniwersytetach itp. Postrzeganie administracji publicznej jako autonomicznego kreatora wiedzy jest iluzj. Hipotetycznie administracja publiczna mogaby peni rol systemu generowania wiedzy. Zakada mona, e przynajmniej wczci byaby zdolna rol tak wypenia. Jednake wydaje si, e koszty transakcyjne dziaania tego systemu przewyszayby korzyci wynikajce zjego funkcjonowania. Odwoujc si do rozwaa Schumpetera, mona rzec, e podstawow rol administracji nie jest inwencja (wynajdowanie), ale innowacja (przekadanie wiedzy na praktyczne zastosowanie) inaladownictwo (pojmowane jako refleksyjne wdraanie tego, co dobrze gdzie dziaa). Adekwatne wtym kontekcie byoby pojcie refleksyjnoci instytucjonalnej (zaczerpnite od Giddensa) rozumiane jako rutynowe wczanie nowych informacji lub wiedzy do warunkw dziaania, skutkujce ich rekonfiguracj ireorganizacj16. Aby administracja publiczna moga by konsumentem wiedzy, musi: mie wiadomo wasnych ogranicze (mapa deficytw wiedzy), wiedzie, jakiego typu wiedza jest jej potrzebna, wiedzie, gdzie wiedza jest zlokalizowana () raz dokonanych odkry () zakry na powrt nie mona17,
Campbell J.L., Pedersen O.K., The Varieties of Capitalism and Hybrid Success Denmark in the Global Economy. Tekst ten prezentowany by w ramach seminarium Dobre rzdzenie w czerwcu 2007 r., organizowanego przez Uniwersytet Ekonomiczny w Krakowie. 16 Giddens A., Nowoczesno i tosamo, Wydawnictwo Naukowe PWN, Warszawa 2007, s.316. 17 Jarzbski J., Chaos na cenzurowanym: pna eseistyka Lema, materiay zVII Krakowskiej Konwencji Metodologicznej, Krakw 2001.
15

66

Stanisaw Mazur

by wstanie oceni jako dostarczonej wiedzy (potrzeba redukcji asymetrii wiedzy wrelacjach generator ikonsument wiedzy), posiada zdolno do praktycznego wykorzystania przekazanej wiedzy. Poprawa jakoci i stopnia wykorzystywania wiedzy przez administracj publiczn moliwa bdzie nie poprzez jednorazowe akcje, ale podjcie systemowych, dugofalowych iinstytucjonalnie zakorzenionych dziaa. Zakadanie, co podaj jako hipotetyczny przykad, e akcyjne szkolenie dla wszystkich pracownikw urzdw centralnych zzakresu tworzenia programowania strategicznego wistotny sposb podniesie jego jako, jest racjonalizacj mitw18. Podobnego rodzaju przykadem jest narastajce zjawisko powierzania intelektualistom kluczowych stanowisk doradczych wadministracji publicznej. Jest to tendencja pozytywna, suca nasyceniu wiedz struktur pastwowych. Jednak nie mona pomin negatywnych zjawisk, ktre temu towarzysz. Ich istot trafnie oddaj rdtytuy jednego zrozdziaw pracy R. K. Mertona, tj.: Intelektualici niezaleni aintelektualici biurokratyczni oraz Frustracje intelektualisty pozostajcego wsubie instytucji pastwowej19. Rozwizaniem problemu nie jest rwnie mechaniczne rozszerzenie zakresu wykorzystania systemw eksperckich iich wiedzy przez administracj publiczn. Paradoksalnie bowiem prowadzi to moe do dwojakiego rodzaju konsekwencji. Jedn znich jest defragmentaryzacja izawenie rzeczywistoci, w ktrej umiejscowiony jest problem stanowicy przedmiot ekspertyzy (co wynika zwysokiego poziomu jej specjalizacji). Dobrze uj to A. Giddens: Miar skutecznoci ekspertw w zakresie rozwizywania problemw staje si czsto ich umiejtno dostarczania coraz bardziej przejrzystych iprecyzyjnych definicji (co zkolei prowadzi do ich dalszej specjalizacji). Jednake im ostrzej jest zarysowany dany problem, tym bardziej zamazuj si ssiadujce znim obszary wiedzy, aco za tym idzie, tym trudniej jednostkom, ktre sigaj po dane rozwizanie, przewidzie konsekwencje jego wdroenia wybiegajce poza specyficznie wyrnion dziedzin jego zastosowania. Mimo e ekspertyza jest czci szerszych systemw abstrakcyjnych, sama dy do zwikszania ostroci kosztem pola widzenia, przez co moe przyczynia si do pojawienia si niezamierzonych konsekwencji, nad ktrymi nie sposb zapanowa chyba, e wdrodze dalszego postpu ekspertyzy odtwarzajcego to samo zjawisko20.
18 Pod pojciem tym rozumiem postaw opart na przekonaniu, e podejmowanie znanych i standardowych dziaa jest rozwizaniem okrelonego problemu, a zarazem zwalnia od gbszej refleksji, czy rzeczywicie dziaania te przynosz zakadany efekt. To sposb powielania utartych schematw reagowania na problem, na og nieskutecznych. Innymi sowy, odwoujc si do J. Hausnera, to przykad zaatwienia sprawy anie rozwizania problemu. Zob. Hausner J., Ptle rozwoju, Wydawnictwo Naukowe Scholar, Warszawa 2007. 19 Merton R.K., Teoria socjologiczna istruktura spoeczna, Wydawnictwo Naukowe PWN, Warszawa 2002. 20 Giddens A., op. cit., s. 45.

Zarzdzanie wiedz wpolskiej administracji publicznej

67

Problem drugi to zjawisko okrelane jako efekt kolau zestawienie wielu wysoce specjalistycznych ekspertyz generuje poznawczy komunikat owysokim poziomie heterogenicznoci. Jego odczytanie jest skomplikowane, a co za tym idzie, trudno podejmowa skuteczne dziaania. Przykadem moe by wielo ekspertyz zamawianych przez urzdy administracji publicznej, ajednoczenie brak zdolnoci do konceptualnego zintegrowania przekazu znich wynikajcego. Dla budowania systemowego rozwizania sucego wzrostowi wiedzochonnoci administracji publicznej kluczowe jest stworzenie systemu ZW. Katalog dziaa na rzecz budowania systemu ZW wpolskiej administracji publicznej mgby przybra nastpujc posta21: 1. Zasoby ludzkie a) zrozumienie przez politycznych zwierzchnikw administracji publicznej i wysokich urzdnikw koniecznoci oparcia dziaa organizacji publicznych na wiedzy, b) kreowanie kultury organizacyjnej zachcajcej do wymiany danych, informacji iwiedzy, c) kreowanie liderw inicjujcych istymulujcych procesy wymiany wiedzy worganizacji, d) wprowadzanie formalnych mechanizmw premiowania iawansowania urzdnikw aktywnie uczestniczcych wprocesach wymiany informacji iwiedzy (np. poprzez odpowiedni system rekrutacji, nagrd), e) tworzenie midzywydziaowych i midzyorganizacyjnych zespow zadaniowych do poszukiwania innowacyjnych rozwiza. 2. Proces a) identyfikacja okrelenie kluczowych z perspektywy zada realizowanych przez organizacj publiczn kompetencji, okrelenie potencjau wiedzy, ktry organizacja posiada, zdefiniowanie deficytw wiedzy isposobw ich zredukowania, b) pozyskiwanie wiedzy zarwno zwntrza organizacji, jak ijej otoczenia, jej formalizacja, c) selekcja ocena przydatnoci pozyskanej iudokumentowanej wiedzy oraz jej weryfikacja pod ktem jej przydatnoci, d) gromadzenie kategoryzowanie zgromadzonej wiedzy, jej ujmowanie wformalne standardy organizacyjne, wprowadzanie do pamici merytorycznej urzdu oraz jej aktualizacja, e) dzielenie si wiedz klasyfikacja wiedzy oraz jej selekcja iudostpnianie,

Zawarto tego katalogu isposb jego strukturyzacji odzwierciedla podejcie do budowania systemu ZW opisane w: Cong X., Pandya K.V. , Issues of Knowledge Management in the Public Sector, Electronic Journal of Knowledge Management 2003, Vol. 1, Issue 2.

21

68

Stanisaw Mazur

f) stosowanie wykorzystanie wiedzy wrealizacji zada, np. rozwizywanie problemw, podejmowanie decyzji, poszukiwanie pomysw iuczenie si, g) tworzenie odkrywanie nowej wiedzy poprzez badania, najlepsze praktyki, projekty pilotaowe, analiz danych. 3. Zasoby technologiczne: a) okrelenie odpowiedniego hardware isoftware dla zarzdzania wiedz worganizacji (dostosowanego do jej specyfiki, procesw wniej zachodzcych irealizowanych przez ni zada), b) tworzenie infrastruktury technologicznej odpowiadajcej potrzebom zarzdzania wiedz, c) tworzenie wewntrzorganizacyjnych kanaw przepywu wiedzy sucych budowaniu wzorcw wspdziaania idzielenia si wiedz, d) tworzenie portali wiedzy, wirtualnych platform wiedzy dostpnych dla pracownikw organizacji poprzez Intranet, e-mail, grupy dyskusyjne, wideokonferencje, e) przechowywanie zasobw wiedzy wpostaci elektronicznej, umoliwiajce jej szybki przepyw, f) zapewnienie dostpu do zasobw wiedzy poprzez wykorzystanie technologii uatwiajcych kontakty zobywatelami, klientami, dostawcami, partnerami. Celem przedstawionego katalogu powinno by zapewnienie optymalnych warunkw do tworzenia, przesyania oraz wykorzystania wiedzy worganizacjach isystemach spoecznych. Osignicie tego celu nie jest rzecz atw. Immanentne ograniczenia tkwice w administracji publicznej i rodowisko, wktrym dziaa, generuj wiele przeciwstawnych wzgldem tego celu bodcw. Nie oznacza to jednak, e musi wtym przypadku wystpi syndrom fatalistycznie pojmowanego determinizmu. Wrcz przeciwnie. Wiele pozytywnych zmian zachodzcych wpolskiej administracji, wszczeglnoci poziom wyksztacenia kadr administracji, pokazuje, e cieki zalenoci imechanizmy deterministyczne nie maj charakteru absolutnego.

Zakoczenie
Paradygmat ZW zyskuje na znaczeniu. Dostrzega si w nim potencja, ktrego wykorzystanie prowadzi moe do poprawy jakoci rzdzenia pastwem i zarzdzania sprawami publicznymi. Cieszy si on szczeglnym zainteresowaniem w tych krajach, ktre uchodz za przodujce, jeli idzie o sposb dziaania pastwa i jego administracji (np. kraje anglosaskie). Konceptualne oparcie na wiedzy jako podstawowym zasobie dla dobrego rzdzenia przesdza o jego intelektualnej atrakcyjnoci i praktycznej uytecznoci. Jego aplikacja do systemw administracji publicznej jest wyrazem

Zarzdzanie wiedz wpolskiej administracji publicznej

69

refleksyjnej i racjonalnej adaptacji pastwa do wymogw wspczesnej rzeczywistoci okrelanej mianem rzeczywistoci policentrycznej. Dostrzegajc praktyczne walory ZW, w wielu krajach podejmuje si prby tworzenia systemowych rozwiza sucych jego instytucjonalizacji i zakorzenieniu w praktykach operacyjnych struktur publicznych. Przybieraj one posta tzw. systemw ZW. Ich celem jest tworzenie wiedzy, jej systematyzacja, aktualizacja, a nade wszystko jej wykorzystanie w procesach decyzyjnych. Podejmowane w polskiej administracji publicznej dziaania na rzecz peniejszego wkomponowania wiedzy w procesy decyzyjne oceni naley jako zjawisko ze wszech miar pozytywne. Naley jednak doda, e wci brak jest systemowych rozstrzygni, ktre tworzyyby warunki dla konsolidacji rozproszonych inicjatyw zwizanych z ZW i ich ujcie w ramy rozwiza oglnych (tak na poziomie rzdu, jak i samorzdw). Bez tego wzmacnianie kapitau ludzkiego, ewolucyjna zmiana kapitau kulturowego oraz doskonalenie kapitau technologicznego, koniecznych dla dobrego rzdzenia, bdzie procesem niezwykle trudnym i dugotrwaym. W opracowaniu dziaa sucych budowaniu kultury ZW kwesti szczeglnie istotn jest odpowiednie ujcie zagadnienia ewaluacji. ZW i ewaluacja maj wsplne korzenie konceptualne. W obu tych przypadkach idzie o to, aby decyzje podejmowane przez pastwo i jego struktury zapaday w sposb racjonalny respektujcy tak uwarunkowania ekonomiczne, jak i spoeczne oczekiwania i preferencje. Ich wspln cech jest zaoenie, e w policentrycznej rzeczywistoci oddziaywanie pastwa na procesy gospodarcze i spoeczne nie jest moliwe bez jego zdolnoci do refleksji opartej na usystematyzowanym zasobie wiedzy. Takim, ktry pozwala krytycznie spojrze na dziaania realizowane w przeszoci, celem podejmowania lepszych decyzji w przyszoci. Wiedza pozyskiwana poprzez badania ewaluacyjne powinna by przekazywana do instytucji publicznych poprzez system ZW. Integralno ich relacji polega na tym, e cele ewaluacji de facto nie mog zosta osignite bez systemu ZW, a ten bez strumieni wiedzy pochodzcych z bada ewaluacyjnych stanowi konstrukcj pozbawion istotnych treci.

Stanisaw Mazur doktor nauk politycznych, absolwent Wydziau Prawa Uniwersytetu Jagielloskiego (specjalno nauki polityczne). Kierownik Centrum Studiw nad Gospodark iAdministracj Publiczn Akademii Ekonomicznej wKrakowie (19961997), dyrektor Maopolskiej Szkoy Administracji Publicznej Akademii Ekonomicznej wKrakowie (19972004). Adiunkt wKatedrze Gospodarki iAdministracji Publicznej Uniwersytetu Ekonomicznego w Krakowie. Bra udzia, jako ekspert ikoordynator, wwielu projektach krajowych imidzynarodowych zzakre-

70

Stanisaw Mazur

su programowania ianalizy polityk iprogramw publicznych, rozwoju lokalnego iregionalnego, jakoci rzdzenia, komunikacji ipartycypacji spoecznej. Napisa kilkudziesit publikacji naukowych. Jest autorem iwspautorem ponad 100 ekspertyz iopracowa.

Bibliografia
Campbell J.L., Pedersen O.K., The Varieties of Capitalism and Hybrid Success Denmark in the Global Economy. Tekst ten prezentowany by w ramach seminarium Dobre rzdzenie w czerwcu 2007r., organizowanego przez Uniwersytet Ekonomiczny w Krakowie.

Cong X., Pandya K.V., Issues of Knowledge Management in the Public Sector, Electronic Journal of Knowledge Management 2003, Vol. 1, Issue 2. Giddens A., Nowoczesno itosamo, Wydawnictwo Naukowe PWN, Warszawa 2007. Hausner J., Ptle rozwoju, Wydawnictwo Naukowe Scholar, Warszawa 2007. Hayek. F.A., Konstytucja wolnoci, Wydawnictwo Naukowe PWN, Warszawa 2006. Jarzbski J., Chaos na cenzurowanym: pna eseistyka Lema, materiay zVII Krakowskiej Konwencji metodologicznej, Krakw 2001. Luhmann N., The Differentiation of Society, Columbia University Press, New York 1982. Mazur S., Wyzwania stojce przed administracj rzdow wlatach 20092013 aplany dziaa w ramach PO KL po 2008 roku, opracowanie przygotowane na zlecenie DSC Kancelaria Premiera, 2008. Morgan G., Obrazy organizacji, Wydawnictwo Naukowe PWN, Warszawa 1997. Merton R.K., Teoria socjologiczna istruktura spoeczna, Wydawnictwo Naukowe PWN, Warszawa 2002. Olsen J.P., Towards aEuropean Administrative Space?, ARENA Working Papers WP 02/26. Polanyi K., The Great Transformation: The Political and Economic Origins of Our Time [1944], Beacon Press, Boston 2001. Popper, K.R., Spoeczestwo otwarte ijego wrogowie, Wydawnictwo Naukowe PWN, Warszawa 1993. Probst G., Raub S., Rombardt K., Zarzdzanie wiedz worganizacji, Oficyna Ekonomiczna, Krakw 2002. The Learning Government: Introduction and Draft Results of the Survey of Knowledge Management Practices in Ministries/Departments/Agencies of Central Government OECD, 2003.

Leszek Korporowicz

Interakcyjne aspekty procesu ewaluacyjnego: pomidzy analiz aanimowaniem zmian spoecznych


Istnieje wiele sposobw ukazania rozwojowych moliwoci, jakie tkwi wrealizacji dobrze zaplanowanych iwykorzystanych bada ewaluacyjnych. Niniejszy rozdzia zmierza do ukazania mao eksponowanych, amajcych dla powodzenia ewaluacji ogromn rol, interakcyjnych aspektw caego przedsiwzicia. S one najczciej wymieniane jako elementy tzw. warsztatu ewaluacyjnego, cho ich znaczenie jest daleko bardziej istotne istanowi o wielu innych wymiarach caociowo ujtego procesu ewaluacyjnego. Dla ich zobrazowania wpierwszej czci tekstu postawiono kilka tez, ktre okrelaj waciw perspektyw postrzegania interakcji ewaluacyjnych, traktowanych jako relacje spoeczne, co umoliwia socjologiczn, aksjologiczn i antropologiczn metarefleksj tego zintegrowanego procesu dziaa. Wdrugiej czci rozdziau zarysowana jest przyczyna iokres whistorii studiw ewaluacyjnych, wjakim narodzia si konieczno analitycznej refleksji nad jakoci, znaczeniem i celowoci interakcji ewaluacyjnych, w powizaniu z udanymi prbami ich uspoecznienia i wkomponowania w wiadomie inicjowane zmiany w przedmiocie i rodowisku ewaluacji. Wczci trzeciej wskazane s naturalne konsekwencje dostrzegania walorw interakcyjnego traktowania procesu badawczego i uwzgldniania ich w nowoczesnych strategiach ewaluacyjnych o charakterze formatywnym. Na zakoczenie podniesiony zosta problem nowych wyzwa ewaluacji wwyaniajcym si zzaawansowanych spoeczestw informacyjnych spoeczestwie wiedzy, wktrym interakcje spoeczne przybieraj nowe formy poredniej komunikacji elektronicznej, wyznaczaj nowe standardy relacji spoecznych i modeluj realny ksztat nowego typu ewaluacji. Praktykowane wniej strategie komunikacyjne okrela bd jej funkcje iwymagaj rozpoznania nowych zastosowa, perspektyw iproblemw, cho ewaluacja, jako forma wiedzy, sama ksztatuje charakter nowoczesnego spoeczestwa wiedzy istanowi jeden zjego wyrnikw.

72

Leszek Korporowicz

Warsztat jako interakcja, strategia ijako komunikat


Ewaluacja rozumiana jest na og jako stosowany rodzaj bada spoecznych, podejmowanych dla okrelenia wartoci konkretnego dziaania ocharakterze celowym, zpunktu widzenia przyjtych na rzecz tego badania kryteriw. Warto podkreli, e nie musi to sprowadza si jedynie do pomiaru efektywnoci lub skutecznoci ewaluowanych dziaa. Badanie ewaluacyjne ma zawsze swoj genez, wyrasta zmniej lub bardziej uwiadomionych potrzeb rozwojowych ibadawczych organizacji, wchodzi wrealny ksztat jej kultury organizacyjnej iewaluacyjnej, angauje zainteresowane podmioty, awkocu wchodzi wproces decyzyjny, staje si elementem dyskursu publicznego. Wszystko, co stanowi wic owarsztacie bada ewaluacyjnych, postrzega warto w szerszej perspektywie procesu ewaluacyjnego jako procesu spoecznego owasnej dynamice zmian, aksjologii, rozgrywajcego si wgstej sieci interakcji pomidzy jego indywidualnymi iinstytucjonalnymi uczestnikami. Analityczne spojrzenie na problematyk warsztatu ewaluacyjnego jest odniesieniem go do tych wanie relacji. Stwarzaj one konieczno postrzegania ich jako integralnego elementu samego warsztatu, a to znaczy take kompetencji zawodowych zespou ewaluacyjnego. Aby to przybliy, warto postawi kilka wyranie sformuowanych tez, ktre wi problematyk metodologii bada ewaluacyjnych, sposobu ich realizacji iwykorzystania, co na og nazywane jest cznie warsztatem ewaluacyjnym, zistotn faz ich planowania, dugiego czasami dyskursu ustalajcego ich cele, mniej lub bardziej postrzegane funkcje spoeczne, edukacyjne, komunikacyjne, promocyjne, czy te najistotniejsze, czyli rozwojowe. Po pierwsze: Czynnoci ikompetencje okrelajce warsztat ewaluacyjny konkretnego badania s staym oraz integralnym komponentem dugiego iwielofazowego procesu. Wyznacza on nie tylko charakter procedur badawczych, ale czyni je funkcjonalnym komponentem zoonych relacji wkontekcie konkretnego spoecznego rodowiska ewaluacji. Te istotne fazy caego procesu ewaluacyjnego to: a) rozpoznawanie przedmiotu ispoecznych podmiotw procesu, b) negocjowanie, anastpnie wybr celw ifunkcji badania ewaluacyjnego na poszczeglnych jego etapach idla konkretnych jego uczestnikw, c) wybr konkretnego lub skonstruowanego na potrzeby procesu ewaluacyjnego modelu bada dopasowanego do oczekiwanych rezultatw isposobu ich wykorzystania. Czynnoci te s ju wspczenie tak bardzo eksponowane, i stanowi one niemal konieczn cz samego warsztatu, ktry w strategiach ewaluacji, nastawionych na animowanie ich funkcji demokratycznych i rozwojowych,

Interakcyjne aspekty procesu ewaluacyjnego

73

sta si rodzajem aksjologii spoecznej wielu dziaa sucych stymulowaniu pozytywnych zmian spoecznych1. Pozostae komponenty procesu ewaluacyjnego, ktre decyduj okluczowych umiejtnociach warsztatowych, to moliwie precyzyjna konstrukcja projektu ewaluacji, obejmujcego poza sformuowaniem przedmiotu ewaluacji, take podstawowe, kluczowe pytania, kryteria ewaluacyjne, metody bada, sposb doboru prby, jak rwnie elementy zarzdzania procesem. Uzupeniaj go fazy generowania i zbierania danych, nastpnie ich analizy i interpretacje, czynnoci zwizane z pisaniem raportw, nastpnie ich komunikowanie, a wic rne formy prezentacji, a na koniec zasadnicza faza wdroeniowa iaplikatywna. Po drugie: Ujawnienie interakcyjnych aspektw procesu ewaluacyjnego wnosi konieczno okrelenia roli aktorw sceny ewaluacyjnej, nastpnie regu ich interakcji, ktre mog by autorytarne, gdy ustalane s jedynie przez podmiot zamawiajcy ewaluacj, technokratyczne, gdy czyni to wycznie sami ewaluatorzy ipopulistyczne, gdy dominujc rol odgrywaj ewaluowani igdy to oni steruj doborem kryteriw, bazy danych iich interpretacj. Taka forma interakcji jest wynaturzeniem procesu uspoecznienia ewaluacji inie stanowi formy jej demokratyzacji, ktra polega na skutecznym dialogu wszystkich jej uczestnikw. Po trzecie: Interakcyjna perspektywa procesu ewaluacyjnego ukazuje dynamiczny charakter znaczenia, jakie jego uczestnicy nadaj zarwno celom, jak iposzczeglnym komponentom, dziaaniom, pojciom, ocenom iinterpretacjom konkretnych zachowa, stwierdze, anawet danych. Niezwykle inspirujca jest pod tym wzgldem caa tradycja interakcjonizmu symbolicznego, ktra owietla spoeczne konstrukcje przyjmowanych znacze, ich przewartociowania, dokonywane zarwno przez ewaluatorw, jak iuczestnikw ewaluowanych odkry, zmian stanowisk kluczowych postaci procesu jako rezultatu jego dynamiki. Perspektywa ta nakazuje obserwowa rnice, ktre ujawniaj si, gdy bliej wnikamy wwiat wartoci uczestnikw, przeobraenia, jakie dokonuj si wtrakcie procesu wwyniku zmiany stanowiska innych osb, ale take swoiste pozy, gry, anawet mistyfikacje czynione dla wykreowania wizerunku wasnych dziaa. Interakcyjno procesu ewaluacyjnego ujawnia si wic nie tylko wanalizie zebranych
1 Korporowicz L., Metodologia bada ewaluacyjnych. O potrzebie integracji i kumulacji dowiadcze, w: Ewaluacja ex-ante podsumowanie dowiadcze administracji polskiej, Ministerstwo Rozwoju Regionalnego, Warszawa 2007; Olejniczak K., Mechanizmy wykorzystania ewaluacji. Studium ewaluacji redniookresowych INRERREG III, Wydawnictwo Naukowe Scholar, Warszawa 2008; Haber A. (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, Polska Agencja Rozwoju Przedsibiorczoci, Warszawa 2007.

74

Leszek Korporowicz

danych, ale we wszystkich relacjach wewntrz iw kontekcie bezporednio realizowanych bada. Po czwarte: Stosowany wbadaniach ewaluacyjnych warsztat ma charakter komunikatu wysyanego do jego uczestnikw, niezalenie od deklarowanych celw ewaluacji. Jest on w tym sensie odrbn praktyk interakcyjn, ktra okrela jej rzeczywisty sens, niezalenie take od projektowanych funkcji. To interakcje aktorw ewaluacyjnej sceny ostatecznie okrel kontrolno sprawozdawczy, czy wspierajcorozwojowy efekt ewaluacji. Nie przeami tego nawet formalne definicje metod badawczych, ktre s mikkie lub twarde wzalenoci od tego, czemu su ijak s wykorzystywane. w komunikat realizowa moe bardzo rne strategie interakcyjne blisze formule ipraktyce opisanej jako Inter Akcja lub re akcja. Ta pierwsza podkrela wzajemno, zwrotno iwymian (Inter), jak rwnie sprawczo, podmiotowo iotwarcie (Akcja), ta druga odtwrczo ipowielanie (re) oraz pasywno ipozorny charakter zaangaowania (akcja). Tak wygldaj rytualne formy ewaluacji przeprowadzane z administracyjnej i proceduralnej koniecznoci, gdy sprowadzamy komunikacyjne aspekty ewaluacji, take te poza wsko rozumianym warsztatem, do funkcji mao twrczych, technokratycznych przekazw. Interakcyjne aspekty procesu ewaluacyjnego nie byy dostrzegane wteorii ipraktyce bada ewaluacyjnych a do pnych lat 60., wktrych szerzej spojrzano na nie jako na rodzaj dziaa spoecznych, czasem nawet interwencji spoecznej uwikanej wkontekst, realia inie zawsze jawne cele towarzyszce ewaluacji.

Interakcyjna historia studiw ewaluacyjnych


Za ojca ewaluacji uwaa si niemal we wszystkich pracach powiconych historii ewaluacji Ralpha Tylera, ktry w1929 roku rozpocz systematyczne studia nazywane ju ewaluacyjnymi wOhio State University. Niemal od samego pocztku byy one zorientowane na uzyskiwanie mierzalnych rezultatw swych analiz itraktowane niemal jako synonim procedur pomiarowych2. Na efekt bada ewaluacyjnych patrzono wic jako na fina kumulujcy wsobie wszystkie czynnoci, ktre uchwyci maj badany stan rzeczy, poza histori jego stwarzania i interpretacji, poza procesem badawczym, tak jakby dziaania te, jak isam proces, istniay poza warsztatem ewaluacji.
Owen J.M., Program Evaluation. Forms and Approaches, Sage Publ., London, Thousand Oaks, New Delhi 1999; Norris N., Understanding Educational Evaluation, CARE University of East Anglia, Kogan Press, London 1990.
2

Interakcyjne aspekty procesu ewaluacyjnego

75

Zadaniem wczesnych studiw ewaluacyjnych byo moliwie najbardziej czytelne i zoperacjonalizowane okrelenie celw ewaluowanego programu, ktre daj si przeoy na podane zachowania lub umiejtnoci jego uczestnikw, anastpnie okrelenie stopnia ich realizacji poprzez porwnanie zamiarw zrzeczywistymi efektami. Caa droga dochodzenia do nich, dokonujce si na niej zmiany iinterakcyjny kontekst dynamizmu pozostawa nieistotny. Co wicej, takie rozumienie celw ewaluacji nader czsto sprowadzao cay problem do uchwycenia zmiany jedynie indywidualnych zachowa jednostek. Powodowao to zmarginalizowanie ponadindywidualnych efektw dziaania programu, e nie wspomn ju o analizie instytucjonalnych, organizacyjnych czy spoecznych jego wymiarw. Nie bez powodw pod koniec lat 60. podniesiono wic problem tak zwanego redukcjonizmu behawioralnego, ktry eliminuje zpola ewaluacyjnych docieka inaczej okrelone cele, jak na przykad sfer dowiadcze spoecznych uczestnikw programu, ich rol wokreleniu znaczenia zdobywanych umiejtnoci, zmiany systemw wartoci itd. Naley jednak z ca moc zauway, e ju wlatach 30. wanie Tyler by jednym zpierwszych inicjatorw powanego rozszerzenia funkcji icelw ewaluacji, dostrzegajc wiele powstajcych wwczas pyta iuproszcze, jak na przykad rola spoecznoci klasowej isamego programu nauczania wksztatowaniu poziomu sprawnoci iwiedzy ucznia. Postulowana w zwizku z tym przez Tylera korekta strategii imylenia ewaluacyjnego nie zostaa doceniona na skutek dominacji rozwijajcych si szybko, cho do jednostronnie, technik pomiaru psychometrycznego, socjometrycznego i dydaktycznego. Taki rodzaj redukcjonizmu w ewaluacji, szczeglnie edukacyjnej, ale rwnie wewaluacji wielu programw spoecznych moemy obserwowa niestety take we wspczesnej fazie rozwoju wielu polskich programw i szkole ewaluacyjnych. Teza ta znajduje ponadto uzasadnienie, gdy wemiemy pod uwag zadziwiajco podobne elementy sytuacji spoecznej, ktra rodzia potrzeb ewaluacji zarwno w USA, jak iwPolsce lat 90. Po pierwsze, wynikaa ona zkoniecznoci zahamowania zjawisk korupcji wkrgach decydenckich ze wzgldu na brak zobiektywizowanych, publicznie kontrolowalnych i rzeczywicie jawnych kryteriw udzielania koncesji, zezwole lub podejmowanie dziaalnoci gospodarczej czy publicznej. Po drugie, wwielu obszarach rzeczywistoci, szczeglnie wdziedzinie edukacji istniaa ogromna rnorodno lokalnie akceptowanych standardw, ktre trudno byo uzna za porwnywalne. Komplikowao to z natury rzeczy moliwo prowadzenia oglnonarodowej polityki edukacyjnej, jak rwnie uniemoliwiao wrcz szereg ponadlokalnych procedur selekcyjnych, egzaminacyjnych lub certyfikacyjnych, ktre wymagaj przyjcia wzgldnie jednolitych kryteriw postpowania ianalizy. Po trzecie, do powszechnie podzielano przekonanie oniedostosowaniu amerykaskich programw na-

76

Leszek Korporowicz

uczania do wymogw szybko rozwijajcego si, nowoczesnego spoeczestwa przemysowego, co take stanowi jeden zgwnych powodw polskiej reformy systemu edukacji. Interesujce jest, e Tyler stajc na czele rozwijajcych si wopisanych powyej warunkach studiw ewaluacyjnych, dostrzega jednoczenie kryjce si wnich uproszczenia. Proponowa odniesienie do kontekstu ewaluowanych programw, do specyfiki realizujcych je grup ido zamierze oraz dowiadcze ich realizatorw. Nie ulega wtpliwoci, i byy to pierwsze postulaty rozbudowywania spoecznej, interakcyjnej bazy ewaluacji, a jak nazwane to zostanie znacznie pniej, demokratyzacji studiw ewaluacyjnych. O ile jednak dokonania Tylera wdziedzinie bada ewaluacyjnych zostay powszechnie rozpoznane i dobrze opisane, o tyle niemal nieznany jest fakt prowadzenia wtych samych latach przez Floriana Znanieckiego powanych studiw edukacyjnych, ktre miay wistocie charakter ewaluacyjny zarwno ze wzgldu na sw genez, jak icele. Zosta on mianowany wColumbia University dyrektorem programu badawczego realizowanego wlatach 19301933. Raport ztych bada przez wiele lat zalega warchiwum Uniwersytetu, chocia dawa podstawy do zupenie innego mylenia o ewaluacji3. Znaniecki wprzeciwiestwie do Tylera wychodzi zzupenie innych zaoe metodologicznych, odwoujc si do spoecznego dowiadczenia badanych wsposb, jaki dobrze znany jest socjologom humanistycznym wpostaci strategii bada uwzgldniajcych postulat wspczynnika humanistycznego. Nakazuje on spojrzenie na badan rzeczywisto nie tylko oczami badacza, ale take samego badanego ito poprzez znaczenia, ktre konstruuje on wkonkretnym kontekcie swego ycia oraz realiw procesu badawczego. Wystpujcy ju stale we wspczesnych badaniach socjologicznych postulat nie jest niestety obecny wwikszoci bada ewaluacyjnych. Zapomina si otym interakcyjnym wistocie postulacie badawczym, niezwykle istotnym wfazie przyjmowania kryteriw ewaluacyjnych. Nader czsto s one ustalane jako zewntrznie przyjmowane standardy okrelonego typu dziaa: administracyjne, profesjonalne, technologiczne, aczsto s wynikiem moliwoci przeoenia ich na jzyk pomiaru. Znaniecki wyprzedza pod tym wzgldem wspczesnych, wysuwajc tezy, ktre na gruncie studiw ewaluacyjnych pojawi si dopiero w latach 80., gdy powstanie problem ewaluacyjnego wykluczenia ito nie wprostym sensie niedoreprezentowania wprbie badawczej okrelonych grup ewaluowanych, ale wznaczeniu
3 Znaniecki F., Education and Social Change, E. Haas, P. Lang (red.), Frankfurt am Main 1998; Patton M.Q., Qualitative Evaluation and Research Methods, Sage Publ., Newbury Park, London, New Delhi 1990; Korporowicz L., Nowe twarze ewaluacji. Wkierunku inspiracji, analizy, czy inspiracji, w: J. Kubin, J. Kwaniewski (red.), Socjotechnika; kontrowersje, rozwj, perspektywy, IPSiR UW, Warszawa 2000, s.8595.

Interakcyjne aspekty procesu ewaluacyjnego

77

roztopienia, pominicia, czy przeinterpretowania ich wizji badanych dowiadcze, relacji, kluczowych odniesie, orodkw koncentracji wartoci, emocji czy zainteresowania. Zewntrznie przyjmowane standardy oceny powstaj poprzez unifikacj wskanikw, ktre dla celw porwnawczych musz by czsto intersubiektywnie, anawet midzyinstytucjonalnie ujednolicone. Strategia ta sprawdza si przy ewaluacji duych programw, szczeglnie tych, ktre objte s nadzorem midzynarodowym ikoordynowane zuwzgldnieniem cisej kontroli wykonania. Wprowadza ona jednak wiele spustoszenia, jeli odniesiona jest do rnicych si kulturowo warunkw ich realizacji, gdy przedmiot ewaluacji stanowi wyabstrahowan spoecznie sfer dziaa ocenian przez rwnie oderwane kryteria, ktre nie s poddawane spoecznej negocjacji iktre wbadaniu ewaluacyjnym znacz co innego ni wdowiadczeniu organizacji ijej pracownikw. Interakcyjny typ studiw ewaluacyjnych bazuje wic nie tyle na parametrycznym, ile opisowym iinterpretatywnym sposobie badania tego, co Znaniecki nazywa faktami kulturowymi, odrniajc je od faktw przyrodniczych. Analiza, ktr podj, koncentrowaa si na adekwatnoci ksztacenia kompetencji spoecznych ikulturowych modych Amerykanw wkontekcie zupenie nowych wyzwa stawianych przez szybko modernizujce si spoeczestwo oraz struktury pastwowe. Znaniecki podj si wic wartociowania procesw edukacyjnych, uwzgldniajc zmiany kulturowe, zmiany porzdku spoecznego, transformacj i wymogi, jakie zmiany te wywoyway wcharakterze osobowoci spoecznej, typie kompetencji kulturowej niezbdnej wprocesie skutecznego uczestnictwa wyciu spoecznym, gospodarczym i naukowym. Analiza, ktr zaproponowa, znacznie rozszerzaa spektrum kryteriw ewaluacyjnych oraz lokalizowaa ten typ analiz na wielu paszczyznach. Jednoczenie obejmowaa zmieniajcy si charakter wartoci spoecznych stanowicy naturaln podstaw wszelkich procesw iprocedur wartociowania. Bardzo istotna rnica w rozumieniu przedmiotu ewaluacji pojawia si pod koniec lat 60., gdy postrzega zaczto istotn statyczno modeli ewaluacyjnych nastawionych na jednorazowe uchwycenie relacji pomidzy nakadami iefektami ewaluowanych programw bez analizy dynamiki, anawet swoistej dramaturgii procesu ich realizacji. Dynamizacja studiw ewaluacyjnych wynikaa zarwno zkoniecznoci poszerzenia branych pod uwag zmiennych izakresu rejestrowanych danych, ale take zpotrzeby uchwycenia tego, co dzieje si wtrakcie badanego programu, aco moe stanowi istotny jego rezultat pomijany wprzypadku badania jedynie rezultatw kocowych. Nie ma poza tym powodw, aby pomija wszystko to, co dzieje si w trakcie realizacji programu, a co znajduje miejsce w dowiadczeniu jego uczestnikw i to w sposb, ktry wymaga znacznego poszerzenia stosowanych wewaluacji metod.

78

Leszek Korporowicz

Wzmianie postrzegania klasycznych modeli ewaluacji bardzo wan rol odegray prace: Lee J. Chronbacha Course Improvement Through Evaluation z1963 roku, Michaela Scrivena The Methodology of Evaluation z1967roku iRoberta Stakea The Countenance of Educational Evaluation take z1967roku. Doprowadziy one do: wyranego sformuowania postulatu rozszerzenia zakresu danych branych pod uwag w badaniach ewaluacyjnych z coraz powszechniejszym odwoywaniem si do danych ocharakterze jakociowym, odejcia od modelu skoncentrowanego wycznie na finalnych konsekwencjach analizowanych programw iz wikszym uwzgldnieniem tego, co stanowi oprocesie realizacji programu, postrzegania owego procesu wjego zoonoci, uwikaniach ikontekcie, wrelacji do rodowiska spoecznego, wyranego podkrelenia roli interakcji spoecznych wdynamice procesu badawczego jako konstytutywnych dla zrozumienia jego funkcji, unikania alienacji dziaa ewaluacyjnych wwyniku rozminicia si zpotrzebami zainteresowanych podmiotw instytucjonalnych iindywidualnych, uwiadomienia potrzeb analiz ewaluacyjnych ocharakterze caociowym, wieloaspektowym. Podobne rozwarstwienia, narastajce dylematy ipolemiki, ktre pojawiy si wrozwoju studiw ewaluacyjnych wlatach 60. pogbiy si jeszcze bardziej na pocztku lat 70. Wikszo znich trwa do chwili obecnej. Ich istot jest spr o uprawniony zakres zainteresowa, funkcji, metod i zastosowa bada ewaluacyjnych. Pocztek lat 70. to niezwykle interesujca debata nad bilansem osigni, ale iporaek programw ewaluacyjnych realizowanych niejednokrotnie za wielkie pienidze iw stosunkowo duej skali. Ju wwczas otwarcie stawiano zarzut technokratycznoci ewaluacji, zaniedbania problematyki etycznej, zbyt instrumentalnego wkomponowania ewaluacji w procedury menederskie, arbitralnego spoecznie tworzenia kryteriw ewaluacyjnych, braku postrzegania procesu ewaluacyjnego w jego animacyjnych funkcjach zmian spoecznych idcych wkierunku uspoecznienia iewaluacji uczestniczcej, stymulujcej procesy uczenia si organizacyjnego, rozwoju umiejtnoci dyskursu publicznego i wkomponowania w standardy wspczesnego spoeczestwa wiedzy. Niemal przewrt w postrzeganiu funkcji i spoecznej roli ewaluacji przyniosa konferencja zorganizowana wgrudniu 1972 roku przez Churchill College w Cambridge z udziaem ewaluatorw brytyjskich, amerykaskich, szwedzkich oraz przedstawicieli wielu urzdw ifundacji. Najpeniejszym wyrazem przewartociowa oraz powanej krytyki, z jak spotkay si tradycyjne modele ewaluacji, jak rwnie rodzajem manifestu, bya prezentowana wczasie konferencji praca M.Parletta iD.Hamiltona Evaluation as Illumination: A New Approach to the Study of Innovatory Pro-

Interakcyjne aspekty procesu ewaluacyjnego

79

grammes4 . Autorzy, podobnie jak wielu dyskutantw, odbierali w istocie wiele administracyjnej wadzy ewaluatorom, podnoszc jednoczenie znaczenie ich roli wrozwoju wiadomoci dziaa wasnych, ale take innych uczestnikw interakcji ewaluacyjnych. Sformuowano wwczas postulaty zachcajce do: dialogu zrnymi audytoriami iuczestnikami procesu ewaluacyjnego, owietlania zoonoci ludzkich dowiadcze, jakie powstaj wtrakcie programu irekonstrukcji ich znacze, rozumiejcej analizy organizacyjnych, psychologicznych i kulturowych aspektw ewaluowanych dziaa iewaluacji jako takiej, komunikatywnoci iinteraktywnoci ze wszystkimi stronami ipodmiotami ewaluacji ju w fazie jej planowania, w trakcie realizacji, ale take wokresie zastosowa. Stworzono wten sposb podwaliny ewaluacji dialogicznej, ktrej spoeczna racjonalno daleko wybiega poza pomiarow ewaluacj lat 30. Michael Q.Patton, jeden zczoowych ewaluatorw wspczesnoci twierdzi, i stworzony wten sposb model ewaluacji odchodzi od metodologii hipotetyczno dedukcyjnej na rzecz paradygmatu ustawicznych wyborw, podkrelajc wielo metod, alternatywnych uj i wkomponowujc je wkontekst specyficznych sytuacji iwymogw ewaluacyjnych5. Wten sposb ewaluacja wymaga nie tyle przestrzegania gotowych iniezmiennych regu, ile elastycznego wspgrania zpotrzebami, szansami iwyzwaniami konkretnej spoecznoci. Tak interakcyjn strategi ewaluacji rozwijali ipraktykowali nastpnie Robert Stake, Egon G. Guba i Yvonne S. Lincoln, Helen Simons, ewaluatorzy kontynuujcy dorobek brytyjskiego Centre for Applied Research in Education wUniversity of East Anglia (Norwich), przez wiele lat kierowanego przez wsptwrc ewaluacji demokratycznej, Berry MacDonalda6. To tradycja korespondujca zbardzo intensywnie rozwijanymi od lat 70. jakociowymi, interpretatywnymi badaniami na gruncie nauk spoecznych, ktre ujawniaj wag kultury symbolicznej w rnych obszarach dziaalnoci czowieka, w tym take dziaalnoci badawczej. Gdyby nakreli drzewo genealogiczne interakcyjnej koncepcji studiw ewaluacyjnych, to cho nie wyrasta ono zklasycznej teorii interakcjonizmu symbolicznego tzw. Szkoy Chicagowskiej Geor ga H.Meadea, Williama I. Thomasea, Roberta Parka lat 30. oraz tzw. drugiej Szkoy Chicagowskiej ju po II wojnie wiatowej, tworzonej przez Herberta Blumera, Anselma Straussa oraz wielu innych luno powizanych
4 Parlett M., Hamilton D., Evaluation as Illumination: A New Approach to the Study of Innovatory Programmes, Centre for Research in Educational Sciences, University of Edinburgh, 1972. 5 Patton M.Q., Creative Evaluation, Sage Publ., Beverly Hills 1981, s.270. 6 Scriven M., Evaluation Thesaurus, Sage Publ., Newbury Park, London, New Delhi 1991; GubaE.G., Lincoln Y.S., Fourth Generation Evaluation, Sage Publ., Newbury Park, London, New Delhi 1989.

80

Leszek Korporowicz

ze sob badaczy7, to zpewnoci drzewa te stykayby si wwielu miejscach, teoretycznie wzbogacajc ewaluacj, ale dodajc spoecznego konkretu interakcjonizmowi. Aktywno i dokonania tej grupy osb, szybko powstajcych orodkw myli ibada ewaluacyjnych stworzyy zwarsztatu ewaluacyjnego, jak icaej ewaluacji dziaania daleko wykraczajce poza doran diagnostyk spoeczn. To wanie ujawnienie dynamicznych, interaktywnych komponentw procesu ewalucyjnego stworzyo zniej element szerszej polityki spoecznej, dla ktrej nie jest ona jedynie narzdziem, ale strategi istymulatorem mylenia prorozwojowego wobrbie kultur organizacyjnych, wrelacjach midzyinstytucjonalnych, atake wsferze programw midzykulturowych, ktre dopominaj si bardzo dialogicznego mylenia owartociach iwartociowaniu oraz podnosz bardzo wysoko poprzeczk wiadomoci interakcyjnej ewaluacji.

Dialogiczne wartoci ewaluacji formatywnej


Szczeglnie istotna rola interakcji ewaluacyjnych, ktre wymagaj od ewaluatorw umiejtnoci prowadzenia dialogu inegocjacji spoecznych, jawi si w formatywnych modelach ewaluacji, awic takich, ktre wkomponowane s wproces realizacji ewaluowanych programw iktrych dziaanie przynosi rezultaty daleko wczeniej przed ich zakoczeniem. Ewaluacja formatywna wymaga jednak stosunkowo zaawansowanych umiejtnoci badawczych iorganizacyjnych wynikajcych z: cigego dialogu zkierownictwem programu, uwanej obserwacji procesu ewaluacyjnego poprzez ustawiczne przywoywanie zasadniczych jego celw, przyjtych kryteriw, poprawnoci regu dobierania prby, korekty instrumentw badawczych, efektywnego sposobu komunikowania si wewntrz zespou ewaluacyjnego szczeglnie w trakcie zaobserwowanych problemw, konfliktw, dysfunkcji, zmian i modyfikacji, efektywnego sposobu komunikowania si z uczestnikami sceny ewaluacyjnej wrnych okresach realizacji programu. Istotna dla ewaluacji formatywnej dyskusja i ciga weryfikacja kryteriw ewaluacyjnych, stanowica jeden zistotnych elementw uspoeczniania procesu ewaluacyjnego, odsania bardzo powany wymiar wspczesnej ewaluacji, ktry ignorowany jest przez ujcia technokratyczne. W sposb cigy pojawiaj si bowiem pytania ozasadnicze cele, przeznaczenie, uytkownikw, najbardziej adekwatne formy oraz techniki ewaluacji. Pytania te ujawniaj wielo stanowisk, rnice interesw, odmienne wizje jej za7

Haas E., Interakcjonizm symboliczny, Wydawnictwo Naukowe PWN, Warszawa 2006.

Interakcyjne aspekty procesu ewaluacyjnego

81

stosowa. W ewaluacji technokratycznej odpowiedzi na te pytania padaj w wskim gremium tak zwanych specjalistw od ewaluacji i decydentw. Demokratyczne wizje ewaluacji podkrelaj natomiast ten wanie newralgiczny moment procesu ewaluacyjnego. Stwarza on bowiem szans na wykorzystanie fazy projektowania irealizacji ewaluacji do pobudzenia dyskursu spoecznego pomidzy zainteresowanymi stronami, ujawnienia swoich stanowisk, artykulacji potrzeb i porednio, do ujawnienia szeregu problemw, ktre powinny by wzite pod uwag wsamej ewaluacji lub te poza obszarem jej funkcjonowania. Dyskurs ten zaliczy trzeba do efektw ewaluacji, co obala powszechnie panujcy stereotyp uznajcy jedynie raport ewaluacyjny za waciwy produkt procedur ewaluacyjnych. Owa polemika mieci si wporednich ich celach, czstokro stanowi przeamanie wielu barier komunikacyjnych i moe by impulsem do zmiany kultury organizacyjnej. Ztych to powodw tak czsto inicjatorzy ewaluacji demokratycznej podkrelali jej potencjaln rol wzarzdzaniu zmianami, w inicjowaniu przeobrae wiadomoci organizacyjnej, wtym te wiadomoci celw iform dziaania. Ewaluatorzy musz traktowa powstajce wwczas interakcje jako istotn cz tak strategii, jak iwarsztatu ewaluacyjnego. Staj si wielokro nie tylko analitykami danych, ale take animatorami zmian mentalnych, komunikacyjnych, transformuj stosunek do jawnoci dziaania, kryteriw jego oceny. Kada zfaz procesu ewaluacyjnego ma swoj spoeczn dynamik, swoich aktorw, rozgrywana jest wkonkretnym kontekcie8. Kada zfaz generuje take waciwe dla niej problemy etyczne. S one elementem szeroko pojtej kultury ewaluacyjnej i okrelaj szereg norm, ktre obowizywa maj wszystkich uczestnikw procesu ewaluacyjnego. Uwzgldnienie ich jest komponentem spoecznego uprawomocnienia dziaa ewaluacyjnych ipowodem wielu nieporozumie, anawet konfliktw, rozbienoci oczekiwa, odmiennego postrzegania rl iw konsekwencji braku powodzenia wielu przedsiwzi ewaluacyjnych. Std te, szczeglnie wwarunkach ubogiej kultury ewaluacyjnej i braku wiedzy o jej funkcjach, kluczowe znaczenie ma negocjowanie celw, przebiegu iwarunkw realizacji ewaluacji. Wyjanienie tych kwestii, co z pewnoci powinno by wiadomie inicjowane przez ewaluatorw, nie tylko dookrela wzajemne oczekiwania, ale buduje obowizujce wzajemnie normy, legitymizuje procedury i dziaania ewaluacyjne, pozwala pokona restryktywne wyobraenia oewaluacji, otwiera moliwoci komunikacyjne. Interakcyjne rozumienie procesu ewaluacyjnego lokalizuje si wic wdobrze znanej ju tradycji interpretatywnych bada ewaluacyjnych roz Patton M.Q., Qualitative Evaluation and Research Methods, Sage Publ., London1990; AspinwallK., Simkins T., Wilkinson J.F., McAuley M.J., Managing Evaluation in Education, Routledge, New YorkLondon 1992.
8

82

Leszek Korporowicz

pocztych, jak byo ju wczeniej wspomniane, przez Floriana Znanieckiego wlatach 30. ubiegego wieku, ale poddane silnej renowacji, anawet rozwojowi wlatach 70., wkomponowane wrealia wspczesnoci przez ewaluatorw czwartej generacji. Co odrnia tego typu studia od interakcjonizmu symbolicznego, to ich zdecydowanie stosowany charakter, podejmowanie praktycznych wyzwa, jakie mieszcz si wtosamoci studiw ewaluacyjnych podejmowanych nie dla jednego, ale co najmniej dla trzech celw: praktycznej korekty realnie podejmowanego dziaania, nie wykluczajc instrumentalnych celw tak podejmowanych bada, dla rozumienia realnej wartoci idynamiki, wjakiej przebiega, oraz dla uwolnienia tkwicych wnim potencjaw.

Interakcje ewaluacyjne wspoeczestwie wiedzy


Zupenie nowe wyzwania tak przed warsztatem, jak i caym procesem ewaluacyjnym, staj w dobie niezwykle szybkiego rozwoju technologii informacyjnokomunikacyjnych spoeczestwa informacyjnego i jego zaawansowanej postaci, jak jest spoeczestwo wiedzy 9. Jest to typ organizacji spoecznej, wktrej tworzenie iwykorzystanie wiedzy staje si strategicznym czynnikiem jego funkcjonowania irozwoju, asama wiedza kluczowym, dynamicznie rosncym zasobem okrelajcym cywilizacyjny ksztat warunkw ycia, system wartoci oraz sposoby uczestnictwa w kulturze symbolicznej iyciu spoecznym. Wszystkie makrostrukturalne, ekonomiczne, ale ispoeczne przyczyny jego rozwoju, takie jak konieczno optymalizacji, koordynacji irozwoju jakociowego dziaa, stanowi jednoczenie okoniecznych zmianach wformach, technikach icelach bada ewaluacyjnych. Konieczno uwzgldnienia tych zmian coraz bardziej widoczna bdzie poprzez rosnc potrzeb pytania nie tylko oprzedmiot isposb realizacji ewaluowanych dziaa, ale nade wszystko oich cel, typ akceptowalnej spoecznie wartoci, jej kulturowego sensu. Cho logika faz procesu ewaluacyjnego isposobu uczestniczenia wnim nie zostaje zmieniona, to znaczcej modyfikacji ulega bd typy interakcji, ksztatujc nowe kompetencje ewaluatorw. Zmiana generalna wynika zmoliwoci interakcji zaporedniczonych, ktre poszerzaj zakres uczestnikw procesu, pod warunkiem jednak, i posiadaj oni stosowne umiejtnoci komunikacyjne. Dostp do uczestnikw ewaluowanych dziaa moe by wic teoretycznie atwiejszy, wpraktyce jednak moe by regulowany wieloma czynnikami, ktre nie zawsze s nam znane i prze Doktorowicz K., Europejski model spoeczestwa informacyjnego. Polityczna strategia Unii Europejskiej wkontekcie globalnych problemw wieku informacji, Wydawnictwo Uniwersytetu lskiego, Katowice 2005.
9

Interakcyjne aspekty procesu ewaluacyjnego

83

widywalne, jak na przykad poziom umiejtnoci korzystania zsieciowych technik komunikacyjnych, zapoznania si zoperacyjnymi technikami systemw komunikacji elektronicznej. Wszystko to generuje ukryte linie podziaw, selekcji imarginalizacji spoecznych, awic take uspoecznionych zasobw informacyjnych dostpnych wrnych fazach zbierania iprzetwarzania informacji. Istotnym aspektem interakcyjnym usieciowionego sposobu uczestniczenia wprocesie ewaluacyjnym jest moliwo, konieczno, ale irnego rodzaju problematyczno korzystania z istniejcych ju zasobw informacyjnych, wanych dla ustalenia celw, kluczowych pyta, kryteriw, prby badawczej, sposobu weryfikacji danych oraz innych istotnych czynnoci ewaluacyjnych. Spoeczestwo sieci to zwielokrotnione systemy wielopoziomowych interakcji, przepyww informacji, odnajdywania drg wzajemnego oddziaywania, dopeniania, ale iweryfikacji, odniesie iporwna. To wanie spoeczestwo sieci czyni zinterakcji now jako wspczesnej cywilizacji, zmusza do poszerzenia i wzbogacenia horyzontw postrzegania wiata, innych ludzi, dziaa, jak iich rezultatw10. Ewaluatorzy spoeczestwa informacyjnego i spoeczestwa wiedzy s w istocie animatorami takich przepyww, ukierunkowuj je w celu wygenerowania wiedzy, a nastpnie wprowadzaj j w obszar organizacyjnego dowiadczenia11. Nowym skadnikiem ich kompetencji staje si jednak konieczna biego w dziedzinie technologii informacyjnokomunikacyjnej, ktra generuje drogi przepyww, ich sprawno, szeroko, dostpno, ale icelowo, trafno, rzetelno. Ogromne zasoby informacyjne staj si z jednej strony bardzo bogatym rdem, z jakiego korzysta moe zesp ewaluacyjny przystpujcy do projektowania celu, funkcji isposobu badania, zdrugiej strony wprowadza moe swoisty chaos informacyjny, wymagajcy rozbudowanych umiejtnoci kierowania informacj dla potrzeb projektu, anastpnie realizacji izastosowania bada ewaluacyjnych. Warto zaznaczy, i wszystkie czynnoci zwizane zpozyskiwaniem, przekazywaniem iprzetwarzaniem informacji prowadzi maj do uzyskania jakociowo odmiennej wiedzy owartociach ewaluowanego programu, ktra jest jednym, cho nie jedynym, z wanych produktw procesu ewaluacyjnego. To, w jaki sposb informacje przetworzone zostaj wwiedz, zaley od przyjtego modelu ewaluacji, jej funkcji ispoecznego zakorzenienia, od tego, jakie ma wewntrzne
Castells M., Spoeczestwo sieci, Wydawnictwo Naukowe PWN, Warszawa 2007; MattelartA., Spoeczestwo informacji, tum. Pomorski J.M., Universitas, Krakw 2004; Batorski D., MarodyM., Nowak A. (red.), Spoeczna przestrze Internetu, Academica, Warszawa 2006; Truszkowska M., Wojtkowiak J., Spoeczestwo informacyjne, Wydawnictwo Uniwersyteu Gdaskiego, Gdask 2008; Bard A., Soderqvist J., Netokracja. Nowa elita wadzy iycie po kapitalizmie, Wydawnictwa Akademickie iProfesjonalne, Warszawa 2006. 11 Korporowicz L., Ewaluacja ispoeczestwo, w: E. Haas (red.), Rozumienie zmian spoecznych, Towarzystwo Naukowe KUL, Lublin 2001.
10

84

Leszek Korporowicz

moliwoci generowania spoecznych dowiadcze rozwoju, uczenia si istawania impulsem przeksztace. Ewaluacja staje si jednym zwyrnikw spoeczestwa wiedzy, jako e to ona wanie, wiedza (a ewaluacja prowadzi do zdobycia pewnego typu wiedzy), uczyniona zostaa strategicznym jego zasobem decydujcym o moliwociach i kierunkach rozwoju. Ewaluacja, jako wiedza, jest jego stymulatorem, aczasami bardzo istotnym warunkiem. Ze wzgldu na fakt, e spoeczestwo wiedzy jest czym innym ni tylko gospodark opart na wiedzy, nowego znaczenia nabieraj zaporedniczone przez technologie informacyjnokomunikacyjne interakcje, zarwno te pomidzy uczestnikami procesu, pomidzy nimi akontekstem ich dziaania, wewntrz zespou ewaluacyjnego, awkocu wrd odbiorcw ewaluacji, dla ktrych ma by ona dostpnym i inspirujcym rdem wiedzy i refleksji. Spoeczestwo wiedzy wzmaga bdzie intensywno, jak izakres rnego typu przepyww, oddziaywa ikomunikacji, coraz bardziej potrzebujc jednoczenie ich selekcji, ukierunkowania, ato znaczy identyfikacji ich wartoci, zarwno dla szerszych celw spoecznych, ale take dla jakoci przeprowadzanych wnim ewaluacji. Bardzo istotne cechy wspczesnego spoeczestwa wiedzy, ktre zpewnoci wyznacza bd nowe standardy ewaluacji, wymienia Lech W. Zacher wbardzo analitycznej pracy Transformacje spoeczestw: od informacji do wiedzy. Pisze on, i: spoeczestwo wiedzy w ramach permanentnej wszech- i samoedukacji powinno umieszcza w swoich systemach edukacyjnych pakiety nowej wiedzy sucej jego umacnianiu irozwojowi. Zapewne nieatwo bdzie sprecyzowa co powinno wchodzi wskad owej nowej wiedzy, ale przecie mona da przykady nowych obszarw wiedzy (): podejcie systemowe, holizm; teoria zoonoci (wielkich systemw); teoria chaosu (czy raczej koncepcje chaotycznoci); teoria sieci (wszelkiego rodzaju izasigu); analiza ryzyka iniepewnoci; koncepcja, metody iprocedury tzw. analizy skutkw (impact assessment) oraz jej odmian typu ewaluacja techniki (technology assessment), ewaluacja skutkw rodowiskowych (environmental impact assessment), ewaluacja skutkw spoecznych (social impact assessment) itp.; wielowymiarowa perspektywa ogldu rzeczywistoci; multi, inter- itransdyscyplinarno; modelowanie, symulacja, prognozowanie; metody poszukiwania synergii procesw, dziaa itp.12.
12 Zacher L.W., Transformacje spoeczestw. Od informacji do wiedzy, Wydawnictwo C.H.Beck, Warszawa 2007, s.232.

Interakcyjne aspekty procesu ewaluacyjnego

85

Pomijajc wtym momencie zagadnienie relacji ewaluacji ipomiaru (assessment), ktrych zwielu wzgldw nie warto ze sob utosamia, powysza charakterystyka wskazuje, jak dalece wspczesne mylenie oewaluacji odbiega musi od prostego odwzorowania rzeczywistoci. Staje si to jeszcze bardziej widoczne wkontekcie innych przywoanych przez Zachera cech charakteryzujcych przechodzenie od spoeczestwa informacyjnego do spoeczestwa wiedzy, jak np.: zdolno do nietendencyjnej, wielokryterialnej oceny, zdolno do ogarnicia wielu zmiennych, zdolno do naprzemiennie stosowanej analizy isyntezy, umiejtno mylenia asocjacyjnego irwnolegego oraz wizania spraw, czyli identyfikacji sprze, zdolno do mylenia oprzyszoci, umiejtno posugiwania si intuicj, wyobrani, fantazj jako przydatnymi sposobami docieka otwierajcymi nowe horyzonty13. Z ewaluacyjnego punktu widzenia istotna jest te rosnca wspoeczestwach wiedzy waga kultury symbolicznej, ktrej znaczenie odkrywane jest w miar intensyfikowania rnorodnych zjawisk wielokulturowoci personelu i kapitau kulturowego organizacji, wagi procesw komunikacji midzykulturowej wwymiarze interpersonalnym, midzygrupowym oraz pomidzy organizacjami. Znaczcy dla procesu ewaluacyjnego jest take samorealizacyjny, nieinstrumentalny wymiar wiedzy jako wartoci wponowoczesnej charakterystyce kultury pracy, co bezporednio wpywa na dobr kryteriw ewaluacyjnych, spoeczn percepcj interakcji ewaluacyjnych jako metody pozyskiwania iwartociowania wiedzy, nastpnie na sposb dzielenia si zdobyt izweryfikowan wiedz. Wyzwania, jakie staj przed ewaluacj wspoeczestwie selektywnego przetwarzania informacji, awic wsystematycznie konstruowanym spoeczestwie wiedzy, uj mona wpostaci zestawienia (tab.1). Ewaluacja w spoeczestwie wiedzy staje si funkcjonalnym elementem charakterystycznym dla oglnego wzrostu znaczenia refleksyjnego i analitycznego sposobu realizacji wielu dziaa. Implikacj interakcyjn tej zmiany jest znaczcy krok ku rozmaitym metodom wymiany, interpretacji oraz przetwarzania informacji wformie bezporedniej izaporedniczonej, a do tworzenia idzielenia si powsta wten sposb wiedz. Sama wiedza ma jednak rwnie coraz bardziej dialogiczny i rozwojowy charakter oddalajc si od koncepcji jednoznacznej wyroczni istatycznego obrazu na rzecz dynamicznego procesu animujcego procesy uczenia si, wymiany znacze iuwewntrznienia ich celu.

13

Ibidem, s.231.

86
Tabela 1
Wyaniajce si cechy spoeczestwa wiedzy

Leszek Korporowicz

Odpowiadajce im cechy ewaluacji

A. Cechy technologiczne: Wysoki poziom uycia zaawansowanych technologii informacyjno-komunikacyjnych, wktrych pozyskane informacje niemal natychmiast staj si elementem komunikacyjnych przekazw Szeroki dostp iustawiczne aktualizowanie zasobw informacyjnych wwyniku rosncej swobody sieciowego przepywu informacji Postpujce moliwoci opanowania nadmiaru ichaosu informacji poprzez technologiczne warunki ich przetwarzania, selekcji iporzdkowania Uycie elektronicznych technologii informacyjno-komunikacyjnych staje si jedn zpodstawowych cech warsztatu ewaluacyjnego ikompetencji zawodowych ewaluatora Wszystkie fazy iczynnoci planowania procesu ewaluacyjnego, jak rwnie czynnoci czysto badawcze wykorzystuj, ale ianalizuj konsekwencje sieciowego przepywu informacji Fundamentalne znaczenie jasno okrelonych ipoddajcych si empirycznej operacjonalizacji kryteriw ewaluacji jako generatorw wiedzy

B. Cechy strukturalne Relacjonalne sposoby tworzenia wiedzy ogarniajcej wiele perspektyw izmiennych, ich konteksty, wizanie spraw, identyfikacj sprze Coraz szersze stosowanie wiedzy wprocesach podejmowania decyzji poprzez modelowanie, prognozowanie, symulowanie iprojektowanie rzeczywistoci Dynamizowanie ogldu rzeczywistoci, problemw irozwiza ujmowanych prospektywnie, rozwojowo, nastawionych na racjonalizowanie zmian iprojektowanie transformacji Uwraliwienie na wielowymiarowy iwielofunkcyjny charakter procesu ewaluacyjnego owielorakich moliwociach wykorzystania wrnych jego fazach, wrelacji do rnych jego uczestnikw Rosnca rola formatywnych strategii procesu ewaluacyjnego ijego obecnoci wkulturze organizacyjnej, kulturze pracy iprocesach decyzyjnych konkretnych przedsiwzi Rosnca rola demokratycznych strategii procesu ewaluacyjnego traktowanych jako zaproszenie do rozwoju wplanowaniu strategicznym organizacji Rosnca rola dialogicznych, partycypacyjnych strategii itechnik warsztatu ewaluacyjnego wjego funkcjach refleksyjnej praktyki, jak rwnie uwraliwienie na synergetyczne kryteria ewaluacji

Poszukiwanie synergii procesw, czenia zasobw, animowanie wartoci dodanych

Interakcyjne aspekty procesu ewaluacyjnego

87

Tabela 1 cd.
Wyaniajce si cechy spoeczestwa wiedzy Odpowiadajce im cechy ewaluacji
C. Cechy interakcyjne Rosnca rola ewaluacji jako stymulatora procesu uczenia si poprzez stymulowanie umiejtnoci staego identyfikowania, interpretowania ikorzystania tak przez ewaluatorw, jak iewaluowanych znowych rde wiedzy jako formy dyskursu publicznego Rosnca rola medialnie zaporedniczonych form komunikowania wkadej fazie procesu ewaluacyjnego wkomponowanych wkompetencje ewaluatorw, ale iw analityczny obszar refleksji nad konsekwencjami posugiwania si elektronicznymi wzami komunikacji

Decentralizacja orodkw tworzenia iupowszechniania wiedzy powizana zprocesem decentralizacji wadzy iuczestniczenia wpoziomych systemach komunikacji

Medialne zaporedniczenie procesw przekazu iselekcji wiedzy

Midzykulturowa itranskulturowa perspektywa wartociowania procesu tworzenia, dzielenia si Rosnce znaczenie ewaluacji midzykulturowej istosowania wiedzy

Zakoczenie
Integralnie pojty proces ewaluacyjny spenia wiele, wzajemnie powizanych iwspzalenych funkcji. Jego cele realizuj si nie tylko wpostaci finalnych ustale oraz skutecznych ich aplikacji, ale rozkadaj si na rne fazy poprzez rnorodne interakcje, wjakie wchodz jego uczestnicy. Ich wiadomo oraz przypisywane im cele stanowi integralny element warsztatu ewaluacyjnego, jak rwnie wspokrelaj lec uich podstaw spoeczn aksjologi ewaluacji. Znaczenie interakcyjnych aspektw ewaluacji najwyraniej wida poprzez odwoanie si do perspektywy interakcjonizmu symbolicznego oraz koncepcji wspczynnika humanistycznego dobrze znanego z prac Floriana Znanieckiego, ktry realizowa go wswoich studiach zpogranicza socjologii edukacji, zmian spoecznych i ewaluacji ju na pocztku lat 30. na Uniwersytecie Columbia, dajc inspirujce nawet wspczenie wzorce ewaluacji humanistycznej, zdominowane przed laty przez orientacje behawioralne, anastpnie wsko utylitarne, pomiarowe cele ewaluacji. Jej dalsza historia udowodnia jednak wag, jak i moliwoci integralnie traktowanego procesu badawczego, ktry ukaza ewaluatorom lat 80. twrcze, sprawcze

88

Leszek Korporowicz

i demokratyzujce funkcje interakcji ewaluacyjnych jako instrumentu, ale iwartoci animujcych rozwojowy charakter zmian wkulturze pracy, wiadomoci, jakoci i spoecznej celowoci realizowanych dziaa, wybiegajc poza kontrolne i sprawozdawcze cele ewaluacji. Wspczenie oraz w przyszoci nowe wyzwania stawia przed ni zaawansowane spoeczestwo informacyjne oraz nowoczesne spoeczestwo wiedzy. Upowszechnienie dostpu do informacji, a take chaos informacyjny, swoboda przepywu informacji, jak rwnie zaporedniczenie oraz uzalenienie od technologii informacyjno komunikacyjnych stwarzaj nowe realia warsztatu ewaluacyjnego, potrzeb rozpoznania nowych kompetencji ewaluatorw, nowych moliwoci, ale izagroe. Ewaluacja wchodzi w now faz rozwoju spoeczestwa otwartego, spoeczestwa, ktre z wiedzy tworzy jeden z podstawowych swoich zasobw funkcjonalnych i aksjologicznych, i ktre tworzy je w warunkach globalnej sieci powiza informacyjnych, nowych systemw zaporedniczonych interakcji. Systemy te nadaj informacji i wiedzy fundamentalne znaczenie w kreowaniu decyzji niemal we wszystkich sferach ycia, stymuluj postawy innowacyjne, synergetyczne, refleksyjne, projektujce, nastawione na samorealizacj i kooperacj, otwarte na wartoci i wspistnienie rnych kultur wdynamicznych procesach komunikacji midzykulturowej. Te ostatnie nakazuj szczeglne rozpoznanie antropologicznych podstaw interakcji ewaluacyjnych w stopniu proporcjonalnym do ich umidzynarodowienia, przenikania granic pastwowych ikulturowych, ato oznacza take dotykanie problemw rnorodnoci izmiennoci wiata wartoci. Od wraliwoci iwyobrani ewaluatorw zalee bdzie, czy rozpoznaj te wartoci nie tylko wrodowisku, lecz rwnie we wasnym systemie dziaania, waktualizowanych kompetencjach, postawach iwasnym warsztacie pracy.

Leszek Korporowicz doktor habilitowany, profesor Uniwersytetu Warszawskiego, prorektor Szkoy Wyszej im. Bogdana Jaskiego, socjolog, wspzaoyciel ipierwszy prezes Polskiego Towarzystwa Ewaluacyjnego. Byy czonek, a obecnie ekspert Pastwowej Komisji Akredytacyjnej, inicjator ikonsultant wielu bada, studiw podyplomowych, wtym Podyplomowego Studium Ewaluacji Programw Spoecznych wInstytutu Socjologii UW, organizator ikoordynator midzynarodowych szkole ewaluacyjnych, od 15 lat ekspert wielu komisji ministerialnych ds. ewaluacji, wtym Ministerstwa Rozwoju Regionalnego. Jest autorem licznych publikacji zzakresu metodologii ispoecznych funkcji ewaluacji, szczeglnie ewaluacji jako zmiany spoecznej iprocesu demokratyzacji.

Interakcyjne aspekty procesu ewaluacyjnego

89

Bibliografia
Aspinwall K., Simkins T., Wilkinson J.F., McAuley M.J., Managing Evaluation in Education, Routledge, New YorkLondon 1992. Bard A., Soderqvist J., Netokracja. Nowa elita wadzy iycie po kapitalizmie, Wydawnictwa Akademickie iProfesjonalne, Warszawa 2006. Batorski D., MarodyM., Nowak A. (red.), Spoeczna przestrze Internetu, Academica, Warszawa 2006. Castells M., Spoeczestwo sieci, Wydawnictwo Naukowe PWN, Warszawa 2007. Doktorowicz K., Europejski model spoeczestwa informacyjnego. Polityczna strategia Unii Europejskiej wkontekcie globalnych problemw wieku informacji, Wydawnictwo Uniwersytetu lskiego, Katowice 2005. GubaE.G., Lincoln Y.S., Fourth Generation Evaluation, Sage Publ., Newbury Park, London, New Delhi 1989. Haber A. (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, Polska Agencja Rozwoju Przedsibiorczoci, Warszawa 2007. Haas E., Interakcjonizm symboliczny, Wydawnictwo Naukowe PWN, Warszawa 2006. Korporowicz L., Ewaluacja ispoeczestwo, w: E. Haas (red.), Rozumienie zmian spoecznych, Towarzystwo Naukowe KUL, Lublin 2001. Korporowicz L., Metodologia bada ewaluacyjnych. O potrzebie integracji i kumulacji dowiadcze, w: Ewaluacja ex-ante podsumowanie dowiadcze administracji polskiej, Ministerstwo Rozwoju Regionalnego, Warszawa 2007. Korporowicz L., Nowe twarze ewaluacji. Wkierunku inspiracji, analizy, czy inspiracji, w:J.Kubin, J. Kwaniewski (red.), Socjotechnika; kontrowersje, rozwj, perspektywy, IPSiR UW, Warszawa 2000, s.8595. MattelartA., Spoeczestwo informacji, tum. Pomorski J.M., Universitas, Krakw 2004. Norris N., Understanding Educational Evaluation, CARE University of East Anglia, Kogan Press, London 1990. Olejniczak K., Mechanizmy wykorzystania ewaluacji. Studium ewaluacji redniookresowych INTERREG III, Wydawnictwo Naukowe Scholar, Warszawa 2008. Owen J.M., Program Evaluation. Forms and Approaches, Sage Publ., London, Thousand Oaks, New Delhi 1999. Parlett M., Hamilton D., Evaluation as Illumination: A New Approach to the Study of Innovatory Programmes, Centre for Research in Educational Sciences, University of Edinburgh, 1972. Patton M.Q., Creative Evaluation, Sage Publ., Beverly Hills 1981. Patton M.Q., Qualitative Evaluation and Research Methods, Sage Publ., Newbury Park, London, New Delhi 1990. Scriven M., Evaluation Thesaurus, Sage Publ., Newbury Park, London, New Delhi 1991. Truszkowska M., Wojtkowiak J., Spoeczestwo informacyjne, Wydawnictwo Uniwersyteu Gdaskiego, Gdask 2008. Zacher L.W., Transformacje spoeczestw. Od informacji do wiedzy, Wydawnictwo C.H.Beck, Warszawa 2007. Znaniecki F., Education and Social Change, E. Haas, P. Lang (red.), Frankfurt am Main 1998.

Agnieszka Haber, Maciej Szaaj

Kapita spoeczny warunek iefekt udanych ewaluacji


Kapita spoeczny wcigu ostatnich trzech dekad naley do najpopularniejszych poj powstaych w obszarze nauk spoecznych. Oprcz licznych odniesie, jakie znajdujemy wliteraturze fachowej, zpojciem tym stykamy si niejednokrotnie w debacie publicznej krcej wok zagadnie aktywnoci obywatelskiej, sprawnoci instytucji politycznych. Kapita spoeczny stanowi niejednokrotnie swoiste koo ratunkowe, pomocne wielu publicystom iinnym komentatorom dnia powszedniego, gdy staj przed koniecznoci wyjanienia pierwotnej przyczyny zapnie cywilizacyjnych danego regionu, poraek projektw reformatorskich czy te patologii wystpujcych wprzestrzeni publicznej. Mona rwnie miao przyj, i kapita spoeczny zadomowi si na poziomie jzyka potocznego, zyskuje szczeglnie podatny grunt wargonie adeptw niezliczonych uczelni, wtajemniczanych warkana socjologii, politologii, czy te innych, nieco bardziej efemerycznych dyscyplin naukowych. Obecno refleksji skoncentrowanej wok kapitau spoecznego widoczna jest od pewnego czasu take wobszarze praktyki iteorii bada ewaluacyjnych, co znalazo swoje najbardziej wyrane odzwierciedlenie w tematyce najbliszej konferencji Europejskiego Towarzystwa Ewaluacyjnego. Wedug organizatorw opiera si ona bdzie na wieloaspektowym ujciu relacji pomidzy ewaluacj azrnicowanymi formami kapitau spoecznego. Wtym kontekcie, niniejszy rozdzia stanowi gos waktualnej dyskusji angaujcej midzynarodow spoeczno praktykw iodbiorcw ewaluacji. Niekwestionowana moda na kapita spoeczny nie jest jednak gwn przesank, dla ktrej tekst ten znalaz miejsce wtomie rodowisko iwarsztat ewaluacji. Perspektywa kapitau spoecznego, pod warunkiem jej selektywnego zastosowania, wnosi bowiem du warto poznawcz wzakresie opisu organizacyjnego (instytucjonalnego) rodowiska bada ewaluacyjnych. Pozwala ona wyeksponowa pomijane zazwyczaj uwarunkowania waciwego osadzenia ewaluacji wpraktyce instytucji publicznych iich spoecznych partnerw, ktre rozstrzygaj zkolei ouytecznoci, czyli zasadnoci, wszelkich przedsiwzi spod szyldu ewaluacji.

92

Agnieszka Haber, Maciej Szaaj

Wpierwszej czci rozdziau przedstawiony zostanie zarys genezy pojcia kapitau spoecznego oraz rnorodno jego definicji izastosowa. Wskazana zostanie take propozycja selektywnego rozumienia tego terminu, ograniczonego do kluczowych aspektw organizacyjnych uwarunkowa ewaluacji, ze szczeglnym uwzgldnieniem kontekstu polskiej kultury instytucjonalnej. Wczci drugiej omwimy podwjn rol kapitau spoecznego wobszarze bada ewaluacyjnych. Wskaemy na znaczenia kapitau spoecznego zarwno jako jednego zwarunkw realizacji dobrych bada ewaluacyjnych, jak iwytworu ewaluacji zorganizowanych irealizowanych zgodnie zuznanymi standardami profesjonalnymi. Cz trzecia natomiast posuy jako podsumowanie, wktrym zarysowane zostanie znaczenie ispecyfika kapitau spoecznego na tle innego rodzaju kapitaw izasobw dostpnych instytucjom publicznym. Wskaemy take, wjaki sposb poszczeglne formy kapitau mog by inwestowane wtworzenie struktur ikultury ewaluacyjnej, atym samym wdobre, wysokiej jakoci iuyteczne zpunktu widzenia szerokiego spektrum odbiorcw, badania ewaluacyjne.

Kapita spoeczny geneza, definicje, funkcje


Pojcie kapitau spoecznego wprowadzone zostao po raz pierwszy na pocztku lat 70. przez Pierrea Bourdieu, jednego znajbardziej znanych socjologw europejskich minionego stulecia. Wkilka lat pniej rozwaania nad kapitaem spoecznym podjli Amerykanie, przyjmujc nieco odmienne ni Bourdieu zaoenia wyjciowe. Uksztatoway si tym samym dwa gwne i dominujce do dzi podejcia. Ich wsplne elementy s bezporedni pochodn przyjtej analogii wobec innych, klasycznych form kapitau (materialnego, finansowego) ikoncentruj si na zdolnoci do inwestowania wrelacje spoeczne, co przynie moe osobliwe zyski, jakich nie dostarczyaby adna inna forma kapitau. Bourdieu, w odrnieniu od autorw amerykaskich, podkrela zarwno pozytywne, jak inegatywne aspekty inwestowania kapitau spoecznego, ktry definiuje wkategoriach neutralnych jako zbir rzeczywistych ipotencjalnych zasobw, jakie zwizane s z posiadaniem trwaej sieci mniej lub bardziej zinstytucjonalizowanych zwizkw wspartych na wzajemnej znajomoci iuznaniu lub inaczej mwic zczonkostwem wgrupie ktra dostarcza kademu ze swych czonkw wsparcia wpostaci kapitau posiadanego przez kolektyw, wiarygodnoci, ktra daje im dostp do kredytu wnajszerszym sensie tego sowa1.
1 Bourdieu P., The Forms of Capital, w: J.G. Richardson (red.), Handbook of Theory and Reseaerch for the Socjal education, Greenwood Pres, New York 1986, s.248.

Kapita spoeczny warunek iefekt udanych ewaluacji

93

Kapita spoeczny, wedug podejcia Bourdieu, stanowi atrybut jednostek, jednake poprzez agregacj moe wywiera silny wpyw na og stosunkw spoecznych, zwaszcza na ksztat spoecznej struktury ihierarchii. Przykadem wskazywanym przez Bourdieu by, oparty na kapitale spoecznym, system stanowy zinstytucj tytuw szlacheckich jako mechanizmem zabezpiecze uprzywilejowanej pozycji jednej zgrup spoecznych. Wedug tradycji amerykaskiej kapita spoeczny postrzegany jest natomiast jako atrybut przynaleny caym spoecznociom, co porednio przeoyo si na wyranie pozytywne konotacje wizane ztym terminem. Ten zasb, bdcy wdyspozycji szeroko rozumianej spoecznoci (zazwyczaj bez rozrnienia na istniejce wjej obrbie podgrupy, koalicje, czy koterie), przynosi bowiem oglnospoeczne zyski. James Coleman definiuje kapita spoeczny jako: dobro spoeczne () grup podmiotw spoecznych (entities), ktre maj dwa wsplne elementy: s czci jakiej spoecznej struktury iuatwiaj wsplne dziaania zarwno jednostek, jak icaych instytucji wramach tej struktury. Tak jak inne formy kapitau, kapita spoeczny jest produktywny (productive) umoliwia realizacj pewnych celw, ktrych osignicie nie byo by moliwe wsytuacji jego braku ()2. Kontynuatorem rozwaa nad kapitaem spoecznym by Francis Fuku yama. Gwny punkt jego analiz to wpyw kapitau spoecznego na rozwj, dziki redukcji kosztw transakcyjnych itym samym zwikszonej wydajnoci. Wedug niego: kapita spoeczny jest istotny dla efektywnego funkcjonowania nowoczesnej gospodarki ijest warunkiem sine qua non stabilnej demokracji liberalnej3. Cieszca si dzi niezwyk popularnoci koncepcja odwouje si przede wszystkim do dwch ostatnich ze wspomnianych powyej podej. Zyskaa ona szeroki rozgos na pocztku lat 90. wraz zukazaniem si prac Roberta Putnama, bdcego kontynuatorem myli Colemana. Putnam dokona empirycznej ilustracji funkcjonowania kapitau spoecznego na przykadzie wspczesnych Woch oraz Stanw Zjednoczonych. Gwne tezy pynce z tekstw tego autora ogniskuj si wok konstatacji, i o rozwoju spoeczno-gospodarczym oraz sprawnoci funkcjonowania instytucji demokratycznych decyduj nie tylko czynniki ekonomiczne oraz formalno-prawne. Owym brakujcym, zapominanym czynnikiem, jest wedug Putnama kapita spoeczny definiowany jako pojcie odnoszce si: do takich cech organizacji spoeczestwa, jak zaufanie, normy ipowizania, ktre mog zwikszy sprawno spoeczestwa uatwiajc skoordynowane dziaania. Wychodzc z takiego zaoenia, Putnam przywouje
Coleman J.S., Social Capital in the Creation of Human Capital, American Journal of Sociology, nr94, s.98. 3 Fukuyama F., Social capital, civil society and development, Third World Quarterly 2001, nr1, s.7.
2

94

Agnieszka Haber, Maciej Szaaj

element wsplny wszystkim definicjom kapitau spoecznego, piszc: tak jak iinne postaci kapitau, kapita spoeczny jest produktywny, umoliwia bowiem osignicie pewnych celw, ktrych nie daoby si osign, gdyby go zabrako4 . Koncepcja kapitau spoecznego, rozumianego jako unikalny zasb spoecznoci, stanowia atrakcyjn odpowied na wyzwania poznawcze zwizane zrozpadem dwubiegunowego ukadu si wiatowych oraz turbulencjami obserwowanymi wkrajach, ktre wmyl zaoe wielu ekspertw powinny gadko zaadaptowa model ustrojowy typowy dla rozwinitych krajw Zachodu. Wefekcie, kapita spoeczny wczony zosta do gwnych nurtw bada zlecanych przez kluczowe instytucje midzynarodowe. Ich wyniki stay si podstaw dla argumentw formuowanych na rzecz podejmowania okrelonych decyzji iprzedsiwzi. Poprzez raporty sygnowane logo czcigodnych instytucji kapita spoeczny przenikn do jzyka manifestw i programw, obrastajc, naturaln kolej rzeczy, pewnym patosem. Zatarciu ulega rwnie precyzja odnonie rozumienia samego pojcia oraz jego powizania z kluczowymi dla wspczesnego wiata procesami. Kapita spoeczny okrelony zosta nawet zpewn ironi lekarstwem na wszelkie bolczki (something of cure-all ) nowoczesnoci. Aby nie zatraci jego podstawowych wartoci ijednoczenie wyjani pojcie kapitau spoecznego, konieczne jest oczyszczenie interpretacji ze zbdnego patosu, czym te zajmiemy si w dalszej czci tekstu.

Kapita spoeczny wprocesach bada ewaluacyjnych


Powizanie kapitau spoecznego z problematyk ewaluacji wymaga duej dbaoci oprecyzj stosowanych poj. Pole naszych zainteresowa ograniczymy zatem do wystpowania kapitau spoecznego wobrbie instytucji publicznych, prowadzcych ewaluacj, oraz partnerw, bdcych odbiorcami wynikw bada ewaluacyjnych. Przyjmiemy rwnie zaoenie, i kapita spoeczny stanowi waciwo ponadjednostkow, a wic przynalen konkretnym zbiorowociom na potrzeby tych rozwaa rozumian zarwno jako kadry okrelonych instytucji lub inne grupy zaangaowane wtworzenie oraz realizacj danych przedsiwzi publicznych, jak i spoeczestwo. Nasze rozumienie kapitau spoecznego naznaczone jest wyranie pozytywnym wartociowaniem, jakkolwiek nie negujemy wystpowania winteresujcym nas obszarze zjawiska negatywnego kapitau spoecznego (np. mechanizmy korupcyjne, tzw. ukady, zawaszczanie pastwa, nietransparentne relacje
4 Putnam R.D., Demokracja w dziaaniu: Tradycje obywatelskie we wspczesnych Woszech, Znak, Krakw 1995.

Kapita spoeczny warunek iefekt udanych ewaluacji

95

publiczno-prywatne, wykluczenia itd.)5. Wyjcie ztak nakrelonych zaoe, pozwala na postawienie tezy odwch funkcjach, jakie kapita spoeczny peni wkontekcie bada ewaluacyjnych, bdc jednoczenie koniecznym warunkiem wyjciowym iwytworem udanej ewaluacji.

Kapita spoeczny jako wyjciowy warunek udanej ewaluacji


Udana ewaluacja powinna spenia przynajmniej kilka kryteriw. Po pierwsze, badanie ewaluacyjne spenia musi okrelone wymogi jakociowe jeli chodzi orzetelno isposb gromadzenia wiedzy. Po drugie, konieczna jest odpowiednia aranacja caego procesu ewaluacji, tak by by on wkomponowany w zaadaptowane praktyki dziaania danej instytucji. Z tego punktu widzenia o kapitale spoecznym, w kontekcie warunkw wyjciowych dla realizacji ewaluacji, moemy mwi wdwch wymiarach ze wzgldu: 1) na projektowanie, realizacj oraz zarzdzanie procesem ewaluacji, 2) na instytucjonaln percepcje produktw procesu ewaluacji. Kady projekt ewaluacyjny kreuje unikalne poczenia i relacje. Nowo tworzone wizi modyfikuj istniejcy kapita spoeczny istwarzaj szanse dla wykorzystywania zasobw iich wymiany pomidzy jednostkami wewntrzorganizacyjnymi (patrz rysunek 1). Powstaj mniej lub bardziej dynamiczne sieci relacji i kontaktw z udziaem wielu uczestnikw, odgrywajc rol w strategii realizacji projektw ewaluacyjnych, jak rwnie w pniejszym etapie odbioru i wykorzystania jej wynikw. Wykorzystane w projektach ewaluacyjnych sieci oparte na wsppracy6 pozwalaj nie tylko na szybkie zidentyfikowanie potrzeb informacyjnych, dopasowanych do rzeczywistych potrzeb instytucji, ale rwnie sprawne zaprojektowanie (konceptualizacj), przygotowanie (operacjonalizacj) irealizacj ewaluacji. Fukuyama wskazywa, e zdolno organizacji do wykorzystywania szans rozwoju tkwi wkapitale spoecznym, wtym wumiejtnej wsppracy wewntrz organizacji iw ramach rodowiska zewntrznego wcelu realizacji wsplnych interesw. Taka zdolno czenia si wgrupy, stanowi znaczn cz kapitau spoecznego, zktrego wywodzi si wduej mierze zaufanie midzy uczestnikami organizacji, ktre jest istotn i wymiern wartoci ekonomiczn7.
Zob. wicej Kazimierczak T., Kapita spoeczny arozwj spoeczno-ekonomiczny przegld poj, w: T. Kazimierczak, M. Rymsza (red.), Kapita spoeczny. Ekonomia spoeczna, Instytut Spraw Publicznych, Warszawa 2007, s.5455. 6 Kady uczestnik poprzez wniesienie nowych kontaktw, wiedzy, umiejtnoci, kompetencji rozwija sie, tym samym jeszcze bardziej katalizujc irozwijajc zasoby imoliwoci organizacyjne danego projektu ewaluacyjnego. 7 Fukuyama F., Zaufanie. Kapita spoeczny adroga do dobrobytu, PWN, Warszawa 1997.
5

96

Agnieszka Haber, Maciej Szaaj

W dziaaniach polskich instytucji publicznych ewaluacja stanowi jednak czstokro praktyk obc, narzucon formalnym wymogiem zwizanym zprocedurami wydatkowania funduszy unijnych. Jedn zkluczowych barier utrudniajcych instytucjonalne osadzenie ewaluacji w kontekcie rodzimej administracji publicznej jest postrzeganie bada ewaluacyjnych jako czynnoci kontrolnej, majcej na celu rozliczenie osb odpowiedzialnych za realizacj badanego obszaru dziaa publicznych8. Rozliczanie, wprzytaczanym przez nas sensie, wie si jednak z powodowanym nieufnoci paraliem instytucji, ktry uniemoliwia podjcie pomidzy poszczeglnymi osobami czy komrkami kooperacji ukierunkowanej na czerpanie korzyci zprowadzonych przez dan instytucj bada ewaluacyjnych.
zamawiajcy ewaluacj ewaluatorzy uczestnicy/odbiorcy wynikw ewaluacji

Rysunek 1. Aktorzy ewaluacji worganizacji

Zasygnalizowany powyej problem jest odzwierciedleniem szerszego zjawiska cechujcego polski kontekst funkcjonowania systemu instytucji publicznych. Deficyty zaufania stanowi bowiem jedn ze sztandarowych cech polskiego spoeczestwa9. Literatura przedmiotu wielokrotnie wskazuje natomiast, i zpoziomem zaufania cile powizana jest jako instytucji publicznych. Prawidowo ta znajduje rwnie odniesienie do ewaluacji, ktre wpisane w nieprzyjazny, nasycony nieufnoci kontekst staj si przedsiwziciami z gry skazanymi na porak. W najlepszym razie napotykaj na powane bariery, wpierwszej kolejnoci wewntrz rodzimej organizacji. Instytucja zlecajca ewaluacj nie wyraa bowiem wwczas rzeczywistego zainteresowanie jej wynikami, aewaluatorzy prowadzcy badanie natrafiaj na swoisty mur nieufnoci, uniemoliwiajcy im odpowiednie zaplanowanie badania (np. poprzez poznanie zawioci kontekstu badanego programu, zdiagnozowanie potrzeb informacyjnych instytucji). Sukcesem wrozumieniu tak funkcjonujcej instytucji jest wwczas formalne zrealizowanie badania ewaluacyjnego, przy ograniczonej do minimum popularyza8 Naley przy tym zaznaczy, i mwimy wtym miejscu orozliczeniu wznaczeniu bardziej zblionym do znanego zkrajowej debaty publicznej, nili wobec anglojzycznego terminu accountability, ktry tumaczy naleaoby jako odpowiedzialno spoeczn urzdnikw publicznych. Egzekwowanie spoecznej odpowiedzialnoci stanowi bowiem immanentny element kadego systemu demokratycznego, bdc take jedn zpierwotnych ido dzi czsto wykorzystywanych funkcji ewaluacji. 9 Zobacz wicej: 1) European Social Survey, http://www.ads.org.pl/pobieranie-zbioru-danych.php?id=15; 2) Kapita intelektualny ispoeczny wPolsce raport doradcw premiera, http://pliki.innowacyjnosc. gpw.pl/Kapital_Intelektualny_Polski.pdf; 3) World Values Survey, http://www.worldvaluessurvey.org/.

Kapita spoeczny warunek iefekt udanych ewaluacji

97

cji jego wynikw, nie mwic ju opraktycznym wykorzystaniu pyncych zbadania rekomendacji. Pojcie kapitau spoecznego dostarcza wtym przypadku ciekawej perspektywy analitycznej ze wzgldu na akcentowan wag relacji zaufania w jego tworzeniu, podtrzymywaniu ipomnaaniu kapitau. Wykorzystujc t opcj, stwierdzi mona, i kapita spoeczny (zwaszcza wpostaci relacji opartych na zaufaniu) stanowi zasb niezbdny do prowadzeniu udanych ewaluacji. Jego brak bowiem nawet przy najwyszych kompetencjach ewaluatorw oraz wystarczajcych budetach zawsze bdzie stanowi ograniczenie, ktrego nie sposb pokona, wzmacniajc inne dostpne zasoby. Sabo relacji zaufania wiadczy bez wtpienia o braku niezbdnych warunkw dla prowadzenia udanych ewaluacji, jednake nie jest argumentem na rzecz zaniechania wszelkich bada ewaluacyjnych. Wedug retoryki chtnie stosowanej przez popularyzatorw ewaluacja stanowi ma dla instytucji publicznych oraz instytucji spoeczestwa obywatelskiego zaproszenie do rozwoju. Dowiadczenia krajw, dla ktrych badania ewaluacyjne stanowi naturalny element zarzdzania sprawami publicznymi, wskazuj, i haso to znajduje swoje empiryczne potwierdzenie. Ich adaptacja do krajowych warunkw jest moliwa, przy zaoeniu, i niedobory kapitau spoecznego zostan uzupenione, co jest wyzwaniem bez wtpienia trudnym, lecz osigalnym. W celu przeksztacenia kapitau spoecznego zarwno watrybut podmiotw zajmujcych si ewaluacj, jak igrunt dla efektywnej ewaluacji, konieczny jest zwrot w myleniu. Zwrot, ktry nauczy organizacje tego, jak pracowa nad relacjami spoecznymi wystpujcymi wzoonym otoczeniu organizacji itym samym otoczeniu projektw ewaluacyjnych.
kontekst spoeczno-polityczny rodowisko instytucji zamawiajcej

ZAMAWIAJCY

INTERESARIUSZE

EWALUATORZY

EWALUOWANI rodowisko zewntrzne kontekst instytucjonalny

Rysunek 2. rodowisko ikontekst ewaluacji


rdo: Opracowanie wasne.

98

Agnieszka Haber, Maciej Szaaj

Podstaw tego mylenia powinny by kluczowe czynniki pomagajce organizacjom zrozumie skomplikowane otoczenie, awkonsekwencji wycign najwiksze moliwe korzyci zrozwinitego kapitau spoecznego10: Wielowymiarowo spojrzenia. Organizacje powinny by beneficjentami swoich zachowa organizacyjnych, ajednoczenie rozumie zaoenia, wartoci iidee, ktre podtrzymuj irozwijaj owe zachowania. Dynamiczne zwizki. Tworzenie map relacji zachodzcych pomidzy uczestnikami organizacji pozwala na dostrzeenie wyaniajcych si trendw oraz na zrozumienie istniejcych zwizkw, kontaktw iwspzalenoci worganizacji. Wsplnie podzielane wzorce. Radzenie sobie ze zoonoci jest atwiejsze wchwili, gdy uczestnicy organizacji podzielaj sposoby mylenia, zachowania czy wspdziaania. Praca grupowa. Jednostki pozostawione samym sobie nie s w stanie poj zoonoci czy caoci systemu. Jego zrozumienie wymaga bowiem grupowego wysiku. Uczenie si w ekonomii wiedzy jest procesem polegajcym na wspdziaaniu iogromnych nakadach kapitau spoecznego. Akumulacja kapitau spoecznego, winteresujcej nas postaci, wymaga dugofalowej isystematycznej pracy nad relacjami wewntrzinstytucjonalnymi. Istotna rola przypada na tym polu jednostkom ewaluacyjnym ulokowanym obecnie wstrukturach wikszoci instytucji polskiej administracji szczebla centralnego iregionalnego. Dziaania tych komrek powinny mie charakter szeroko zakrojonej animacji, majcej na celu budowanie trwaych relacji wewntrz instytucji oraz zkluczowymi partnerami zewntrznymi. Ujmujc rzecz w kategoriach nieco bardziej praktycznych, budowanie relacji zaufania wobec ewaluacji powinno obejmowa cay katalog dziaa, ktre mog potencjalnie wnie wkad wodczarowywanie ewaluacji, czyli przezwycianie pogldu o jej czysto kontrolnym, rozliczeniowym charakterze. Gromadzenie kapitau spoecznego na rzecz bada ewaluacyjnych wymaga podjcia wieloaspektowych dziaa na rnych poziomach instytucjonalnej hierarchii, m.in. wtakich obszarach, jak budowa wspomnianego ju wczeniej zaufania oraz tworzenie kultury opartej na wiedzy, wspdziaaniu, aktywnoci, innowacyjnoci, eksperymentowaniu, uczeniu si na bdach iakceptowaniu poraki. Do przykadowych, najprostszych dziaa zaliczy naley: szkolenia/opracowania zzakresu podstaw ewaluacji, adresowane odrbnie dla osb zarzdzajcych dan instytucj oraz dla innych osb kluczowych
Allee V., Return on Knowledge, Executive Excellence 2000, nr 9. Provo, Birmingham 2000, s. 2, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci i innowacyjnoci, http://www.zti.com.pl/instytut/pp/referaty/ref42_full.html.
10

Kapita spoeczny warunek iefekt udanych ewaluacji

99

bdcych rzeczywistymi lub potencjalnymi wsppracownikami komrki ewaluacyjnej; rozwijanie kompetencji po stronie pracownikw komrek ewaluacyjnych, wtakich obszarach, jak: 1) weryfikacja rzetelnoci prac ewaluatorw zewntrznych oraz projektowanie i metodologia bada ewaluacyjnych, 2)kompetencje interpersonalne oraz menederskie niezbdne do prawidowego zarzdzania zoonym procesem ewaluacji oraz animacji procesw: a) tworzcych trwae relacje zaufania, b) komunikacji, c) budowania sieci wsppracy; konstruowanie dynamicznych sieci wsppracy zinstytutami naukowymi, komrkami ewaluacyjnym oraz stowarzyszeniami branowymi, zorientowanych na podobn grup problemw instytucjonalnych lub ten sam obszar zagadnie badawczych; budowanie dynamicznych sieci wsppracy wewntrz instytucji: tworzenie relacji zaufania poprzez angaowanie osb odpowiadajcych za oceniany obszar wprocesy konsultowania oraz dystrybucji wynikw ewaluacji; tworzenie platform wymiany informacji idowiadcze wobszarach projektw ewaluacyjnych (konferencje, spotkania, seminaria branowe, ale rwnie strony internetowe, internetowe bazy projektw itp.); powicenie wystarczajcej iloci czasu na wymian informacji, uatwiajcych precyzyjnie sformuowanie iodebranie sprze zwrotnych od kadego zpartnerw procesu ewaluacji (dziaania wtym obszarze pozwalaj zmniejszy niezrozumienie, niewaciw interpretacj, zy odbir przekazu oraz wzmocni wspprac). Zarysowany powyej katalog dziaa jest jedynie zestawem przykadowych inicjatyw sucych budowaniu relacji zaufania umoliwiajcych akumulacj, niezbdnego dla udanych ewaluacji, kapitau spoecznego. Paleta dziaa wpisujcych si wten obszar pozostaje bardzo szeroka, aich dobr warunkowy powinien by kadorazowo poprzedzony pogbion analiz specyfiki danego przypadku. Podkrelenia wymaga jednak, i budowanie relacji wewntrz instytucji zaliczy naley do penoprawnych dziaa na rzecz tworzenia tak czsto przywoywanego potencjau ewaluacyjnego administracji publicznej. Podobiestwo niektrych dziaa do technik typowych dla praktyk marketingowych, zarzdzania zasobami ludzkimi czy PR (public relations) nie jest w adnym stopniu deprecjonujce, przy zastrzeeniu, i zachowana zostanie wierno kanonom profesjonalizmu. Badania ewaluacyjne nie trac wwczas nic ze swej wiarygodnoci, zyskuj natomiast bardzo wiele, jeli chodzi o ich uyteczno i dostosowanie do potrzeb odbiorcw.

100

Agnieszka Haber, Maciej Szaaj

Kapita spoeczny jako wytwr udanej ewaluacji


Kapita spoeczny rozumiany jako warunek konieczny dla udanej ewaluacji jest zagadnieniem mniej znanym iz tego wzgldu powicilimy mu nieco wicej uwagi. Zestawienie pojcia kapitau spoecznego zewaluacj koncentruje si bowiem na drugiej ze wskazanych wczeniej rl, czyli pomnaaniu kapitau spoecznego poprzez wyniki ewaluacji. Jest to nurt rozwaa wywodzcy si zpopularnego konceptu ewaluacji demokratycznej (partycypacyjnej). Wskazywalimy uprzednio, i angaowanie partnerw instytucjonalnych wprocesy ewaluacyjne jest praktyk suc budowaniu relacji zaufania, niezbdnych jako warunek wyjciowy. W drugiej zomawianych przez nas rl kapita spoeczny znajduje zastosowania w rodowisku cechujcym si wystarczajcymi zasobami kapitau spoecznego na etapie wyjciowym. Demokracja partycypacyjna stanowi bowiem form otwarcia instytucji na partnerw zewntrznych poprzez budowanie zaufania, wspprac oraz komunikacj. Wmodelowym ujciu partnerzy zewntrzni zapraszani s do aktywnego udziau wprocesie ewaluacji. Bezporednie zaangaowanie partnerw spoecznych w procesy zarzdzania przedsiwziciami publicznymi, a ewaluacja stanowi skadow tych procesw, przekada si na wzrost kapitau spoecznego poprzez wzmocnienie znaczenia instytucji spoeczestwa obywatelskiego. Jak wskazuje Robert Picciotto, ewaluacja pozwala przezwycia asymetri midzy obywatelami jako mocodawcami ipastwem jako agentem (), atake pomaga rozwizywa dylematy kolektywnego dziaania irozwija wspprac midzy obywatelami iwadz11. Wymiar, wktrym ewaluacja przyczynia si do akumulacji kapitau spoecznego, wie si zwtkiem ewaluacji demokratycznej, tj. demokratyzujcymi funkcjami ewaluacji. Kapita spoeczny jest wwczas wzmacniany poprzez dostarczanie informacji o efektach polityk oraz wydatkowanych funduszach publicznych. Wczenie wynikw ewaluacji w debat publiczn aktywizuje wwczas zainteresowanie spoeczestwa do podejmowania wsplnych dziaa ukierunkowanych na realizacj interesw ogu. Jak zauwaa Picciotto: ilekro rynek nie jest skuteczny walokacji rzadko wystpujcych dbr (awprzypadku funduszy publicznych zasadniczo mamy do czynienia ztak sytuacj przyp. autorw), zhierarchi zwizane jest uczestnictwo. Wtakiej sytuacji ewaluacja wymusza transparentno iminimalizuje jazd na gap. Wspuczestnictwo wewaluacji jest zwizane z decentralizacj i prywatyzacj. Powstanie w skali globalnej aktywnego spoeczestwa obywatelskiego wykreowao nowy typ ewaluacji bliski funk Picciotto R., Ekonomia ewaluacji, Pastwo iRynek 2006, nr2; zob. rwnie Kapita intelektualny ispoeczny wPolsce raport doradcw premiera: http://pliki.innowacyjnosc.gpw.pl/Kapital_Intelektualny_Polski.pdf.
11

Kapita spoeczny warunek iefekt udanych ewaluacji

101

cji spoecznego adwokata. () Otwarcie decydentw polityki na opinie pracownikw, klientw sprawia, e atwiejsze jest porozumienie, co do przesanek isabych stron programw publicznych. Niezalena ewaluacja pomaga zdemaskowa faszywy rozgos grup interesu bd umoliwia poparcie ich racji12. Wten sposb poprzez dostp do informacji, przejrzysto dziaa ijawne efekty polityk publicznych, aktywne spoeczestwo moe redefiniowa swoje pogldy, lepiej rozumie istot problemw itym samym aktywnie oddziaywa na polityk publiczn. Gboko zakorzeniona w spoecznym kapitale ewaluacja jest wiedz owiedzy. Promujc transparentno iodpowiedzialno, przyczynia si ona do wzrostu jakoci publicznych usug i stanowi przeciwwag dla wysoko pojtych interesw. Nic tak efektywnie nie osabia roszcze politykw ibiurokratw jak faktyczna ocena rezultatw podejmowanych przez nich dziaa. Ewaluacja przynosi zatem korzyci w postaci poprawy efektywnoci wydatkowania iwraliwoci organizacji wzakresie reagowania na potrzeby klientw13.

Kapita spoeczny jako atrybut budowania potencjau ewaluacyjnego


Idea kapitau spoecznego nabiera szczeglnego znaczenia w tworzcej si nowej wizji sprawnej, dynamicznej administracji publicznej, nastawionej na efektywne rozwizywanie problemw publicznych, gdzie podstawowym zasobem strategicznym jest wiedza, a o wartoci instytucji decyduje jej kapita intelektualny. Idea ta staje si kluczem do rozwizywania problemw zarwno wewntrzorganizacyjnych, jak i wizi ze wiatem zewntrznym. W.Dyduch, M. Szczepankiewicz, E. Szczepankiewicz wskazuj, e podobnie jak inne formy kapitau, kapita spoeczny suy podwyszeniu efektywnoci funkcjonowania irozwoju organizacji gwnie poprzez uatwianie wspdziaania pomidzy uczestnikami14. W przypadku ewaluacji koncepcja ta jest szczeglnie istotna. Przede wszystkim dlatego, e obecnie na polskim rynku, mamy do czynienia: 1)ze stosunkowo modym, cay czas dynamicznie ksztatujcym si rynkiem popytu/poday bada ewaluacyjnych, 2) relatywnie nowymi strukturami insty Picciotto R., op. cit. Ibidem. 14 Dyduch W., Szczepankiewicz M., Szczepankiewicz E., Kapita spoeczny podstaw zdobywania przewagi konkurencyjnej wNowej Ekonomii, w: M. Moszkowicz (red.), Strategie ikonkurencyjno przedsibiorstw po dziesiciu latach transformacji, Politechnika Wrocawska, Polanica Zdrj 2001, s.193202.
13 12

102

Agnieszka Haber, Maciej Szaaj

tucjonalnymi, powoanymi do zada zwizanych zocen interwencji publicznych, 3) deficytami zasobw bazowych (ludzkich, finansowych, informacyjnych, zaplecza strukturalnego, kapitau intelektualnego, kapitau kulturowego itd.), aco za tym idzie 4) niskim potencjaem ewaluacyjnym. Przyjte tutaj ujcie kapitau spoecznego oznacza traktowanie go jako komponentu umiejtnoci wspdziaania i wsppracy jednostek ludzkich w ramach grup spoecznych, organizacji i instytucji spoecznych rnego typu (nie tylko gospodarczych) dla realizacji wsplnych celw. Umiejtne wykorzystanie kapitau spoecznego, czyli wiedzy iumiejtnoci zawartej wjednostkach, szerszych iwszych grupach spoecznych, jest rdem przyszej satysfakcji, wzmacniania efektywnoci dziaa organizacji w obszarze ewaluacji oraz katalizatorem rozwoju, innowacyjnoci zrnicowanych podej ewaluacyjnych. Literatura przedmiotu wyranie wskazuje, e organizacje dysponujce du iloci kapitau spoecznego s bardziej skonne do przedsibiorczego podejmowania ryzyka iwprowadzania nowych dziaalnoci ni organizacje, ktre ograniczaj spontaniczne tworzenie si grup. Dzieje si tak, gdy kapita spoeczny jest form struktury spoecznej wprzedsibiorstwie iwzmacnia proaktywne zachowanie si ludzi wewntrz tej struktury15. Rozumienie kapitau spoecznego jako zaangaowania si jednostek wbudowanie sieci powiza stanowi przesank do wyjanienia skonnoci do innowacji16. Powizania spoeczne s bowiem przyczyn powstania wzajemnoci dziaa wsieci, ata zkolei jest podoem do rozwoju zaufania, zwikszonej chci podejmowania ryzyka idziaa innowacyjnych. Sieci uatwiaj koordynacj ikomunikacj oraz wspprac, atake wzmacniaj reputacj uczestnikw, co pozwala na grupowe rozwizywanie problemw17. Sukces organizacji osadzonych wotoczeniu spoecznym zaley od umiejtnie zbudowanej sieci kontaktw spoecznych, ktra wspiera podejmowane innowacyjne dziaania18. Orientacja na szybkie budowanie zdolnoci iumiejtnoci, umoliwiajcych realizacj postawionych przed ewaluacj zada, wymaga metodycznego budowania zaplecza ewaluacyjnego. Wobecnych warunkach wystarczajcego kapitau finansowego i rzeczowego oraz deficytw rynkowych i instytucjonalnych wzakresie wiedzy, informacji, zasobw ludzkich, wydaje si, e jest
15 Bratnicki M., Dylematy ipuapki wspczesnego zarzdzania, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci iinnowacyjnoci, http://www.zti.com.pl/instytut/pp/ referaty/ref42_full.html. 16 Bullen P., Onyx J., Measuring Social Capital in Five Communities in NSW. Internet, materiay ze strony http://www.mapl.com.au, w: W. Dyduch, op. cit. 17 Sirianni C., Friedland L., Social Capital and Civic Innovation: Learning and Capacity Building from the 1960s to the 1990s, Internet, materiay ze strony: http://www.cpn.org/sections/new_citizenship/theory.html, w: W. Dyduch, op. cit. 18 Steier L., Greenwood R., Entrepreneurship and the Evolution of Angel Financial Networks, Organization Studies 2000, nr21, EGOS, s.165, w: W. Dyduch, op. cit.

Kapita spoeczny warunek iefekt udanych ewaluacji

103

to moliwe jedynie poprzez19 uczestnictwo wsieciach powiza instytucjonalnych oraz projektowych opartych na wzajemnoci, wspdziaaniu, wsppracy, zaufaniu, bazujcych na kapitale spoecznym. Nie ulega wtpliwoci, e stanowi on podstaw korzyci i efektywnoci przedsibiorczych organizacji, midzy innymi dlatego, e pomaga zmniejszy koszty poszukiwania iprzepywu informacji. Sieci kontaktw spoecznych decyduj otym, kto dowiaduje si pierwszy, np. onowociach metodologicznych i technicznych, nowych zasobach rde wiedzy, dziaaniach wykonawcw, nowych podmiotach, prowadzonych projektach badawczych ianalitycznych, kluczowych ekspertach w danej dziedzinie itp. Ponadto dziki moliwoci szybkiego budowania nowych i efektywnych pocze, pozwalaj maksymalizowa wykorzystanie dostpnych zasobw (przez jak najwiksz liczb uczestnikw sieci), rozwija innowacyjne podejcia irozwizania oraz obnia koszty transakcyjne (koordynacji ikooperacji). Wprawdzie mieszanka sieci, wzajemnoci, zaufania, norm jest bez wtpienia szans dla stworzenia sprawnie dziaajcego rodowiska ewaluacyjnego, dysponujcego wsplnie podzielanymi i wypracowywanymi zasobami (wtym najwaniejszym informacj, wiedz izapleczem intelektualnym), do ktrego kady uczestnik sieci bdzie mia dostp, jednak stworzenie nowych pocze sieciowych nie jest zadaniem prostym. Przede wszystkim dlatego, e jednostki organizacyjne nie zawsze s gotowe do tego, by sta si uczestnikiem sieci bd nie zawsze chc dzieli si swoimi zasobami, ktre mog stanowi rdo ich przewagi. Budowanie trwaych relacji jest zatem zalene od zmiany mylenia oraz aktywnoci kluczowych liderw wiadomych animatorw szeregu systematycznych dziaa na rzecz budowania szeroko pojtego potencjau ewaluacyjnego.

Zakoczenie
Dowiadczone podmioty zlecajce oraz realizujce ewaluacj wiedz, e sukces ewaluacji, awic jej celowe, rzetelne, sprawne iefektywne przeprowadzenie iwykorzystanie jest uzalenione przede wszystkim od zasobw niematerialnych. Kapita spoeczny stanowi bez wtpienia jeden zfundamentalnych zasobw, koniecznych zjednej strony do wykonania dobrej ewaluacji, z drugiej strony do konsumpcji wynikw. Biorc jednak, wwietle kolejnych edycji bada systemu wartoci spoecznych wPolsce, pod uwag deficyty wystpujce wtakich obszarach, jak zaufanie, prospoeczna aktywno obywateli, umiejtno ich kooperacji itp., awic deficyt kapitau spoecznego czer19

Porwnaj: Bullen P., Onyx J., op. cit.

104

Agnieszka Haber, Maciej Szaaj

panie zniego obecnie jest dla procesw ewaluacji mocno ograniczone. Sytuacja ta stanowi wyzwanie nie tylko dla ewaluatorw, instytucji publicznych, organizacji pozarzdowych, ale rwnie dla samego spoeczestwa.

wysokiej jakoci inne zasoby

ewaluacja

organizacyjne/finansowe

kapita ludzki kapita spoeczny

trzy formy kapitau spoecznego wizi (bonds), pomosty (bridges), poczenia (linkages)

kultura organizacyjna
normy i wartoci

Rysunek 3. Podstawy ewaluacji wysokiej jakoci.


rdo: Opracowanie wasne.

Mamy nadziej, e powysze omwienie ewaluacji wkontekcie kapitau spoecznego uatwi Czytelnikowi lepsze poruszanie si w zoonych relacjach iotoczeniu projektw ewaluacyjnych. Zdajemy sobie wpeni spraw, e niniejszy tekst moe by jedynie wstpem do dalszej dyskusji. Dyskusji, ktra ju niebawem w rodowisku ewaluacyjnym rozpocznie si na nowo przy okazji tegorocznej konferencji Europejskiego Towarzystwa Ewaluacyjnego wLizbonie.

Agnieszka Haber absolwentka Instytutu Socjologii oraz Wydziau Stosowanych Nauk Spoecznych Uniwersytetu Warszawskiego. Od 2004 roku kieruje Sekcj Ewaluacji wPolskiej Agencji Rozwoju Przedsibiorczoci. Jest odpowiedzialna za realizacj ewaluacji programw przedakcesyjnych oraz strukturalnych wobszarach rozwoju sektora MSP, Rozwj Zasobw Ludzkich oraz projektw infrastrukturalnych wdraanych przez Agencj. Problematyk bada spoecznych zajmuje si od ponad 9 lat, za obszarem ewaluacji izarzdzania interwencjami publicznymi od 6 lat. Od

Kapita spoeczny warunek iefekt udanych ewaluacji

105

roku 2005 organizator midzynarodowej cyklicznej Konferencji Ewaluacyjnej odbywajcej si pod auspicjami PARP iMRR. Od roku 2005 uczestnik grup ds. ewaluacji kolejnych programw: EFS, PO IG, PO KL, PO RPW. Od 4 lat prowadzi wykady iwarsztaty zewaluacji programw ocharakterze spoeczno-gospodarczym. Jest autork szeregu publikacji iopracowa zdziedziny ewaluacji programw sektora publicznego. Maciej Szaaj absolwent Instytutu Socjologii Uniwersytetu Warszawskiego. Pracuje wSekcji Ewaluacji PARP. Problematyk bada ewaluacyjnych zajmuje si od 5lat. Specjalizuje si wewaluacji programw ukierunkowanych na rozwj kadr gospodarki oraz wspierania potencjau adaptacyjnego przedsibiorstw. Kierownik projektw badawczych oraz wspautor ich koncepcji i metodologii. Posiada dowiadczenie wewaluacji programw przedakcesyjnych ifunduszy strukturalnych. Czonek Grupy Sterujcej Ewaluacj SPO RZL oraz Grupy ds. Ewaluacji Priorytetu I iII PO KL. Obecnie zaangaowany w opracowywanie kompleksowego systemu pomiaru efektw Dziaa 2.1, 2.2 PO KL, majcego stanowi podstaw dla przyszych ewaluacji tego obszaru. Autor opracowa i artykuw powiconych efektom przedsiwzi publicznych finansowanych ze rodkw wsplnotowych oraz zagadnieniom teorii ipraktyki bada ewaluacyjnych. Od czerwca 2008r. czonek Zarzdu Polskiego Towarzystwa Ewaluacyjnego.

Bibliografia
Allee V., Return on Knowledge, Executive Excellence 2000, nr 9. Provo, Birmingham 2000, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci iinnowacyjnoci, http://www.zti.com.pl/instytut/pp/referaty/ref42_full.html. Bourdieu P., The Forms of Capital, w: J.G. Richardson (red.), Handbook of Theory and Re seaerch for the Socjal education, Greenwood Pres, New York 1986. Bratnicki M., Dylematy ipuapki wspczesnego zarzdzania, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci iinnowacyjnoci, http://www.zti.com.pl/instytut/ pp/referaty/ref42_full.html. Bullen P., Onyx J., Measuring Social Capital in Five Communities in NSW. Internet, materiay ze strony http://www.mapl.com.au, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci i innowacyjnoci, http://www.zti.com.pl/instytut/pp/referaty/ref42_full. html. Coleman J.S., Social Capital in the Creation of Human Capital, American Journal of Sociology, nr94. Dyduch W., Szczepankiewicz M., Szczepankiewicz E., Kapita spoeczny podstaw zdobywania przewagi konkurencyjnej w Nowej Ekonomii, w: M. Moszkowicz (red.), Strategie i konkurencyjno przedsibiorstw po dziesiciu latach transformacji, Politechnika Wrocawska, Polanica Zdrj 2001. European Social Survey, http://www.ads.org.pl/pobieranie-zbioru-danych.php?id=15. Fukuyama F., Social capital, civil society and development, Third World Quarterly 2001, nr1. Fukuyama F., Zaufanie. Kapita spoeczny adroga do dobrobytu, PWN, Warszawa 1997. Kapita intelektualny ispoeczny wPolsce raport doradcw premiera, http://pliki.innowacyjnosc. gpw.pl/Kapital_Intelektualny_Polski.pdf.

106

Agnieszka Haber, Maciej Szaaj

Kazimierczak T., Kapita spoeczny a rozwj spoeczno-ekonomiczny przegld poj, w: T.Kazimierczak, M. Rymsza (red.), Kapita spoeczny. Ekonomia spoeczna, Instytut Spraw Publicznych, Warszawa 2007. Picciotto R., Ekonomia ewaluacji, Pastwo iRynek 2006, nr2. Putnam R.D., Demokracja wdziaaniu: Tradycje obywatelskie we wspczesnych Woszech, Znak, Krakw 1995. Sirianni C., Friedland L., Social Capital and Civic Innovation: Learning and Capacity Building from the 1960s to the 1990s, Internet, materiay ze strony: http://www.cpn.org/sections/new_ citizenship/theory.html, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci iinnowacyjnoci, http://www.zti.com.pl/instytut/pp/referaty/ref42_full.html. Steier L., Greenwood R., Entrepreneurship and the Evolution of Angel Financial Networks, Organization Studies 2000, nr21, EGOS, w: W. Dyduch, Kapita spoeczny organizacji poywk dla przedsibiorczoci i innowacyjnoci, http://www.zti.com.pl/instytut/pp/referaty/ ref42_full.html. World Values Survey, http://www.worldvaluessurvey.org/.

Cz II

Wybrane zagadnienia warsztatu bada ewaluacyjnych

Aleksander Surdej

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci wpolitykach publicznych


Uwagi wstpne
Pojcie analizy kosztw ikorzyci szybko wchodzi do jzyka polskiej administracji ipolityki. Dzieje si tak zco najmniej dwch powodw. Po pierwsze, pod wpywem Komisji Europejskiej, ktra wymaga, aby analiza kosztw i korzyci w rozmaitych wersjach poprzedzaa wybr projektw zakwalifikowanych do finansowania ze rodkw funduszy strukturalnych lub ex post identyfikowaa skutki zrealizowanych przedsiwzi. Po drugie, w okresie presji na jako rzdzenia iobnienie wydatkw rzdowych analiza kosztw i korzyci jawi si jako naturalna podstawa decyzji publicznych. Zalecenie, aby korzyci przewyszay koszty, wydaje si zasad nie do podwaenia, tak na gruncie zdrowego rozsdku, jak iw politycznej retoryce. Szybko, z jak metoda analizy kosztw i korzyci upowszechnia si wPolsce, rodzi obaw, e jest ona stosowana wsposb zrytualizowany raczej dla uzasadnienia dokonywanych wyborw ni dla ich rzetelnego przygotowania. Podejrzenie to bierze si zdowiadcze pastw, wktrych metoda analizy kosztw i korzyci zostaa wprowadzona do praktyki rzdzenia ju kilkadziesit lat temu, ajednak do dzisiaj trwaj spory osposb jej wdroenia ikonsekwencje. W opracowaniu tym sprbuj dokona krytycznej rekonstrukcji podstawowych elementw metody analizy kosztw ikorzyci nie po to, aby podwaa zasadno jest stosowania, lecz by zidentyfikowa warunki suce lepszemu jej wykorzystaniu wdecyzjach ipolitykach publicznych.

Rozwj historyczny irozwj podstaw teoretycznych


Pocztki analizy kosztw ikorzyci sigaj poowy XIX wieku imona je znale wpracach francuskiego inyniera iekonomisty Julesa Dupuit (1844, 1853). Piszc oprojektach infrastrukturalnych, takich jak budowa drg imostw, twierdzi, e ich powstanie ma sens wtedy, gdy pynce znich korzyci

110

Aleksander Surdej

przewyszaj koszty. Owa teza brzmiaa oryginalnie wzderzeniu zdominujcymi pogldami tamtej epoki, aidzisiaj nie jest powszechnie akceptowana. W praktyce politycznej zasada porwnywania kosztw ikorzyci pojawia si po raz pierwszy wStanach Zjednoczonych, gdzie w1936 roku wUstawie okontroli przeciwpowodziowej (Flood Control Act) Kongres zaleci, aby projekty dotyczce gospodarowania wod realizowa ze rodkw publicznych jedynie wtedy, gdy korzyci przekraczaj szacowane koszty. Prace nad sformalizowaniem metody analizy kosztw ikorzyci kontynuowano wStanach Zjednoczonych po II wojnie wiatowej wzwizku zprzedsiwziciami wzakresie gospodarki wodnej. W1950 roku zosta opublikowany pierwszy przewodnik do oceny kosztw ikorzyci przy projektach wodnych. Pod koniec lat 50. wskazwki do oceny kosztw i korzyci przy projektach zbrojeniowych opracowali analitycy Rand Corporation. W latach 60. pojawiy si zastosowania analizy kosztw ikorzyci do oceny programw spoecznych, aw latach 70. do oceny przedsiwzi wzakresie ochrony rodowiska. Wlatach 80. z inicjatywy Ronalda Reagana wprowadzono analiz kosztw i korzyci do oceny polityk regulacyjnych iod tamtego czasu mona mwi, e ta analiza funkcjonuje zarwno w odniesieniu do oceny poszczeglnych projektw finansowanych ze rodkw publicznych, jak ipublicznych polityk. WEuropie pierwsze zastosowania analizy kosztw ikorzyci pojawiy si wlatach 60. wWielkiej Brytanii wodniesieniu do inwestycji transportowych (budowa drg ilotnisk). Za Wielk Brytani nie poda jednak aden inny kraj europejski ibyo tak a do lat 90., kiedy to za spraw Komisji Europejskiej analiza kosztw ikorzyci staa si wyrazem denia do wzrostu efektywnoci programw publicznych ipoprawy jakoci rzdzenia. Wprzeciwiestwie do Stanw Zjednoczonych w wikszoci pastw czonkowskich UE analiza kosztw ikorzyci nie jest dobrze utrwalonym narzdziem rzdzenia, aoglniejsze przyczyny tego stanu rzeczy zpewnoci maj zwizek zczynnikami kulturowymi oraz tradycj filozoficzn iprawn. W tle upowszechniania analizy kosztw ikorzyci trway prace teoretykw ekonomii, ktrzy kadli podstawy pod dzisiejsze rozumienie zalet iwad tej metody. Najwaniejszym osigniciem wrozwoju podstaw teoretycznych okazao si sformuowanie przez Vilfredo Pareto zasady efektywnoci alokacji (optimum Pareto), zgodnie zktr alokacja jest efektywna, jeli nie mona poprawi pooenia adnego elementu bez pogorszenia pooenia jakiego innego elementu. Zasada ta pozostaje normatywnym punktem odniesienia dla analizy polityki publicznej, chocia jest krytykowana za nierealistycznie wysokie wymagania. Na og kady projekt publiczny wie si zkorzyciami dla jednych istratami dla drugich. Jeli wadze publiczne nie mog zbudowa drogi bez wykupienia dziaek iwysiedlenia czci ludnoci, to rygorystyczne stosowanie zasady efektywnoci wedug Pareto musi prowadzi do zaniechania realizacji projektu, nawet gdyby relacja liczby beneficjentw do liczby ponoszcych straty bya nadzwyczajnie wysoka. Dopiero wprowadzona przez

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

111

Nicholasa Kaldora1 modyfikacja zasady optimum Pareto umoliwia wzrost jej praktycznego zastosowania. Nowe kryterium efektywnoci, znane obecnie jako kryterium KaldoraHicksa, gosi, e przedsiwzicie publiczne jest uzasadnione wtedy, gdy tworzone przeze korzyci spoeczne przewyszaj spoeczne koszty. Wrezultacie pojawia si moliwo, e odnoszcy korzyci zrekompensuj straty ponoszcych koszty iwci pozostanie im pewna nadwyka. Naley zwrci uwag, e kryterium KaldoraHicksa mwi opotencjalnej kompensacie, anie ojej faktycznym zaistnieniu. Istotnie, jeli interesuj nas wycznie skutki przedsiwzicia, to takie ograniczenie jest najzupeniej uzasadnione. Kryterium KaldoraHicksa wpeni zadowala tych, ktrzy analiz kosztw ikorzyci postrzegaj wycznie jako narzdzie poszukiwania wzrostu efektywnoci projektw ipolityk publicznych.

Analiza kosztw ikorzyci aposzukiwania teoretycznych podstaw okrelania spoecznego dobrobytu


Przywoane nazwiska teoretykw ekonomii wskazuj, e analiza kosztw ikorzyci jest cile zwizana zekonomi neoklasyczn itym jej nurtem badawczym, ktry nazywany jest ekonomik dobrobytu 2. Niektre zzaoe ekonomii neoklasycznej nie budz wikszych kontrowersji, inne natomiast s przedmiotem dyskusji. Powszechna zgoda istnieje co do tego, e to, co okrelamy korzyciami i kosztami spoecznymi, sprowadza si do kosztw i korzyci poszczeglnych jednostek. Analiza skutkw projektu lub polityki powinna wic bra pod uwag skutki dla wielu (potencjalnie wszystkich) jednostek, ktrych mog one dotyczy. Warto zauway, e zasada ta jest bardzo demokratyczna, gdy nakazuje, aby analiza braa pod uwag interesy jednostek, ktre wprocesie politycznym mog by niedostatecznie reprezentowane. Od stwierdzenia oredukowalnoci kosztw ikorzyci spoecznych do kosztw ikorzyci dla jednostek tylko krok do pytania, jak je identyfikowa iporwnywa. Rodzi si wic problem oszacowania tak kosztw, jak iw szczeglnoci korzyci, oraz zagadnienie moliwoci i podstaw midzyjednostkowego porwnania. Analiza neoklasyczna posuguje si pojciem uytecznoci na okrelenie korzyci odczuwanych przez jednostk. Uyteczno moe by pochodn uzyskanego dochodu pieninego, jak iinnych czynnikw (w tym wrae estetycznych czy odczu etycznych). Zaoenia o charakterze relacji pomidzy uytecznoci adochodem iinnymi czynnikami s wci kontrowersyjne. Jeli przyjmiemy, wlad za Alfredem Marshallem,
Kaldor N., Welfare propositions of economics and interpersonal comparisons of utility, Economic Journal 1939, vol. 49. 2 Blaug M., Teoria Ekonomii, PWN, Warszawa 1994.
1

112

Aleksander Surdej

zaoenie o malejcej kracowej uytecznoci dochodu (wzrost dochodu o jedn jednostk w przypadku osoby zamonej prowadzi do mniejszego wzrostu uytecznoci ni wprzypadku wzrostu dochodu osoby biednej), to analiza kosztw i korzyci pokazuje, e wzrostowi spoecznego dobrobytu moe suy redystrybucja dochodu. Zaoenie Marshalla wprowadza jednake element wartociujcy i jako takie zostao usunite ze wspczesnej analizy ekonomicznej, ktra zaleca pozostawienie kwestii redystrybucyjnej decyzjom politycznym. Problem redystrybucji nie jest jednak tak atwy do pominicia, jak mogoby si wydawa niektrym ekonomistom. Gdy bowiem wspczenie analitycy podsumowuj czne korzyci z realizacji jakiego projektu publicznego, to odwouj si do miary zwanej gotowoci do zapaty (willingness to pay). Analityk pragnie pozna maksymaln wielko, ktr jednostki byyby skonne zapaci za te skutki polityki, ktre postrzegaj, jako korzystne oraz minimaln wielko, ktr jednostki byyby skonne zaakceptowa jako rekompensat za te skutki polityki, ktre postrzegaj jako szkodliwe3. Gotowo do zapaty nie jest jednak niezalena od poziomu dochodu. Jeli wic publiczny decydent ma wybra projekt, ktrego czna warto okrelona jest sum gotowoci do zapaty, to czciej podejmowane mog by projekty preferowane przez ludzi zamonych. Korzyci spoeczne mierzone gotowoci do zapaty zale bowiem od rozkadu dochodu wspoeczestwie. O ile problem zrnicowanego skutku projektw publicznych pozostaje sednem politycznych rozgrywek, otyle mylne jest przypisywanie pojciu uytecznoci egoistycznych implikacji. Uyteczno jest zakorzeniona wodczuciach jednostki, lecz pojcie to jest zpewnoci do pogodzenia zwystpowaniem altruistycznej motywacji, zwaania na innych, wtym na przysze pokolenia iwartoci przyrody.

Podstawowe elementy metody analizy kosztw ikorzyci


Metoda analizy kosztw ikorzyci jest stosowana do analizy problemw publicznych, czyli dotyczcych zbiorowoci. Jej celem jest odpowied na pytanie, na co przeznaczy rodki publiczne, tak aby zrealizowa cele obrane przez zbiorowo i generalnie zwikszy jej dobrobyt. Decyzje zbiorowoci s podobne do decyzji jednostek wtym wzgldzie, e ich prakseologicznym warunkiem koniecznym jest warunek alokacyjnej efektywnoci. Nie jest to warunek jedyny, gdy wprzypadku decyzji dotyczcych problemw zbiorowoci uwzgldniane s inne cele, takie jak zgodno zzasad sprawiedliwoci, atake moliwo uzyskania politycznego wsparcia.
3 Haveman R.H., Weimer D.L., Cost Benefit Analysis, International Encyclopedia of the Social &Behavioral Sciences, Elsevier 2001.

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

113

Punktem wyjcia praktycznej analizy kosztw ikorzyci zarwno wodniesieniu do projektw, jak ipolityk publicznych, jest pytanie, czy realizacja projektu lub wdroenie polityki przyczyni si do wzrostu dobrobytu zbiorowoci. Porwnanie obecnej sytuacji zbiorowoci (opcja, ktr mona nazwa zachowanie status quo) zprawdopodobn sytuacj, ktra zaistniaaby wwyniku realizacji projektu ipolityki, przenosi ciar dowodu na autorw zamierzenia. Korzyci oraz koszty projektu publicznego s korzyciami ikosztami prognozowanymi. Zestawienie ich oraz analiza staje si wtym przypadku ex ante analiz kosztw ikorzyci. Wydaje si, e metoda analizy kosztw ikorzyci jest niekiedy krytykowana wanie za wymuszenie starannego rachunku oczekiwanych kosztw ikorzyci. Zagroenie wzwizku ztym widz ci, ktrzy dziki politycznemu umocowaniu lub umiejtnej presji lobbystycznej s wstanie uruchomi wydatki publiczne na projekt lub polityk, mimo e staranna ex ante analiza dowodzi (lub mogaby dowie), e prywatne korzyci s uzyskiwane kosztem pogorszenia dobrobytu wikszej zbiorowoci. To, co jest wad zperspektywy partykularnych grup interesu, moe by jednak korzyci zpunktu widzenia interesu oglnego.

Czym s spoeczne korzyci ikoszty ijak mog by mierzone?


Zasad decyzyjn metody analizy kosztw ikorzyci jest fakt, e projekt lub polityka jest rekomendowana do realizacji czy wdroenia wtedy, gdy korzyci przewyszaj koszty. By moe najmniej rozumianym zaoeniem omawianej metody jest to, e koszty ikorzyci s pojmowane bardzo szeroko jako kady typ uytecznoci lub kosztw ikady wzrost lub spadek dobrobytu. Centraln pozycj kosztw s najczciej wydatki zbudetu publicznego wyraone finansowo. Gwn kategori korzyci nie musz, inajczciej nie s, zyski okrelane wpienidzu. Rodzi to problem wspmiernoci kosztw ikorzyci, ktry stanie si lepiej zrozumiay, gdy przedstawimy podstawowe kategorie korzyci stosowane wanalizie. Pierwsz kategori korzyci s skutki obserwowane jako zmiany zachowa ludzi, nazywane inaczej aktywnym uytkowaniem. Jeli wic w wyniku realizacji pewnego projektu zachowane zostan wartoci przyrodnicze jakiego obszaru, to cz korzyci spoecznych przejawia si jako warto dla osb, ktre ten teren odwiedzaj ipodziwiaj jego walory przyrodnicze. Ta kategoria korzyci jest zakorzeniona windywidualnych odczuciach osb, tote korzyci mog by mierzone poprzez nakadanie opat na zwiedzajcych iwten sposb identyfikowanie ich gotowoci do zapaty. Korzy spoeczna moe jednak take wynika zdoceniania pewnych stanw rzeczy, ktre powstaj lub s utrzymywane dziki realizacji projektw czy polityk publicznych, chocia wartociowanie to nie ma zwizku zaktywnym uytkowaniem. Kategoria ta nazywana jest pasywnym uytkowaniem

114

Aleksander Surdej

idzieli si na dwie subkategorie korzyci. Pierwsz znich jest korzy zposiadania opcji, ktra polega na tym, e ceni si sam ewentualno aktywnego skorzystania zpowstaej moliwoci. Wzakresie ochrony przyrody korzy zposiadania opcji, to przywizywanie wagi do moliwoci odwiedzenia tego obiektu wprzyszoci. Inny rodzaj korzyci wie si zodczuwaniem satysfakcji zsamego istnienia jakiego obiektu lub utrzymania stanu rodowiska naturalnego, chocia usatysfakcjonowane osoby nie przewiduj moliwoci aktywnego skorzystania zcenionego dobra. Korzy t nazwa mona korzyci zistnienia lub korzyci zzachowania istnienia. Podstawowa trudno pomiaru wie si z niemonoci wyraenia wszystkich korzyci wpostaci wielkoci pieninych. Wskazane wyej teoretyczne kategorie korzyci, jakkolwiek byyby przekonywujce, musz zosta sprowadzone do porwnywalnej miary. Trudno ta, co naley podkreli, nie jest wynikiem niematerialnoci dozna, lecz braku podstaw dla rynkowej wyceny uytecznoci. Sprbujmy lepiej wyjani ten problem. Jeli wwyniku realizacji projektu publicznego powstaj mieszkania, ktre s za darmo przydzielane potrzebujcym, to korzyci spoeczne s atwo mierzalne iwyraone wpienidzu, jako suma cen moliwych do uzyskania na rynku za lokale opodobnej jakoci, wielkoci ipooeniu. Jeli jednak wynikiem projektu lub polityki publicznej s unikalne iniewystpujce na rynku stany lub obiekty, to pojawiaj si trudnoci zwycen korzyci, ktre tworz. Analitycy chcieliby pozna gotowo do zapaty przez wszystkich obywateli, lecz nie s w stanie takiej informacji w sposb prosty uzyska, gdy nie mog zaobserwowa fizycznych czynnoci zapaty. Praktyczne stosowanie metody analizy kosztw i korzyci zaley wic od rozwoju metod, jakie umoliwiaj wycen korzyci zdbr (w szerokim rozumieniu), ktre nie s przedmiotem wyceny rynkowej. Jedn zmetod rozwijanych w celu wyceny wartoci pasywnego uytkowania obiektw przyrodniczych jest sonda na reprezentatywnej prbie, wktrym ludzie pytani s oto, ile skonni byliby zapaci, aby obiekt przyrody zosta zachowany w nienaruszonym stanie. Metoda ta zwana wartociowaniem kontyngentnym (contingent valuation) jest jednak krytykowana, gdy zakada, e respondent posiada du wiedz na temat ocenianego obiektu, adodatkowo przypuszcza mona, e moe on strategicznie podawa faszyw wycen. Wtym drugim przypadku chodzi oto, e badacz nie wie, czy wysoka wycena skutkw projektu ipolityki nie jest prb strategicznego wpywania na decyzj publiczn: werbalne deklaracje wyraonej wpienidzu chci do zapaty mog znacznie si rni od faktycznej gotowoci do zapaty irzeczywistych korzyci. Uzyskanie przyblionej zobiektywizowanej wyceny w oparciu o metod wartociowania kontyngentnego wymaga wic metodologicznego wyrafinowania i czasu na staranne przeprowadzenie analizy.

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

115

Inn poredni metod szacowania korzyci jest rekonstrukcja krzywych poday i popytu oraz wyznaczonych przez nie cen rwnowagi w sytuacji dbr, ktre wprawdzie nie maj swojego rynku, lecz wycenianie ich przez ludzi moe by porednio wyprowadzone zanalizy poday ipopytu na dobra powizane. Itak, przykadowo, nie ma rynku na haas lub czyste powietrze, lecz zodmiennych cen mieszka znajdujcych si na obszarach rnicych si nateniem haasu lub stopniem czystoci powietrza wyprowadzi mona ceny widmowe (shadow prices) haasu lub czystego powietrza. Estymacja cen widmowych dokonywana za pomoc tzw. metody hedonicznej jest szczeglnie wana wprbach wyliczania wartoci ycia jako parametru dla optymalizacji wielu projektw ipolityk publicznych, wtym ochrony rodowiska ipolityki zdrowotnej. Wanalizie polityk publicznych warto ycia nie jest kategori etyczn, lecz parametrem konstruowanym na potrzeby decyzji publicznych poprzez analiz gotowoci do zapaty. Prowadzona jest zgodnie zzasad, e najlepsz miar wartoci dobra dla ludzi jest to, ile s gotowi za nie zapaci, czy te na podstawie zaspokojonych lub ujawnionych preferencji (revealed preferences), wtym poprzez skonno do pacenia za zmniejszania ryzyka dla ycia izdrowia (np. poprzez zakup nowych opon samochodowych lub wybr lepiej patnej pracy, lecz wicej si ze zwikszonym ryzykiem zachorowania lub mierci)4. Wczeniej wspomniaem, e wyliczenie kosztw jest zadaniem atwiejszym, gdy ograniczamy si do nakadw finansowanych zbudetu. Nie s to oczywicie jedyne koszty, ktre naley bra pod uwag. Wprzypadku mierci, uszkodze ciaa oraz wzrostu zachorowa powinny by uwzgldniane koszty utraty ycia lub pogorszenia jego jakoci. Ponadto analityk powinien by wiadomy koniecznoci uwzgldnienia tzw. kosztw okazji (opportunity costs). Dla realizacji projektw lub polityk publicznych s ponoszone nakady, aponiewa zasoby stojce do dyspozycji zbiorowoci s ograniczone, to analityk powinien dodatkowo uwzgldni koszty okazji danego uycia zasobw, ktrym jest warto najlepszej dostpnej alternatywy5. Uwzgldnianie kosztw okazji jest szczeglnie istotne przy analizie decyzji, ktrych konsekwencje nie podlegaj wycenie iweryfikacji rynkowej. Podsumowujc t cz rozwaa, warto zauway, e poszukiwania sposobw rozwizania problemu oceny korzyci dbr (wartoci) niewymienianych na rynku prowadz do metodologicznej konwergencji klasycznych metod bada spoecznych (w tym bada sondaowych) oraz mikroekonomii. O ile tradycyjna mikroekonomia negowaa warto werbalnych de4 Bez wnikania winne filozoficzne imetodologiczne problemy szacowania wartoci dla ycia warto zauway, e potrzeba szacowania takiego parametru nie moe by nawet postawiona wpolskiej debacie publicznej, cho decydenci systemu ochrony zdrowia wiedz, e implicite posuguj si nim wdecyzjach dotyczcych leczenia rnych kategorii igrup chorb. 5 Bednarski M., Wilkin J., Ekonomia dla prawnikw, PWN, Warszawa 2003, s. 84.

116

Aleksander Surdej

klaracji, ograniczajc analizy do obserwacji aktw kupna isprzeday oraz zaagregowanych skutkw w postaci zmian cen, to nowoczesna mikroekonomia prbuje zrekonstruowa zachowania na podstawie odpowiedzi na pytania ankietowe oraz obserwacji zachowa w spoecznych mikroeksperymentach.

Analiza kosztw ikorzyci wperspektywie midzypokoleniowej


Trudnoci zidentyfikacj iwyraeniem wpienidzu wszystkich kategorii kosztw ikorzyci spoecznych nie s ostatni przeszkod dla poprawnego przeprowadzenia analizy. Koszty ikorzyci, co oczywiste, rozkadaj si w czasie. Analityk musi ten fakt uwzgldni, a doprowadzenie do porwnywalnoci wartoci pieninych skutkw (kosztw i korzyci), ktre wystpuj w rnych okresach czasu jest nazywane dyskontowaniem. Na og potrzeba dyskontowania nie jest kwestionowana, gdy zdecydowana wikszo badaczy zgadza si ze stwierdzeniem, e ludzie ceni przysze korzyci mniej ni rwne im co do pieninej wysokoci korzyci teraniejsze (zgodnie zzaoeniem malejcej kracowej uytecznoci). Problemem jest wybr wysokoci stopy dyskontowej. Jeli wybrana zostanie wysoka stopa dyskontowa, oznacza ona preferencje dla efektw krtkookresowych, swoist niecierpliwo spoeczn, jeli za niska stopa dyskontowa, to oceniajcy decyduje si na przydanie wyszej wartoci projektom o oddalonych wczasie korzyciach. Stopy dyskontowe nie s cakowicie dowolne. Punktem wyjcia s stopy dyskontowe obserwowane na rynkach kapitaowych. Zwikszanie wartoci teraniejszej netto projektu przy zastosowaniu rynkowej stopy dyskontowej prowadzi do maksymalizacji efektywnoci tylko wtedy, gdy rynki kapitaowe s bardzo konkurencyjne, a decyzje oszczdzajcych i inwestujcych nie s znieksztacone przez podatki nakadane na oszczdnoci idochody zinwestycji. Podatki wbijaj klin w kracow ocen oszczdzajcych i inwestorw, aanalityk nie moe wjednoznaczny sposb odpowiedzie, czy do oceny projektu lub polityki powinien przyj stop zwrotu dla inwestora (poyczajcego) przed opodatkowaniem, czy te stop zwrotu po opodatkowaniu dla oszczdzajcego (udzielajcego poyczki). Warto teraniejsza przyszych kosztw ikorzyci zaley take od trafnoci przewidywa inflacyjnych. Chocia rynkowa stopa dyskontowa odzwierciedla oczekiwania inflacyjne, to s obawy co do przyszego przebiegu inflacji. Wtpliwoci co do wielkoci inflacji nie s jedyn przeszkod, ktr powinien uwzgldni analityk. Niepewno moe mie gbszy charakter i dotyczy realizacji i efektw projektu lub przebiegu i skutkw polityki. Technicznym rozwizaniem problemu jest zastosowanie w analizie ocze-

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

117

kiwanych wynikw projektu lub polityki, czyli skutkw uwzgldniajcych prawdopodobiestwo ich wystpienia. To rozsdne, zdawaoby si, rozwizanie niesie ze sob jednake powan trudno wpostaci moliwoci pojawienia si znacznych rozbienoci przy oszacowaniu korzyci netto, gdy mae modyfikacje parametrw mog skutkowa znacznymi rnicami wuzyskiwanych wartociach szczeglnie wtedy, gdy brane pod uwag s wyniki odlege wczasie. Gdy od problemw okrelenia rynkowej stopy dyskontowej przechodzimy do postulowanej spoecznej stopy dyskontowej, czyli takiej, ktr zbiorowo powinna zastosowa do oceny teraniejszej wartoci przyszych skutkw, to powstaj dwie nowe komplikacje. Po pierwsze, naley uzasadni, czy spoeczna stopa dyskontowa powinna si rni od rynkowej stopy dyskontowej. Po drugie, naley rozstrzygn, jaka ma by podstawa oceny skutkw, ktre przechodz zpokolenia na pokolenie. Wskazywane s trzy przyczyny dla stosowania spoecznej, odbiegajcej od rynkowej, stopy dyskontowej: troska oprzysze pokolenia wedug tego uzasadnienia rzd jest strem interesw przyszych pokole. Jednake zaoenie takie wymaga, aby publicznych administratorw cechowa znaczny stopie wszechwiedzy iskonno do dbania odobro wsplne; paternalizm zakadajcy, e ludzie s krtkowzroczni wswoich dziaaniach inie s wstanie doceni przyszych korzyci. Wedug Arthura Pigou: rzd powinien wic stosowa tak stop dyskontow, ktr stosowaliby ludzie, gdyby byli wiedzieli, co jest [co bdzie wprzyszoci] dla nich dobre6. Argument ten prowadzi jednak do pytania, czy preferencje publiczne (tj. politykw) mog by narzucane jednostkom; niesprawnoci rynku w tym problemy pynce z nieistnienia rynkw na przysze dobra. Wtym przypadku zapyta mona, czy spoeczne skutki niesprawnoci interwencji rzdu nie przewyszaj skutkw niesprawnoci rynku? Dugotrwaa debata teoretyczna prowadzi do konkluzji, e nie ma mocnych podstaw dla tworzenia spoecznej stopy dyskontowej jeli to pojcie jest stosowane, to ze wzgldu na obszar decyzyjny (decyzje dotyczce zbiorowoci), anie ze wzgldu na faktyczn merytorycznie uzasadnion potrzeb. Zkolei, jeli chodzi otzw. midzypokoleniowe preferencje czasowe, to rnice stanowisk s zakorzenione wodmiennych, lecz zosobna dobrze uzasadnionych stanowiskach. Zgodnie zpierwszym korzyci dla przyszych pokole powinny way mniej przy podejmowaniu biecych decyzji ni korzyci dla obecnych pokole, gdy przysze pokolenia bd od nich bogatsze (tak byo wwiecie przez ostatnie mniej wicej 200 lat). Natomiast zgodnie z drugim stanowiskiem przypisywanie mniejszej wagi korzyciom moliwym do uzyskania przez przysze pokolenia jest etycznie nieuzasadnione. Jak sdzi Hal R. Varian, zrwnowaenie korzyci ikosztw rnych poko6

Pigou A., The Economics of Welfare, MacMillan, Londyn 1920.

118

Aleksander Surdej

le prowadzi wemblematycznym przypadku analizy kosztw globalnego ocieplenia do konkluzji zalecajcej poniesienie znacznych kosztw dzisiaj wcelu ochrony poziomu ycia przyszych pokole (zerowa stopa dyskontowa sprawia, e dolar kosztw rocznie daje wcigu miliona lat czne koszty rwne milionowi dolarw)7. Zastosowanie dyskontowania przy uyciu nawet niskiej stopy procentowej, takiej jak 3procent, wstosunku do skutkw odczuwanych wdugim okresie prowadzi do znacznych rnic wwielkoci wartoci teraniejszej iwkonsekwencji wich ocenie. Techniczn odpowiedzi na ten problem jest przeprowadzenie analizy wraliwoci, czyli analizy podatnoci wynikw na zmiany parametrw, wtym przypadku na zmiany stopy dyskontowej, przyjtych do oszacowania kosztw i korzyci8. Ostatecznie jednak decyzja o zastosowaniu danej stopy dyskontowej pozostaje decyzj etyczn, a narzdzia techniczne umoliwiaj analitykowi jedynie zawenie pola etycznej dowolnoci. Poprawny pomiar kosztw ikorzyci, dyskontowanie oraz agregacja s podstaw do zastosowania typowego dla metody kosztw i korzyci kryterium decyzyjnego, ktre moe zosta sformuowane nastpujco: naley wybra ten projekt lub t polityk, ktra przyniesie najwiksze czne korzyci netto. Wpewnych warunkach kryterium to prowadzi to decyzji tosamej zt, ktra zostaaby podjta przy zastosowaniu kryterium stosunku kosztw do korzyci. Jednake, kryterium rnicy netto korzyci ikosztw pozwala wzi pod uwag skal projektu lub rozmach polityki, podczas gdy kryterium relacji korzyci do kosztw moe prowadzi do wyboru maych projektw, ktrych czne skutki s mae. Zakadamy wic, e analiza kosztw ikorzyci pozwala na dokadn ocen skali korzyci ikosztw spoecznych potencjalnie, gdy owa analiza nie przestaje budzi kontrowersji wrd filozofw, prawnikw i ekonomistw. Najagodniejszy i najsabszy zpodnoszonych argumentw krytycznych odmawia analizie kosztw ikorzyci uniwersalizmu iwskazuje na moralne granice takiej analizy. Najmocniejszy natomiast wprost j odrzuca jako kryterium decyzyjne ipostuluje, co czyni Henry S. Richardson, zastpienie jej metod inteligentnej deliberacji, czyli przegldu przyjtych do realizacji celw wwietle napywajcej nowej informacji9.

Varian R.H., Recalculating the Costs of Global Climate Change, New York Times, 14.12.2006. Analiza wraliwoci jest procedur suc badaniu wraliwoci wynikw analizy kosztw ikorzyci na zmiany prawdopodobiestwa wystpienia danego poziomu kosztw ikorzyci. Porwnujc dwie lub wicej alternatyw, analityk moe wprowadzi zmiany zaoe co do kosztw ikorzyci. Wnioski powinny uwzgldnia wraliwo wynikw analizy na zmiany zaoe okosztach ikorzyciach. 9 Richardson S.H., The Stupidity of Cost-Benefit Standard, w: M.D. Adler, E.A. Posner, Cost Benefit Analysis. Legal, Economic and Philosophical Perspectives, University of Chicago Press, ChicagoLondon 2001.
8

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

119

Cele iskutki proceduralizacji metody analizy kosztw ikorzyci


Nawet najostrzejsza krytyka analizy kosztw ikorzyci traci wiele na znaczeniu, gdy stawiane jest pytanie owskazanie lepszej metody analizy czy lepszego kryterium decyzyjnego. Nie powinno wic dziwi, e nierozwizane kontrowersje dotyczce pomiaru i monetyzacji skutkw, ich waenia i porwnywalnoci, atake realizmu zasady kompensacji schodz wcie wobec pyta o to, czy krytycy zalecaj rezygnacj z kwantyfikacji, porwnywania skutkw iuwzgldniania konsekwencji dla caej zbiorowoci? Poniewa trudno jest znale teoretyka, ktry postulowaby rezygnacj zdenia do wzrostu analitycznej precyzji, wci trwa ekspansja praktycznych zastosowa jakiej formy analizy kosztw ikorzyci. Napisaem jakiej formy, gdy przy kierunkowej akceptacji denia do penej kwantyfikacji iwyraania wpienidzu skutkw decyzji publicznych, analiza ta moe iczsto jest prowadzona wsposb rnicy si wiadomoci zaoe metodologicznych irygoryzmem badawczym. Dlatego niektrzy badacze, wtym Amartya Sen, skonni s pisa odyscyplinie analizy kosztw ikorzyci, anie ometodzie10. Elementami tej dyscypliny11 s: a) wsplne podstawowe zasady, wtym zasada jawnoci wartociowania, konsekwencjonalizm etyczny, czyli pogld, e warto czynw zaley od ich konsekwencji oraz rachunkowo addytywna, czyli zaoenie, e koszty ikorzyci s okrelane imierzone we wsplnej przestrzeni, mog wic by dodawane iodejmowane; b) wymogi strukturalne, wtym zaoenie okompletnoci ewaluacji (moliwoci identyfikacji wszystkich konsekwencji), zaoenie penej informacji oraz wiedzy odystrybucji prawdopodobiestwa oraz c) wartociowanie odnoszone do procesw rynkowych, poprzez wykorzystywanie gotowoci do zapaty izasady potencjalnej kompensacji. Zdaniem Sena system analizy kosztw i korzyci jest natomiast indyferentny wobec motywacji podmiotw dziaajcych (ocena motywacji jest waniejsza wdecyzjach osobistych ni przy wyborze publicznym), praw jednostki oraz wartoci indywidualnej wolnoci. W ramach tak rozumianej dyscypliny analizy kosztw ikorzyci mieszcz si praktyczne metody iprocedury, ktre su do przygotowywania decyzji publicznych. Wspomnielimy ju, e analiza kosztw ikorzyci dotyczy skutkw dziaa (projektw, polityk) podejmowanych w imieniu i dla zbiorowoci. Jej podstawow zalet jest to, e poprzez ex ante analiz wydatkw publicznych
Sen A., The Discipline of Cost-Benefit Analysis, w: M.D. Adler, E.A. Posner, op. cit. Wedug Wadysawa Kopaliskiego wjzyku polskim dyscyplina to take ustalony porzdek, podporzdkowanie si wewntrznemu regulaminowi.
11 10

120

Aleksander Surdej

zpunktu widzenia ich celowoci iefektywnoci kosztowej moe zapobiega podejmowaniu bdnych lub zbyt kosztownych programw.

Pragmatyzm analizy kosztw ikorzyci


Analiza kosztw ikorzyci jest instytucjonalizowana jako element polityki publicznej wkrajach opragmatycznej (a nie ideologicznej) orientacji rzdw. Jest upowszechniana jak metoda poprawy jakoci interwencji rzdu wkrajach anglosaskich USA, Kanadzie czy Wielkiej Brytanii. Nie ma zastosowania wkrajach realizujcych cele ideologiczne, takie jak budowa pozycji midzynarodowej czy midzynarodowa ekspansja pastwa. Trudno znale jej zastosowanie wkrajach autorytarnych, gdzie wdecyzjach publicznych nie jest uwzgldniany gos poszczeglnych obywateli. Powtrzmy raz jeszcze: wstandardowych sytuacjach wymg dokonywania kalkulacji potencjalnych skutkw projektw ipolityk publicznych dla dobrobytu spoecznego nie powinien budzi kontrowersji. Rozpowszechnienie tego typu analiz zdecydowanie popara grupa wpywowych ekonomistw pod kierunkiem K. Arrowa12. Stwierdzili oni, e przy podejmowaniu decyzji publicznych nie powinno si ogranicza analizy ekonomicznych kosztw ikorzyci rnych typw przygotowywanych dziaa, aagendy rzdowe powinny przeprowadza takie analizy przy ustanawianiu priorytetw wszelkich swoich dziaa. Zalecali ponadto, aby jak najczciej analiza pochodzia ze rde zewntrznych wstosunku do urzdw. Postulowali take, aby analiza ekonomiczna uwzgldniaa takie kategorie, jak: spoeczna stopa dyskontowa, warto redukcji ryzyka przedwczesnej mierci i wypadkw oraz wartoci zwizane zpopraw stanu zdrowia. Przyjmujc pragmatyczne podejcie do analizy kosztw ikorzyci, zarysujmy jej podstawowe etapy. Wpierwszym etapie analizy kosztw ikorzyci przygotowujcy projekt czy proponujcy polityk urzd jest zobowizany do jasnego zdefiniowania problemu ipokazania, e projekt, czy polityka s rzeczywicie potrzebne. Nastpnie urzd powinien zbada alternatywne sposoby rozwizania problemu, w tym takie sposoby, ktre nie wi si zponoszeniem wydatkw. Wkolejnym etapie jest miejsce na analizy kwantyfikujce korzyci i koszty zwizane z realizacj kadej z potencjalnych alternatyw. Potem, powinna zosta przeprowadzona konsultacja zinstytucjami igrupami, na ktre projekt lub polityka moe oddziaa wcelu weryfikacji jej empirycznych podstaw, technicznej wykonalnoci i spoecznego poparcia.
Arrow K.J., Cropper M.L., Eads G.C., Hahn R.W., Lave L.B., Noll R.G., Portney P. R., Russel M., Schmalansee R., Smith V.K., Stavins R.N., Is there arole for benefit-cost analysis in environmental, health and safety regulation, Science, 12.04.1996.
12

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

121

W pragmatycznym ujciu analiza kosztw i korzyci jest zbiorem praktycznych procedur sucych podejmowaniu decyzji co do wydatkw publicznych. Zastosowanie procedur wcelu identyfikacji iklasyfikacji wartoci ipreferencji, ktre le upodstaw danego programu politycznego, jest szczeglnie istotne dla wyboru kryterium decyzyjnego (np. efektywno, skuteczno, sprawiedliwo) wprzypadku decyzji dotyczcych problemw zbiorowoci.
Tabela. Gwne zadania wanalizie typu kosztykorzyci
Zadanie
Strukturyzacja problemu publicznego Uszczegowienie celw Okrelenie alternatyw Poszukiwanie informacji, analiza iinterpretacja

Opis
Sformuowanie problemu poprzez okrelenie wstpnych celw, alternatyw, kryteriw, grup zainteresowanych, kosztw ikorzyci Przeksztacenie celw oglnych wczasowo okrelone imierzalne cele Wybr najkorzystniejszych alternatywnych polityk zszerszego zbioru potencjalnych rozwiza danego problemu Znalezienie, analiza iinterpretacja informacji potrzebnych do przewidzenia skutkw danych alternatyw

Identyfikacja zainteresoWyliczenie wszystkich grup, ktrych dotyczy dany program publiczny wanych grup ibeneficjen- (np. regulacja) lub celowe zaniechanie dziaa publicznych, oraz tych, tw danego programu ktrzy odnios korzyci zdziaania lub zaniechania Oszacowanie kosztw ikorzyci Dyskontowanie kosztw ikorzyci Oszacowanie wjednostkach pieninych szczegowych kosztw ikorzyci kadej zalternatyw we wszystkich kategoriach kosztw Sprowadzenie pieninych kosztw ikorzyci do ich wartoci obecnej przy uyciu stp dyskontowych

Oszacowanie ryzyka inie- Zastosowanie analizy wraliwoci do oszacowania prawdopodobiepewnoci stwa wystpienia przyszych kosztw ikorzyci Wybr kryterium decyzyjnego Zalecenia Wybr kryterium decyzyjnego spord nastpujcych alternatyw: poprawa wsensie Pareto, maksymalizacja korzyci netto Wybr alternatywy, ktra jest najbardziej prawdopodobna, zuwzgldnieniem konkurencyjnych zaoe etycznych ihipotez przyczynowych

rdo: Opracowanie na podstawie: Dunn W., Public Policy Analysis. An Introduction, wyd. 3, Prentice Hall 2003.

Analiza kosztw korzyci wperspektywie polityki publicznej


Znaczenie jednolitych regu iprocedur oraz jawnych ijednolitych parametrw decydowania owydatkach jest niezwykle wane, gdy wspczesne spoeczestwa domagaj si ograniczenia dyskrecjonalnoci w dziaaniach politykw irzdw. Chc, aby decyzje polityczne (decyzje rzdw) nie byy wynikiem materialnych interesw samych politykw (rzdzcych), ani te

122

Aleksander Surdej

interesw partyjnych. Warto podkreli, e postulat ograniczenia dyskrecjonalnoci jest cile zwizany zdaniem maksymalizacji dobrobytu szerokich grup wyborcw, anie tylko zpostulatem demokratycznej kontroli. Zwizek ten dobrze wyjania wskazana przez Josepha Stiglitza analogia pomidzy relacj midzy menederami przedsibiorstwa a jego wacicielami i relacj midzy rzdzcymi aobywatelami. Wobu przypadkach proceduralne ograniczenia dyskrecjonalnoci maj na celu zmniejszenie skonnoci menederw irzdzcych do dziaa sucych wasnym interesom istworzenie bodcw do dziaa na rzecz zwikszania dobrobytu udziaowcw iinteresariuszy (stakeholders)13. Ograniczenia proceduralne nie s wic celem same wsobie, nie s li tylko sposobem realizacji wyobrae etycznych, co do sposobw urzeczywistnienia ideaw sprawiedliwego i bezstronnego rzdu. S take, a moe przede wszystkim, narzdziem sucym maksymalizacji dobrobytu spoecznego. Przeciwiestwem dyskrecjonalnoci jest dziaanie wedug regu. Moe si wydawa paradoksalne, e okolicznoci dziaa dyskrecjonalnych s eliminowane (lub ograniczane), chocia wpewnych sytuacjach dziaania dyskrecjonalne mogyby lepiej suy maksymalizacji dobrobytu spoecznego ni dziaania wedug regu. Wyjanienie tego problemu wymaga wprowadzenia rozrnienia pomidzy efektami dziaa rzdu wkrtkim askutkami dugim okresie. Badania nowoczesnej ekonomii politycznej dowodz, e dziaanie wedug regu przynosi korzyci wduszym okresie wanie dziki ograniczeniu dyskrecjonalnoci. Jest tak pomimo tego, e wdanym momencie iprzypadku bardziej korzystna mogaby by decyzja dyskrecjonalna decyzja podjta znaruszeniem proceduralnych ogranicze. Podstawow zalet regu jest to, e zmniejszaj one niepewno co do interpretacji norm ustanawianych przez wadze publiczne. Znaczenie regu jest szczeglnie istotne wotoczeniu cechujcym si du zoonoci, wsystemie skadajcym si zduej liczby aktorw iwyszej czstotliwoci dziaa. W badaniach ekonomii politycznej wbadaniach prowadzonych wperspektywie metodologicznego indywidualizmu i przyjmujcych zaoenie oracjonalnoci dziaa jednostki, znaczenie regu nie byo do niedawna dostatecznie zauwaane. Sytuacja ta zacza si zmienia od pocztku lat 60., dziki pracom Jamesa M. Buchanana iJamesa S. Colemana. Analizy te wskazay na dwa rda spoecznej uytecznoci norm iregu. Po pierwsze, s one narzdziem rekompensujcym niedostateczn racjonalno jednostki, jej ograniczenia kognitywne oraz koszty iniekompletno informacji. Po drugie, normy ireguy mog pomaga wprzezwycianiu swoistej nadmiernej racjonalnoci jednostki (w znaczeniu racjonalnoci instrumentalnej), ktra jej

13 Stiglitz J., Principal and agent (II), w: J. Eatwell, M. Milgate, P. Newman (red.), The New Palgrave: ADictionary of Economics, t. 3, Macmillan Press, London 1987.

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

123

utrudnia realizacj dugookresowych celw, skaniajc j do oportunistycznych zachowa. Istnienie regu umoliwia jednostce uzyskanie informacji pozwalajcych jej sformuowa poprawne oczekiwania dotyczce zachowa innych ludzi i przedsibiorstw. Wikszo regu ma charakter samopodtrzymujcy, czyli nie wymaga istnienia zewntrznego organu sankcjonujcego ich amanie. Dzieje si tak wtedy, gdy przestrzeganie regu jest korzystne dla wszystkich. Dostarczajc informacji, reguy wspieraj procesy rynkowe, czasami jednak mog zastpowa transakcje rynkowe. Twierdzenie to stanie si bardziej zrozumiae, gdy zostanie wyjanione na nastpujcym przykadzie. Mona sobie wyobrazi, e zamiast zachowa wedug reguy przejazd na czerwonym wietle jest zabroniony, przejazd na zielonym wietle jest dozwolony, kadym skrzyowaniem zarzdza bdzie osoba, ktre bdzie przydziela prawo do przejazdu przez skrzyowanie poprzez alokacj na zasadzie aukcji. Jednake taka hipotetyczna moliwo wie si zwysokimi kosztami transakcyjnymi i reguy przejazdu okazuj si bardziej efektywne ni czyste instytucje rynkowe wrozwizywaniu problemu koordynacji przejazdw przez skrzyowania. Reguy zawieraj bodce do okrelonego dziaania. Analiza regu wymaga, aby zidentyfikowane zostay zawarte wnich bodce. Od czasw prac Adama Smitha wiadomo, e pewne reguy gospodarki rynkowej, takie jak prawo wasnoci czy prawne instrumenty egzekwowania dobrowolnych zobowiza, su harmonizacji interesw czstkowych winteres oglny. Tworzcy, wtym samym, co Adam Smith, okresie, Alexander Hamilton wskaza na etyczne znaczenie regu, piszc, e reguy mog sprawi, e interesy zbiegaj si zpowinnoci. Wedug Geoffreya Brennana iAlana Hamlina stanowisko Hamiltona oznacza uznanie tego, e instytucje rynkowe nie tylko dostarczaj tego, co powinno zosta dostarczone, lecz rwnie mwi nam, czym to jest14. Dowiadczenie wskazuje rwnie na moliwo wystpowania prawidowoci, zgodnie zktr ludzie nie tylko odpowiadaj na bodce, ale, wpewien sposb, instytucje dobieraj sobie ludzi, ktrzy odpowiadaj na ich bodce. Dla lepszego zilustrowania tej prawidowoci warto posuy si przykadem. Zduym prawdopodobiestwem stwierdzi mona, e ludzie unikajcy ryzyka nie bd inwestowa na giedzie, lecz bd kupowa obligacje skarbowe, e czciej bd administratorami w instytucjach pastwowych ni menederami w przedsibiorstwach rynkowych. Uoglniajc, w ujciu statycznym, stwierdzi mona, e instytucje opewnych wymaganiach iludzie opewnych dyspozycjach dopasowuj si wzajemnie. Wdynamicznym ujciu mona powiedzie, e ludzie aspirujcy do pewnych stanowisk staraj si wyksztaci dyspozycje umoliwiajce im skuteczne funkcjonowanie w takich instytu14 Brennan G., Hamlin A., Constitutional Economics, w: P. Newman (red.), The New Palgrave Dictionary of Economics and the Law, Macmillan, London 1998.

124

Aleksander Surdej

cjach. Optymalna selekcja ludzi do instytucji wymaga rozwizania problemu faszywych sygnaw, czyli efektywnego eliminowania jednostek, ktre udaj, e posiadaj wymagane przez nie cechy. Gry koordynacyjne s grami, w ktrym istnieje zbieno pomidzy korzyci zbiorow akorzyci indywidualn, trudno polega jedynie na skoordynowaniu zachowa jednostek wkierunku pewnego wsplnego wzoru15. Przykadem problemu koordynacji jest unikanie kolizji drogowych wsytuacji dowolnoci wyboru strony drogi, po ktrej poruszaj si pojazdy. Zpunktu widzenia jakoci ruchu drogowego nie jest wane, czy pojazdy poruszaj si praw czy lew stron drogi, wane jest, aby poruszay si t sam stron drogi. W funkcji rozwizywania problemw koordynacyjnych reguy su dostarczaniu informacji otym, co jest kolektywnie optymalne ijak t kolektywn optymalno osign. Wyciu zbiorowoci reguy, wskaza na to Andrew Schotter, mog suy zapobieganiu powtarzalnemu wystpowaniu zachowa, ktre prowadz do zbiorowej nieefektywnoci16.

Zakoczenie
Dotychczasowe wyniki poszukiwa obiektywnej inaukowej podstawy podejmowania decyzji publicznych nie s zadowalajce. Naley si zgodzi ze stwierdzeniem dwjki klasykw analizy polityk publicznych, ktrzy mwi, e chocia filozofowie iekonomici prbowali od dwch stuleci opracowa jednoznaczne procedury suce do pomiaru i czenia dobrobytu dwch lub wicej jednostek wcelu zmierzenia cznego dobrobytu spoecznego, to ich denie okazao si takim sukcesem, jakim byy prby alchemikw przeksztacenia oowiu wzoto. Sporadyczne iskierki nadziei wygasy, nie tylko nie powstaa adna wykonalna procedura, nie ma take takiej na horyzoncie17. Zkolei wedug innego pesymistycznego stwierdzenia nawet amerykaska praktyka analizy kosztw ikorzyci jest rodzajem ozdoby dodawanej do ju podjtych planw, ktre przygotowane zostay bez wikszego odniesienia do kryteriw efektywnoci ekonomicznej18. Nie trzeba by jednak cakowitym pesymist. Chocia decyzja o rozpoczciu wojny wIraku nie zapada po zastosowaniu analizy kosztw ikorzyci, to jej niecakowicie ex post skutki zostay zmierzone. Jakkolwiek jest prawd, e wiele projektw publicznych ma na celu gwnie budowanie poparcia
15 Problemy koordynacji omawia m.in. praca Besanko D., Dranove D., Shanley M., Economics of Strategy, John Wiley & Sons 2000).. 16 Schotter A., The Economic Theory of Social Institutions, Cambridge University Press, 1981. 17 Stockey E., Zeckhauser R., APrimer for Policy Analysis, Norton, New York 1978, s. 276. 18 Marglin S., Public Investment Crite ria: Benefit-Cost Analysis for Planned Economic Growth, Mass.: MIT Press, Cambridge 1967.

Metoda analizy kosztw ikorzyci: imperatyw efektywnoci

125

politycznego, to mona mie nadziej, e dziki analizie kosztw ikorzyci poparcie to moe by budowane przy mniejszym marnotrawstwie rodkw publicznych. Innymi sowy analiza kosztw ikorzyci, tam gdzie jest stosowana iupowszechniana, suy poprawie spoecznego dobrobytu nie dlatego, e zapewnia niezawodn ocen zmian wywoywanych przez programy publiczne, ale dlatego, e dostarcza jzyka racjonalnej debaty publicznej, umoliwiajc zrozumienie isformuowanie natury sporu politycznego oraz dlatego, e wymusza ujawnianie informacji, na podstawie ktrych s podejmowane decyzje wadz publicznych. Myl t najlepiej oddaj sowa Richarda A. Posnera, ktry pragmatyczn obron analizy kosztw ikorzyci, tj. niegoszc tezy, e analiza kosztw ikorzyci jest jedyn zasad decyzyjn waciw dla polityk publicznych, zakoczy stwierdzeniem, e analiza kosztw ikorzyci nie wymaga adnego gbszego ibardziej rygorystycznego uzasadnienia ni to, e dziki niej uzyskujemy wyniki, ktre lubimy19. Te preferowane spoecznie wyniki nazwa mona triad spoecznego dobrobytu: wicej konkurencji na rynku, wicej rynku wdziaaniach pastwa iwicej dobrowolnych zbiorowych dziaa jednostek zamiast biurokratycznej intruzji pastwa.

Aleksander Surdej doktor habilitowany nauk ekonomicznych, kierownik Katedry Studiw Europejskich i profesor Uniwersytetu Ekonomicznego w Krakowie. Swoje zainteresowania badawcze koncentruje na analizie polityki regulacyjnej, w tym szczeglnie analizie polityki regulacji spoecznych. Tym zagadnieniom powicona jest jego monografia: Determinanty regulacji administracyjnoprawnych woddziaywaniu pastwa na gospodark (Krakw 2006). Wswoich publikacjach, artykuach, rozdziaach w opracowaniach zbiorowych oraz raportach dla Banku wiatowego iKomisji Europejskiej publikowanych wjzyku polskim, woskim iangielskim analizuje inne polityki publiczne okresu transformacji, wtym polityk pastwa wobec maych irednich przedsibiorstw, wspieranie rozwoju przedsibiorczoci (Supporting Youth Entrepreneurship: the Case of Poland, Palgrave 2008) oraz polityk regulacji ryzyka na przykadzie bezpieczestwa ywnoci (Enlarging the EU Food Safety Regime: Selected Problems in Adjusting the Polish Food Safety Regime to EU Food Safety Requirements, Florencja 2004). Uczestniczy wwielu midzynarodowych projektach badawczych, by stypendyst Holenderskiej Akademii Nauk, Uniwersytetu Europejskiego we Florencji oraz Uniwersytetu Narodw Zjednoczonych. Czonek Rady Naukowej Instytutu Organizacji iZarzdzania wPrzemyle Orgmasz. Absolwent UJ, Johns Hopkins University oraz Uniwersytetu Europejskiego we Florencji. Redaktor naczelny iwydawca pisma internetowego Panstwo irynek (www.pir.org.pl).
19

Posner R., CBA: Definition, Justification and Comment, w: M.D. Adler, E.A. Posner, op.cit.

126

Aleksander Surdej

Bibliografia
Arrow K.J., Cropper M.L., Eads G.C., Hahn R.W., Lave L.B., Noll R.G., Portney P. R., Russel M., Schmalansee R., Smith V.K., Stavins R.N., Is there arole for benefit-cost analysis in environmental, health and safety regulation, Science, 12.04.1996. Bednarski M., Wilkin J., Ekonomia dla prawnikw, PWN, Warszawa 2003. Besanko D., Dranove D., Shanleya M, Economics of Strategy, John Wiley & Sons 2000. Blaug M., Teoria Ekonomii, PWN, Warszawa 1994. Boardman A.E., Greenberg D.H., Vining A.R., Weimer D.L., Cost-Benefit Analysis: Concepts and Practice, Upper Saddle River, Prentice-Hall 2001. Brennan G. Hamlin A., Constitutional Economics, w: P. Newman (red.), The New Palgrave Dictionary of Economics and the Law, Macmillan, London 1998. Coleman J.S., Norms as Social Capital, w: G. Radnitzky, P. Bernholz (red.), Economic Imperia lism. The Economic Approach Applied Outside the Field of Economics, Paragon House, New York. Dunn W., Public Policy Analysis. An Introduction, wyd. 3, Prentice Hall 2003. Dupuit J., On the measurement of the utility of public works (tumaczenie na jzyk angielski w:International Economic Papers 1952, nr 2). Dupuit J., On utility and its measure on public utility, Journal des Economistes, nr 36. Haveman R.H., Weimer D.L., Cost Benefit Analysis, International Encyclopedia of the Social &Behavioral Sciences, Elsevier 2001. Kaldor N. Welfare propositions of economics and interpersonal comparisons of utility, Economic Journal 1939, vol. 49. Marglin S., Public Investment Crite ria: Benefit-Cost Analysis for Planned Economic Growth, Mass.: MIT Press, Cambridge 1967. Persky J., Retrospectives: Cost-benefit analysis and the classical creed, The Journal of Economic Perspectives 2001, vol. 15, nr 4. Pigou A., The Economics of Welfare, MacMillan, Londyn 1920. Posner R., CBA: Definition, Justification and Comment, w: M.D. Adler, E.A. Posner, Cost-Benefit Analysis. Legal, Economic and Philosophical Perspectives, University of Chicago Press, ChicagoLondon 2001. Richardson S.H., The Stupidity of Cost-Benefit Standard, w: M.D. Adler, E.A. Posner, Cost-Benefit Analysis. Legal, Economic and Philosophical Perspectives, University of Chicago Press, ChicagoLondon 2001. Sen A., The Discipline of Cost-Benefit Analysis, w: M.D. Adler, E.A. Posner, Cost-Benefit Analysis. Legal, Economic and Philosophical Perspectives, University of Chicago Press, ChicagoLondon 2001. Schotter A., The Economic Theory of Social Institutions, Cambridge University Press 1981. Stiglitz J., Principal and agent (II), w: J. Eatwell, M. Milgate, P. Newman (red.), The New Palgrave: ADictionary of Economics, t. 3, Macmillan Press, London 1987. Stockey E., Zeckhauser R., APrimer for Policy Analysis, Norton, New York 1978. Varian R.H., Recalculating the Costs of Global Climate Change, New York Times, 14.12.2006.

Cezary Trutkowski

O uwarunkowaniach stosowania metod jakociowych wbadaniach spoecznych iewaluacyjnych


Pod koniec lat 90. ubiegego wieku (a zatem nie wicej ni 10 lat temu!), na zjedzie Amerykaskiego Stowarzyszenia Ewaluacyjnego, wczesny prezydent tej organizacji, William Sadish, podsumowujc rozwj bada ewaluacyjnych stwierdzi: zao si, e gdyby poprosi czonkw naszego stowarzyszenia, aby wskazali jedno zagadnienie, najczciej dyskutowane inajbardziej dzielce [ewaluatorw] wtrakcie ostatnich 20 lat, to wskazaliby debaty ilociowo-jakociowe. Elementem tych debat zpewnoci bya metodologia, jako e wielu ewaluatorw musiao dopiero zapozna si z metodami jakociowymi, oktrych przecie wiedzieli do niewiele1. Dzi, pod koniec pierwszej dekady XXI wieku debaty te nie s ju tak gorce, a kwestia stosowania metod ilociowych i jakociowych nie kreli wrd badaczy zdecydowanych linii podziaw teoretycznych. Cz znich uznaa bowiem dyskusj wok metod za jaow inieprowadzc do adnych powszechnie akceptowanych ustale. Badacze ci zajli si na og uprawianiem swej dyscypliny, wykorzystujc te metody, dla ktrych osobicie znajduj lepsze uzasadnienie, w ktrych zostali lepiej wyszkoleni i w ktrych stosowaniu maj wiksze dowiadczenie. Zdystansem przy tym obserwuj dziaania kolegw po drugiej stronie dawnego metodologicznego sporu. Inni prbuj znale drog do integracji podejcia ilociowego ijakociowego, wskazujc na wynikajce z niej moliwoci peniejszego spojrzenia na badany problem ipodkrelajc pozytywny efekt triangulacji wynikajcy ze stosowania metod charakteryzujcych si rnym rodzajem bdu pomiaru 2. Wreszcie trzeci grup stanowi badacze spoeczni wiadomi rnic paradygmatycznych, lecych upodoa obu perspektyw, iprzez to odrzu Sadish W.R., Evaluation theory is who we are, American Journal of Evaluation 1998, vol. 19, nr 1, s.3. 2 Jasiski M., Kowalski M. Faszywa sprzeczno: metodologia jakociowa czy ilociowa?, w:A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, PARP, Warszawa 2007.
1

128

Cezary Trutkowski

cajcy prost ide triangulacji, lecz pragmatycznie wykorzystujcy wpraktyce badawczej oba podejcia wodniesieniu do rnych, odpowiadajcych im zjawisk. Nie zamierzam uczestniczy wzarysowanej wyej debacie. Chc jednak zastanowi si nad natur i celem stosowania bada jakociowych, praktycznymi uwarunkowaniami ich wykorzystywania oraz konsekwencjami, jakie to rodzi dla ewaluacji. Istnieje bowiem istotna rnica pomidzy badaniami spoecznymi abadaniami ewaluacyjnymi, ktra sprawia, e przynajmniej wodniesieniu do tych ostatnich, debata ilociowo-jakociowa traci na znaczeniu.

Specyfika metod jakociowych


Jak zauwaa Babbie wswoim, klasycznym ju, podrczniku: jakociowe badania terenowe umoliwiaj badaczom obserwowanie ycia spoecznego wjego naturalnym rodowisku: id tam, gdzie toczy si proces iobserwuj go. Tym samym metody jakociowe s szczeglnie odpowiednie do poznawania tych postaw izachowa, ktre najlepiej mona zrozumie wich naturalnym otoczeniu3. Ito jest wanie pierwsza, zasadnicza cecha konstytutywna bada jakociowych pozwalaj one na uchwycenie procesw spoecznych w trakcie ich trwania i objcie obserwacj szerokiego spektrum zjawisk skadajcych si na te procesy bez koniecznoci predefiniowania jednostek obserwacji, jak to ma miejsce wprzypadku np. bada sondaowych. Zakadajc pewne uproszczenie, mona take przyj, e metody jakociowe to takie sposoby postpowania badawczego, ktre daj rezultat wpostaci nienumerycznych, niekwantyfikowalnych danych (przybierajcych na og posta tekstu np. opisy obserwacji, transkrypcje wywiadw, opinie ekspertw itp.)4. Narracyjna posta danych jakociowych w zaoeniu umoliwia gbsze ipeniejsze poznanie badanego problemu5 (m.in. dziki aktualizacji przekazu), aproces zbierania tych danych zakada bezporedni udzia badacza wnaturalnie zachodzcych procesach spoecznych. Zatem drug cech wyrniajc jakociowe metody badawcze jest format uzyskiwanych danych na og s to dane wtakiej, czy innej formie tekstowej. Jak zauwaa przy tym Bamberger: celem analiz opisowych jest zrozumienie unikalnych charakterystyk okrelonego kontekstu (np. spoecznoci,
Babbie E., Badania spoeczne w praktyce, Wydawnictwo Naukowe PWN, Warszawa 2003, s.308310. 4 Por. Schwandt T.A., Qualitative inquiry, Sage, Thousand Oaks, CA 1997. 5 Miller G., Dingwall R. Analyzing Social Settings, Wadsworth Publishing, Belmont, CA 1997.
3

O uwarunkowaniach stosowania metod jakociowych

129

organizacji, wydarzenia), rodziny lub jednostki6. Oznacza to, e badania jakociowe rni si od bada ilociowych take zakresem analizowanych zjawisk zainteresowanie badaczy skupia si tu przede wszystkim na poziomie lokalnym (mikro)7, acelem bada jest zrozumienie procesw zachodzcych na poziomie jednostkowym bd grupowym, a nie jakakolwiek agregacja. Uzyskiwane dane maj w zwizku z tym charakter kontekstowy i pozostaj silnie uzalenione od lokalnych sposobw interpretacji. Naley przy tym pamita, e podejcie jakociowe stawia sobie za cel holistyczne rozumienie badanego zjawiska8, co podkrela Babbie, zauwaajc, e przez podanie do zjawiska spoecznego poddawanego badaniu iobserwowanie go na tyle caociowo, na ile to jest moliwe, badacz ma szans uzyska gbsze ipeniejsze jego rozumienie9. Kolejn cech wyrniajc badania jakociowe jest specyfika procesu gromadzenia danych. Proces ten jest na og znacznie mniej ustrukturyzowany ni ma to miejsce wprzypadku bada ilociowych. Wzasadzie nie istniej sztywne kanony dotyczce rozplanowania bada jakociowych, zakresu iczasu ich realizacji, doboru respondentw, czy nawet sposobu formuowania pyta. Mona przyj, e jak w przypadku bada ilociowych, minimaln gwarancj sukcesu jest trzymanie si procedur od dawna utrwalonych wteorii ipraktyce badawczej (np. zasady doboru prby, reguy formuowania pyta, standardy prowadzenia bada wterenie, czy wzory analiz statystycznych), tak w badaniach jakociowych jedyn gwarancj moe by profesjonalizm, dowiadczenie iwiedza metodologiczna badacza. Podkrelam, e elastyczno metodologii jakociowej nie oznacza w adnym razie ekspresji anarchizmu metodologicznego10. Po pierwsze, dobra praktyka podejcia jakociowego oznacza systematyczno realizacji bada prowadzenie ich zgodnie zwczeniej ustalonymi iwyeksplikowanymi zaoeniami dotyczcymi konkretnego projektu badawczego (poczwszy od jednoznacznego sformuowania pyta badawczych, poprzez opracowanie iprzetestowanie narzdzi, okrelenie czasowego iprzestrzennego zakresu prac terenowych, wypracowanie iskuteczne wdroenie zasad doboru respondentw, uzgodnienie form utrwalania danych oraz zasad analizy i prezentacji wynikw, a skoczywszy na rnych sposobach weryfikacji wypracowanych wnioskw11). Po drugie, istnieje sze6 Bamberger M., Opportunities and challenges for integrating quantitative and qualitative research, w: M. Bamberger (red.), Integrating quantitative and qualitative research in development pro jects, World Bank, Washington, DC 2000, s.15. 7 Ibidem. 8 Zob. Chung K., Issues and approaches in the use of integrated methods, w: M. Bamberger, op. cit. 9 Babbie E., op.cit., s.309. 10 Szerzej na ten temat: Grniak J., Worek B., Krupnik S. Zastosowanie podejcia bada jakociowych wewaluacji ex-post, w: A. Haber (red.), Ewaluacja ex-post, op.cit. 11 Ibidem.

130

Cezary Trutkowski

reg ustalonych ido powszechnie akceptowanych regu prowadzenia bada jakociowych12 np.prowadzenia grup fokusowych13, wywiadw pogbionych14 czy realizacji innych technik15. Powysze zestawienie cech konstytutywnych bada jakociowych pozwala wskaza ich mocne isabe strony zpunktu widzenia praktyki badawczej. Bez wtpienia, jak zauwaa Babbie, s one szczeglnie efektywne, gdy stosuje si je do badania subtelnych niuansw wpostawach izachowaniach oraz do badania procesw spoecznych w czasie. Dlatego gwna mocna strona tej metody ley wgbi rozumienia, ktre umoliwia16. Inne mocne strony to elastyczno, na ktr pozwalaj, i wiksza trafno ustale ni wprzypadku bada ilociowych (uzyskiwana wanie dziki gbi rozumienia iholistycznemu podejciu do przedmiotu badania). Zkolei wrd sabych stron bada jakociowych najczciej wymienia si brak moliwoci generalizacji wynikw17 i problemy z rzetelnoci zbytni subiektywizm wypracowywanych wnioskw iich uzalenienie od osobistego osdu iperspektywy badacza18.

Konsekwencje perspektywy badawczej metody kontekstowe ipozakontekstowe


Jak zauwaa Alvin Gouldner: stosowanie takich anie innych technik badawczych zakada istnienie okrelonych zaoe na temat czowieka ispoeczestwa19. Tym samym, uznanie zasadnoci wykorzystywania okrelonych metod wymaga uwzgldnienia iweryfikacji zaoe dotyczcych natury ba12 Blisze informacje w wydanych ostatnio: Babbie E., Badania spoeczne w praktyce, op.cit.; Silverman D., Interpretacja danych jakociowych, PWN 2008; Rubacha K. Metodologia bada nad edukacj, Wydawnictwa Akademickie iProfesjonalne 2008. 13 Zob. np. Maison D., Zogniskowane wywiady grupowe. Jakociowa metoda bada marketingowych, Wydawnictwo Naukowe PWN, Warszawa 2001; Morgan D.L., Successful focus groups. Advancing the state of the art., Sage 1993; Morgan D.L., Focus groups, Annual Review of Sociology 1996, vol.22. 14 Helling I.K., Metoda bada biograficznych w: J.Wodarek, M. Zikowski, Metoda biograficzna wsocjologii, PWN, Warszawa 1990; Rubin H.J., Rubin, I.S., Qualitative interviewing: The art of hearing data, Sage Publications, Thousand Oaks, CA 2004. 15 Antoszkiewicz J., Metody heurystyczne. Twrcze rozwizywanie problemw; Pastwowe Wydawnictwo Ekonomiczne, Warszawa 1990; Stra-Romanowska M. (red.), Metody jakociowe wpsychologii wspczesnej, Wydawnictwo Uniwersytetu Wrocawskiego 2000. 16 Babbie E., op. cit., s.334. 17 Chung K., op. cit., s.42. 18 Babbie E., op. cit., s.335. 19 Gouldner A., Teoretyczny kontekst socjologii, w: E. Mokrzycki, Kryzys ischizma, PIW, Warszawa 1984, s.89.

O uwarunkowaniach stosowania metod jakociowych

131

danej rzeczywistoci. Jeli przedmiotem naszego zainteresowania s zjawiska zachodzce na poziomie lokalnym (mikro), np. wobrbie jakie grupy spoecznej, instytucji, spoecznoci itp., to powinnimy do ich badania wykorzystywa metody, ktre umoliwi nam uchwycenie iuwzgldnienie lokalnego kontekstu. Kontekst ten moemy zdefiniowa za Teunem van Dijkiem jako ustrukturyzowany zestaw wszystkich waciwoci sytuacji spoecznej, ktre mog by istotne dla produkcji, struktury, interpretacji oraz funkcji tekstu i wypowiedzi20. Wszerszym ujciu zbir sytuacji spoecznych (zdarze komunikacyjnych), wktrych uczestnicz jednostki wyznacza bdzie wsplnot komunikacyjn tworzon wokrelonych spoecznych ramach (np. instytucji, projektu, krgu przyjaci itp.). To wanie przynaleno do okrelonych komunikacyjnych wsplnot decyduje oksztacie naszej rzeczywistoci spoecznej, zwizkach, ktre nawizujemy ikontynuujemy wtrakcie naszego ycia, ogrupach, do ktrych naleymy, io rzeczach, ktre decydujemy si robi. wiat, wktrym yjemy, ktry nas bezporednio otacza (a zatem wanie nasz wiat lokalny, nasza skala mikro), jest bowiem wytwarzany iprzetwarzany przede wszystkim wramach komunikacji, ktr prowadzimy zarwno zinnymi ludmi, jak izsamymi sob. To wanie wramach dokonywanej nieustannie interpretacji inazywania rzeczywistoci wytwarzamy przedmioty irelacje, ktre wefekcie staj si dla nas jej znaczcymi elementami. Elementy te uzgadniamy zinnymi ustalamy znaczenia tak, abymy mogli wprzyszoci czu, e yjemy wwiecie wsplnym, uznanym izaakceptowanym przez wanych dla nas ludzi. Nasze dowiadczenia oraz dziki relacjom zinnymi poznane dowiadczenia innych, wpywaj na rozumienie wiata, stanowice podstaw spoecznego funkcjonowania wrnego rodzaju grupach. Rozumienie to iporozumienie z innymi w ramach okrelonej wsplnoty komunikacyjnej moliwe jest dziki modelom kontekstowym swego rodzaju umysowym reprezentacjom okrelonych zdarze komunikacyjnych ktre zbiegiem czasu wspwypracowujemy. Modele kontekstowe, jako cz osobistego dowiadczenia jednostki, skadaj si na jej dowiadczenie spoeczne. Same w sobie maj charakter osobisty, subiektywny i potencjalnie stronniczy (uprzedzeniowy), ajako takie odzwierciedlaj osobowociowo zmienne interpretacje iopinie na temat zdarze komunikacyjnych21. Modele kontekstowe, bdce przedmiotem analiz w postpowaniu badawczym, obejmujce wsplnoty komunikacyjne (a wic porednio zbir sytuacji spoecznych), odzwierciedlaj, wjaki sposb uczestnicy okrelonego zdarzenia komunikacyjnego postrzegaj, interpretuj imentalnie odwzorowuj te waciwoci sytuacji spoecznej, ktre s dla nich istotne.
20 21

van Dijk T., Ideology. Amultidisciplinary approach, Sage 1998, s.211212. Ibidem, s.82.

132

Cezary Trutkowski

Granice lokalnoci (czyli poziomu mikro) wyznaczane bd zatem poprzez okrelone wsplnoty komunikacyjne, w ktrych pozostaj jednostki. Wsplnota komunikacyjna jest oczywicie zzaoenia pojciem szerszym ni bezporednia interakcja uwzgldnia bowiem jej histori, struktur spoeczn oraz modele kontekstowe, ktre wsplnota wykorzystuje. Metoda badania tak rozumianej rzeczywistoci spoecznej w oczywisty sposb powinna odpowiada charakterowi badanych zjawisk, czyli powinna umoliwia uchwycenie procesu, wtrakcie ktrego dochodzi do interpretacji rzeczywistoci. Jak bowiem stwierdzi Andrzej Piotrowski: zwizek midzy teori ametod ma charakter implikacyjny: zaoenia otym, czym jest rzeczywisto spoeczna, wyznaczaj wybr metody jej badania wtym sensie, e skaniaj do eliminacji procedur nie chwytajcych zjawisk istotnych na gruncie okrelonej teorii. Iodwrotnie, wybr metody, owocujcy okrelonym zbiorem danych isposobw ich opracowania, przesdza wduej mierze ozakresie zjawisk, oktrych badacz bdzie mg orzeka22. Przyjmujc zaoenia o komunikacyjnej naturze lokalnej rzeczywistoci spoecznej, powinnimy zatem wybiera takie metody, ktre umoliwiaj nam odtworzenie procesw komunikacyjnych zachodzcych na poziomie mikro. Zdaniem Moscoviciego (ktry zaproponowa teori spoecznych reprezentacji swego rodzaju spoecznie uzgodnionych i podzielanych teorii rzeczywistoci spoecznej23) powinnimy: (a) dobiera materia do badania tak, by reprezentowa on prb rozmw prowadzonych wspoeczestwie, (b) traktowa reprezentacje spoeczne jako rodki odtworzenia rzeczywistoci, (c) mie na wzgldzie, i charakter reprezentacji ujawniany jest szczeglnie wyrazicie wczasie rnego rodzaju kryzysw iwstrzsw spoecznych i(d) pamita, i ludzi, ktrzy wypracowuj reprezentacje, naley traktowa jak naukow cwama torw, a grupy, ktre tworz, jako wspczesne odpowiedniki stowarzysze naukowych, jakie istniay prawie wiek temu24. Program metodologiczny odpowiadajcy tym postulatom powinien umoliwia badanie zjawisk spoecznych, ktre powstaj dopiero wtrakcie iw wyniku wspdziaania ludzi. Jeli chcemy bada nieprzerwany dialog, ktry wytwarza, modyfikuje i zmienia spoeczne reprezentacje, to powinnimy albo uywa
Piotrowski A., Teoria abadanie empiryczne. Par uwag oich zwizku worientacjach wspczesnej socjologii w: A. Giza-Poleszczuk, E. Mokrzycki (red.), Teoria ipraktyka socjologii empirycznej, Warszawa: IFiS PAN 1990, s.21. 23 Wicej oteorii spoecznych reprezentacji: Moscovici S., Social representations. Explorations in social psychology, Polity Press, Cambridge 2000; Trutkowski C., Teoria spoecznych reprezentacji ijej zastosowania w: M. Marody (red.), Wymiary ycia spoecznego. Polska na przeomie XX iXXI wieku, Wydawnictwo Naukowe Scholar, Warszawa 2007. 24 Moscovici S., The phenomenon of social representations w: R. Farr, S. Moscovici (red.), Social Representations, Cambridge University Press 1984, s.5259; patrz take: Flick U., Social representations and the social construction of everyday knowledge: theoretical and methodological queries, Social Science Information 1994, nr 33 (2).
22

O uwarunkowaniach stosowania metod jakociowych

133

metod przystosowanych do interpretacji naturalnie toczcych si konwersacji albo te, jeli to nie jest moliwe, powinnimy prbowa wytworzy i podtrzymywa przejawy tego dialogu w wywiadach, w ktrych nie kadzie si nacisku na standaryzacj idue prby ale pozostawia si badanym miejsce na rozwinicie ich punktw widzenia ina [uchwycenie wykorzystywanych przez nich] sposobw odtwarzania (re-create) rzeczywistoci lub tych jej czci, ktre stanowi przedmiot badania25. Konieczne wydaje si tu podkrelenie, e zasadniczym celem prowadzonych bada jakociowych jest przede wszystkim zrozumienie wiata osb badanych, anie ustalenie zakresu rozpowszechnienia pewnych zjawisk czy konieczne okrelenie zewntrznej wanoci uzyskanych wynikw. To wanie poprzez zrozumienie sposobu rekonstrukcji zjawisk jestemy wstanie doj do wnioskw na temat postrzegania badanej rzeczywistoci spoecznej inadawanych jej znacze, atym samym okreli moliwe iprawdopodobne sposoby jednostkowych i grupowych reakcji na wydarzenia w niej zachodzce. Rozumienie, o ktrym tu mowa, jest diltheyowskim rozumieniem hermeneutycznym, innymi sowy jest poszukiwaniem wskazwek do interpretacji rzeczywistoci wwypowiedziach osb badanych, wprzekazach pyncych z mass mediw, czy w rozmowach prowadzonych w rodzinie iwrd znajomych26. W wietle powyszych rozwaa zapewne nie zaskoczy Czytelnika stwierdzenie, e jednym najwaniejszych czynnikw odrniajcych badania jakociowe od bada ilociowych (cho oczywicie nie jedynym) jest, wmoim przekonaniu, kwestia rnicy perspektyw, z ktrych prbuj one ogarn rzeczywisto spoeczn oraz wynikajcych znich konsekwencji. Metody ilociowe pozwalaj spojrze na spoeczestwo sensu largo ianalizowa procesy na poziomie makro, niekoniecznie sprowadzalne do poziomu jednostkowego, czy grupowego. Metody jakociowe za, jako te, ktre nie pozwalaj na agregacj, s interpretacyjne ibardziej elastyczne, nadaj si do analiz prowadzonych na poziomie mikro s przystosowane do interpretacji kontekstw, w ktrych yj grupy spoeczne i jednostki. Czy ten podzia mona zatem przedstawi wpostaci dychotomii metody kontekstowe metody pozakontekstowe? Niestety, nie do koca. Problemem przy takiej prbie systematyzacji bd te techniki badawcze, ktre korzystaj np. zdanych ilociowych, ale s cile uzalenione od kontekstu, jak np. analiza treci. Bamberger uwaa, e wzwizku ztym warto myle odwch kontinuach: jednym, na ktrym mona ulokowa techniki badawcze wzalenoci od stopnia kwantyfikowalnoci
Flick U., op. cit., s.189. Szerzej na ten temat: Trutkowski C., Spoeczne reprezentacje polityki, Wydawnictwo Naukowe Scholar, Warszawa 2000; Trutkowski C., Zogniskowane wywiady grupowe prba teoretycznego uzasadnienia w: CD-ROM XI Oglnopolski Zjazd Socjologiczny. Materiay ze Zjazdu; PTS iWysza Szkoa Spoeczno-Gospodarcza wTyczynie 2000.
26 25

134

Cezary Trutkowski

wynikw (kontinuum jakociowe-ilociowe) idrugim, ktre uwzgldniaoby przystosowanie technik badawczych do analizy lokalnych kontekstw27. Wydaje mi si, e to drugie kontinuum jest bardziej czytelne, jako e uwzgldnia nie tylko charakter gromadzonych danych, ale take bierze pod uwag cele realizacji bada. Metody kontekstowe prbuj zrozumie ludzkie dziaania w ramach spoecznego, kulturowego, ekonomicznego i politycznego rodowiska lokalnoci zazwyczaj wioski, ssiedztwa czy grupy spoecznej, natomiast metody pozakontekstowe abstrahuj od szczegw lokalnoci po to, aby okreli prawidowoci (trendy) generalne28. Pojawia si wtym miejscu zasadne pytanie czy przy takim ujciu rnic pomidzy wskazanymi podejciami badawczymi wogle moliwa jest jakakolwiek ich integracja, czy te s to perspektywy wzajemnie nieprzystajce, przeznaczone do badania odmiennych zagadnie? Wliteraturze znale mona wiele modeli czenia metod jakociowych iilociowych wramach jednego projektu badawczego29. Proponowane podejcia to m.in. rwnolege wykorzystanie rnych technik do badania rnego typu zjawisk (w zalenoci od kontekstualnoci przedmiotu badania), sekwencyjne stosowanie rnych metod wcelu wypracowania lepszych narzdzi pomiaru, zawenia pola obserwacji, czy te pogbienia uzyskanych wnioskw oraz rnorodnie rozumiana triangulacja, uzasadniana najczciej jako sposb zwikszania trafnoci irzetelnoci wynikw. Przykadem integracji metod kontekstowych i pozakontekstowych moe by sytuacja, w ktrej wyniki badania jakociowego su zidentyfikowaniu zmiennych numerycznych, ktre nastpnie mog by wczone do sondau jako cz bada realizowanych wperspektywie makro, awic pozwalajcych na agregacj igeneralizacj wynikw. Niestety zbyt czsto pole prb integracji metod jakociowych iilociowych okazuje si polem minowym. Cz badaczy zapomina bowiem, e triangulacja nie suy weryfikacji wnioskw z bada realizowanych w ramach odmiennych perspektyw (mikro/makro), e interpretacji jakociowej nie naley stosowa we wnioskowaniu zdanych sondaowych (i odwrotnie), e uczestnikw bada jakociowych (np. wielu grup fokusowych) nie mona traktowa jak respondentw wyonionych wprbie losowej, czy wreszcie, e rozbienoci wynikw uzyskanych rnymi metodami powinny by interpretowane wodniesieniu do zaoe, na ktrych te metody si wspieraj (patrz wyej). Jak zauwaa Bamberger w wikszoci projektw badawczych [o integracyjnym podejciu metodologicznym] rozbienoci pomidzy triangulowanymi wnioskami s albo ignorowane (co jest najczstsz praktyk), albo wyjaniane
Bamberger M., op.cit. Ibidem, s.9. 29 Warto zapozna si ztekstem Mikoaja Jasiskiego iMichaa Kowalskiego Faszywa sprzeczno, op. cit.
28 27

O uwarunkowaniach stosowania metod jakociowych

135

wsposb nieprzekonujcy; bardzo nietypowe jest znalezienie systematycznej analizy rozbienoci wuzyskanych wynikach30. Triangulacja w zaoeniu powinna wzmacnia trafno i rzetelno wynikw bada dziki wykorzystywaniu rnych rde danych, przede wszystkim wramach tej samej perspektywy. Postulat ten wodniesieniu do metod jakociowych oznacza przede wszystkim korzystanie zrnych technik badawczych, konfrontowanie opinii rnych badanych osb lub powracanie do respondentw po upywnie jakiego czasu i ponowne stawianie podobnych pyta. Wramach perspektywy ilociowej oznacza porwnywanie wynikw rnych pomiarw, weryfikacj danych sondaowych w odniesieniu do danych zbieranych innymi metodami (np. zdanymi ze spisu powszechnego), czy testowanie hipotez przy wykorzystaniu rnych technik analitycznych. Pozostaje jeszcze jedna kwestia zwizana ze stosowaniem metod jakociowych mianowicie ich stosunkowo niewielka akulturacja. Wyniki bada ilociowych, gwnie dziki szerokiemu rozpowszechnieniu bada opinii publicznej31, zyskay legitymacj iznacznie wiksze uznanie wrd decydentw (np. politykw, przedstawicieli administracji, czy biznesu) ni metody jakociowe. Te ostatnie czsto s wybierane nie ze wzgldu na ich dostosowanie do problemu badawczego, ale ze wzgldu na nisze koszty realizacji! Wefekcie wielu zamawiajcych badania, czy decydujcych oksztacie zamawianego projektu, traktuje metody jakociowe jako taszy zamiennik bada prawdziwych, wybierany raczej zbraku odpowiednich moliwoci, anie zuzasadnionej potrzeby. Cytowany ju przeze mnie Bamberger zauwaa (w wietle dowiadcze wyniesionych zpracy dla Banku wiatowego), e nawet wtedy, gdy decydenci sami zgadzaj si z wynikami bada jakociowych, to czsto chc, aby wyniki jakociowe byy prezentowane zwykorzystaniem konwencjonalnych zasad statystycznych, po to, aby uczyni je bardziej akceptowalnymi dla innych agencji. Zaspokojenie potrzeby zwikszenia rzetelnoci wynikw bada jakociowych poprzez uycie odpowiednich technik statystycznych jest czsto wane dla zwikszenia akceptowalnoci iwykorzystania tyche wynikw32. W praktyce bada spoecznych realizowanych poza rodowiskiem akademickim (np. wprzypadku wielu bada ewaluacyjnych) czsto zdarza si, e elementem legitymizujcym wykorzystanie sabo akulturowanych metod jakociowych jest osoba badacza (eksperta, konsultanta, ewaluatora itp). Swoim statusem, dowiadczeniem i opanowaniem warsztatu metodologicznego czsto uprawomocnia on realizacj bada, ktrych istota isens nie do koca s uwiadomione. Doda przy tym naley, e uwaga ta nie dotyczy raczej
Bamberger M., op.cit., s.22. Zob. Suek A., Sonda polski, Wydawnictwo IFiS PAN, Warszawa 2001. 32 Bamberger M., op.cit., s.7.
31 30

136

Cezary Trutkowski

sfery bada marketingowych tam, jak susznie zauwaaj Grniak, Worek iKrupnik przydatno tego typu bada doceniono ju dawno () ich popularno systematycznie wzrasta, awachlarz wykorzystywanych technik staje si coraz szerszy33.

Badania jakociowe aspecyfika ewaluacji


Wielu autorw podkrela, e podstawowym celem stosowania metod jakociowych wewaluacji jest zrozumienie procesu dziaania interwencji iopis sposobw wdraania podejmowanych dziaa wokrelonym otoczeniu spoecznym, instytucjonalnym oraz politycznym. W odrnieniu, metody ilociowe, zdaniem Bambergera, nie su najlepiej zrozumieniu rodowiska socjoekonomicznego, procesw instytucjonalnych ipolitycznych, czy tego, jak rne gospodarstwa domowe wrnych kontekstach kulturowych odpowiedz na okrelony [skierowany do nich] projekt34. Naley bowiem pamita, e jakociowe spojrzenie na projekt jest zawsze spojrzeniem na silnie skontekstualizowan rzeczywisto lokaln. Tak jak metody ilociowe s czsto niezbdne dla okrelenia szerszego oddziaywania interwencji, tak metody jakociowe su zjednej strony funkcjom formatywnym wtrakcie trwania projektu oraz zrozumieniu czynnikw wpywajcych na jego kocowe efekty. Wszerszym ujciu badania jakociowe czsto umoliwiaj zatem zdobycie wiedzy iwypracowanie rekomendacji dotyczcych sposobw wdraania okrelonych typw interwencji wokrelonych warunkach. Generalnie, podstawowym celem bada jakociowych jest dogbne zrozumienie analizowanego zjawiska. Wbadaniach akademickich suy to poznaniu (odtworzeniu) spoecznie wytworzonych i podzielanych przekona na temat okrelonej rzeczywistoci wcelu zrozumienia zachodzcych zjawisk spoecznych, w badaniach marketingowych natomiast pozwala odtworzy sposb postrzegania jakiego produktu przez konsumentw, rozpozna ich preferencje iwreszcie dostosowa okrelon ofert do ich wyobrae, potrzeb ioczekiwa. Badania ewaluacyjne maj natomiast zasadniczo inny cel powinny one przyczyni si do ustalenia rzeczywistego wyniku interwencji oraz dokona jego wartociujcej oceny35. To prawda, e owa ocena jest efektem kocowym czsto wielowtkowego procesu badawczego, w ktrym metody jakociowe mog stanowi jedynie cz zastosowanego instrumentarium badawczego. Prawd jest rwnie, e procedury zwizane zwykorzystaniem metod jakociowych powinny by zasadniczo takie same w ewaluacji, jak
Grniak J., Worek B., Krupnik S., op. cit., s.117. Ibidem, s.21. 35 Por. Haber A., Kryszczuk M.D., Wybrane problemy doboru technik badawczych wewaluacji ex-post w: A. Haber (red.), Ewaluacja ex-post, op. cit., s.140.
34 33

O uwarunkowaniach stosowania metod jakociowych

137

wbadaniach akademickich, czy rynkowych. Ale specyfik ewaluacji wprzeciwiestwie do akademickich bada spoecznych jest jednak wartociowanie. Realizacja bada ewaluacyjnych nie jest zatem czystym odtwarzaniem ipoznawaniem rzeczywistoci wcelu zrozumienia procesw wniej zachodzcych. Jest to wszak zawsze realizacja ztez, zodniesieniem do wczeniej ustalonych (przyjtych lub narzuconych) kryteriw oceny. I tu nieuchronnie rodzi si sprzeczno pomidzy uniwersalnymi zaoeniami lecymi upodstaw metodologii jakociowej awymogami wynikajcymi zcelw ewaluacji. Ot dogbne, holistyczne zrozumienie badanego zjawiska musi zakada prb spojrzenia na rzeczywisto lokaln (skala mikro) zperspektywy jej uczestnikw iprzy uyciu podzielanych przez nich, istotnych wymiarw postrzegania tej rzeczywistoci. A wymiary te niekoniecznie przecie pokrywaj si z przyjtymi przez badacza (lub narzuconymi mu) kryteriami oceny jakiej interwencji. Maciej Szaaj bardzo trafnie wydobywa ten paradoks, piszc: oddziaywanie doboru kryteriw wida chociaby wmetodach badawczych isposobie gromadzenia dowodw, gdy okrela on rodzaje poszukiwanych danych (). Okrelana przez kryteria oceny perspektywa moe stanowi rdo legitymizacji dla bada, ktrych poprawno metodologiczna nie poddaje si prostej ocenie zwykorzystaniem zwyczajowych standardw naukowoci (podkrelenie C.T.). Obecno kryteriw oceny wkontekcie badawczym jest, oglnie rzecz biorc, najbardziej chyba wyran ilustracj zaangaowanych w projekt wartoci. Pokazuje to dobrze rnice pomidzy ewaluacj a dziedzinami akademickimi, dostarczajcymi ewaluacji inspiracji teoretycznych, narzdzi badawczych iwreszcie kadr36. W przewaajcej wikszoci bada ewaluacyjnych nie stosujemy zatem holistycznego ujcia lokalnej rzeczywistoci, ale raczej prbujemy j przeanalizowa ze wzgldu na przyjte wczeniej, predefiniowane kryteria oceny37. Dokonujemy tym samym sztucznego cicia, abstrahujc od sposobw
Szaaj M. Mechanizmy doboru kryteriw oceny w ewaluacji ex-post w: A. Haber (red.), ewaluacja ex-post, op. cit., s.62. 37 Istnieje jednak grupa bada ewaluacyjnych realizowana wramach orientacji ewaluacji nie opartej na celach (ang: goal free evaluation GFE). Przyjmuje si w niej odmienne podejcie od prezentowanego wtym tekcie (jako najbardziej rozpowszechnionego). Mianowicie zakada si, e ewaluator przed rozpoczciem ewaluacji nie odtwarza zakadanych celw interwencji itym samym nie przyjmuje kryteriw jej oceny, lecz dopiero wtrakcie ewaluacji ustala, jakie s jej skutki. Sowem dopiero wtrakcie bada ewaluator dowiaduje si, co wdraana interwencja powoduje wokrelonej rzeczywistoci zamiast sprawdzania, czy powoduje to, co wczeniej zamierzano. Wramach GFE warto ustalana jest poprzez odniesienie efektw programu do rzeczywistych potrzeb populacji, do ktrej jest on adresowany anie poprzez jej apriori okrelenie. Wicej na ten temat Czytelnik znajdzie m.in. wtekstach: Scriven M., Evaluation Thesaurus, Sage 1991; Scriven M., The pros and cons about goalfree evaluation, American Journal of Evaluation, Vol. 12, No. 1, s. 5562 (1991); Worthen B., Program evaluation, w: H. Walberg, G.Haertel (red.), The international encyclopedia of educational evaluation, Pergammon Press, Toronto, ON 1990.
36

138

Cezary Trutkowski

percepcji reprezentowanych przez osoby badane. Poszukujemy wskazwek do wartociujcej interpretacji zjawisk, postpujc przy tym niejako wzgodzie z hermeneutycznym postulatem Schleiermachera, aby prbowa zrozumie autora rwnie dobrze albo lepiej, ni on sam siebie rozumie38. Lepiej oczywicie w odniesieniu do kryteriw oceny, ktre my przyjlimy. Sytuacja ta przypomina troch problem demona Laplacea, ktry dysponujc kompletn wiedz o pooeniu wszystkich czstek elementarnych wszechwiata oraz wszystkich siach na nie dziaajcych, byby w stanie wskaza optymaln drog do dowolnego wybranego celu, ale nie mgby wybra tego celu, gdy zwyborem takim wi si jakie wartoci. Badania jakociowe lokalnej rzeczywistoci, np. przebiegu okrelonej interwencji, s wstanie dostarczy odpowiedzi na pytanie, czy wdraanie projektu byo realizowane skutecznie iefektywnie, sowem, czy wybrano optymaln drog do osignicia zakadanych celw. Ale same wsobie nie s wstanie uzasadni wyboru tych a nie innych kryteriw oceny realizacji danego projektu. Wyobramy sobie sytuacj, wktrej jaki program wdraany by zduymi problemami i w efekcie osignite rezultaty nie s optymalne. Czy to oznacza, e jego ewaluacja powinna zakoczy si wynikiem negatywnym? Oczywista odpowied brzmi: to zaley od przyjtych kryteriw. Na przykad konkluzj mogoby by negatywne stwierdzenie, e program by realizowany nieskutecznie i nieefektywnie albo pozytywna konstatacja, e dziki zrealizowaniu celw (nawet nieoptymalnemu) udao si unikn koniecznoci zwrotu rodkw europejskich bd udao si przygotowa grunt pod kontynuacj reformatorskich dziaa wjakim obszarze. Owa, prezentowana tu, specyfika bada ewaluacyjnych wymaga od badaczaewaluatora szczeglnej uwagi. W procesie ewaluacji mamy bowiem do czynienia zdokonywaniem ocen na podstawie wybranych wartoci. Proces badawczy powinien wzwizku ztym by szczeglnie przejrzysty iczytelny dla wszystkich zaangaowanych wprojekt stron. Odnosi si to wnajwyszym stopniu do bada jakociowych, znatury swojej, jak ju wspomnielimy, subiektywnych, mniej ustrukturyzowanych igorzej akulturowanych ni badania ilociowe. Dobrym sposobem zapewnienia przejrzystoci procesu badawczego i prezentacji podstaw wypracowanych wnioskw jest zaangaowanie realizatorw projektu wdyskusj nad uzyskanymi wynikami. Wreszcie ostatnim zagadnieniem, ktre chciabym poruszy przy okazji prezentowanych tu rozwaa, jest kwestia wspczesnej praktyki metodologicznej w projektach ewaluacyjnych realizowanych w Polsce. Jeli bowiem, jak stwierdzilimy, uniwersalne kanony dotyczce rozplanowania bada jakociowych nie zostay dotd wypracowane, to skd si bior okrelone metody ischematy badawcze wofertach przetargowych? Jakie s generalnie r38 Schleiermacher F., Hermeneutik, Heidelberg 1959; zob. take Ricoeur P., Jzyk, tekst, interpretacja, PIW, Warszawa 1989, s.196.

O uwarunkowaniach stosowania metod jakociowych

139

da decyzji owyborze okrelonych modeli realizacji bada (np. dotyczcych zakresu wykorzystania metod jakociowych iilociowych oraz rodzaju stosowanych technik badawczych)? Wynikiem obserwacji bada ewaluacyjnych wpraktyce musi by nieuchronna konstatacja, e nie zawsze kanony metodologiczne (np. opisywana wtym tekcie specyfika metod izwizanych znimi zaoe dotyczcych badanej rzeczywistoci) s tu czynnikiem decydujcym. Wydaje si, e przynajmniej kilka kwestii wpywa na ostateczny ksztat realizowanych bada. Po pierwsze, badania jakociowe s po prostu tasze wrealizacji od bada ilociowych. Przecitny projekt jakociowy przewanie bdzie wymaga niszego budetu ni sonda realizowany na prbie reprezentatywnej. Jeli dodamy do tego, wspomniany ju, brak sztywnych kanonw realizacji bada jakociowych, to jeszcze wyraniej zobaczymy potencjalne rdo oszczdnoci dla zleceniobiorcw ewaluacji. Odmiennie bowiem, ni wbadaniach ilociowych, przy realizacji serii wywiadw pogbionych nie jestemy przecie wstanie zmierzy wielkoci bdu (uzalenionego wszak m.in. od wielkoci prby). Arealizacja szeciu wywiadw zamiast dziesiciu da si jako uzasadni (np. czsto stosowanym pojciem wytrychem nasycenia teoretycznego39). Po drugie, jak susznie zauwaaj Haber i Kryszczuk, instytucje maj skonno do instytucjonalizacji pewnych praktyk badawczych, ktre s zbiegiem czasu doskonalone inabieraj charakteru odrbnych kanonw metodologicznych40. Samo w sobie nie musi to oczywicie oznacza zmniejszenia jakoci realizowanych ewaluacji. Pojawia si tu jednak niewtpliwie groba zaniku refleksji teoretycznej nad wyborem oferowanych metod, co wnastpstwie rodzi moe niebezpieczestwo braku wiadomoci konsekwencji owego wyboru dla wypracowanych wnioskw. Dodajmy jeszcze, e odrbne kanony metodologiczne mog by charakterystyczne tak dla instytucji, jak idla poszczeglnych konsultantwewaluatorw. Po trzecie wreszcie, zdarza si e sama instytucja zamawiajca ewaluacj okrela rodzaj metod badawczych, ktre maj by wjej ramach zrealizowane. Itu rwnie moemy mie do czynienia zarwno zwzgldami budetowymi, jak izinstytucjonalizowaniem okrelonego kanonu badawczego. Zdarzay si take kuriozalne przypadki, gdy o wyborze wykonawcy ewaluacji decydowaa rnorodno iilo zaproponowanych technik badawczych (im wicej zaproponowanych technik tym lepsza ocena oferty), anie konieczno umotywowania ich zastosowania.

39 40

Por. Helling K., op. cit. Ibidem, s.139.

140

Cezary Trutkowski

Podsumowanie
Przywoana przeze mnie debata o wyszoci metod ilociowych nad jakociowymi (lub odwrotnie) whistorii rozwoju bada ewaluacyjnych stanowia jedno z gwnych pl sporu ewaluatorw. Z biegiem czasu szczliwie przerodzia si ona wposzukiwania moliwoci integracji obu podej ijako taka nie stracia ani na znaczeniu, ani na intensywnoci. Integracja metod ilociowych ijakociowych nie jest bowiem rzecz prost zpewnoci nie da si jej osign pod atrakcyjnymi, hasami prostej triangulacji czyli postulatu badania tego samego zjawiska rnymi metodami iporwnywania wynikw wcelu minimalizacji bdu. Naley bowiem pamita, e metody jakociowe imetody ilociowe su do badania rnych zjawisk wykorzystanie jednych bd drugich oznacza przyjcie odmiennych perspektyw ogldu, prowadzenie analiz wodmiennej skali, odmienny stosunek do zmiennych kontekstowych iwreszcie odmienny poziom szczegowoci opisu. Warto podkreli, e stosowanie metod jakociowych iilociowych wewaluacji oznacza szereg odmiennych konsekwencji wynikajcych zdokonywanego wyboru. Celem stosowania metod jakociowych jest osignicie dogbnego zrozumienia badanego zjawiska. Metody te oznaczaj przyjcie perspektywy mikro i realizacj bada na poziomie lokalnym (instytucji, grupy, wsplnoty), co w efekcie prowadzi do holistycznego ujcia przedmiotu badania (np. okrelonej interwencji, wybranego procesu spoecznego, wydarzenia itp.). Moliwoci ekstrapolacji ustale bada jakociowych s jednak mocno ograniczone zazwyczaj wyniki mona odnosi wycznie do bezporednio badanej rzeczywistoci lokalnej. Istniej co prawda podejcia teoretyczne (jak wspominana tu ju wczeniej teoria spoecznych reprezentacji), uzasadniajce moliwo ograniczonej generalizacji wnioskw maj one jednak zawsze charakter teoretyczny iraczej nieweryfikowalny. Realizujc badania jakociowe, a nastpnie prezentujc ich wyniki, naley zatem zawsze pamita o koniecznoci rygorystycznego zachowania systematycznoci procesu badawczego wyczerpujcego uzasadnienia wyboru technik, doboru respondentw, czasu imiejsca badania, sposobu analizy materiau irde zgaszanych rekomendacji. Wszystko po to, aby unikn jake czstych pod adresem bada jakociowych zarzutw uprawiania publicystyki iprzedstawiania subiektywnych sdw. Z drugiej strony, metodom ilociowym przynalena jest perspektywa makro, poszukiwanie oglnych prawidowoci i moliwo generalizacji wynikw. Kontekst lokalny jest tu nieistotny, a szczegowo analizy pojedynczych przypadkw zasadniczo niewskazana. Badania ilociowe, o ile zrealizowane zgodnie zzasadami sztuki, umoliwiaj uzyskanie danych weryfikowalnych, niezalenych od subiektywizmu badacza. S to zatem dane twarde iporwnywalne.

O uwarunkowaniach stosowania metod jakociowych

141

Badacz ilociowy, wprzypadku niewaciwego zdefiniowania przedmiotu i/lub obiektw badania, moe si po pierwsze narazi na zarzut powierzchownoci, apo drugie na oskarenie otworzenie artefaktw. Niebezpieczestwo powierzchownoci zwizane jest zfaktem, e nie zawsze prawidowoci generalne, odnoszce si do skali makro, mog by sprowadzone do poziomu jednostkowego (skali mikro, rzeczywistoci lokalnej). Artefakty za rodz si zzadawania niewaciwych pyta lub pytania niewaciwych ludzi. Wielu metodologw podkrelao, e jeli zadajemy respondentom pytanie, to musimy liczy si zfaktem, e uzyskamy na to pytanie odpowied. Odpowied za moe pa nawet wtedy, gdy respondent pytania nie rozumie, nie ma wiedzy, aby jej udzieli, albo nie chce nam jej udzieli. Ankieter powinien tak odpowied zapisa inie ma moliwoci dopyta (jak np. wtrakcie wywiadu pogbionego), co respondent mia na myli, wybierajc okrelon odpowied spord kategorii przewidzianych przez badacza. Integracja obu podej jakociowego iilociowego wramach badania spoecznego, czy ewaluacyjnego jest moliwa pod warunkiem zachowania wiadomoci powyej zarysowanych rnic i konsekwencji z nich wynikajcych. Przede wszystkim naley pamita onieprzekadalnoci perspektyw, waciwych obu orientacjom metodologicznym zasadniczo trudno znale uzasadnienie dla wykorzystania metod jakociowych iilociowych do badania tego samego zjawiska (cho mona je wykorzystywa do badania rnych zjawisk wramach okrelonej lokalnoci). Na koniec chciabym jeszcze raz podkreli, e jakociowe badania spoeczne (akademickie) ijakociowe badania ewaluacyjne to wgruncie rzeczy dwa do odrbne podejcia. Celem pierwszych jest wszak poznanie prawdy orzeczywistoci (nawet jeli jest to jedynie prawda lokalna) iprzez to zrozumienie procesw wniej zachodzcych. Celem drugich natomiast jest ocena jakiej rzeczywistoci lokalnej (np. realizowanego programu) ze wzgldu na przyjte apriori kryteria. Icho zpewnoci moemy mwi ojednakowo intensywnych wobu podejciach wysikach na rzecz obiektywizacji ustale, to wewaluacji bdzie to zawsze prba obiektywizacji wodniesieniu do okrelonych wartoci. Wartociowanie jest zatem tym czynnikiem, ktry przede wszystkim odrnia jakociowe badania ewaluacyjne od takich samych bada akademickich.

Cezary Trutkowski doktor nauk spoecznych, adiunkt w Zakadzie Psychologii Spoecznej Instytutu Socjologii UW. Jest konsultantem itrenerem, autorem publikacji naukowych, nauczycielem akademickim idowiadczonym badaczem spoecznym. Przez wiele lat zarzdza projektami budowania potencjau instytucjonalnego samorzdw te-

142

Cezary Trutkowski

rytorialnych. Jako ekspert Rady Europy, wspomaga rozwj samorzdw wAlbanii, Armenii, Chorwacji, Czarnogrze, Macedonii, Modawii, Rosji, Serbii iSowenii. WPolsce nadzorowa komponent szkoleniowy wramach Programu Aktywizacji Obszarw Wiejskich (gdzie odpowiada m.in. za wewntrzny monitoring iewaluacj projektu), przez wiele lat uczestniczy jako trener wProgramie Przeciw Korupcji Fundacji im. Stefana Batorego ipracowa jako ekspert wprogramie Przejrzysta Polska. Ma polskie imidzynarodowe dowiadczenia wprojektach oceny potrzeb szkoleniowych oraz ewaluacji programw rozwojowych iedukacyjnych (pracowa dla Rady Europy, Banku wiatowego, UNDP oraz polskich instytucji rzdowych ipozarzdowych). Przez osiem lat prowadzi badania rynku iopinii publicznej wfirmie, ktrej by wspwacicielem. Obecnie odpowiada za monitoring iewaluacj Programu Integracji Spoecznej wramach Poakcesyjnego Programu Wsparcia Obszarw Wiejskich (realizowanego przez MPiPS wramach poyczki Banku wiatowego).

Bibliografia
Antoszkiewicz J., Metody heurystyczne. Twrcze rozwizywanie problemw, Pastwowe Wydawnictwo Ekonomiczne, Warszawa 1990. Babbie E., Badania spoeczne wpraktyce, Wydawnictwo Naukowe PWN, Warszawa 2003. Bamberger M., Opportunities and challenges for integrating quantitative and qualitative research, w: M. Bamberger (red.), Integrating quantitative and qualitative research in development projects, World Bank, Washington, DC 2000. Chung K., Issues and approaches in the use of integrated methods, w: M. Bamberger (red.), Integrating quantitative and qualitative research in development projects, World Bank, Washington, DC 2000. van Dijk T., Ideology. Amultidisciplinary approach, Sage 1998. Flick U., Social representations and the social construction of everyday knowledge: theoretical and methodological queries, Social Science Information 1994, nr 33 (2). Grniak J., Worek B., Krupnik S. Zastosowanie podejcia bada jakociowych w ewaluacji expost, w: A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, PARP, Warszawa 2007. Gouldner A., Teoretyczny kontekst socjologii, w: E. Mokrzycki, Kryzys ischizma, PIW, Warszawa 1984. Haber A., Kryszczuk M.D., Wybrane problemy doboru technik badawczych w ewaluacji expost, w: A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, PARP, Warszawa 2007. Helling I.K., Metoda bada biograficznych, w: Metoda biograficzna wsocjologii, J. Wodarek, M. Zikowski, PWN, Warszawa 1990. Jasiski M., Kowalski M., Faszywa sprzeczno: metodologia jakociowa czy ilociowa?, w:A.Haber (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, PARP, Warszawa 2007. Maison D., Zogniskowane wywiady grupowe. Jakociowa metoda bada marketingowych, Wydawnictwo Naukowe PWN, Warszawa 2001. Miller G., Dingwall R. Analyzing Social Settings, Wadsworth Publishing, Belmont, CA 1997. Morgan D.L., Focus groups, Annual Review of Sociology 1996, vol. 22. Morgan D.L., Successful focus groups. Advancing the state of the art, Sage 1993. Moscovici S., Social representations. Explorations in social psychology, Polity Press, Cambridge 2000.

O uwarunkowaniach stosowania metod jakociowych

143

Moscovici S., The phenomenon of social representations, w: Farr R., Moscovici S. (red.), Social Representations, Cambridge University Press 1984. Piotrowski A., Teoria abadanie empiryczne. Par uwag oich zwizku worientacjach wspczesnej socjologii, w: A. Giza-Poleszczuk, E. Mokrzycki (red.), Teoria ipraktyka socjologii empirycznej, IFiS PAN, Warszawa 1990. Ricoeur P., Jzyk, tekst, interpretacja, PIW, Warszawa 1989. Rubacha K. Metodologia bada nad edukacj, Wydawnictwa Akademickie i Profesjonalne 2008. Rubin H.J., Rubin, I.S., Qualitative interviewing: The art of hearing data, Sage Publications, Thou sand Oaks, CA 2004. Sadish W.R., Evaluation theory is who we are, American Journal of Evaluation 1998, vol. 19, nr 1. Schleiermacher F., Hermeneutik, Heidelberg 1959. Schwandt T.A., Qualitative inquiry, Sage, Thousand Oaks, CA 1997. Scriven M., Evaluation Thesaurus, Sage 1991. Scriven M., The pros and cons about goal-free evaluation, American Journal of Evaluation 1991, Vol. 12, No. 1. Silverman D., Interpretacja danych jakociowych, PWN 2008. Stra-Romanowska M. (red.), Metody jakociowe wpsychologii wspczesnej, Wydawnictwo Uniwersytetu Wrocawskiego 2000. Suek A., Sonda polski, Warszawa: Wydawnictwo IFiS PAN 2001. Szaaj M. Mechanizmy doboru kryteriw oceny wewaluacji ex-post w: A. Haber (red.), Ewaluacja ex-post. Teoria ipraktyka badawcza, PARP, Warszawa 2007. Trutkowski C., Teoria spoecznych reprezentacji ijej zastosowania w: M. Marody (red.), Wymiary ycia spoecznego. Polska na przeomie XX iXXI wieku, Wydawnictwo Naukowe Scholar, Warszawa 2007. Trutkowski C., Zogniskowane wywiady grupowe prba teoretycznego uzasadnienia w:CDROM XI Oglnopolski Zjazd Socjologiczny. Materiay ze Zjazdu; PTS iWysza Szkoa Spoeczno-Gospodarcza wTyczynie 2000. Trutkowski C., Spoeczne reprezentacje polityki, Wydawnictwo Naukowe Scholar, Warszawa 2000. Worthen B., Program evaluation, w: H. Walberg, G. Haertel (red.), The international encyclopedia of educational evaluation, Pergammon Press, Toronto, ON 1990.

Tomasz Kaczor

Modele ekonomiczne wewaluacji, czyli oczym jej odbiorca wiedzie powinien


Ewaluacja, szczeglnie w polskich warunkach, wydaje si nie docenia roli imoliwoci modeli ekonomicznych. Oceniajc przeprowadzone wPolsce ewaluacje1, zobaczymy, e bardzo niewiele z nich wykorzystuje je jako narzdzie analizy. Mona nawet odnie wraenie, e pojawiaj si wycznie tam, gdzie trudno sobie wyobrazi uycie innych technik, s wic swego rodzaju narzdziem ostatniej szansy. Jest ku temu kilka powodw. Modele na og nie s intuicyjnie zrozumiae. Ich stosowanie oraz interpretacja wynikw wymaga zwykle specjalistycznej wiedzy, czsto dotyczcej nawet specyficznej klasy modeli. Drug, istotn przyczyn pomijania modeli jest fakt, e czsto s prezentowane wsposb, wktrym sam model staje si waniejszy od wyniku ijego interpretacji, co stoi wsprzecznoci zsam ide ewaluacji. Trzeci wreszcie przyczyn jest niewielka, wporwnaniu zinnymi technikami ewaluacyjnymi, znajomo potencjalnych moliwoci tego narzdzia pord odbiorcw ewaluacji. To wszystko sprawia, e potencja narzdzi, jakimi mog by modele nie jest wpeni wykorzystywany. Poniej chcemy powiedzie nieco o moliwych zastosowaniach modeli czemu powicono pierwsz cz rozdziau oraz o znaczeniu rnych elementw bada modelowych dla waciwego odbioru wynikw, co znajduje si wczci drugiej. Wkolejnej opisano niektre zogranicze modelowania, ana samym kocu Czytelnik znajdzie tendencyjny niezbdnik tego, co powinna zawiera ewaluacja wykorzystujca model ekonomiczny.

Modele, ich rodzaje izastosowania


Ewaluacja wtym znaczeniu, wjakim bdziemy j stosowa wtym tekcie jest szczegln form tradycyjnych bada spoeczno-ekonomicznych. Wyrnia j przede wszystkim specyficzny cel, wjakim jest prowadzona, ktrym
1 Np. zawarte w bazie danych ewaluacyjnych MRR http://www.funduszestrukturalne.gov.pl/ EWALUACJA+funduszy+w+Polsce/Baza+badan+ewaluacyjnych/

146

Tomasz Kaczor

jest wsparcie procesu decyzyjnego. Nie dziwi zatem, e ewaluacja czsto korzysta znarzdzi stworzonych na potrzeby innego rodzaju prac badawczych itak wanie stao si zmodelami ekonomicznymi, ktrych specyficzne cechy czyni je naturalnym orem ewaluatora. Wzasadzie dla precyzji naleaoby uy terminu ilociowy model ekonomiczny, bowiem przez model rozumie bdziemy formalne narzdzie oparte na zapisie ekonomicznych lub spoecznych zalenoci wpostaci rwna matematycznych, ktrych elementy stanowi ilociowe wyraenie analizowanych zjawisk. Oich przydatnoci wewaluacji decyduj dwie cechy mierzalny charakter dostarczanych wynikw oraz relatywnie niewielka doza arbitralnoci. Pierwsza jest niemal oczywista (podobnie jak korzyci zuzyskania wynikw, ktre mona na przykad przedstawi na wykresie) i wynika wprost z zaproponowanej definicji modelu. Druga jest pochodn sztywnego stosowania regu: zalenoci izaoenia zapisane wrwnaniach dziaaj bezwzgldnie (lecz trzeba zwrci uwag, e s one tak samo bezkrytyczne jak bezwzgldne). Pamitajmy jednak, e sam dobr zaoe jest procesem arbitralnym iztego wzgldu powinien by przedmiotem czujnej uwagi, oczym wicej wdalszej czci tekstu. Warto jeszcze wspomnie ododatkowej zalecie bada wykorzystujych modelowanie ekonomiczne. W wielu przypadkach moliwe jest ustalenie, oprcz samych wartoci interesujcych odbiorc ewaluacji, take precyzji uzyskanego oszacowania. Przed wnikniciem wzastosowania tego typu narzdzi do celw ewaluacyjnych warto powici nieco miejsca ich najwaniejszym typom. Modele ekonomiczne s grup dalek od jednorodnoci inieatwo poddajc si klasyfikacji, jednak wyranie rysuj si dwa podziay. Kryterium pierwszego jest obszar objty modelowaniem iztego punktu widzenia kady model bdzie albo caociowym, albo czstkowym. Model caociowy opisuje komplet zalenoci czy procesw dotyczcych analizowanego organizmu, np. gospodarki kraju, regionu lub przedsiwzicia. Druga grupa skupia si na wybranych spord nich obszarach, najistotniejszych zpunktu widzenia celw analizy. Podkrelmy od razu, e pominicie mniej istotnych zalenoci nie powoduje, e modele czstkowe s wjaki sposb uomne. To, ktrego znich warto uy, definiuje charakter przedmiotu ewaluacji (czyli tego, wjaki sposb ma dziaa ewaluowany projekt lub program) oraz zakres efektw, ktre maj by obserwowane. Tam, gdzie ewaluacja dotyczy szeregu dziaa dotyczcych rnych obszarw, awykorzystywane instrumenty mog wzajemnie wpywa na swoje funkcjonowanie ipotrzebny jest opis skutkw dla rnych charakterystyk badanego organizmu, naturalnym wyborem bdzie narzdzie caociowe. Natomiast tam, gdzie mechanizm dziaania jest relatywnie prosty, ainterakcje zotoczeniem ograniczone, kuszcym wyborem jest model czstkowy, relatywnie prosty, szybszy wtworzeniu imajcy mniejsze wymagania. Za cen nieszkodliwego uproszczenia opisu oddziaywa otrzy-

Modele ekonomiczne wewaluacji

147

mujemy znacznie wiksz detaliczno wynikw. Podkrelmy te naturaln komplementarno modeli caociowych iczstkowych wniektrych sytuacjach. Te ostatnie mog suy jako narzdzia uzupeniajce, pozwalajce nada wybranym wynikom uzyskanym dziki modelowi caociowemu wiksz szczegowo. Drug, rwnie istotn lini demarkacyjn, rozrniajc modele, jest stopie, wjakim s oparte na jawnie okrelonej teorii ekonomicznej. Zjednej strony stoj modele, wktrych badacz specyfikuje zaledwie podstawowy charakter relacji midzy zmiennymi (np. liczb miejsc pracy anakadami na rne polityki rynku pracy). Wich przypadku precyzyjna natura zalenoci ustalana jest przy zastosowaniu technik statystycznych iekonometrycznych na podstawie danych historycznych. Z drugiej strony wystpuj narzdzia, wktrych ewaluator okrela szczegow posta relacji, wykorzystujc teori ekonomiczn czy wyniki innych bada. Zalety pierwszego typu to doskonae dopasowanie do danych i moliwo zastosowania tam, gdzie teoria nie daje jasnych przesanek co do charakteru zalenoci. Wad jest konieczno dostpu do duej iloci danych historycznych iograniczone moliwoci interpretacji wynikw2 .
Tabela 1. Podzia modeli ze wzgldu na
kompletno opisu rzeczywistoci
Modele caociowe wsposb kompletny opisuj relacje ewaluowanego organizmu gospodarczego np.: modele makroekonometryczne, modele rwnowagi oglnej

np: jedno- iwielorwnaniowe modele Modele czstkowe opisuj wybrane mechanizmy istotne ekonometryczne, modele rwnowagi zpunktu widzenia dziaania przedmiotu ewaluacji czstkowej

... rol danych iteorii


Modele oparte na teorii ekonomicznej definiujcej dokadny ksztat zalenoci midzy zmiennymi np: modele rwnowagi oglnej, niektre modele ekonometryczne

Modele, wktrych teoria mwi opodstawowym charak- np: modele VAR, ARIMA, niektre terze zalenoci, ajej szczeglny charakter ujawniaj dane modele ekonometryczne rdo: Opracowanie wasne.

Tych ogranicze nie ma drugi typ modeli wyniki s zawsze atwe do wyjanienia woparciu obazow teori imog by stosowane wodniesieniu do nowych zjawisk i procesw, o ile zaoenia teoretyczne do nich pasuj.
Mniejsze moliwoci interpretacji wynikaj z braku dokadnej informacji o tym, jaki jest szczegowy charakter zalenoci powodujcych, e przedmiot ewaluacji dziaa wtaki anie inny sposb iczy te relacje bd identyczne wodmiennych warunkach.
2

148

Tomasz Kaczor

Tabela 2. Zastosowania modeli oraz uzyskiwane wyniki3456789


Zastosowania modeli
Opis stanu faktycznego iwpywu rzeczywistych polityk, programw iprojektw: jakie zmiany zaszy na skutek ewaluowanego programu idlaczego

Przykadowe wyniki izastosowania


wartoci wybranych miernikw (dynamik, struktur, poziomw) rzeczywistych oraz hipotetycznych wsytuacji niezrealizowania programu (np. PKB per capita, stopa inwestycji)3

Analiza porwnawcza rnych dziaa imierzeporwnanie spoecznej stopy zwrotu znakanie ich efektywnoci szczeglnie cenne tam, dw finansowanych zfunduszy UE wzalenoci gdzie rodki zjednego rda zasilaj wiele dziaod celu, na jaki s wydatkowane4 a obezporednio nieporwnywalnych efektach Analiza zoonych programw, ktrych liczne dziaania mog mie wzajemny wpyw na skuteczno iskal efektw Prognoza wpywu przedmiotu ewaluacji na dany organizm, rynek czy zjawisko analiza wpywu funduszy strukturalnych na zatrudnienie5 analiza wpywu infrastruktury transportowej (obwodnicy metropolii) na gospodark6

optymalizacja poziomu dopat do cen paliw7, Optymalizacja polityki, programu lub projektu optymalizacja poziomu dopat do opieki nad czyli dobr jego parametrw tak, by maksymalidziemi wcelu zwikszenia aktywnoci zawodozowa rezultaty lub minimalizowa koszty wej kobiet8 Badanie efektu brutto inetto9 rdo: Opracowanie wasne.
3

warto inwestycji finansowanych bezporednio zprojektu versus cakowita zmiana wartoci inwestycji

Np. wBadanie wpywu Narodowego Planu Rozwoju 20042006 iNarodowych Strategicznych Ram Odniesienia 20072013 na wybrane wskaniki dokumentw strategicznych, T. Kaczor, R.Socha, IBnGR, 2008, lub Wpyw realizacji inwestycji finansowanych zfunduszy unijnych na ksztatowanie si gwnych wskanikw dokumentw strategicznych NPR iNSS oraz innych wybranych wskanikw makroekonomicznych na poziomie krajowym i regionalnym za pomoc modelu krajowego imodeli regionalnych Hermin, WARR, 2008. 4 A. de la Fuente, The effect of Structural Fund Spending on the Spanish regions: an assessment of the 1994-99 Objective 1 CSF, Instituto de Analisiss Economico (CSIC), 2002. 5 Raport kocowy zbadania nt.: Wpyw interwencji zfunduszy strukturalnych UE na zatrudnienie, PAG Uniconsult sp zo.o. /PENTOR Research International, 2007. 6 Asensio J., Roca O., Evaluation of transport project infrastructures beyond cost-benefit analysis. An application to Barcelonas 4th ring road, Universitat Autnoma de Barcelona. 7 Vedenov D., Wetzstein M., Toward an Optimal U.S. Ethanol Fuel Subsidy, University of Georgia 2006. 8 Domeija D., Klein P., Should daycare be subsidized?, 2008. 9 Rozrnienie efektu brutto inetto dobrze ilustruje nastpujcy przykad. Prowadzc ewaluacj projektu nakierowanego na popraw szans dugotrwale bezrobotnych na znalezienie pracy za pomoc szkole, zwykle badany jest efekt brutto np. jaka cz szkolonej grupy podejmuje zatrudnienie wprzecigu p roku od zakoczenia szkole. Jakkolwiek daje to dobre pojcie otym, ile projekt oferuje uczestnikom, nie pozwala jednak oceni, jaki jest cay skutek dla spoeczestwa (bo nie uwzgldnia np. faktu, e inne osoby nie uzyskay pracy bdc gorzej wyksztacone od uczestnikw ktr zdobyyby, gdyby szkole nie byo) co ma szczeglnie due znaczenie wprzypadku wikszych programw. Modele wwielu przypadkach pozwalaj uwzgldni tego typu zjawiska, szacujc skutek cakowity.

Modele ekonomiczne wewaluacji

149

Takie podziay, jak przytoczone powyej, pozornie proste, nie s jednoznaczne inie mona apriori okreli, jakiego typu model moe by skutecznie wykorzystany wdanej ewaluacji. Wwikszoci sytuacji skutek mona osign, uywajc kilku, czasem bardzo rnych rodzajw, inie mona zdecydowa, e ewaluator powinien wykorzystywa jednen, konkretny typ. Opisane wyej podziay s bardzo pynne iwiele modeli trudno jest jednoznacznie zakwalifikowa do ktrejkolwiek zgrup. Potencjalny zakres zastosowa modeli ekonomicznych jest bardzo szeroki, ograniczony wycznie wyobrani ewaluatora. Wszdzie, gdzie przedmiot ewaluacji opisany jest mierzalnymi charakterystykami co wobecnej chwili jest w zasadzie standardem otwiera si potencjalne pole wykorzystania jednego ztakich narzdzi. Model sprawdzi si we wszystkich trzech podstawowych typach ewaluacji: exante, biecej (on-going) i expost. Szczeglnie w przypadku tej pierwszej jego uyteczno bdzie nieoceniona, w wielu przypadkach moe by jedynym rdem danych liczbowych, gdy zastosowanie innych narzdzi ilociowych jest zdefinicji wykluczone. Tabela 2 przedstawia najczstsze zastosowania modeli oraz ksztat uzyskiwanych wynikw. Z pewnoci nie jest to lista zamknita, wyczerpujca wszystkie moliwe zastosowania, jednak zawiera te najbardziej powszechnie wykorzystywane. Niektre zprzykadw, jakkolwiek nie s wcisym sowa znaczeniu ewaluacjami, stanowi dobr ilustracj zagadnie, jakie mog by analizowane za pomoc modelu.

Analiza przy uyciu modelu to nie tylko cyfry, czyli oznaczeniu zaoe iinterpretacji
Mwic ostosunkowo niewielkiej arbitralnoci analiz przy uyciu modeli, wspomniano oroli zaoe. Chocia dziwnie to moe zabrzmie, zaoenia stojce upodstaw modelu powinny stanowi cz jego wynikw. Bez ich jasnego iprecyzyjnego okrelenia iopisania model stanowi zaledwie czarn skrzynk, zktrej co wypada. Dopiero znajomo zaoe umoliwia interpretacj uzyskanych danych liczbowych. Najistotniejsze dla wynikw (rozumianych zarwno jako uzyskane z modelu dane liczbowe, jak i ich interpretacja) s niewtpliwie zaoenia dotyczce trzech elementw: ekonomicznej teorii, na ktrej opiera si konstrukcja modelu, mechaniki wpywu przedmiotu ewaluacji oraz danych i parametryzacji modelu10 .
Przez mechanik wpywu przedmiotu ewaluacji rozumiemy to, jakie zalenoci ekonomiczne s wykorzystywane wanalizie (przykadowo: wysza dotacja wiksze nakady inwestycyjne wiksza konkurencyjno wzrost eksportu).
10

150

Tomasz Kaczor

aden model nie jest idealnym odwzorowaniem rzeczywistoci. Znajomo podstaw teoretycznych pozwala oceni, jakie procesy doprowadziy do uzyskanego rezultatu oraz jakie zjawiska mogy zosta pominite. Podobny cel ma sprawdzenie, w jaki sposb ewaluowany proces oddziauje na badany organizm, na jakie zmienne wmodelu wpywa. Konieczna jest jasno, jak przedmiot ewaluacji, zapisany np. sowami projektu, przekada si na matematyczny jzyk modelu ijakie skutki rodzi akurat taka forma przekadu. Wreszcie, dla kadego modelu istnieje wiele zestaww danych iparametrw. Od tego, ktre wybra ewaluator, zalee bdzie skala, aczasami nawet kierunek oddziaywania, dlatego te badanie nie moe zostawia wtpliwoci, jakie techniki s uywane. Dopiero wiedza otych trzech grupach zaoe wsparta wiedz owykorzystanej technice modelowania pozwala dobrze rozumie wyniki, oceni ewaluacj, porwna j zinnymi lub wykorzysta ponownie wprzyszoci11. Zaoenia stanowi ten element ewaluacji przy zastosowaniu modelu, wktrym wyranie pojawia si czynnik ekspercki. Drugim takim miejscem jest interpretacja wynikw. Zpunktu widzenia odbiorcy ewaluacji niebagatelne znaczenie ma wyrane rozgraniczenie pomidzy tym, co jest bezporednim wynikiem oblicze przy uyciu modelu, aco stanowi ich rozszerzenie wzwizku zwiedz ewaluatora, zewntrzn wzgldem modelu. Druga ztych czci nie ma bowiem prawa korzysta zautorytetu modelu oraz stojcej za nim teorii i wymaga oddzielnego uzasadnienia. W przypadku jego braku powinna by interpretowana wycznie jako opinia ewaluatora, ktra, jakkolwiek wartociowa, zawsze bdzie skaona relatywnie du doz arbitralnoci. Tymczasem w wielu badaniach, nie tylko ewaluacyjnych, pojawiaj si womwieniu wynikw modelu kwestie, ktrych model nie porusza itylko przypadkowo pasuj do interpretacji wynikw. Na usprawiedliwienie badaczy podkrelmy, e ze wzgldu na zoono narzdzia, jakim jest model, czasem samemu ewaluatorowi nie jest atwo oceni, gdzie si koczy model, azaczyna znacznie szersze, wasne rozumienie wiata.

Dobr ilustracj roli, jak odgrywaj zaoenia teoretyczne iparametryzacja modeli, jest zestawienie analiz wpywu NPR iNSRO na realizacj polityk spjnoci (Ocena postpw Polski wkonwergencji zkrajami UE oraz wpyw funduszy unijnych na gospodark wlatach 20042007, MRR, 2008). Badanie wykonane przy uyciu dwch narzdzi o odmiennych podstawach teoretycznych (modele HERMIN iMaMoR2), przy takich samych danych wejciowych pokazuje znaczce rnice wskali irozkadzie czasowym skutkw. Dopiero znajomo podstaw obu modeli pozwala zrozumie, dlaczego uzyskane wyniki rni si wtakim stopniu ico implikuj te rnice.

11

Modele ekonomiczne wewaluacji

151

Ograniczenia zastosowa modeli


Modele ekonomiczne s bardzo elastycznymi narzdziami nadajcymi si do analizy rnorodnych problemw ewaluacyjnych. Jednoczenie, kady model jest instrumentem mniej lub bardziej dedykowanym zagadnieniu, jakiemu go powicono. Wybr zaoe, mechaniki modelu czy nawet danych jest silnie uzaleniony od bardzo specyficznego charakteru problemu ewaluacyjnego izastosowany do pozornie zblionego zagadnienia moe da bdne wyniki. Wszczeglnoci trudne jest uzyskanie przy uyciu jednego narzdzia wynikw o silnie zrnicowanym stopniu detalicznoci. Model caej gospodarki narodowej, zaprojektowany do oceny wpywu polityki na podstawowe agregaty makroekonomiczne bdzie mia problemy zjednoczesnym wyznaczeniem jej oddziaywania, np. na bardzo wsk grup spoeczn. Ewaluatorowi postawionemu przed tego typu problemem jako rozwizanie proponuje si wic stworzenie dwch modeli: oglnego oraz czstkowego, ktry wjakim stopniu bazowaby na wynikach tego pierwszego, oferujc nieosigalny dla wgld wdetale. Jednak takie rozwizanie zawsze powoduje dodatkowe koszty. Podobnym ograniczeniem ztej grupy jest kwestia skali ilociowej analizowanych procesw. Analiza zjawisk zachodzcych masowo oparta jest na innych zasadach ni badanie pojedynczych przypadkw. Czasem rodzi si pokusa by uy narzdzia zaprojektowanego dla pierwszej grupy dla przeanalizowania przykadowych przypadkw, np. wybranych jednostek zgrupy podlegajcej badaniu. To, co pozornie atwe itanie (przecie jest ju model, to wystarczy przeliczy dla tych kilku gmin), czsto kryje wsobie bd metodologiczny model jest zaprojektowany zmyl owykorzystaniu np. statystycznych charakterystyk populacji, przez co dziaa dla grupy podmiotw, ale nie dla kadego znich osobno. Kolejnym, istotnym wnaszej ocenie, ograniczeniem zastosowa modelowania jest kwestia ich wymaga dotyczcych danych. Zacznijmy od stwierdzenia, e model jest narzdziem ilociowym, co midzy innymi oznacza, e dane wejciowe powinny mie charakter liczbowy. Wkonsekwencji take ewaluowany program czy projekt musi przedstawia dziaania, ktrych skutki maj by badane wformie ilociowej, najczciej dotyczy to bdzie nakadw. Na twrcy podmiotu ewaluacji spoczywa ciar nadania dziaaniom takiego wanie ksztatu, w innym przypadku ewaluacja bdzie bezwartociowa. Chocia modele bardzo rni si midzy sob wymaganiami dotyczcymi danych, to jednak dla poprawnego dziaania zawsze potrzebuj ich systematycznoci ikompletnoci. Wprzypadku wikszoci znich niezbdne dane pochodzi bd zwicej ni jednego rda, anawet te pochodzce zjednego rni si nieraz terminem publikacji czsto okilka kwartaw. Tymczasem wiele typw modeli jest wstanie dziaa wycznie, gdy dostp-

152

Tomasz Kaczor

ne s wszystkie dane, np. zdanego okresu lub regionu. Oznacza to, e brak nawet jednej danej wyklucza uycie pozostaych, cho oczywicie istniej techniki pozwalajce na uzupenienie pewnych mniej znaczcych brakw. Dlatego zdarza si e w ewaluacji zostanie uyty zestaw danych pozornie bardzo odlegych wczasie12 . Fakt ten nie odbiera jednak aktualnoci wynikom ewaluacji, gdy zmiany wgospodarce zachodz na tyle wolno, e zwykle mona zaakceptowa liczne opnienia bez znaczcej straty dla jakoci oblicze. Model zawsze jest uproszczonym odwzorowaniem rzeczywistoci. Wykorzystane przy jego konstrukcji techniki pozwalaj dobrze j opisywa mimo pominicia pewnych zalenoci. Umoliwiaj take analiz sytuacji hipotetycznych wniewielkim stopniu od niej odbiegajcych. To rodzi kolejne ograniczenie. Modelowanie sytuacji drastycznie rnicych si charakterem od historycznych dowiadcze na ktrych wmniejszym lub wikszym stopniu oparty jest kady model rodzi ryzyko uzyskania przypadkowych wynikw. Dotyczy to rwnie finansowej skali przedsiwzi. Oile mona przyj, e zwikszenie wydatkw na jaki cel ojeden procent da zbliony skutek jak kady procent zdotychczasowych, to przyjcie podobnej logiki przy zwikszeniu trzykrotnym zwykle bdzie ju bdem. Kluczowym elementem wikszoci ewaluacji jest porwnanie dwch stanw. Jeden z nich, czsto nazywany referencyjnym lub bazowym, obrazuje rzeczywisto bez przedmiotu ewaluacji, podczas gdy drugi odpowiada sytuacji, wktrej zrealizowano ewaluowany program lub dziaanie. To rozrnienie, nie zawsze wyranie zasygnalizowane, wprzypadku bada zuyciem modeli bdzie na og sercem analiz, ktrych wiele sprowadza si po prostu do porwnania tych stanw. Ten stan referencyjny, ktry zosta przyjty do badania, ma znaczcy wpyw na ostateczny wynik ewaluacji13. Oile wprzypadku badania expost stan jest zwykle definiowany przez dostpne dane (co oznacza, e jest stanem obiektywnym), o tyle w pozostaych dwch typach ewaluacji jest on na og ustalany przez ewaluatora. Ztej przyczyny nieodcznym elementem takiego badania ijego wynikw powinno by wyranie przedstawienie stanu referencyjnego z podkreleniem tych jego elementw, ktre mog mie istotne znaczenie dla uzyskanych rezultatw. Dodajmy jeszcze, e porwnanie dwch ewaluacji tego samego przedmiotu powinno dotyczy nie tylko ich bezporednich wynikw, ale take moliwego wpywu stanu referencyjnego.
Dla przykadu: najbardziej aktualne oficjalnie opublikowane przez GUS tabele input-output, kluczowe dla niektrych typw modeli, pochodz zroku 2000, awic maj 8 lat. 13 Przykadowo, dodatkowy efekt rodkw przeznaczonych na wspieranie innowacyjnych inwestycji przedsibiorstw wsytuacji, gdy ich kondycja finansowa jest za, moe by bardzo duy. Jednak wsytuacji, gdy firmy dysponuj nadmiarem zgromadzonej gotwki, lecz nie inwestuj (co miao np. miejsce przed rozpoczciem aktualnego boomu inwestycyjnego), efekt tych samych rodkw moe by niewielki.
12

Modele ekonomiczne wewaluacji

153

Wreszcie, tylko w niewielu badaniach ewaluacyjnych model bdzie narzdziem wystarczajcym do penej oceny przedmiotu ewaluacji. Analiza modelowa potrafi zwykle okreli skal oddziaywania projektu, jednak nie mwi nic otym, czy wpyw wogle wystpuje14. Uywajc jednego zwczeniejszych przykadw, model moe wyliczy skutki nakadw na szkolenia dla lokalnego rynku pracy, natomiast nie jest wstanie stwierdzi, czy szkolenia trafi do waciwych osb. Ilociowa analiza przy uyciu modelu jest zawsze uzupenieniem analizy jakociowej, bowiem to ta druga wanie pozwala powiedzie, jaki rodzaj oddziaywania uwzgldni w modelu. Oczywicie nie zawsze taka analiza musi by czci ewaluacji, moe bazowa na wczeniejszych dowiadczeniach ibadaniach, jednak zawsze powinna istnie w wiadomoci ewaluatora. Odbiorca ewaluacji musi mie pewno, e nie modelujemy nieistniejcych zjawisk. Sprbujmy stworzy mae podsumowanie tego, co powinna zawiera ewaluacja przy uyciu modelu, tak by jej odbiorca mg mie pewno co do jakoci uzyskanych rezultatw. Ponisza lista (tabela 3) zpewnoci nie wyczerpuje zagadnienia, ale moe uatwi przygotowanie i odbir takich bada.
Tabela 3. Wybirczy niezbdnik ewaluacji przy uyciu modelu
Co powinna zawiera ewaluacja?
Opis teorii izaoe stojcych upodstaw badania Charakterystyka modelu Opis danych Na czym polega eksperyment, opis stanu referencyjnego Interpretacja odrniajca produkty modelu od innych elementw rdo: Opracowanie wasne.

Czemu to jest wane?


aby by pewnym, e uwzgldniono wszystkie wane czynniki wpywu przedmiotu ewaluacji na otoczenie aby rozumie jego ograniczenia bo bez tego trudno interpretowa wyniki aby wiedzie, czy ijak wpyny na wyniki aby oceni obiektywno wynikw

Podsumowujc, modele ekonomiczne stanowi mog wartociowe narzdzie ewaluacyjne, weryfikujce dziaanie lub dostarczajce informacji nieosigalnych przy uyciu innych technik. Jednak, by ich rezultaty miay warto, badania ewaluacyjne nie mog ogranicza si do cyfr, lecz musz zawiera szereg informacji pozwalajcych je zrozumie izinterpretowa, take niewy14 Pomijamy tu niektre specyficzne modele suce do analiz ex-post majcych na celu wanie stwierdzenie wystpienia rzeczywistego oddziaywania.

154

Tomasz Kaczor

specjalizowanemu odbiorcy. Stosunkowo niewielka wiadomo ich moliwoci ipotencjalnych zastosowa wydaje si by przeszkod wich szerszym zastosowaniu.

Tomasz Kaczor doktor nauk ekonomicznych, absolwent Wydziau Nauk Ekonomicznych UW, specjalizuje si wwykorzystaniu metod ilociowych wbadaniu gospodarki. W latach 19972001 pracownik naukowy Instytutu Bada nad Gospodark Rynkow, od 2001 roku do chwili obecnej wsppracownik. Przez sze lat pracowa jako wicedyrektor departamentu finansw wcentrali ZUS iby odpowiedzialny m.in. za budet FUS iFRD oraz prowadzenie analiz makroekonomicznych ifinansowych. Obecnie peni funkcj Gwnego Ekonomisty Banku Gospodarstwa Krajowego. Prowadzi prace badawcze ianalizy dotyczce makroekonomii, finansw publicznych i zagadnie europejskich. Ma wieloletnie dowiadczenie w tworzeniu modeli ekonomicznych iich wykorzystaniu do prowadzenia analiz ekonomicznych isporzdzania prognoz. Autor iwspautor szeregu publikacji iewaluacji, wszczeglnoci licznych prac dotyczcych badania wpywu funduszy strukturalnych na rne aspekty gospodarki. Twrca modelu MaMoR2 wykorzystywanego do analiz makroekonomicznego wpywu polityki spjnoci oraz szeregu innych modeli.

Bibliografia
Asensio J., Roca O., Evaluation of transport project infrastructures beyond cost-benefit analysis. An application to Barcelonas 4th ring road, Universitat Autnoma de Barcelona. Badanie wpywu Narodowego Planu Rozwoju 20042006 iNarodowych Strategicznych Ram Odniesienia 20072013 na wybrane wskaniki dokumentw strategicznych, T. Kaczor, R.Socha, IBnGR, 2008. Domeija D., Klein P., Should daycare be subsidized?, 2008. de la Fuente A., The effect of Structural Fund Spending on the Spanish regions: an assessment of the 1994-99 Objective 1 CSF, Instituto de Analisiss Economico (CSIC), 2002. Ocena postpw Polski wkonwergencji zkrajami UE oraz wpyw funduszy unijnych na gospodark wlatach 20042007, MRR, 2008. Raport kocowy zbadania nt.: Wpyw interwencji zfunduszy strukturalnych UE na zatrudnienie, PAG Uniconsult sp zo.o. /PENTOR Research International, 2007. Vedenov D., Wetzstein M., Toward an Optimal U.S. Ethanol Fuel Subsidy, University of Georgia 2006. Wpyw realizacji inwestycji finansowanych zfunduszy unijnych na ksztatowanie si gwnych wskanikw dokumentw strategicznych NPR iNSS oraz innych wybranych wskanikw makroekonomicznych na poziomie krajowym iregionalnym za pomoc modelu krajowego imodeli regionalnych Hermin, WARR, 2008. http://www.funduszestrukturalne.gov.pl/EWALUACJA+funduszy+w+Polsce/Baza+badan+ ewaluacyjnych/

Stanisaw Bienias

Wykorzystanie wynikw modelowania ekonomicznego w procesie ewaluacji polityki spjnoci


Czego spodziewa si odbiorca wynikw ewaluacji, sigajc po raport kocowy zbadania? Odbiorca chce zobaczy konkrety, ac jest bardziej konkretnego ni liczby pokazujce efekt badanej interwencji? Jeeli liczby te dotycz jeszcze oddziaywa, anie wycznie informacji odnoszcych si do poziomu produktw irezultatw (w kocu tych dostarcza nam monitoring1), to wikszo znas jest prawie wpeni ukontentowana. Prawie, poniewa osoby zajmujce si duej badaniami chciayby zobaczy liczby dotyczce rzeczywistych wnikw (tzw. efektw netto), anie tylko wynikw brutto interwencji bdcej przedmiotem ewaluacji. Co wicej, czasami chcemy oszacowa skal tych efektw (patrz ewaluacja ex ante), zanim jeszcze nasz program/projekt zostanie uruchomiony. Jak wida, usatysfakcjonowanie odbiorcy ewaluacji nie jest atwe istniej jednak narzdzia, techniki badawcze, dziki ktrym moemy osign podany efekt. Narzdziem takim s wanie modele ekonomiczne, ktre znakomicie si do tego celu nadaj. Dziki modelowaniu ekonomicznemu uzyskujemy dokadn kwantyfikacj efektw naszej interwencji, anie wycznie oglnikowe stwierdzenie (jake czsto wystpujce wraportach ewaluacyjnych), e wydaje si, i projekt/program wywoa znaczce pozytywne efekty zarwno wsferze spoecznej, jak igospodarczej, lecz zracji zoonoci interwencji skala tych oddziaywa jest trudna do oszacowania. Stosujc modele, jestemy wstanie pokaza efekty netto, anie, jak wwikszoci tradycyjnych metod badawczych, efekty brutto. Moemy szacowa
1 WPolsce wokresie programowania 20042006, przy bardzo dobrze dziaajcym monitoringu postpu finansowego (premier 20 dni po zakoczeniu kadego miesica dostaje na biurko informacj kto, wramach jakiego dziaania, nie wydatkuje pienidzy), istnieje bardzo ograniczona informacja na temat postpu rzeczowego. Wskanikw jest zbyt duo, s one niespjne i w wikszoci przypadkw nie pozwalaj na agregacj informacji na wysze poziomy wdraania. Problemy dodatkowo potguje niedziaajcy system informatyczny SIMIK 20042006.

156

Stanisaw Bienias

efekty naszej interwencji, ktre wystpi w przyszoci, a nawet okreli przewidywan trwao tych efektw ju po zakoczeniu programu/projektu. Jestemy wstanie uzyska informacje dotyczce wpywu interwencji na zmienne makroekonomiczne, takie jak PKB, stopa zatrudnienia czy wydajno pracy przy odpowiednio skonstruowanym narzdziu ograniczenia w tym zakresie s bardzo niewielkie. Ponadto modele pozwalaj nam pokaza efekty, jakie nasza interwencja wywouje wcaej gospodarce (krajowej/regionalnej/lokalnej) iodnie je do caoci zachodzcych przemian widzimy efekty interwencji w dynamicznym kontekcie. Modele maj jeszcze jedn niewtpliw zalet mimo duego skomplikowania narzdzia ijednoczenie znacznych nakadw pracy zwizanych zjego opracowaniem, anastpnie utrzymaniem jest ono relatywnie tanie2. Czy oznacza to, e wszystkie badania ewaluacyjne powinnimy oprze wycznie na modelowaniu ekonomicznym? Oczywicie, nie. Jak kade narzdzia, tak imodele ekonomiczne, maj pewne ograniczenia. Nie bd tutaj porusza zagadnie dotyczcych konstrukcji narzdzia, lecz wycznie te zwizane zwykorzystaniem samych wynikw modelowania. Z uwagi na specyficzn terminologi, ikonieczno posiadania przez odbiorc chocia minimalnego zasobu wiedzy z dziedziny makroekonomii, pierwsz trudno napotykamy ju w momencie prezentacji wynikw modelowania. Dla zdecydowanej wikszoci osb badania rnice pomidzy punktem procentowym a procentem s niewielkie. Jeszcze trudniejsze jest rozrnienie np. midzy poziomem Produktu Krajowego Brutto adynamik Produktu Krajowego Brutto. Bardzo czsto (a celuj wtym zwaszcza media) terminy te wodniesieniu do konkretnej liczby s stosowane zamiennie! Moemy wic sobie wyobrazi, jak due bdy w ten sposb powstaj! Dodatkow trudno stanowi fakt, e wprzypadku bada ewaluacyjnych na wykresach, w tabelach prezentowany jest wycznie wpyw interwencji na dan zmienn makroekonomiczn (czyli rnica midzy dwoma moliwymi scenariuszami rozwoju zuwzgldnieniem realizacji interwencji oraz whipotetycznej sytuacji gdyby dana interwencja nie bya realizowana). Prowadzi to wwielu przypadkach do dodatkowego zwikszenia bdu wzrozumieniu wynikw. Czsto dane prezentujce efekt skumulowany badanej interwencji (czny efekt narastajcy wcigu kilku kolejnych lat) s do siebie dodawane, co daje wielokrotne przeszacowanie wyniku. Dalej przedstawiony zosta sposb, wjaki naley rozumie prezentowane wyniki oddziaywania makroekonomicznego polityki spjnoci.

2 Realizacja badania majcego na celu ocen efektu netto za pomoc ankiet na duych grupach kontrolnych bdzie wwikszoci przypadkw drosza ni zastosowanie modelu ekonomicznego.

Wykorzystanie wynikw modelowania ekonomicznego

157

Jak naley interpretowa wyniki modelowania ekonomicznego?


Na wykresie 1 przedstawione zostay dwa scenariusze rozwoju. Scenariusz rozwoju uwzgldniajcy realizacj polityki spjnoci w Polsce linia szara oraz hipotetyczny scenariusz rozwoju wsytuacji, gdyby Polska nie bya beneficjentem tej polityki. Linie przerywane (rnica midzy dwoma scenariuszami) obrazuj wpyw realizacji polityki spjnoci na dan zmienn. Jest to efekt netto (mamy bowiem do czynienia zodniesieniem do scenariusza rozwoju wsytuacji kontrfaktycznej). Wcelu wikszej przejrzystoci prezentacji wynikw na og na wykresach pokazuje si wycznie jedn lini przedstawiajc wpyw interwencji na okrelon zmienn ekonomiczn. Spjrzmy na konkretny przykad prezentacji efektw polityki spjnoci.
30

zmienna makroekonomiczna

25 20 15 10 5 0 2004 2005 2006 2007 2008 2009 2010 2011 scenariusz rozwoju w hipotetycznej sytuacji, gdyby polityka spjnoci nie bya w Polsce realizowana scenariusz rozwoju w sytuacji realizacji polityki spjnoci w Polsce rnice midzy scenariuszami, czyli wpyw polityki spjnoci na zmienn makroekonomiczn

lata

Wykres 1. Wpyw polityki spjnoci na zmienn makroekonomiczn


rdo: Opracowanie na podstawie materiaw roboczych Krajowej Jednostki Oceny, MRR.

Na wykresie 2 zaprezentowany zosta wpyw polityki spjnoci na liczb pracujcych wwieku od 15 do 64 lat, oszacowany za pomoc dwch modeli makroekonomicznych (model HERMIN linia szara imodel MaMoR2 linia czarna). Wedug szacunkw przeprowadzonych za pomoc modelu HERMIN w2007 r. ilo osb pracujcych3 bya wysza o252 tys. osb ni w przypadku hipotetycznej sytuacji, gdyby Polska nie bya beneficjentem polityki spjnoci inie korzystaa ze wsparcia finansowego zfunduszy unij Liczonej na podstawie wynikw Bada Aktywnoci Ekonomicznej Ludnoci (BAEL). Wedug metodologii BAEL do pracujcych zalicza si osoby, ktre wbadanym tygodniu:  wykonyway, przez co najmniej 1 godzin, prac przynoszc zarobek lub dochd albo pomagay (bez wynagrodzenia) wprowadzeniu rodzinnego gospodarstwa wrolnictwie lub rodzinnej dziaalnoci gospodarczej poza rolnictwem,  nie wykonyway pracy (np. zpowodu choroby, urlopu, przerwy wdziaalnoci zakadu, trudnych warunkw atmosferycznych), ale formalnie byy zatrudnione (wartoci rednioroczne).
3

158

Stanisaw Bienias

nych (zwrmy uwag, e odlego midzy lini szar a osi poziom na wykresie 2 odpowiada dugoci linii przerywanej obrazujcej wpyw na wykresie 1). Naley mie na uwadze, e 252 tys. osb w 2007 r. pokazuje efekt skumulowany. Bdna byaby interpretacja, e niniejsze miejsca pracy powstay tylko w roku 2007. Znaczna cz osb z prezentowanych 252 tys. znalaza bowiem zatrudnienie (wwyniku realizacji polityki spjnoci) ju wlatach poprzednich4! Idc dalej tym tropem, zauwaymy, e midzy rokiem 2008 a2009 efekt realizacji polityki spjnoci bdzie mia negatywny wpyw na rynek pracy5 chocia efekt skumulowany pozostanie nadal pozytywny 242 tys. osb. Analogicznie powinnimy interpretowa szacunki opracowane przy uyciu drugiego modelu MaMoR2 (linia czarna na wykresie).
800 model MaMoR2 600 407 400 252 200 21 0 2004 61 10 2005 176 45 2006 190 123 2007 2008 2009 2010 2011 2012 2013 2014 2015 264 242 248 385 model HERMIN 504 540 453 489 405 571 424 535 289 689

Szacunki na bazie rzeczywicie poniesionych wydatkw

Szacunki na bazie prognoz wydatkw

Wykres 2. Skumulowany wpyw polityki spjnoci na liczb pracujcych wwieku od 15 do 64 lat (wtys. osb)
rdo: Ocena postpw Polski w konwergencji z krajami UE oraz wpyw funduszy unijnych na gospodark w latach 20042007, Departament Koordynacji Polityki Strukturalnej, Ministerstwo Rozwoju Regionalnego, lipiec 2008 r.

Musimy mie na uwadze, e kada instytucja, kady ekspert wnieco inny sposb prezentuje otrzymane wyniki modelowania ekonomicznego, co dodatkowo utrudnia ich bezproblemowe zrozumienie. Sugeruje si raczej ograniczanie iloci informacji, dotyczcych rnych zmiennych makroekonomicz4 Jeszcze wikszym bdem byoby twierdzenie, e wlatach 20042007 powstao 510 tys. miejsc pracy (21 + 61 + 176 + 252). Takie bdne informacje byy rozpowszechniane wuznanych gazetach ooglnopolskim zasigu. 5 Spadek z407 do 242 tys. osb. Gwn przyczyn takiego stanu bdzie zakadane, prognozowane zmniejszenie transferw do gospodarki, zwizane z zakoczeniem realizacji perspektywy 20042006, ajeszcze niepenym rozpdzeniem wydatkowania rodkw zperspektywy 20072013.

Wykorzystanie wynikw modelowania ekonomicznego

159

nych prezentowanych wraporcie zewaluacji, na rzecz powicenia wikszej iloci miejsca szczegowemu opisaniu izinterpretowaniu kilku kluczowych wartoci, najwaniejszych z punktu widzenia realizacji badania. Niezwykle istotne jest ponadto, by sam raport pisany by jzykiem niefachowym, zrozumiaym dla szerszego grona odbiorcw, anie tylko dla wskiej grupy specjalistw. Kwestie te s szczeglnie istotne, gdy moemy si spodziewa, e wyniki naszego raportu bd interesujce rwnie dla opinii publicznej i mediw. Dziki temu unikn moemy wielu nieporozumie ipisania sprostowa do artykuw prasowych6. Zdefiniowalimy wic pierwszy problem zwizany z wykorzystaniem wynikw modelowania s one stosunkowo mao zrozumiae dla szerszego grona odbiorcw. Kolejny problem pojawia si wmomencie wyjanienia, dlaczego otrzymalimy taki, anie inny wynik. Dla wikszoci osb (praktycznie wszystkich niezajmujcych si bezporednio modelowaniem) sam model stanowi pewnego rodzaju pudeko-zagadk. Po wrzuceniu do modelu kilku wartoci w przypadku polityki spjnoci s to patnoci rzeczywiste (na bazie danych historycznych) lub/i planowane (prognozy patnoci wkolejnych latach) na rzecz beneficjentw pomocy w rozbiciu na kategorie wydatkw7 otrzymujemy wyniki, ktre nas interesuj wpyw na PKB, liczb osb pracujcych. Mechanizm, jaki kryje si za tym przeistoczeniem, dla wikszoci odbiorcw ewaluacji na zawsze pozostanie tajemnic. Problemy pojawiaj si najczciej wmomencie, gdy efekty s inne, ni si spodziewalimy np. mamy do czynienia znagym zwrotem trendu oddziaywania, du fluktuacj prognoz lub innymi nieoczekiwanymi wynikami.

Kontrowersyjne wyniki modelowania makroekonomicznego


Ciekawym przykadem moe by tutaj analiza opracowana przez Urzd Marszakowski Wojewdztwa Dolnolskiego8 na potrzeby optymalizacji alokacji dla programu regionalnego. W ramach analizy opracowano kilka moliwych scenariuszy alokacji rodkw (rny udzia rodkw sucych interwencjom, ktre mona okreli jako sprzyjajce osiganiu celw Strategii Lizboskiej) iich spodziewanego wpywu na rozwj gospodarki regionalnej.
6 Przy prezentacji wynikw na konferencjach prasowych naley ponadto pamita oprzygotowaniu notatki dla dziennikarzy, ktra powinna by napisana atwym izrozumiaym jzykiem, oraz jej umieszczeniu na odpowiedniej stronie internetowej. 7 Modele wykorzystywane wPolsce uwzgldniaj trzy gwne kategorie interwencji czyli kierunek wykorzystania rodkw: inwestycje w sektor produkcyjny, inwestycje w infrastruktur oraz wydatki na rozwj zasobw ludzkich. 8 Bradley J., Zaleski J., Tomaszewski P., Zembaty M., Ocena efektu makroekonomicznego Regionalnego Programu Operacyjnego na lata 20072013 na gospodark Wojewdztwa Dolnolskiego za pomoc modelu HERMIN, Wrocaw 2006.

160

Stanisaw Bienias

Okazao si ku zaskoczeniu wszystkich e scenariusz alokacji mniej prolizboski zapewnia lepsze efekty rozwojowe! Czy to oznacza, e nie powinnimy realizowa Strategii Lizboskiej zwykorzystaniem rodkw wramach polityki spjnoci? Oczywicie, nie! Pamitajmy, e model jest tylko instrumentem, aza otrzymanymi wynikami stoj pewne zaoenia iograniczenia dla samego narzdzia. Po pierwsze, rnice midzy poszczeglnymi scenariuszami byy relatywnie niewielkie imieciy si wgranicy bdu modelowania. Po drugie, pamita naley, e model widzia rne scenariusze wydatkw wznacznie bardziej uproszczonej formie, ni my je rozumiemy, posugujc si pojciem wydatki prolizboskie. Dane dostarczane do modelu pogrupowane byy wramach trzech kategorii interwencji (inwestycje wsektor produkcyjny, inwestycje winfrastruktur oraz wydatki na rozwj zasobw ludzkich). Dla przykadu w kategorii infrastruktura znajdoway si zarwno wydatki prolizboskie, na przykad budowa autostrad, jak i wydatki, ktre ciko podejrzewa o generowanie wysokich impulsw rozwojowych np. budowa basenw. Dla modelu ten sam efekt na wzrost PKB generuje jedno euro przeznaczone na budow autostrady, jak iwydane na budow infrastruktury spoecznej. Wtym przypadku instytucja, ktra realizowaa niniejsz analiz, nie pozostawia wynikw bez wyjanienia ijasno wskazaa, e uzyskane szacunki nie pozwalaj na wysnucie wicych wnioskw wzakresie efektywnoci rodkw prolizboskich. Gdyby niniejsze wyniki pozostawione zostay bez odpowiedniego komentarza ze strony twrcw modelu, mogyby suy niewaciwym decyzjom podejmowanym na szczeblu politycznym. Przyczyny otrzymania nietypowych/niespodziewanych wynikw mog by bardzo rne poczynajc od zaoe przyjtych w modelu, po teorie ekonomiczne lece u podstaw modelowania9. Jeeli interpretacj kontrowersyjnych wynikw pozostawimy wycznie odbiorcom ewaluacji, moemy spodziewa si sformuowania wielu nieprawidowych lub niezasadnych wytumacze. Najbardziej waciwymi osobami, ktre kadorazowo powinny przedstawia stosown interpretacj, s twrcy samego modelu, poniewa to oni znaj model najlepiej iwiedz, jakie mechanizmy przyczyniy si do osignicia takich, anie innych wynikw. Zlecajcy ewaluacj powinni natomiast dopilnowa, by odpowiednie wyjanienia znalazy si wraporcie zbadania10. Poniewa, jak zostao to powiedziane wczeniej, dla wikszoci osb model jest swoistym pudekiem zagadk, bardzo due znaczenie przy realizacji
Wtym miejscu spjrzmy, jak rnie zachowuj si modele np. przy nagym zaprzestaniu finansowania, bd znacznym ograniczeniu jego skali. Jedne modele prognozuj wtakiej sytuacji bardzo gwatowne negatywne tpnicie wsferze realnej gospodarki (HERMIN), podczas gdy inne reaguj stosunkowo spokojnie (MaMoR2). 10 Praktyka wskazuje, e czasami sami twrcy nie s w stanie przedstawi jasnej i klarownej interpretacji wtpliwych wynikw i sami nie wiedz, dlaczego model pokazuje takie, a nie inne prognozy.
9

Wykorzystanie wynikw modelowania ekonomicznego

161

bada zwykorzystaniem modelowania ma autorytet twrcw samego narzdzia. Jest to istotne, gdy wikszo modeli stanowi wasno konkretnych instytucji inie ma penej dostpnej dokumentacji prezentujcej wszystkie elementy modelu11. Wwikszoci przypadkw publikowane s jedynie oglne opisy modelu oraz pakiet zaoe przyjtych przez autorw. Wiarygodno wynikw jest zatem niejako firmowana autorytetem i dowiadczeniem twrcw narzdzia, a wiele informacji przyjmuje si, bazujc wycznie na opinii iinformacji uzyskanych bezporednio od osb realizujcych badanie. Istotne jest wic, by mie pewno, e za wynikami prac stoi wiedza i dowiadczenie twrcw modelu, gdy midzy innymi od tego zalee bdzie wiarygodno wynikw samego modelowania. Kolejnym problemem, ktry pojawia si przy wykorzystaniu wynikw modelowania ekonomicznego, jest ograniczona moliwo porwnania danych. Trudno polega na tym, e wyniki prognoz przeprowadzone przy wykorzystaniu poszczeglnych modeli znacznie si rni. Rnice te dotycz zarwno wielkoci oddziaywania, momentu, wktrym to oddziaywanie jest najwiksze, jak ireakcji gospodarki na ograniczenie skali dopywu rodkw europejskich itp.

Rnice wwynikach prognoz


Przykadem mog tu by wyniki analiz przeprowadzonych na zlecenie Ministerstwa Rozwoju Regionalnego przy zastosowaniu dwch modeli szacujcych wpyw na poziomie regionalnym12. Oceniajc caociowy wpyw polityki spjnoci, przy zastosowaniu modelu MaMoR2, otrzymujemy wyniki prognozowania, ktre wskazuj, e polityka ta bdzie przyczynia si do przyspieszenia konwergencji midzyregionalnej wPolsce. Wszystkie najbied Wyjtek stanowi tutaj dokumentacja dotyczca polskiej implementacji modelu HERMIN. Wzwizku zfinansowaniem wikszoci prac ze rodkw publicznych, zarwno Ministerstwo Rozwoju Regionalnego, jak iWrocawska Agencja Rozwoju Regionalnego (wsptwrca polskiej wersji modelu HERMIN) prowadzi bardzo otwart polityk informacyjn iupublicznia wszystkie informacje dotyczce konstrukcji modelu. Dziaanie takie, niewtpliwie waciwe zuwagi na finansowanie przedsiwzicia ze rodkw publicznych, jednoczenie naraaj sam model na do intensywn krytyk rodowisk naukowo-eksperckich. Ograniczona ilo dostpnych informacji nie pozwala bowiem na tak pogbion krytyk innych modeli. 12 Kaczor T., Socha R., Badanie wpywu Narodowego Planu Rozwoju 20042006 iNarodowych Strategicznych Ram Odniesienia 20072013 na wybrane wskaniki dokumentw strategicznych, Instytut Bada nad Gospodark Rynkow, Prevision, kwiecie 2008 r. Wpyw realizacji inwestycji finansowanych zfunduszy unijnych na ksztatowanie si gwnych wskanikw dokumentw strategicznych NPR i NSS oraz innych wybranych wskanikw makroekonomicznych na poziomie krajowym i regionalnym za pomoc modelu krajowego i modeli regionalnych Hermin, Zesp Wrocawskiej Agencji Rozwoju Regionalnego pod kierownictwem prof.J.Zaleskiego we wsppracy zdr J. Bradleyem, maj 2008 r.
11

162

Stanisaw Bienias

niejsze wojewdztwa rozwija si bd zdecydowanie szybciej ni rednia dla kraju. Natomiast wyniki prognozowania, przy zastosowaniu modelu HERMIN, daj wrcz odwrotne rezultaty realizacja polityki spjnoci przyczyni si do pogbienia zrnicowa midzyregionalnych wnaszym kraju (cztery zpiciu najbiedniejszych wojewdztw bd si rozwijay wolniej ni rednia dla kraju). Wpyw funduszy unijnych na poziom PKB na mieszkaca w relacji do redniej dla kraju dla 5 najbiedniejszych i 5 najbogatszych polskich wojewdztw przedstawia tabela 1.
Tabela 1
Wpyw funduszy unijnych na poziom PKB na mieszkaca wrelacji do redniej dla kraju dla 5 najbiedniejszych i5 najbogatszych polskich wojewdztw MaMoR2 2015
rednia zmiana dla najbiedniejszych wojewdztw: lubelskie podkarpackie podlaskie witokrzyskie warmisko-mazurskie dolnolskie mazowieckie pomorskie lskie wielkopolskie rednia zmiana dla najbogatszych wojewdztw Najbogatsze wojewdztwa Najbiedniejsze wojewdztwa + +1,8 +2,3 +2,8 +2,4 +3,7 +1,4 6,7 +1,7 0,1 1,2 2,57 +0,35 2,59 2,7 0,13 +4,72 3,73 +2,94 +2,46 +2,99 +

Wojewdztwo

HERMIN

rdo: Opracowanie wasne na podstawie Ocena postpw Polski w konwergencji z krajami UE oraz wpyw funduszy unijnych na gospodark wlatach 20042007, Departament Koordynacji Polityki Strukturalnej, Ministerstwo Rozwoju Regionalnego, lipiec 2008 r.

Wykorzystanie wynikw modelowania ekonomicznego

163

Rnice w wynikach modelowania przy zastosowaniu dwch rnych narzdzi, chocia zastanawiajce, znaukowego punktu widzenia wydaj si zrozumiae. Modele przygotowuj dwa rne zespoy badawcze, u podstaw kadego z narzdzi stoj rnice si teorie ekonomiczne, ado przeprowadzenia bada przyjmuje si nieco inne zaoenia. Wykorzystujc modele ekonomiczne, naley zawsze mie na uwadze, e s one zaawansowanym i skomplikowanym, ale jednak tylko narzdziem, a otrzymane wyniki nie zawsze musz odpowiada rzeczywistoci. Podobnie jak ma to miejsce wprzypadku realizacji ankiet na identycznie zadane pytanie moemy uzyska rne odpowiedzi, zalenie od tego, jakim typem ankiety si posuymy. Z podobn sytuacj (nieco bardziej zoon) mamy do czynienia, stosujc modele ekonomiczne. Specyfika modelu iprzyjte zaoenia bardzo silnie wpywaj na otrzymywane wyniki. Naley zatem dokadnie zapozna si z zaoeniami procesu badawczego, adla wzmocnienia wiarygodnoci otrzymanych wynikw warto rozway wykorzystanie wicej ni jednego modelu ekonomicznego (triangulacja). Daje to moliwo oparcia procesu decyzyjnego o lepiej zweryfikowane informacje. Wkonsternacj mog natomiast wprowadzi bardzo due rnice wynikw przygotowane za pomoc tych samych modeli tylko w rnym czasie. Wniektrych przypadkach wyniki modelowania rni si nawet o50% midzy badaniami przeprowadzanymi rok po roku. W takich sytuacjach konieczne jest, by twrcy modelu przedstawiali stosowne wyjanienia, ktre tumacz takie, anie inne wyniki prognozowania. Najczstsza przyczyna tego, e prognozy rni si wczasie, wynika zrozszerzenia szeregw czasowych o kolejne okresy (uaktualnienie modelu). Naley rwnie pamita, e modelarze nieustannie si doskonal, porwnuj otrzymane wyniki iw rezultacie wprowadzaj pewne modyfikacje do swoich narzdzi, co nastpnie skutkuje odmiennymi wynikami13.

Podsumowanie
Polska na tle innych pastw czonkowskich UE jest krajem, ktry stosunkowo du wag przywizuje do znaczenia bada oddziaywania makroekonomicznego wrealizacji polityki spjnoci zwykorzystaniem modeli ekonomicznych. Modele s wnaszym kraju wykorzystywane nie tylko do przygotowywania samych prognoz, ktre to nastpnie s brane pod uwag przez ewaluatorw (tak byo wprzypadku ewaluacji ex ante dokumentw programowych na lata 20072013). Czsto modele s integraln czci ewaluacji
Ciekawym przykadem takiego postpowania, byo upublicznienie przez Komisj Europejsk IV Raportu Kohezyjnego. Przedstawione w nim wyniki prognozowania m.in. dla Polski stanowiy swoisty benchmark dla wynikw prognoz przygotowywanych przez polskich ekonomistw.
13

164

Stanisaw Bienias

on-going14, gdzie wykorzystywane s jako jedna zmetod analizy, anie jako jedyne rdo informacji. Pozostaje jeszcze odpowied na pytanie, czy biorc pod uwag wszystkie trudnoci zwizane zwykorzystaniem wynikw modelowania, powinno si podejmowa wysiek na rzecz dalszego zwikszania ich roli wprocesie ewaluacji polityki spjnoci? Zdecydowanie tak! Korzyci z wykorzystania wynikw modelowania s nieporwnywalnie wiksze ni problemy, zktrymi moemy si spotka. Trzeba natomiast stara si ogranicza skal ewentualnych trudnoci: wyniki modelowania powinny by prezentowane wsposb atwy wodbiorze, asam raport powinien by pisany jzykiem, ktry nie wymaga posiadania specjalistycznej wiedzy; w raporcie wicej miejsca powinno by powicone interpretacji kluczowych wynikw, anie zalewaniu odbiorcy badania olbrzymi iloci rnych danych, ktre s mao zrozumiae; kontrowersyjne, zaskakujce wyniki nigdy nie powinny pozostawa bez odpowiedniego komentarza autorw badania, ktrzy z racji znajomoci narzdzia s najwaciwszymi osobami mogcymi poprawnie zinterpretowa otrzymane wyniki; przed przystpieniem do interpretacji wynikw naley zawsze zapozna si zzaoeniami procesu badawczego; za wynikami badania realizowanego przy wykorzystaniu modeli ekonomicznych powinni sta twrcy narzdzia, ktrych wiedza idowiadczenie podnosi bdzie wiarygodno otrzymanych szacunkw iprognoz; z uwagi na trudnoci z porwnywalnoci wynikw modelowania, tam, gdzie jest to moliwe, wskazana jest realizacja badania cyklicznie przy wykorzystaniu tego samego narzdzia; zwikszeniu dokadnoci iwiarygodnoci wynikw bada suy zastosowanie rwnolege wicej ni jednego modelu ekonomicznego15; w celu podniesienia precyzji otrzymywanych wynikw, wane jest, by modele ekonomiczne, ktre prezentuj wyniki w skali makro, bazoway wswoich zaoeniach na badaniach ewaluacyjnych wskali mikroekonomicznej;
14 Np. badanie dotyczce Wpywu interwencji finansowanych zfunduszy strukturalnych UE na zatrudnienie, zrealizowane przez PAG Uniconsult wraz zPentor Research International na zlecenie MRR. Ewaluacja bazowaa zarwno na wynikach modelowania, jak ina rozlegych badaniach ankietowych. Wyniki uzyskane rnymi technikami badawczymi byy nastpnie ze sob zestawione, co pozwalao na uzyskanie bardzo ciekawych, ajednoczenie wiarygodnych informacji. Innym badaniem, wramach ktrego model by jednym z narzdzi badawczych, byo badanie Wpywu programw operacyjnych iNPR na realizacj celw Strategii Lizboskiej zrealizowane przez firm Ecorys na zlecenie MRR. 15 W IV Raporcie Kohezyjnym KE wykorzystaa trzy rne modele ekonomiczne. Realizacja cyklicznych bada oddziaywania makroekonomicznego, przy wykorzystaniu trzech rnych modeli ekonomicznych, jest rwnie planowana przez Ministerstwo Rozwoju Regionalnego.

Wykorzystanie wynikw modelowania ekonomicznego

165

w badaniach ewaluacyjnych warto jest wykorzystywa model jako jedno znarzdzi badawczych, anie jedyne rdo danych czenie rnych metod daje moliwo triangulacji i tym samym podnosi to wiarygodno otrzymanych wynikw. Na koniec warto jest jeszcze przyjrze si kontekstowi, wjakim wnajbliszych latach przyjdzie nam w Polsce wykorzystywa wyniki modelowania makroekonomicznego. Polska, poczwszy od 2007 r., staa si najwikszym beneficjentem funduszy strukturalnych UE. Z uwagi na skal zaangaowanych rodkw stalimy si swoistym laboratorium polityki spjnoci wskali caej Europy16. Od tego, czy bdziemy wstanie trafnie, skutecznie iefektywnie wykorzysta tak due fundusze, uzaleniony bdzie nie tylko przyszy interes Polski, lecz rwnie przyszo caej polityki spjnoci. Przed ewaluacj wnaszym kraju stoi kluczowe zadanie wdostarczeniu argumentw wdyskusji nad ksztatem iskal polityki spjnoci po roku 2013. Wyniki modelowania makroekonomicznego, ktre pozwalaj na pokazanie caociowych efektw tej polityki, bd jednym znajwaniejszych argumentw wrozpoczynajcej si debacie.

Stanisaw Bienias absolwent Szkoy Gwnej Handlowej w Warszawie oraz podyplomowych studiw z zakresu ewaluacji projektw na Uniwersytecie Warszawskim. Od czterech lat pracuje w Ministerstwie Rozwoju Regionalnego, od 2006 roku na stanowisku naczelnika Wydziau Ewaluacji (Krajowa Jednostka Oceny). Odpowiedzialny za realizacj procesu ewaluacji na poziomie Narodowego Planu Rozwoju na lata 20042006 i Narodowych Strategicznych Ram Odniesienia na lata 20072013 oraz za koordynacj procesu ewaluacji na poziomie programw operacyjnych realizowanych w latach 20042006 i 20072013. Bra udzia w realizacji ponad 50 bada ewaluacyjnych, by organizatorem i prelegentem licznych konferencji i seminariw dotyczcych budowy kultury ewaluacyjnej w naszym kraju. Reprezentuje Polsk wspotkaniach Evaluation Network w ramach Dyrekcji Generalnej do Spraw Regionalnych w Komisji Europejskiej, wsppracuje z OECD i innymi instytucjami krajowymi i zagranicznymi. Jeden z ekspertw obecnie realizowanego Twinningu Niemiecko-Polsko-Rumuskiego. Prowadzi wykady na studiach podyplomowych zzakresu ewaluacji, monitoringu i wskanikw. Wspautor kilku publikacji z zakresu ewaluacji i funduszy strukturalnych.

16 Wicej na ten temat wPolityka spjnoci po 2013 r. Podane kierunki reformy, MRR, stycze 2008r.

166

Stanisaw Bienias

Bibliografia
Bradley J., Zaleski J., Tomaszewski P., Zembaty M., Ocena efektu makroekonomicznego Regionalnego Programu Operacyjnego na lata 20072013 na gospodark Wojewdztwa Dolnolskiego za pomoc modelu HERMIN, Wrocaw 2006. Kaczor T., Socha R., Badanie wpywu Narodowego Planu Rozwoju 20042006 iNarodowych Strategicznych Ram Odniesienia 20072013 na wybrane wskaniki dokumentw strategicznych, Instytut Bada nad Gospodark Rynkow, Prevision, kwiecie 2008 r. Polityka spjnoci po 2013 r. Podane kierunki reformy, MRR, stycze 2008r. Wpyw realizacji inwestycji finansowanych zfunduszy unijnych na ksztatowanie si gwnych wskanikw dokumentw strategicznych NPR iNSS oraz innych wybranych wskanikw makroekonomicznych na poziomie krajowym iregionalnym za pomoc modelu krajowego imodeli regionalnych Hermin, Zesp Wrocawskiej Agencji Rozwoju Regionalnego pod kierownictwem prof.J.Zaleskiego we wsppracy zdr J. Bradleyem, maj 2008 r.

Dominik Batorski

Metody analizy sieci iich zastosowanie wewaluacji


Badania ewaluacyjne korzystaj zwielu technik zbierania danych. Jednak wpraktyce to, jakie dane s zbierane iwykorzystywane, zaley wduej mierze od moliwoci ich analizy. Celem niniejszego rozdziau jest przedstawienie metod analizy sieci spoecznych (ang. social network analysis), nazywanych czasem take analiz sieciow. W odrnieniu od klasycznych metod analiz prowadzonych wbadaniach ilociowych, ktre koncentruj si na badaniu atrybutw jednostek (zmiennych), ich waciwoci izalenoci midzy nimi, analiza sieciowa wymaga badania relacji pomidzy samymi jednostkami. Jest to otyle istotne, e kady znas, atake firmy iorganizacje, funkcjonuje wsieciach relacji zinnymi osobami iorganizacjami. Sieci te mog mie kluczowe znaczenie dla osigni jednostek, sukcesu instytucji i konkretnych projektw. Badania pokazuj, e charakter sieci, wktre zaangaowane s jednostki, ma wpyw praktycznie na wszystko od zdrowia1, przez sukces zawodowy2, a do tosamoci. Podobnie sytuacja organizacji wduym stopniu zaley od otoczenia, wktrym funkcjonuj. Wykorzystujc dane o relacjach, analiza sieciowa pozwala na badanie struktury powiza pomidzy jednostkami, atake zalenoci struktury od atrybutw jednostek i wpywu na procesy, ktre zachodz poprzez relacje (transakcje, przepyw informacji, kooperacja). Metody te wykorzystywane s nie tylko wsocjologii, ale te wwielu innych dziedzinach. Wbadaniach organizacyjnych analiza struktury komunikacji worganizacji moe pozwoli zidentyfikowa nieformalne relacje, znaczenie poszczeglnych jednostek dla przepyww informacji iwiedzy, atake zidentyfikowa nieformalnych liderw3. W kryminologii metody sieciowe s wykorzystywane do ustalania relacji pomidzy obiektami izwalczania zorganizowanej przestpczoci. Wsektorze finansowym (bankach, firmach ubezpieczeniowych) analiza da1 Osoby, ktre maj wicej bliskich relacji zinnymi ludmi, yj duej. Ci, ktrzy maj bardziej zrnicowane kontakty spoeczne, s bardziej odporni irzadziej choruj. 2 Relacje iich struktura wpywaj na szans znalezienia pracy, atake czstotliwo uzyskiwania awansw. 3 Por. KilduffM., Tsai W., Social Networks and Organizations, Sage, Londyn 2003.

168

Dominik Batorski

nych relacyjnych pozwala na wykrywanie naduy. Wepidemiologii ifarmakologii suy badaniu rozprzestrzeniania si chorb inaogw, oraz planowaniu skutecznego im przeciwdziaania. To jednak tylko przykady obszarw zastosowa analiz sieci jest znacznie wicej, bo wszdzie tam, gdzie relacje maj istotne znaczenie, badanie powiza iich struktury ma du warto. Niniejszy rozdzia stanowi wprowadzenie do metod analizy sieciowej. Pierwsza cz zawiera podstawowe definicje ipokazuje specyfik podejcia sieciowego wporwnaniu ztradycyjnymi badaniami. Druga cz rozdziau powicona jest prowadzeniu bada sieciowych, metodom zbierania danych i ich typom. Trzecia cz zawiera omwienie podstawowych metod analitycznych wykorzystywanych w analizie sieci. W ostatniej czci przedstawiona zostaa problematyka zastosowania podejcia sieciowego wbadaniach ewaluacyjnych.

Sieci ipodejcie sieciowe


Podstawowe definicje
W najprostszym ujciu, sie to kady zbir obiektw powizanych pewnymi relacjami. Sie spoeczna to najczciej zbir osb poczonych spoecznie znaczcymi relacjami. Jednak wpraktyce analiza sieciowa nie ogranicza si do badania wycznie sieci spoecznych izarwno obiekty, jak irelacje wsieci mog by bardzo rne. Jednostkami, czyli wzami sieci (grafu), mog by osoby, idee, publikacje, wydarzenia, projekty, organizacje, atake pastwa. Podobnie jak winnych typach bada zaley to przede wszystkim od badanego problemu. Przykadowo moemy mwi osieci wprzypadku komunikacji midzy osobami, atake handlu iwsppracy pomidzy firmami, czy migracji midzy pastwami. Wybr badanej populacji, awic okrelenie granic badanej sieci, moe stanowi powany problem. Zanim jednak przejdziemy do omwienia tego problemu, naley nieco wicej miejsca powici relacjom. Jako e sie skada si zjednostek irelacji midzy nimi, to koniecznym jest okrelenie nie tylko tego, jakie jednostki, ale rwnie jakie relacje bierzemy pod uwag. Wgruncie rzeczy poczeniami midzy wzami sieci mog by wszelkiego rodzaju relacje midzy nimi. Czsto badanymi relacjami w tradycyjnej analizie sieci spoecznych s na przykad: znajomoci, komunikacja, wsppraca, udzielanie porad. Danymi relacyjnymi s rwnie czonkostwo wtej samej organizacji, udzia wtych samych spotkaniach, apomidzy organizacjami transakcje, przepywy finansowe, wsppraca, atake wiele innych. Z punktu widzenia analizy sieci spoecznych istotnych jest kilka waciwoci formalnych relacji, poniewa wpywaj one znaczco na to, jakie metody

Metody analizy sieci iich zastosowanie wewaluacji

169

analiz mona zastosowa. Zasadnicz spraw jest oczywicie rodzaj relacji. Awic, ojak relacj chodzi, czego ona dotyczy oraz wjaki sposb moliwe jest ustalenie, czy pomidzy dwoma jednostkami istnieje taka relacja, czy nie. Nie wystarczy na przykad powiedzie relacja przyjani, bez podania kryteriw zakwalifikowania relacji jako takiej4. Kolejn spraw jest moliwo okrelenia kierunku relacji. Relacje mog by skierowane lub nieskierowane (symetryczne). W pierwszym przypadku jest dokadnie okrelone, kto jest inicjatorem relacji, akto jej odbiorc. Na przykad X jest rodzicem Y, lub X jest zwierzchnikiem Z. Relacj symetryczn byoby bycie rodzin, X i Y s rodzin, atake praca, przy tym samym projekcie X pracuje zZ.

a.relacja nieskierowana

b.relacja skierowana

c.relacje skierowane, odwzajemnione

Rysunek1.Przykadowe typy relacji

Wane s te topologiczne imetryczne wasnoci relacji. Przede wszystkim moemy wyrni relacje, o ktrych mona powiedzie, e maj charakter zero-jedynkowy poczenie istnieje lub nie istnieje oraz takie, dla ktrych moliwe jest okrelenie siy poczenia (na przykad czstotliwo odwiedzin, komunikacji, dugo znajomoci, warto transakcji itp.). Czasami moe to by znak relacji, na przykad pozytywnanegatywna, relacja lubienianielubienia. W tym miejscu warto zaznaczy, e na og wzami wsieci s jednostki tego samego rodzaju na przykad tylko osoby, albo tylko organizacje. Tak sie nazywamy jednomodaln. Stosunkowo czsto badane s rwnie sieci, wktrych wzy nale do dwch bd kilku typw (sie dwu- wielomodalna). Sieci dwumodalne s najczciej nazywane sieciami afiliacji, poniewa relacje czce wzy s zazwyczaj relacjami przynalenoci. Przykadem s relacje przynalenoci osb do organizacji, uczestnictwa wprojektach, udziau wwydarzeniach. Zdarza si rwnie, e dla badanej zbiorowoci moliwe jest ustalenie wikszej liczby rnych relacji. Mwimy wtedy osieciach wielokrotnych. S to sieci, w ktrych te same jednostki s poczone rnymi relacjami na przykad wspprac wtych samych projektach, wsplnym spdzaniem czasu
Moe to by na przykad obustronne stwierdzenie iopisanie drugiej osoby jako przyjaciela, amoe by kategoria speniajca okrelone warunki, takie jak wsplne spdzanie czasu wolnego, pomaganie sobie itp.
4

170

Dominik Batorski

wolnego, dyskutowaniem spraw zawodowych itd. Wprzypadku organizacji mog to by transakcje, wsppraca, powizania personalne (gdy te same osoby nale do dwch lub wicej organizacji), wspwasno. Moliwe byoby rozpatrywanie kadej ztych sieci zosobna, ale istniej metody pozwalajce analizowa takie wielokrotne relacje cznie. Wielokrotne poczenia s na og mocniejsze itrwalsze. Od opisanych tu formalnych wasnoci sieci (jednostek i relacji midzy nimi) wduym stopniu zale rwnie metody, jakimi mona iwarto dan sie analizowa. Inne miary mog by wykorzystane, gdy relacje maj okrelony kierunek i warto, a inne, gdy powizania nie maj takiego charakteru. Wszystko to, jak rwnie konieczno uywania osobnych programw komputerowych dedykowanych do analizy sieci, sprawia, e metody te mog wyda si pocztkujcym badaczom bardzo skomplikowane.

Badanie iznaczenie struktur


Metody analiz sieci spoecznych s szeroko stosowane wwielu dyscyplinach, przy badaniu bardzo rnych rodzajw zjawisk: poznanie ksztatowania si postaw, ruchliwoci spoecznej iekonomicznej, dyfuzji innowacji iinformacji, komunikacji, struktury wsplnot, firm, organizacji, oraz stosunkw midzyludzkich izachowa politycznych. Jednak najczciej su po prostu do badania samej struktury. Zgodnie ze sownikow definicj, struktura to zbir, ukad wzajemnie powizanych ze sob elementw i/lub ukad relacji wystpujcych pomidzy czciami czy elementami jakiego systemu, pewnej caoci. Nieco wicej mwi inna definicja struktury, wedug ktrej s to regularnoci we wzorach relacji midzy jednostkami5. Analiza sieci spoecznych dy przede wszystkim do odkrycia wzoru interakcji midzy ludmi, organizacjami, pastwami itp. Suy wskazaniu wzorcw struktur spoecznych iwpywu takich struktur na inne zmienne oraz zmian samej struktury. Analiza sieciowa oparta jest na przekonaniu, e wzory relacji midzy ludmi, atake midzy organizacjami, nie s przypadkowe. Oraz e to, jak ludzie si zachowuj, wduym stopniu zaley od relacji, wjakich s zinnymi ludmi (i jakimi ludmi). Czsto te sukces organizacji, wsplnot, anawet caych spoeczestw zaley od wzoru ich wewntrznej struktury. Dobrym przykadem moe by zaleno wydajnoci pracy iefektywnoci zespow zadaniowych od ich struktury6. Take dziaanie mechanizmw spoecznych na przykad wpywu spoecznego, przepywu informacji, rozprzestrzeniania si innowacji, zwizane jest ziloci ijakoci kontaktw spoecznych istruktur komunikacji.
Knoke D., Kuklinski J.H., Network analysis, Sage 1982. CummingsJ.N., Cross R., Structural properties of work groups and their consequences for performance, Social Networks 2003, nr 25(3), s.197210.
6 5

Metody analizy sieci iich zastosowanie wewaluacji

171

Dziki metodzie analizy sieci spoecznych moliwe jest badanie nie tylko caych grup lub tylko izolowanych relacji, ale rnych porednich zalenoci. Moemy bada gsto sieci, wyodrbnia silniej powizane podgrupy, analizowa, czy sie jest scentralizowana, czy urozmaicona wswojej wielkoci ispjnoci, czy relacje s wsko wyspecjalizowane, czy raczej wielotematyczne, oraz to, jak niebezporednie powizania wpywaj na zachowania jednostek. Analiza sieci spoecznych pozwala uwzgldni (lepiej ni spojrzenie na ca grup) kontekst, wktrym znajduje si badana relacja iposzczeglne jednostki.

Podejcie sieciowe
Analiza sieci wywodzi si zsocjometrii stworzonej przez Moreno7. Pierwsza znaczca faza rozwoju metod analizy sieci nastpia wlatach 70.8. Nastpny etap rozwoju tej dziedziny mia miejsce wcigu ostatnich kilkunastu lat. Po pierwsze, pojawiy si metody umoliwiajce nie tylko opis sieci9, ale rwnie wnioskowanie o zalenociach wystpujcych w tych sieciach10 i procesach wsieciach zachodzcych11. Po drugie za, sieciami zainteresowali si matematycy ifizycy, wprowadzajc now perspektyw do bada spoecznych12. Jednak analiza sieci to co wicej ni zestaw miar inarzdzi. To paradygmat i sposb podejcia do rzeczywistoci spoecznej i badania zjawisk spoecznych, opierajcy si przede wszystkim na analizie relacji pomidzy obiektami13. Analiza sieci jest w gruncie rzeczy osobn perspektyw badawcz
7 Moreno J.L., Foundations of sociometry: An introduction, Sociometry 1941, nr 4(1), s.1535. 8 Holland P.W., Leinhardt S. (red.), Perspectives on social network research, Academic Press 1979. 9 Wasserman S., Faust K., Social Networks Analysis: Methods and applications. Structural analysis in the social sciences, Cambridge University Press 1994; Scott J., Social Network Analysis: ahandbook, Sage Publications, Londyn 2000. 10 Snijders T.A.B., Pattison P.E., Robins G.L., Handcock M.S., New specifications for exponential random graph models, Sociological Methodology 2006, s.99153. 11 Robins G., Pattison P., Random graph models for temporal processes in social networks, Journal of Mathematical Sociology 2000, nr 25, s.541; Robins G., Pattison P., Elliott P., Network models for social influence processes, Psychometrika 2001, nr 66, s.161190; Snijders T.A.B., Models for Longitudinal Network Data, w: P. Carrington, J. Scott, S. Wasserman (red.), Models and methods in social network analysis, Cambridge University Press, New York 2005, Chapter 11. 12 Watts D.J., Networks, dynamics, and the small-world phenomenon, American Journal of Sociology 1999, nr 105(2), s.493527; Watts D.J., Six degrees: the science of aconnected age, W.W. Norton 2003; Barabsi A.-L., Linked: how everything is connected to everything else and what it means for business, science and everyday life, APlume Book 2003; Newman M.E.J., The structure and function of complex networks, SIAM Review 2003, nr 45, s.167256. 13 Knoke, D., Kuklinski J.H., op. cit.; Wellman B., Structural analysis: from method and metaphor to theory and substance, w: B.Wellman, S.D.Berkowitz (red.), Social structures: anetwork approach, Cambridge University Press 1988, tom 15 serii Contemporary studies in sociology, rozdzia2,

172

Dominik Batorski

wobrbie nauk spoecznych. Wznacznie wikszym stopniu koncentruje si bowiem na relacjach pomidzy wchodzcymi ze sob winterakcje jednostkami. Istnieje te sporo teorii socjologicznych ipsychologicznych nawizujcych do koncepcji sieciowych iwyjaniajcych zjawiska spoeczne zodwoaniem si do czynnikw relacyjnych istrukturalnych14. Badajc zjawiska spoeczne, mona obserwowa zarwno cechy jednostek, jak irelacje midzy nimi. Rozwamy to na przykadzie. Ogrupie spoecznej mwimy wkategoriach zalenoci pomidzy cechami jednostek albo te wkategoriach relacji midzy jednostkami. Wpierwszym przypadku, na przykad w szkole, za grup moemy uzna uczniw chodzcych do tej samej klasy. Wdrugim, za grup uznamy uczniw raczej ze wzgldu na relacje istniejce midzy nimi, anie ze wzgldu na sam fakt przynalenoci do jednej klasy. Wwielu sytuacjach same atrybuty, ktre okrelaj przynaleno do grupy, nie wystarcz. Korzenie takiego podejcia znajdziemy wmyli Georga Simmla. Badajc zjawiska spoeczne, nie moemy analizowa wycznie takich czy innych waciwoci jednostek jako jednostek woderwaniu od ich stosunkw wzajemnych15. Badania spoeczne, w tym rwnie znaczna cz bada ewaluacyjnych, wymagaj uwzgldnienia obydwu moliwych podej zarwno atrybutw jednostek, jak irelacji midzy tymi jednostkami. Wedug Barry Wellmana: Struktury relacji spoecznych s duo potniejszym rdem wyjanie socjologicznych ni atrybuty osb nalecych do danej zbiorowoci16. Podejcie sieciowe wyrnia szereg wasnoci odmiennych od tradycyjnego podejcia: Zachowanie jest interpretowane w kategoriach strukturalnych ogranicze nakadanych na dziaanie, anie woluntarystycznie wterminach wewntrznych si skaniajcych jednostk do dziaania iosigania jakiego celu. Analizy koncentruj si na relacjach pomidzy jednostkami, zamiast dzieli jednostki na kategorie wyrniane poprzez ich atrybuty. Gwnym zagadnieniem jest to, jak wzorce relacji pomidzy innymi jednostkami wpywaj na zachowania aktorw bdcych wsieci. Tym samym te, relacje nie s traktowane wizolacji (od innych relacji). Podejcie sieciowe jest istotne, poniewa przebieg wielu procesw spoecznych zaley od relacji pomidzy jednostkami istrukturami tworzonymi przez relacje. Struktura jest postrzegana jako sie sieci, ktra moe, ale nie musi by dzielona na rozczne grupy. Nie trzeba zakada, e zwarte idobrze wys.1961; Wasserman S., Faust K., op. cit.; Hanneman R.A., Riddle M., Introduction to social network methods, University of California, Riverside 2005. Opublikowane elektronicznie na: http://faculty.ucr. edu/~hanneman/. 14 Monge P.R, Contractor N.S., Theories of communication networks, Oxford University Press, New York 2003. 15 Szacki J., Historia myli socjologicznej, Warszawa 1981,s.512. 16 Wellman B., op. cit., 1988,s.31.

Metody analizy sieci iich zastosowanie wewaluacji

173

odrbnione grupy s elementami skadowymi struktury, bo nie wszystkie sieci musz mie grupow struktur. Metody analizy bezporednio zajmuj si wzorcami irelacyjn natur struktury spoecznej. Czasem zastpuj, a czasem uzupeniaj mainstrea mowe metody statystyczne, ktre wymagaj niezalenych jednostek analizy.

Organizacja bada sieciowych


Wybr badanej zbiorowoci
Jednym zpierwszych etapw badania sieci spoecznych jest okrelenie granic badanego ukadu, awic tego, jakie jednostki skadaj si na sie ijakie relacje pomidzy nimi maj by analizowane. Nie jest to adnym problemem wsytuacji, gdy badana spoeczno, grupa lub organizacja jest maa idobrze zdefiniowana. Rwnie wtedy, gdy wzami sieci s projekty wramach wikszego programu, lub firmy bd organizacje, wyodrbnienie badanych jednostek bywa znacznie prostsze. Duo trudniejsza jest sytuacja, gdy badana populacja jest bardzo liczna. Nie chodzi tylko o to, e trudne jest dotarcie do kadej osoby, ale bardziej oproblem zidentyfikowania wszystkich istniejcych relacji. Zadawanie nawet jednej osobie pyta ojej relacje wstosunku do kadej innej osoby zbadanej populacji byoby bardzo czasochonne. Znacznie czciej te dla duych sieci atwiej jest ustali sieci afiliacji.

Dane sieciowe iich zbieranie


Oprcz wspomnianego wczeniej problemu wyodrbnienia granic badanego ukadu zdarza si wiele innych problemw ze zbieraniem danych sieciowych. Szczeglne trudnoci zwizane s zbadaniem duych zbiorowoci. Wbadaniach sieci spoecznych, wsytuacji, kiedy jest to moliwe, bada si ca sie. Od wszystkich osb zbierane s informacje oich relacjach ze wszystkimi innymi osobami, co pozwala na dokadne okrelenie pozycji kadej osoby wsieci. Poniewa badanie takie moliwe jest tylko wtedy, kiedy sie jest stosunkowo niedua ima jasno okrelone granice, taka metoda zbierania danych jest najbardziej adekwatna do badania niewielkich populacji. Pewnym wyjtkiem s sytuacje, gdy moliwe jest wykorzystanie danych zastanych owszystkich jednostkach nalecych do zbiorowoci, ktr chcemy bada irelacjach midzy nimi. Czciowym rozwizaniem problemu badania duych populacji jest badanie tylko niektrych najwaniejszych relacji. Wprzypadku duej zbiorowoci osb mona zamiast pyta orelacje ze wszystkimi osobami (liczba pyta

174

Dominik Batorski

jest tu proporcjonalna do liczebnoci badanej grupy), prosi owymienienie wszystkich przyjaci, albo te zapyta jedynie otroje najwaniejszych. Podobnie, wbadaniach prowadzonych wewntrz duych organizacji, zadaje si pytania nie okad inn osob, ajedynie prosi si owybranie osb, zktrymi dana jednostka najwicej wsppracuje, rozmawia osprawach zawodowych, ktrych si radzi, iinnych wzalenoci od problematyki badania. Jednak ten sposb badania ma rwnie swoje wady, prowadzi bowiem do uzyskania danych jedynie onajwaniejszych, awic inajmocniejszych relacjach. Uzyskanie informacji osabych wiziach jest wwczas waciwie niemoliwe. Jest to problemem szczeglnie wtakich badaniach, wktrych sabe relacje maj due znaczenie np. wbadaniach kapitau spoecznego, gdzie sabe relacje s kluczowe dla przepyww informacji17. Inn moliwoci uniknicia trudnoci zwizanych zwyczerpujcym badaniem duej populacji jest przeprowadzenie go na prbie osb18. Trudno dowiedzie si orelacje midzy wszystkimi osobami, gdy jest ich duo, dlatego te badania s prowadzone na prbach. Takie rozwizanie jest rwnie lepsze wsieciach ogorzej zdefiniowanych granicach. Wprzypadku bada realizowanych na prbach badane s tak zwane sieci egocentryczne. Tego typu badania s wnajwikszym stopniu zblione do tradycyjnych bada. Zbierane s dane oposzczeglnych respondentach (ego) oraz oosobach, zktrymi respondenci s poczeni (alter). Czsto nie jest to tylko okrelenie relacji dla badanych jednostek, ale rwnie estymacja relacji pomidzy kontaktami danej osoby, robiona na podstawie pyta zadawanych respondentowi albo na podstawie informacji uzyskanych bezporednio od jego kontaktw. Takie podejcie jest najczciej stosowane w badaniach bardzo duych sieci, gdy nie dysponujemy danymi zastanymi, abadanie caej populacji irelacji pomidzy wszystkimi osobami nie jest moliwe. Wprzypadku bada, ktre obejmuj sieci egocentryczne oraz pewien stopie dotarcia do szerszych krgw spoecznych (na przykad znajomych znajomych), mwimy obadaniach sieci czstkowych (partial network). Jednoczenie jest to mniej pracochonne ni ustalenie powiza pomidzy wszystkimi parami aktorw wbadanej zbiorowoci. Dobrym przykadem bada sieciowych prowadzonych na prbach jest wiele bada powiconych kapitaowi spoecznemu19. Zazwyczaj uywana jest technika generowania imion (name generator). Jednostka wymienia osoby, zktrymi jest wrelacji iopisuje t relacj. Inn metod jest wykorzystywa17 Granovetter M., The strength of week ties, American Journal of Sociology 1973, nr 73, s.13601380. 18 Erickson B.H., Nosanchuk T.A., Applied network sampling, Social Networks 1983, nr 5, s.367382. 19 Np.: Lin N., Cook K., Burt R.S. (red.)., Social capital: theory and research, 2001; Burt R.S., Broke rage and Closure: An introduction to Social Capital, Oxford University Press 2005.

Metody analizy sieci iich zastosowanie wewaluacji

175

na wbadaniach kapitau spoecznego technika generowania pozycji (position generator). Respondent jest proszony opodanie, czy zna jakie osoby zajmujce pozycje dajce dostp do zasobw cenionych wzbiorowoci20.

Rysunek2.Przykadowa sie egocentryczna

Rodzaj zbieranych ianalizowanych danych (caa sie vs. sieci egocentryczne) wzasadniczy sposb zwizany jest zwyborem badanej populacji itypem badanej sieci. Zdrugiej strony, moliwe do przeprowadzenia analizy wduym stopniu zale od rodzaju danych, ktrymi dysponujemy. Wielu analiz, ktre s moliwe dla danych dotyczcych caej sieci, nie da si zrobi, majc jedynie dane owybranych sieciach egocentrycznych. Ze wzgldu na wspomniane trudnoci z badaniem duych populacji, stosunkowo czsto zbiera si wnich dane osieci afiliacji. Czsto tego typu dane s te znacznie atwiej dostpne. Co wicej, sie afiliacji (a wic sie dwumodalna) moe zosta zredukowana do dwch sieci jednomodalnych. Przykadowo sie przynalenoci osb do projektw moe zosta zastpiona sieci relacji midzy projektami, poprzez posiadanie tych samych osb, oraz sieci relacji midzy osobami, gdzie relacj jest przynaleno do tych samych projektw. Innym, niezwykle istotnym problemem bada sieciowych jest zbir danych wraliwych, ainformacje orelacjach czsto do takich nale. Dotyczy to zarwno wielu relacji interpersonalnych, jak rwnie relacji pomidzy firmami (na przykad zawieranych transakcji iich wartoci). Skonno respondentw do podawania tego typu danych jest niewielka, a dodatkowo przed rozpoczciem bada naley rozway kwestie ich etycznoci. Wprzypadku bada sieciowych, szczeglnie takich, gdzie badana jest niedua zbiorowo, znacznie trudniej jest zagwarantowa anonimowo badanych.
20 LinN., Fu Y., Hsung R.-M., The position generator: measurement techniques for investigations of social capital, w: N.Lin, K.Cook, R.S.Burt (red.), op. cit., s.5781.

176

Dominik Batorski

Przede wszystkim, gdy prezentowane wyniki dotycz poszczeglnych osb igdy s wpostaci graficznej, to osoby nalece do badanej populacji bardzo czsto mog si zorientowa si, kto jest kim. Dlatego te badacz powinien zachowa szczegln ostrono, aby ani procedura przeprowadzania badania, ani prezentowane wyniki nie zaszkodziy badanym jednostkom iich relacjom. Naley rwnoczenie podkreli, e braki danych w badaniach sieci s bardzo niebezpieczne. Wporwnaniu ze zwykymi badaniami ilociowymi wbadaniach sieci kady brak danych ma duo wiksze znaczenie. Powoduje bowiem utrat danych o relacjach, czego konsekwencj jest jednoczenie wypaczenie informacji oznacznej czci osb, ktre wziy udzia wbadaniu iktre mogy by wrelacjach zjednostkami, do ktrych nie udao si dotrze. Braki danych uniemoliwiaj na przykad dokadne stwierdzenie stopnia odwzajemnienia relacji oraz wielu innych bardziej zoonych analiz. Szerzej odoborze prby wbadaniach sieci spoecznych pisali Erickson iNosanchuk 21 iFrank 22. Relacje spoeczne istniejce wrnych zbiorowociach s czsto postrzegane wsposb odbiegajcy od rzeczywistoci. Wpyw na to, jak jednostki postrzegaj relacje, ma ich osobowo23, atake to, na ile blisko danej relacji s ijak dobrze j znaj 24. Rnice pomidzy percepcj arzeczywist komunikacj maj swoje konsekwencje dla jakoci zbieranych danych, powinny wic mie take wpyw na sposoby ich zbierania 25. Jest to kolejny argument, obok niedogodnoci zwizanych zdoborem prby izagroeniami zwizanymi zbrakiem danych, ograniczajcy prowadzenie bada za pomoc wywiadw. Metody zbierania danych wanalizach sieci mog by bardzo rne inie musz si ogranicza do przeprowadzania wywiadw lub ankiet. Wykorzystywane s rwnie: obserwacje, dzienniczki i oraz dane zastane z rnego rodzaju archiww, spisw irejestrw. Wpraktyce kady sposb zbierania danych moe by wykorzystywany rwnie wbadaniach sieciowych. Czsto te czy si wiele rnych metod.

Erickson B.H., Nosanchuk T.A., op. cit.; Frank O., Network sampling and model fittng, w: P.J. Carrington, J. Scott, S. Wasserman (red.), op. cit.. 23 CasciaroT., Seeing things clearly: social structure, personality, and accuracy in social net work perception, Social Networks 1998, 20(4), s.331351. 24 KrackhardtD., Kilduff M., Whether close or far: Social distance effects on perceived balance in friendship networks, Journal of Personality and Social Psychology 1999, nr 76, s.770782. 25 Marsden P.V., Network data and measurement, Annual Review of Sociology 1990, nr 16, s.435463.
22

21

Metody analizy sieci iich zastosowanie wewaluacji

177

Metody analiz sieci


Analizy sieci spoecznych mona prowadzi w rny sposb. Przede wszystkim moliwe s rne poziomy analizy sieci. Poziom jednostek, czyli sieci egocentrycznych, koncentruje si na relacjach posiadanych przez jednostk ipowizanych zni osb. Kolejnym poziomem jest poziom podgrup wyodrbnionych wsieci, aostatnim poziom caej sieci. Wanalizie sieci spoecznych istnieje niezmiernie duo metod i moliwoci analizowania wasnoci relacji oraz ich struktur. Istotnym elementem bada jest wizualizacja danych sieciowych. Sieci s przedstawiane za pomoc grafw, skadajcych si zwzw iczcych je krawdzi. Obecnie grafy coraz bardziej s metod prezentacji iwstpnej eksploracji danych ni analiz26. W tym miejscu scharakteryzowane zostan wycznie najbardziej podstawowe zagadnienia analizowane przy uyciu danych sieciowych. Dla lepszego wyjanienia opisywanych metod odwoam si do prostych przykadw sieci. Kilka przedstawionych dalej zastosowa tych metod odnosi si bdzie do sieci wsppracy pomidzy organizacjami, ktrych dziaania dotycz podobnych spraw. Moliwe byoby ich zastosowanie w ewaluacji chociaby projektw szkoleniowych, majcych na celu promocj clusteringu jako formy kooperacji pomidzy przedsibiorstwami oraz partnerami publicznymi itrzecim sektorem27. Celem tego rodzaju projektw jest:powstanie trwaych form wsppracy ukierunkowanych na tworzenie si lokalnych wsplnot wypracowujcych wspln mark oraz utrzymujcych wielopaszczyznowe, intensywne kontakty (np.Dolina Lotnicza, Podkarpacie).

Sieciowe charakterystyki jednostek


Jednym z podstawowych pyta analizy sieci spoecznych, jest pytanie opozycj jednostki. Bardzo czsto formalna struktura osb worganizacji bd organizacji wwikszych projektach nie odpowiada rzeczywistej, anieformalne relacje i hierarchie maj olbrzymie znaczenie dla funkcjonowania poszczeglnych jednostek icaych organizacji. Analiza sieci umoliwia scharakteryzowanie pozycji jednostki w strukturze sieci na podstawie jej relacji zinnymi jednostkami. Pozwala odpowiedzie na pytania, ktre jednostki s bardziej centralne, aktre pooone na peryferiach ktre maj
26 deNooyW., Batagelj V., Mrvar A., Exploratory Social Network Analysis with Pajek, Cambridge University Press 2005. 27 Przykadowym projektem tego typu jest Turystyka wsplna sprawa, por. www.tws.org.pl, http://www.parp.gov.pl/index/more/24. Jednak moemy wyobrazi sobie dowolne inne przykady organizacji majcych inne cele np.dziaajcych na rzecz promocji zdrowego trybu ycia, albo te instytucje, ktrych dziaania maj znaczenie dla informatyzacji kraju.

178

Dominik Batorski

wiksze, aktre mniejsze znaczenie? Jakie jest znaczenie pooenia wsieci dla dostpu do informacji ikontroli przepyww informacji (pozycja brokera)? Jakie jest znacznie pozycji wsieci dla dostpnoci szans imoliwoci, ktrym jednostkom ich pooenie wstrukturze daje przewag konkurencyjn, awobec ktrych jest ograniczajce28? Ktre jednostki dysponuj wiksz wadz ni inne? Wszystkie te pytania dotycz pozycji jednostek wstosunku do innych osb.

Rysunek3.Przykadowa sie skadajca si z14 wzw ozrnicowanej pozycji

Najprostsz charakterystyk pozycji jest liczba relacji posiadanych przez dan jednostk (degree). Na rysunku3 wzy maj od 3 do 6 relacji (wze13). Jednostki posiadajce wicej relacji maj na og wiksze znaczenie imoliwoci, cho nie jest to regu. Wprzypadku, gdy relacje wanalizowanej sieci maj okrelony kierunek, moliwe jest rwnie dokonanie rozrnienia ze wzgldu na wybory dokonywane przez jednostk i jej partnerw. Moemy wyrni liczb relacji inicjowanych przez jednostk (outdegree) oraz liczb relacji przychodzcych (indegree), ta druga jest dobr miar popularnoci bd prestiu. Wtym przypadku, badajc liczb wskaza, jakie dana osoba otrzymuje (jak czsto jest wybierana przez inne), moemy mwi o poziomie prestiu lub popularnoci. Moliwe jest rwnie uwzgldnienie tego, jak bardzo popularne s osoby wybierajce. Wtakim przypadku fakt wybrania przez osob popularn moe by duo istotniejszy ni bycie wybranym przez kilka osb, ktrych nikt nie wybra. W przypadku relacji skierowanych moliwe s cztery typy bezporednich pocze midzy dwoma wzami (czsto nazywanymi diad). Wzy mog
28 Por. Burt R.S., Structural holes: the social structure of competition, Harvard University Press 1992; Burt R.S., Brokerage and Closure, op. cit.

Metody analizy sieci iich zastosowanie wewaluacji

179

nie by powizane, relacja moe by nieodwzajemniona (wychodzca lub przychodzca), albo moe zachodzi wobie strony (odwzajemniona). Wwielu sieciach stopie odwzajemnienia relacji jest wan charakterystyk sieci. Jednak posiadajc dane ocaej sieci, mamy moliwo analizowania nie tylko diad, ktre s powizane bezporednimi relacjami, ale take takich, ktre s poczone poprzez inne jednostki. Oile sie jest poczona (o czym szerzej wkolejnej czci), to moliwe jest okrelenie dystansu dla kadej pary wzw, poprzez cieki relacji iinne wzy. Wmierzeniu dystansu wykorzystuje si na og najkrtsze cieki (tzw. geodesic distance). Najdusz spord najkrtszych cieek wsieci nazywa si rednic sieci (diameter). Wprzypadku grafu zaprezentowanego na rysunku3 najbardziej oddalone od siebie s wzy4i14, arednica sieci wynosi6. Pozycje w sieci zwizane z wadz, wikszym dostpem do informacji i wikszymi moliwociami wywierania wpywu charakteryzuje si za pomoc pojcia centralnoci. Miar centralnoci jest duo29, ale w praktyce wszystkie one opieraj si na rnych koncepcjach zaangaowania jednostki wrelacje wsieci. Im wiksze zaangaowanie we wszystkie relacje sieci, tym wiksza centralno danego aktora. Same relacje mog by jednak rnie definiowane. Wspomniana powyej liczba relacji (degree) jest najprostsz miar centralnoci jednostki wsieci, dlatego te bywa rwnie okrelana jako actor centrality. Typowym przykadem jednostki centralnej jest gwiazda socjometryczna. Jednak ta miara uwzgldnia jedynie bezporednie zaangaowanie w relacje. Uwzgldnienie powiza niebezporednich w okrelaniu pozycji wza wsieci prowadzi do wyodrbnienia bardziej zoonych, ale te majcych wiksz warto informacyjn, indeksw centralnoci pozycji wza. Warto podkreli, e wikszo ztych miar wymaga uwzgldnienia caej sieci, anie tylko relacji jednostki. Przykadowo betweenness centrality to czsto, zjak dana jednostka pojawia si w najkrtszych ciekach pomidzy rnymi parami wzw. Potencjalnie s to osoby posiadajce wiksz kontrol przepywu informacji iwpyw na inne osoby. Na rysunku3 jednostk onajwyszej wartoci tego indeksu jest wze6, ktry kontroluje komunikacj pomidzy wieloma fragmentami sieci. Niewiele mniej wany jest wze5, adalej kolejno 10, 13 i7. Warto zwrci uwag na rnice pomidzy wzami 6 i13, ten pierwszy ma tylko cztery bezporednie poczenia, drugi a sze, jednak to wze6 ma znacznie istotniejsz pozycj. Inn miar centralnoci jest closeness centrality, okrelana poprzez odlego jednostki od wszystkich innych w sieci. Freeman uznaje to za miar niezalenoci od innych osb i odpornoci na wpyw30. Po tym wzgldem
Freeman L.C., Centrality in social networks: I. conceptual clarification, Social Networks 1979, nr 1, s.215239; Wasserman S., Faust K., op. cit. 30 Freeman L.C., op. cit.
29

180

Dominik Batorski

rwnie najlepsza jest pozycja wza6, jednak niewiele gorsza jest pozycja wzw7 i10, ktrych rednia odlego od innych wzw wsieci jest mniejsza ni dla wza5 ipozostaych jednostek. Warto te zaznaczy, e niektrzy autorzy, midzy innymi Scott31 rozrniaj lokaln iglobaln centralno. Rozrnienie to ma szczeglnie sens dla duych sieci spoecznych, wktrych liczba wzw jest znacznie wiksza ni rednia liczba relacji. Miary lokalne pokazuj pozycj wza wjego otoczeniu (ssiedztwie), adrugie wcaej sieci. Dodatkowo dla kadej miary centralnoci moliwe jest take policzenie odpowiadajcej jej miary centralizacji caej sieci. Miary centralizacji przyjmuj wartoci od zera do jeden iokrelaj, na ile dana sie jest zcentralizowana wstosunku do maksymalnie zcentralizowanej sieci. Dziki temu moliwe jest porwnywanie rnych sieci pomidzy sob. Znaczenie pozycji wza wsieci moe opiera si rwnie na innych charakterystykach ni opisane tu miary centralnoci. Oba prezentowane podejcia mog dawa podobne rezultaty, jako e opisane tu wasnoci przekadaj si na wysz centralno wzw. Pewne osoby wsieci mog mie kluczowe znaczenie dla przepyww informacji, gdy s cznikami pomidzy rnymi fragmentami sieci. Pozycj takiego brokera zajmuj wzy, ktrych usunicie zsieci powodowaoby rozczenie wikszych fragmentw sieci (w teorii grafw nazywa si je punktami odcicia). W sieci zaprezentowanej na rysunku3 takimi wzami s wzy5i6. cznikiem pomidzy dwoma grupami moe by rwnie pojedyncza relacja pomidzy dwoma jednostkami (relacja midzy wzami 5 i 6 na rysunku 3). Takie relacje, ktrych usunicie z sieci powoduje jej rozczenie, nazywane s mostami. Podsumowujc, mona stwierdzi, e znaczenie poszczeglnych wzw irelacji dla komunikacji, stabilnoci iefektywnoci procesw zachodzcych wsieci oraz innych procesw wzalenoci od rodzaju sieci, moe zosta ustalone poprzez analizowanie efektw usunicia danego wza/relacji z istniejcej struktury. Poszczeglne jednostki mog by opisywane rwnie za pomoc miar charakteryzujcych ich otoczenie w sieci. Przykadem takiej miary jest gsto lokalna (ego-network density)32, czyli proporcja pocze midzy wzami powizanymi zjednostk. Przykadowo na rysunku3, prawie wszystkie jednostki, bdce w relacji z wzem 11, maj relacje midzy sob (lokalna gsto wynosi 5/6), inaczej jest na przykad wprzypadku wzw7 i6. Analizy charakterystyk pooenia jednostki wsieci moglibymy zpowodzeniem zastosowa we wspomnianym wczeniej przykadzie analizowania sieci wsppracy pomidzy organizacjami. Pozwolioby to odpowiedzie na
Scott J., Social Network Analysis: ahandbook, Sage Publications, Londyn 2000, s.82. Gsto lokalna bywa rwnie nazywana inaczej. Wliteraturze stosowanych jest kilka nazw, midzy innymi jednostkowa spoisto, atake clustering.
32 31

Metody analizy sieci iich zastosowanie wewaluacji

181

pytania, ktre spord organizacji pracujcych przy realizacji wikszego programu maj wiksze znaczenie dla jego realizacji. Ktre znich wsppracuj zwiksz liczb partnerw, iktrych pozycja jest waniejsza dla efektywnego wspdziaania wielu podmiotw, atake bez ktrych podmiotw nie sposb byoby si obej, realizujc dany program? Dugo cieek pomidzy jednostkami pozwala stwierdzi, na ile moliwe s przepywy wiedzy idowiadcze pomidzy poszczeglnymi organizacjami. Prowadzenie bada wczasie pozwolioby dodatkowo sprawdzi, jaka jest trwao sieci wsppracy wczasie.

Struktury grupowe
Wikszo miar, ktre stosuje si do opisu pozycji pojedynczych osb, mona po niewielkich modyfikacjach stosowa do opisu waciwoci podgrup wsieci. Podgrupy takie mog by okrelone na podstawie atrybutw jednostek (np. pci wprzypadku osb, brany wprzypadku firm itp.). Moliwe jest jednak rwnie wyodrbnienie podgrup idokonanie podziau sieci na podstawie wzorcw relacji. Ztej perspektywy grupa jest grup ze wzgldu na specyficzn struktur relacji midzy jednostkami j tworzcymi, anie tylko ze wzgldu na posiadanie przez jednostki jakiej jednej cechy czy charakterystyki. We wspomnianym przykadzie moglibymy wyodrbni grupy organizacji zarwno na podstawie ich atrybutw (np. firmy, instytucje administracji, organizacje pozarzdowe), jak rwnie na podstawie tego, kto zkim wsppracuje, wyodrbniajc wten sposb cile wsppracujce grupy. To, na ile sie wsppracy organizacji ma grupowy charakter, moe mie kluczowe znaczenie dla powodzenia i efektywnoci caego realizowanego przez nie programu. Czasem te powstanie trwaych form wsppracy pomidzy organizacjami jest celem samym wsobie. Wobu przypadkach wyodrbnienie grup wsppracujcych organizacji, moliwe dziki metodom sieciowym, jest niezbdne. Wane s rwnie pytania: czy dziaania podejmowane s niezalenie przez grupy organizacji, z ktrych kada tworzy zamknit klik, niewsppracujc iniewymieniajc dowiadcze zinnymi, czy te wsppraca obejmuje znacznie wicej podmiotw inie jest moliwe wyodrbnienie grup organizacji? Zanim jednak przejdziemy do problemu wyodrbniania grup wramach sieci, warto omwi nieco bardziej podstawowe koncepcje zwizane zpodziaem wzw nalecych do sieci na fragmenty. Przede wszystkim naley sobie zada pytanie, czy sie, ktr analizujemy, jest poczona, to znaczy, czy kada para wzw jest powizana przez ciek relacji? Jeeli nie, to znaczy, e sie ma wicej ni jeden komponent. Komponentem sieci nazywa si taki maksymalny zbir wzw, dla ktrego moliwe jest powizanie dowolnej pary wzw w tym komponencie poprzez relacje i inne wzy nalece do

182

Dominik Batorski

tego samego komponentu. Wyrnia si rne typy komponentw ze wzgldu na wymagania wzgldem typu relacji czcych wzy33. W analizie sieci moliwe s dwa podstawowe podejcia isposoby mylenia ozbiorowociach igrupach wobrbie sieci, jako strukturach wyrnianych na podstawie danych empirycznych pocze midzy jednostkami. Pierwszym jest kohezja spoeczna: grupy wyodrbniane s na podstawie pocze midzy konkretnymi aktorami. Drugim ekwiwalenty strukturalne: gdy grupy identyfikuje si na podstawie podobiestwa kontaktw zinnymi osobami. Oczywicie oba te podejcia nie wykluczaj wyodrbnienia grup na podstawie innych niesieciowych atrybutw. Wtym miejscu zajmiemy si wyodrbnianiem spjnych podgrup na podstawie kohezji spoecznej, natomiast ekwiwalenty strukturalne zostan omwione wnastpnej czci rozdziau. Na poziomie lokalnym spjno sieci mona rozwaa poprzez analizowanie relacji wtriadach tzn. pomidzy trzema jednostkami, bo dopiero wprzypadku trzech jednostek mona mwi ogrupie. Teoretycznie moliwych jest 16 rnych kombinacji relacji w triadach. Interesujce jest, jakiego rodzaju triady wystpuj jak czsto? Na podstawie takiej informacji (tak zwanego cenzusu triadowego) moliwe jest dokonanie analiz dotyczcych przechodnioci relacji, atake spjnoci sieci ijej fragmentw34. Wiksza przechodnio relacji, czyli wiksze prawdopodobiestwo, e dwie jednostki, ktre s wrelacjach z trzeci s rwnie w relacji ze sob, wystpuje w strukturach, w ktrych podziay na grupy s silniejsze. Spjne podgrupy to zbiory aktorw, pomidzy ktrymi s relatywnie mocne, bezporednie, intensywne, czste lub pozytywne relacje. Jednak ze wzgldu na to, e pojcie grupy spoecznej moe odnosi si do wielu rnych wasnoci sieci spoecznych, to samych definicji podgrup sieci spoecznych jest rwnie bardzo wiele. Podstawowe wasnoci w konceptualizacjach pojcia podgrup to: wzajemno (mutuality) relacji, blisko (closeness) idostpno (reachability) czonkw podgrupy, czsto relacji pomidzy czonkami grupy, wzgldna czsto relacji pomidzy czonkami grupy w porwnaniu do relacji zinnymi jednostkami. Z tego te wywodz si najwaniejsze podejcia do wyodrbniania spjnych podsieci: kompletna wzajemno,
33 Mwi si osabych komponentach, gdy kierunek relacji nie jest brany pod uwag. Omocnych komponentach, gdy dla kadej pary wzw Ai B moliwe jest poprowadzenie cieki relacji skierowanych zarwno od Ado B, jak iod B do A. Oraz orekursywnych komponentach, gdy cieki prowadz przez odwzajemnione relacje. 34 Por. Heider F., On balance and attribution, w: P.W. Holland, S. Leinhardt (red.), Perspectives on social network research, Academic Press 1979, s.1123.

Metody analizy sieci iich zastosowanie wewaluacji

183

dostpno iodlego, degree wzw (bezporednie poczenie zodpowiednio wieloma czonkami podgrupy)35. Formalnych definicji podgrup jest bardzo duo. Wybr konkretnej powinien by uzasadniony charakterem sieci irelacji czcych wzy. Jedn zpodstawowych definicji grupy o duej spjnoci w obrbie sieci jest klika. Jest to maksymalny36 kompletny podgraf, awic zbir kompletnie poczonych wzw. Innymi sowy kada jednostka musi mie relacje zkad inn nalec do tej samej kliki. Kliki wsieci (szczeglnie wikszej) mog si czciowo nakada, podzia na podgrupy nie jest wic podziaem rozcznym ijeden wze moe nalee do wicej ni jednej kliki. Wsieci pokazanej na rysunku3 najwiksze kliki licz po cztery wzy np. wzy {1,2,3,4} lub {1,2,3,5}. Liczne s take kliki czce trzy jednostki. Ze wzgldu na wymaganie kompletnoci definicja klik jest niezwykle restrykcyjna ibrak jej odpornoci na bdy pomiaru. Brak jednej relacji powoduje, e podgrupa nie jest klik, co wicej wielko podgrup jest ograniczona przez degree aktorw. Nie ma te praktycznie adnych (strukturalnych) rnic pomidzy czonkami kliki, nie jest wic moliwe badanie wewntrznej struktury. Dlatego te rne inne definicje przyjmuj, i nie jest konieczne, aby relacja istniaa midzy kad par czonkw grupy. Inne definicje uwzgldniaj rwnie odlegoci pomidzy osobami lub proporcje relacji wobrbie grupy (poczenia wewntrz grupy s gste, ana zewntrz rzadkie). W oparciu okoncepcj dostpnoci (reachability), moglibymy zdefiniowa grup jako zbir aktorw blisko ze sob zwizanych (na podstawie danej relacji). Wywodzce si ztej koncepcji pojcie n-kliki to maksymalny podgraf, wktrym do kadego elementu zkliki mona doj wn krokach. Gdy n=1, mamy doczynienia ze zwykymi klikami. Najczciej stosowany jest dystans n=2. Wedug tej definicji nie wszystkie cieki musz przechodzi przez osoby zdanej n-kliki imoe si zdarzy, e odlego n jest tylko poprzez wzy nalece do innej podgrupy. Dlatego te rednica podgrupy moe by wiksza od n. Inaczej jest wprzypadku tak zwanych n-clans, czyli n-klik, wktrych wszystkie odlegoci przechodz przez cieki wramach podgrafu. Zgodnie ztymi definicjami wgrafie zrysunku3 mona byoby wyodrbni midzy innymi takie grupy wzw, jak {1, 2, 3, 4, 5} lub {6, 7, 9, 10, 11, 12, 13}. Sama odlego nie jest te najlepszym wskanikiem spjnoci (dobrym przykadem jest tu druga z wymienionych przed chwil podgrup). Dlatego czasem wprowadza si inne definicje. Stosunkowo czsto wykorzystywane s definicje k-plex ik-cores. Wpierwszym przypadku kady wze nalecy do podgrupy liczcej g wzw musi by bezporednio powizany przynajmniej z g-k innymi jej czonkami. Tym samym 1-plex jest grup, w ktrej kady
35 36

Jest to szczeglnie wana definicja, gdy istotne s bezporednie kontakty. Wznaczeniu najwikszy moliwy.

184

Dominik Batorski

ma relacje z kadym. Natomiast definicja k-cores wymaga, by kady wze wpodgrafie by poczony zprzynajmniej k innymi wzami ztego podgrafu. Zamiast wic nakada wymagania na liczb krawdzi, ktre mog by nieobecne, wymaga si danej liczby istniejcych relacji. 3-cores to na rysunku3 wycznie grupy {1, 2, 3, 4, 5} oraz {10, 11, 12, 13, 14}. Jeszcze inne podejcie do wyodrbniania spjnych podsieci moliwe jest, gdy w analizowanej sieci wzy poczone s relacjami o zrnicowanej sile. Wtakich przypadkach moliwe jest stosowanie definicji maksymalnie silnych komponentw (czsto nazywanych rwnie m-slices). Jest to maksymalny podgraf, dla ktrego wszystkie wzy poczone s relacjami osile m lub wikszej.

Pozycje irole wramach sieci


Innym, ni przed chwil opisane, podejciem do wyodrbniania podgrup wramach sieci jest wyrnianie pozycji irl spoecznych. Jednostki zajmujce tak sam pozycj wsieci s wten sam lub podobny sposb poczone zcaym systemem spoecznym, ale nie musz mie relacji midzy sob. Ekwiwalenty strukturalne s to podgrupy wobrbie sieci, zdefiniowane przez wzr relacji czcych aktorw midzy sob. Dwa wzy s strukturalnie ekwiwalentne, jeeli maj dokadnie takie same relacje ze wszystkimi innymi wzami wsieci. Jest to tosame ztym, e sieci, zktrych usunlibymy jeden ztych wzw ijego relacje, byyby takie same. Rysunek4 przedstawia cztery grupy strukturalnie ekwiwalentnych jednostek. Warto zwrci uwag, e cho wzy od 1 do 5 tworz klik, to jednak mona tu wyrni dwie pozycje, jako e wzy 4 i5 s dodatkowo powizane zwzami 6 i7. Te dwa ostatnie rwnie maj tak sam pozycj mimo tego, i nie s powizane ze sob. W praktyce, wwikszych sieciach takie sytuacje zdarzaj si stosunkowo rzadko. Dlatego te definiuje si pewn miar podobiestwa wzorcw relacji dla kadej pary wzw. Moe to by na przykad liczba lub odsetek jednostek, zktrymi dane dwa wzy maj rne relacje. Dysponujc danymi omacierzy odlegoci dla wszystkich par wzw, stosuje si metody hierarchicznego clusteringu idzieli si sie na podgrupy. Nieco inn metod, w ostatnich latach rzadziej stosowan, jest metoda CONCOR37. Umoliwia ona podzielenie sieci na dwie podgrupy pozycji, zktrych kada moe by dalej dzielona. Metoda polega na tworzeniu macierzy korelacji z macierzy relacji pomidzy jednostkami. Wielokrotne powtarzanie tej operacji powoduje, e wmacierzy zostaj wycznie wartoci +1 midzy wzami, ktre s wtej samej grupie iwartoci 1 dla relacji midzygrupowych.
37

Knoke, D., Kuklinski J.H., op. cit.

Metody analizy sieci iich zastosowanie wewaluacji

185

Rysunek4.Pozycje wsieci cztery grupy strukturalnie ekwiwalentnych jednostek (relacje skierowane)

Wyodrbnienie podgrup w ramach sieci nie jest celem samym w sobie. Mona zredukowa sie midzy jednostkami i bada zalenoci pomidzy wyodrbnionymi wsposb rozczny grupami. Przykad takiej redukcji pokazuje rysunek5, na ktrym pokazane zostay relacje pomidzy pozycjami zpoprzedniego przykadu. Grupa pierwsza to wzy 13, ktre maj relacje midzy sob oraz zwzami 4i5. Wzy 6i7 nie inicjuj adnych relacji, ale otrzymuj relacje od wzw 4,5i8. Oprcz redukcji caej sieci moliwe jest analizowanie kontekstu funkcjonowania poszczeglnych podgrup poprzez redukcj pozostaych podgrup, ale bez redukowania danej grupy. Metody takie s stosowane szczeglne wanalizach duych sieci38.

wzy 13

wzy 45

wzy 67

wze 8

Rysunek5. Relacje pomidzy pozycjami zidentyfikowanymi na rysunku4

W przykadzie bada sieci wsppracy pomidzy organizacjami moliwe byoby wyodrbnienie za pomoc tych metod grup organizacji, ktre peni takie same funkcje wprojekcie iich role s do pewnego stopnia wymienne. Moliwa byaby identyfikacja grup jednostek bardziej i mniej zaangaowanych wrealizacj danego programu, co moe by take pierwszym krokiem do odtwarzania nieformalnych hierarchii. Wspomniane tu metody mogyby rwnie posuy do prby wyodrbnienia rl/typw zaangaowania rnych organizacji na przykad takich, ktre podejmuj konkretne dziaania itych, ktre finansuj dziaania innych, nie angaujc si bezporednio.

38

deNooyW., Batagelj V., Mrvar A., op. cit.

186
Wasnoci caej sieci

Dominik Batorski

O wielu wasnociach caych sieci wspomniaem ju przy innych poziomach analizy. Jednym zpodstawowych pyta jest to, czy sie jest poczona, ajeli nie, to zilu ijakich komponentw si skada? Jeli sie skada si tylko zjednego komponentu, to wane jest, jaka jest jej rednica, atake to, jakie s przecitne odlegoci pomidzy wzami. Kolejn, prost, a zarazem istotn, charakterystyk sieci jest gsto relacji. Gsto sieci mona obliczy na podstawie liczby osb i liczby relacji. Stanowi ona proporcj istniejcych relacji do wszystkich moliwych (liczb moliwych relacji mona obliczy na podstawie iloci osb N i wynosi ona N*(N1) dla sieci skierowanych. Gsto sieci opisuje, na ile sie jest spjna jej warto jest dua wsytuacji, gdy wszystkie wzy tworz jedn grup, w ktrej wzy s mocno powizane. Z drugiej strony warto gstoci jest niewielka, gdy wzy s sabo ze sob powizane lub gdy sie jest podzielona na wiele grup, ktre s mocno wewntrznie powizane, ale sabo midzy sob. Inn miar, uzupeniajc informacje dostarczane przez warto gstoci dla sieci, wktrych relacje maj okrelony kierunek, jest spjno sieci (network cohesion). Jest to proporcja relacji odwzajemnionych, czyli liczba wzajemnych wyborw, podzielona przez maksymaln liczb takich wyborw. Ca sie mona rwnie charakteryzowa przez jej centralizacj, liczon jako rnice pomidzy centralnoci najbardziej centralnych jednostek iwszystkich pozostaych. Rnice te s nastpnie odnoszone do maksymalnej moliwej sumy rnic dla sieci otakiej samej liczbie wzw. Miara ta pokazuje, na ile sie jest zorganizowana wok najbardziej centralnych wzw, ana ile ma bardziej rozproszon struktur. Istotn charakterystyk sieci moe by take rozkad poszczeglnych cech wzw, w najprostszym przypadku rozkad liczby relacji. Jak si okazuje, wbardzo wielu sieciach, rozkad ten mona opisa zalenoci potgow, to znaczy jest bardzo duo jednostek, ktre maj bardzo mao relacji ibardzo niewiele takich, ktre relacji maj bardzo duo39. Poszczeglne miary sieci mog mie znaczenie przy porwnywaniu struktury rnych sieci midzy sob. Jednak wiele charakterystyk sieci jest silnie zalenych od liczby jednostek wchodzcych wjej skad, dlatego te porwnywanie sieci bardzo rnicych si wielkoci nie jest wskazane.

Zaleno cech jednostek irelacji wsieci


Opisane powyej metody analizy sieci koncentroway si na samej strukturze sieci, wykorzystujc prawie wycznie informacje orelacjach pomidzy jednostkami. Jednak wwielu badaniach najwikszy sens ma uwzgldnienie
39

Barabsi A.-L., op. cit.

Metody analizy sieci iich zastosowanie wewaluacji

187

zarwno relacji, jak iatrybutw wzw. Jedynym do tej pory wspomnianym wykorzystaniem informacji ocharakterystykach wzw bya moliwo wyodrbniania podgrup wramach sieci, bdca podstaw do redukcji wikszych sieci do sieci relacji pomidzy grupami. Wpraktyce moliwoci czenia rnych typw danych jest znacznie wicej. W duym uproszczeniu moemy wyrni wtym przypadku dwa pytania. Po pierwsze, na ile relacje wsieci zale od atrybutw jednostek? jest to pytanie ozjawisko selekcji spoecznej. Podrugie, na ile atrybuty jednostek zale od relacji midzy nimi? Przykadowo, czy wzy, ktre s ze sob powizane wsieci, maj podobne waciwoci? Jest to pytanie owpyw spoeczny. Stosunkowo czsto wystpujce wsieciach zjawisko homofilii podobiestwa wzw bdcych ze sob w relacjach, moe by efektem zarwno procesu selekcji, jak i wpywu spoecznego. Tego rodzaju zagadnienia byy badane midzy innymi na przykadzie grup modzieowych izachowa, takich jak palenie papierosw, branie narkotykw, picie alkoholu. Wprzywoywanym ju przykadzie warto byoby weryfikowa chociaby to, jak wsppraca pomidzy organizacjami zaley od ich typu czy przedsibiorstwa, jednostki administracji i organizacje pozarzdowe czciej wsppracuj z takimi samymi jednostkami, albo na ile trwae grupy wsppracujcych podmiotw skadaj si zrnych typw organizacji? Nieco innym przypadkiem wykorzystania danych oatrybutach jednostek s badania kapitau spoecznego, gdzie jednym zistotnych elementw jest dostp do zasobw poprzez relacje spoeczne. Tego typu analizy koncentruj si na tym, do jakich zasobw jednostka moe skutecznie dotrze, mobilizujc wasn sie spoeczn. Badanie efektw sieciowych jest do pewnego stopnia moliwe poprzez uycie zmiennych sieciowych, na przykad opisujcych pozycj jednostki, jako zmiennych zalenych wtradycyjnych analizach statystycznych. Jednak czsto analiza tego typu zalenoci jest bardzo trudna. Podstawowym problemem jest to, e tradycyjne metody statystyczne wymagaj, by jednostki w analizowanej populacji byy od siebie niezalene. Wprzypadku analizy sieci jest to moliwe wycznie wbadaniach sieci egocentrycznych prowadzonych na prbie. W konsekwencji w ostatnich latach rozwinitych zostao wiele modeli umoliwiajcych testowanie hipotez dla danych sieciowych tak zwane exponential random graphs models ERGM40. Atake metod analiz efektw wpywu spoecznego iselekcji spoecznej41.

Snijders T.A.B., Pattison P.E., Robins G.L., Handcock M.S., op. cit.; RobinsG.L., SnijdersT.A.B., Wang P., Handcock M., Pattison P., Recent developments in exponential random graph (p*) models for social networks, Social Networks 2007, nr 29, s.192215. 41 Snijders T.A.B., op. cit.

40

188

Dominik Batorski

SNA wewaluacji
Jak zauwaaj Durland iFredericks, stosunkowo niedawno zaczto uywa metod analizy sieci wbadaniach ewaluacyjnych inie s one jeszcze wpeni wykorzystywane42. Moe to wynika ztego i metod analizy sieci spoecznych irnego rodzaju miar sieciowych jest bardzo duo, ich wykorzystanie wymaga umiejtnoci korzystania ze specjalnych programw do analizy sieci43 i w konsekwencji prowadzenie bada sieciowych przez pocztkujcych badaczy jest bardzo trudne44. Obecnie metody analizy sieci spoecznych s uywane przez ewaluatorw wrnych krajach. Jednym zprzykadw jest zastosowanie analiz sieciowych wprogramach zdrowotnych iepidemiologicznych, szczeglnie majcych na celu przeciwdziaanie rozpowszechnianiu si takich chorb, jak HIV/AIDS, SARS. Ale rwnie wpromocji zdrowia45, przeciwdziaaniu alkoholizmowi, narkomanii, zwalczaniu palenia tytoniu i otyoci. Podejcie sieciowe jest wtych przypadkach uywane jako podstawa do konstruowania konkretnych programw. Badania pokazuj midzy innymi, e zachowania te maj charakter sieciowy, osoby otye maj wicej znajomych wrd osb otyych, palce wrd palcych itd., wzwizku ztym skuteczne przeciwdziaanie izwalczanie naogw powinno uwzgldnia te mechanizmy relacyjne. Niedawne badania Christakisa iFowlera pokazay, e rwnie rzucanie palenia ma charakter grupowy, tym samym kampanie antynikotynowe powinny by kierowane nie do pojedynczych jednostek, ale do grup osb znajcych si ipalcych wswoim towarzystwie46. Prowadzenie bada ewaluacyjnych tego typu programw powinno opiera si na analizie sieciowej. Metody analizy sieci byy take wykorzystywane wewaluacji programw szkolnych majcych na celu popraw funkcjonowania szkoy poprzez zwikszenie wsppracy pomidzy nauczycielami47. Oglnie rzecz biorc ozastosowaniu analiz sieci wewaluacji mona myle wszdzie tam, gdzie mamy do czynienia zdanymi ocharakterze relacyjnym.
42 Durland M.M., Fredericks K.A., Social Network Analysis in Program Evaluation, New Directions for Evaluation 2005, nr 107. 43 Specyfika metod sieciowych powoduje, e wikszo popularnych programw komputerowych sucych do analiz statystycznych nie pozwala na analizowanie danych metodami sieciowymi. Jest jednak wiele programw, rwnie darmowych, dostpnych wInternecie, ktre pozwalaj na wizualizowanie i analizowanie danych sieciowych. Do najpopularniejszych nale UCINET i programR (wszczeglnoci pakiety SNA, Network iStatnet), oraz Pajek, NetDraw do wizualizacji, atake SIENA, pnet do bardziej zaawansowanych analiz. 44 Davies R.J., SNA tools: their potential and limits, 2007. 45 Valente T.W., Evaluating Health Promotion Programs, Oxford University Press 2002. 46 ChristakisN.A., Fowler J.H., The Collective Dynamics of Smoking in aLarge Social Network, New England Journal of Medicine 2008, nr 358(21), s.22492258. 47 Penuel W.R., Sussex W., Korbak Ch., Hoadley Ch., Investigating the Potential of Using Social Network Analysis in Educational Evaluation, American Journal of Evaluation 2006, vol. 27(4), s.437451.

Metody analizy sieci iich zastosowanie wewaluacji

189

Jednak analiza sieci moe by wykorzystywana nie tylko do ewaluacji efektw oddziaywa rnych programw, ale take do ewaluacji samych programw i ich organizacji. Wszczeglnoci wiksze programy mog by konceptualizowane jako sieci48. Praktycznie, kady projekt, a tym bardziej wikszy program, s zaangaowane rozmaite osoby, czsto z rnych organizacji. Relacje midzy tymi osobami, ich zaangaowanie na poszczeglnych poziomach czy w rne czci programu, mog by opisywane za pomoc sieci afiliacji. Wiedza wynikajca zanaliz sieciowych moe przyczyni si do usprawnienia analizowanego programu. Przykadem wykorzystania analizy sieci do analizy informacji o bardzo duym programie jest zastosowanie tych metod przez Polsk Agencj Rozwoju Przedsibiorczoci w analizie dziaania 2.3 Sektorowego Programu Operacyjnego Rozwj Zasobw Ludzkich (SPO RZL). Wramach programu SPO RZL 2.3 Rozwj kadr nowoczesnej gospodarki ponad 400 tys. osb (zponad 100tys. firm) wzio udzia wokoo 700 programach szkoleniowych. Na podstawie danych zbieranych wtrakcie realizacji programu moliwe jest analizowanie relacji uczestnictwa osb i firm w poszczeglnych projektach szkoleniowych. Pozwala to midzy innymi na badanie relacji pomidzy szkoleniami (poprzez wspuczestnictwo) ina wyciganie wnioskw dotyczcych najczciej wystpujcych kombinacji szkole, tematycznego uzupeniania si projektw oraz ich substytucyjnoci. Podsumowujc, analiza sieciowa moe by przydatna na rnych poziomach ewaluacji. Metody te pozwalaj analizowa nie tylko dane oatrybutach jednostek, ale rwnie opowizaniach midzy nimi. Jest to te podejcie do bada spoecznych, wktrych jednym zgwnych rde wyjanie dziaa isytuacji jednostek s relacje istruktury wzajemnych powiza, wktre jednostki te s zaangaowane. Dlatego te wbadaniach ewaluacyjnych analiza sieci moe by przydatna zarwno wocenie efektw podejmowanych dziaa, ktrych istotnym elementem s relacje, np. wspomnianych wczeniej programw walki znaogami, jak iprzy analizie sposobu organizacji dziaa iprojektw oraz znaczeniu tej organizacji dla efektywnoci tyche. Warto wic, mylc oprowadzeniu bada ewaluacyjnych, rozwaa przydatno zastosowania podejcia sieciowego izbiera dane ocharakterze relacyjnym. Mimo trudnoci, zwizanych zwieloci iskomplikowaniem metod sieciowych iobsug programw do analizy danych sieciowych, napotykanych przez oso48 Davies R.J., Network Perspectives on the Evaluation of Development Interventions, Paper for the EDAIS Conference November 2425, New Directions in Impact Assessment for Development: Methods and Practice 2003; Davies R.J., Scale, Complexity and the Representation of Theories of Change, Evaluation 2004, Vol 10(1), s.101121, Sage Publications, London; Davies R.J., Scale, Complexity and the Representation of Theories of Change Part II. Evaluation, Vol 11(2):133149, Sage Publications, London 2005.

190

Dominik Batorski

by, ktre dopiero zaczynaj zajmowa si tego typu badaniami, naley mie nadziej, e podejcie to zacznie by szerzej stosowane rwnie wbadaniach ewaluacyjnych.

Dominik Batorski doktor socjologii. Obecnie pracuje jako adiunkt wInterdyscyplinarnym Centrum Modelowania Matematycznego iKomputerowego na Uniwersytecie Warszawskim. Naukowo zajmuje si przede wszystkim: problematyk relacji isieci spoecznych oraz dynamik procesw spoecznych zachodzcych wsieciach, takich jak dyfuzja innowacji czy wpyw spoeczny. Pracuje rwnie nad metodami analizy sieci spoecznych imetodologi prowadzenia bada psychologicznych ispoecznych przez Internet. Jest czonkiem Rady Monitoringu Spoecznego, przygotowujcej cykl bada Diagnoza Spoeczna. W badaniach tych odpowiada za modu powicony uwarunkowaniom, sposobom ikonsekwencjom korzystania znowych technologii. Wlatach 20062007 by stypendyst Fundacji na rzecz Nauki Polskiej. Naley do kilku stowarzysze naukowych, midzy innymi International Network for Social Networks Analysis iPolskiego Towarzystwa Socjologicznego.

Bibliografia
Barabsi A.-L., Linked: how everything is connected to everything else and what it means for business, science and everyday life, APlume Book 2003. Burt R.S., Structural holes: the social structure of competition, Harvard University Press 1992. Burt R.S., Brokerage and Closure: An introduction to Social Capital, Oxford University Press 2005. CasciaroT., Seeing things clearly: social structure, personality, and accuracy in social network perception, Social Networks 1998, 20(4). ChristakisN.A., Fowler J.H., The Collective Dynamics of Smoking in aLarge Social Network, New England Journal of Medicine 2008, nr 358(21). Cummings J.N., Cross R., Structural properties of work groups and their consequences for performance, Social Networks 2003, 25(3). Davies R.J., Network Perspectives on the Evaluation of Development Interventions, Paper for the EDAIS Conference November 2425, New Directions in Impact Assessment for Development: Methods and Practice 2003. Davies R.J., Scale, Complexity and the Representation of Theories of Change, Evaluation 2004, Vol 10(1), Sage Publications, London. Davies R.J., Scale, Complexity and the Representation of Theories of Change Part II. Evaluation, Vol 11(2), Sage Publications, London 2005. Davies R.J., SNA tools: their potential and limits, 2007. Durland M.M., Fredericks K.A., Social Network Analysis in Program Evaluation, New Directions for Evaluation 2005, nr 107. Durland M.M., Kimberly A.F., Social Network Analysis in Program Evaluation, New Directions for Evaluation 2006, nr 107, Jossey-Bass. Erickson B.H., Nosanchuk T.A., Applied network sampling, Social Networks 1983, nr 5.

Metody analizy sieci iich zastosowanie wewaluacji

191

Frank O., Network sampling and model fittng, w: P.J. Carrington, J. Scott, S. Wasserman (red.), Models and methods in social networks analysis, Cambridge University Press 2005. Freeman L.C., Centrality in social networks: I. conceptual clarification, Social Networks 1979, nr 1. Granovetter M., The strength of week ties, American Journal of Sociology 1973, nr 73. Hanneman R.A., Riddle M., Introduction to social network methods, University of California, Riverside 2005. Opublikowane elektronicznie na: http://faculty.ucr.edu/~hanneman/. Heider F., On balance and attribution, w: P.W. Holland, S. Leinhardt (red.), Perspectives on social network research, Academic Press 1979. KilduffM., Tsai W., Social Networks and Organizations, Sage, Londyn 2003. Knoke, D., Kuklinski J.H., Network analysis, Sage 1982. KrackhardtD., Kilduff M., Whether close or far: Social distance effects on perceived balance in friendship networks, Journal of Personality and Social Psychology 1999, nr 76. LinN., Cook K., Burt R.S. (red.), Social capital: theory and research 2001. LinN., Fu Y., Hsung R.-M., The position generator: measurement techniques for investigations of social capital, w: N.Lin, K.Cook, R.S.Burt (red.), Social capital: theory and research, 2001. Marsden P.V., Network data and measurement, Annual Review of Sociology 1990, nr 16. Monge P.R, Contractor N.S., Theories of communication networks, Oxford University Press, New York 2003. Moreno J.L., Foundations of sociometry: An introduction, Sociometry 1941, nr 4(1). Newman M.E.J., The structure and function of complex networks, SIAM Review 2003, nr 45. deNooyW., Batagelj V., Mrvar A., Exploratory Social Network Analysis with Pajek, Cambridge University Press 2005. Penuel W.R., Sussex W., Korbak Ch., Hoadley Ch., Investigating the Potential of Using Social Network Analysis in Educational Evaluation, American Journal of Evaluation 2006, vol.27(4). Robins G., Pattison P., Random graph models for temporal processes in social networks, Journal of Mathematical Sociology 2000, nr 25. Robins G., Pattison P., Elliott P., Network models for social influence processes, Psychometrika 2001, nr 66. RobinsG.L., Snijders T.A.B., Wang P., Handcock M., Pattison P., Recent developments in exponential random graph (p*) models for social networks, Social Networks 2007, nr 295. Scott J., Social Network Analysis: ahandbook, Sage Publications, Londyn 2000. Snijders T.A.B., Models for Longitudinal Network Data, w: P. Carrington, J. Scott, S. Wasserman (red.), Models and methods in social network analysis, Cambridge University Press, New York 2005, rozdzia 11. Snijders T.A.B., Pattison P.E., Robins G.L., Handcock M.S., New specifications for exponential random graph models, Sociological Methodology 2006. Valente T.W., Evaluating Health Promotion Programs, Oxford University Press 2002. Wasserman S., Faust K., Social Networks Analysis: Methods and applications. Structural analysis in the social sciences, Cambridge University Press 1994. Watts D.J., Networks, dynamics, and the small-world phenomenon, American Journal of Sociology 1999, nr 105(2). Watts D.J., Six degrees: the science of aconnected age, W.W. Norton 2003. Wellman B., Structural analysis: from method and metaphor to theory and substance, w: Social structures: anetwork approach, B.Wellman iS.D.Berkowitz (red.), Cambridge University Press 1988, tom 15 serii Contemporary studies in sociology, rozdzia 2.

Pawe Strawiski

Quasi-eksperymentalne metody ewaluacji


Problem ewaluacji
Prowadzone w ramach polityki gospodarczej pastwa ukierunkowane programy pomocy pochaniaj niema cz rodkw budetowych. Pod pojciem programu pomocy jest rozumiane kade dziaanie podjte dla dobra lub na rzecz innej jednostki w celu usprawnienia jej funkcjonowania. Wodniesieniu do gospodarki oznacza to, e polityka gospodarcza, interwencje prowadzone na rynku, czy pomoc bezporednio zaadresowana do wyznaczonych beneficjentw s przykadami programw pomocy. Ze wzgldu na istnienie alternatywnych sposobw wykorzystania dostpnych rodkw ocena skutecznoci oraz efektywnoci programw jest wanym zagadnieniem ipowinna stanowi podstaw do podejmowania strategicznych decyzji. Ekonomiczne ramy analizy ewaluacyjnej wyznaczaj modele Roya iRubina. Model Roya1 formalizuje zasady wyboru ekonomicznego wwarunkach ograniczonych zasobw. Tumaczy on dlaczego jednostki nie podejmuj decyzji spontanicznie (losowo), akieruj si pewnym kryterium. Zkolei wpracy Rubina2 pokazano, e prawidowy dobr grupy odniesienia uzyskanych rezultatw pozwala na otrzymanie lepszych wsensie statystycznym wynikw. Badacz obserwuje efekt dziaania programu i dokonuje podsumowania jego skutecznoci na podstawie oceny pewnych wielkoci, na przykad analizujc, czy osoba znalaza prac, lub rozpatrujc zmiany osiganego przez ni dochodu. Oglnie miernik efektu programu moemy utosami ze zmienn losow. Bdzie ona nazywana zmienn wynikow. Problemem wystpujcym przy ocenie efektw stosowanych polityk jest to, e obserwowana jednostka wdanym momencie czasu moe uczestniczy wprogramie bd wnim nie uczestniczy. Warto zmiennej wynikowej jest przez badacza obserwowana ina jej podstawie jest oceniany zastosowany pro Roy A., Some Thoughts on the Distribution of Earnings, Oxford Economic Papers. New Series, vol. 3/2, s.135146. 2 Rubin D., Matching to Remove Bias in Observational Studies, Biometrics 1973a, vol.29.
1

194

Pawe Strawiski

gram. Dla potrzeb oceny programu naley dokona porwnania, np. przecitnego efektu dla uczestnikw programu, oraz jednostek wnim nieuczestniczcych. Z punktu widzenia matematyki i poprawnoci formalnej przeprowadzonych oblicze nie ma to wikszego znaczenia, do ktrej grupy jednostka naley, jednak rozrnienie tych dwch stanw jest kluczowym elementem, niezbdnym do przeprowadzenia poprawnej analizy ekonomicznej3. Ocena wpywu dziaania na obserwowany rezultat zawiera spekulacj, wjaki sposb jednostka by funkcjonowaa, gdyby nie zostaa poddana oddziaywaniu4. W dalszej czci zostanie przedstawione jedno z moliwych rozwiza problemu, wjaki sposb dokona ewaluacji dziaania przy braku bezporednio dostpnej grupy porwnawczej. Nastpnie omwimy ramy przyczynowoskutkowe analizy oraz interesujce badaczy efekty oddziaywania. Dokonamy rozrnienia pomidzy przecitnym efektem oddziaywania (ang. Average Treatment Effect ATE) i przecitnym efektem oddziaywania na jednostki poddane oddziaywaniu (Average Treatment on Treated ATT). Zaprezentujemy statystyczne oraz ekonometryczne metody czenia danych (ang. matching methods) jako sposb konstrukcji sztucznej grupy porwnawczej. Przyjrzymy si technice propensity score matching, ktra jest jednym ze sposobw pozwalajcym na przeksztacenie danych ocharakterze nieeksperymentalnym wdane quasi-eksperymentalne. Przedstawimy rne podejcia i narzdzia, ktre pozwalaj okreli stopie skutecznoci metody czenia wykorzystujcej wektory propensity score. Wostatniej czci znajdzie si podsumowanie kluczowych elementw metody propensity score oraz krytyka tego podejcia badawczego. Najwaniejsze elementy metody czenia danych zostan zilustrowane za pomoc sztucznie wygenerowanych danych przykadowych. Intencj autora jest stworzenie takiego zbioru, na podstawie ktrego mona pokaza podstawowe idee metody czenia, azarazem dopasowanego nieidealnie do metody czenia wykorzystujcej wektory propensity score.

Model przyczynowy
W analizie ekonomicznej dziaania programu jako jego efekt obserwowana jest dla kadej jednostki i warto zmiennej wynikowej. Wynosi ona Y1i, jeeli jednostka uczestniczy w programie, lub Y0i, jeeli w nim nie uczestniczy. Posugujc si terminologi nauk eksperymentalnych, w pierwszym przypadku bdziemy mwi, e jednostka naley do grupy eksperymentalnej
Strawiski P., Przyczynowo, selekcja iendogeniczne oddziaywanie, Przegld Statystyczny 2007, nr 4, s.4961. 4 Caliendo M., Kopeinig S., Some Practical Guidance for the Implementation of Propensity Score Matching, Journal of Economic Surveys 2008.
3

Quasi-eksperymentalne metody ewaluacji

195

lub poddanej oddziaywaniu. Wdrugim, e naley do grupy kontrolnej lub grupy odniesienia. Aby porwna te dwie wielkoci, niezbdne jest uwzgldnienie wbudowanym modelu zjawiska informacji ostanie uczestnictwa badanej jednostki wprogramie. Trudno oceny programw jest problemem brakujcych danych5. Wdanej chwili rozpatrywana jednostka moe znajdowa si w jednym z dwch alternatywnych stanw, ale nie moe by w obu jednoczenie. Moe by uczestnikiem programu, bd wnim nie uczestniczy. Zkadym ze stanw wie si jeden zpoziomw obserwowanej zmiennej wynikowej (Y1i,Y0i). Jeeli mona by byo jednoczenie obserwowa obie wartoci dla kadej poddanej badaniu jednostki, zniknby problem zwizany zocen programu. W wielu pracach empirycznych dokonuje si oceny efektw programu pomocy przez pomiar przecitnego efektu zastosowania pewnej polityki. Niech zmienna P opisuje stan uczestnictwa wprogramie iprzyjmuje warto Pi=1, gdy jednostka i jest uczestnikiem programu (naley do grupy eksperymentalnej), aPi=0 oznacza, e znajduje si poza programem. Wwczas przecitny efekt dziaania programu (ang. average treatment effect) mona zapisa jako: 1N + 1 Pi Y0i (1) PY i 1i N i =1 Efekt programu obliczony w sposb opisany przez wzr (1) jest efektem dla przecitnej jednostki pochodzcej zbadanej populacji, bez uwzgldnienia, czy jest ona poddana oddziaywaniu, czy nie. Wpraktyce jako wielko efektu przyjmuje si rnic wrednim wyniku dla grupy eksperymentalnej iwszystkich jednostek nieuczestniczcych weksperymencie. Nie gwarantuje to dokadnoci, poniewa jednostki zgrupy eksperymentalnej mog wsposb systematyczny odrnia si od pozostaych, co przy pomiarze nie jest uwzgldnione. Duo ciekawsz miar, niosc wicej informacji oskutecznoci dziaania, jest przecitny efekt oddziaywania programu na jednostki poddane oddziaywaniu (ang. average treatment on treated ). Jest to efekt ograniczony do grupy, na ktr oddziaywano. YATE =

) )

YATT = E Y1i Y0i | Pi = 1 = E Y1i | Pi = 1 E Y0i | Pi = 1

) (

) (

(2)

Pokazuje on ilociowy efekt oddziaywania programu wobec jednostek w nim uczestniczcych. Jest rwny przecitnej zmianie wartoci zmiennej wynikowej wskutek wystpienia oddziaywania. W kontekcie bada programw pomocy informuje ona, jaki jest zysk bd strata z faktu uczestniczenia w programie dla jego beneficjentw. Naley zaznaczy, e wielko
Heckman J., Ichimura H., Todd P., Matching as an Econometric Evaluation Estimator: Evidence from Evaluating aJob Training Programme, The Review of Economic Studies 1997, vol. 64/4, s.605654.
5

196

Pawe Strawiski

E(Y1i| Pi=1) jest oczekiwan wartoci zmiennej wynikowej dla beneficjentw programu ijest wartoci obserwowan, natomiast E(Y0i|Pi=1) jest wielkoci hipotetycznego efektu, gdyby beneficjenci programu pozostawali poza jego oddziaywaniem. Ta druga warto nie jest obserwowana w rzeczywistoci. Wliteraturze polskiej jest okrelana mianem stanu kontrfaktycznego6 (ang. counterfactual). Przyjmijmy na chwil zaoenie, e istniej dwa identyczne pod wzgldem wszystkich cech rwnolege wiaty, wktrych moe by prowadzony program wsparcia drobnych przedsibiorcw. Wwiecie 0 program nie jest prowadzony, przecitny zysk firm sektora MSP wynosi Yi0. Zkolei wwiecie 1 kada firma uczestniczy wprogramie iosiga zysk wwysokoci Y1i. Poniewa dwa wiaty s identyczne pod wzgldem wszystkich pozostaych cech, stan wiata0 moe suy jako stan kontrfaktyczny dla wiata 1 ina odwrt. Wtakim przypadku przecitny efekt oddziaywania programu na jednostki poddane oddziaywaniu jest rwny Y1iY0i. Jedyn rnic pomidzy wiatami (stanami) jest fakt, e wjednym znich jest prowadzony program. Ewaluator otym wie imoe t informacj wykorzysta. Niestety, wrzeczywistoci rwnolege wiaty nie istniej, istnieje jeden bdcy ich mieszank. Rodzajem badania, ktre dziki specyficznej konstrukcji pozwala unikn problemw metodologicznych zwizanych zanaliz danych przekrojowych, jest kontrolowany eksperyment. Jest to czsto stosowane narzdzie badawcze wnaukach eksperymentalnych, takich jak biologia, medycyna czy fizyka dowiadczalna. Kontrolowany eksperyment polega na zaplanowaniu badania wtaki sposb, aby na podstawie uzyskanych wynikw mona byo wycign prawidowe wnioski odnoszce si do caej populacji. Dane eksperymentalne pozwalaj na skonstruowanie grup porwnawczych. W eksperymencie jednostki podlegaj randomizacji iprzez to s cakowicie arbitralnie lub losowo przydzielane do grupy eksperymentalnej czy grupy kontrolnej. Dziki losowoci wynik oddziaywania jest cakowicie niezaleny od stanu oddziaywania i nie wystpuje zjawisko selekcji. Ponadto, prawidowo zaprojektowany eksperyment wklarowny sposb rozrnia czynniki na endogeniczne, czyli takie, na ktre wpywa rezultat eksperymentu, i egzogeniczne, czyli takie, ktrych warto nie jest powizana zjego rezultatem7. Przy zaoeniu braku moliwoci przepywu jednostek midzy grupami, zbir jednostek poddanych oddziaywaniu jest statystycznie rwnowany pod kadym wzgldem zbiorowi niepoddanemu oddziaywaniu8. W takim przypadku przecitny
6 Konarski R., Kotnarowski M., Zastosowanie Metody Propensity Score Matching w ewaluacji expost, w: A. Haber (red.), Ewaluacja ex-post. Teoria i praktyka, PARP, Warszawa 2007. 7 Meyer B., Natural and Quasi-Experiments in Economics, Journal of Business and Economic Statistics 1995, vol. 13/2, s.151161. 8 Blundell R., Costa-Dis M., Evaluation Methods for Non-Experimental Data, Fiscal Studies 2000, vol. 21/4, s. 427468.

Quasi-eksperymentalne metody ewaluacji

197

efekt oddziaywania jest rwny efektowi oddziaywania na jednostki poddane oddziaywaniu iwynosi YATE = YATT = Y1 Y0 (3) W praktyce wystpuje szereg czynnikw utrudniajcych przeprowadzenie tego typu eksperymentw izaburzajcych ich wyniki. Po pierwsze, zreguy eksperymenty spoeczne s do czasochonne. Wzwizku ztym s naraone na problem odpadania jednostek na skutek rezygnacji. Trudno jest oczekiwa, e ten problem dokadnie wtakim samym stopniu bdzie dotyczy grupy eksperymentalnej poddanej oddziaywaniu igrupy kontrolnej. Po drugie, prowadzc kontrolowany eksperyment, badacz nie jest wstanie odizolowa grupy uczestnikw od jej otoczenia ekonomicznego. Kontakty ze wiatem zewntrznym mog wpywa na decyzje jednostek zaangaowanych wprogramie ijednostek zgrupy kontrolnej. Tutaj rwnie zaoenie ojednakowym wpywie czynnikw zewntrznych na obie subpopulacje wydaje si by mao realistyczne. Schematu bada obowizujcego wnaukach eksperymentalnych nie mona wprosty sposb przenie na grunt nauk spoecznych. Dobr uczestnikw do eksperymentalnego programu pomocy jest zawsze problematyczny ipozostaje kontrowersyjn decyzj. Moe on naruszy zasady zachowania rwnowagi ekonomicznej i konkurencyjnoci. Jednostki, ktre zostan wybrane, mog dziki temu odnie korzy iuzyska przewag ekonomiczn nad pozosta czci populacji. Eksperymentowanie na organizmie spoecznym prowadzi ewentualnie do powstania czy wzmocnienia nierwnoci, co przeczy idei pomocy. Ze wzgldw etycznych, spoecznych ipolitycznych zastosowanie regu eksperymentu medycznego do badania oddziaywania czynnikw ekonomicznych wydaje si niemoliwe. Powanym zagadnieniem wbadaniach spoecznych, oceniajcych skuteczno rnych programw pomocy, jest konstrukcja grupy porwnawczej. Zazwyczaj nie jest ona dostpna wprost, zwyjtkiem spontanicznie powstajcych naturalnych eksperymentw, wic badacze nie maj moliwoci odniesienia rezultatw dziaania programu zpowodu braku grupy referencyjnej. Jednym z rozwiza problemu jest wykorzystanie metod quasi-eksperymentalnych, ktre pozwalaj przeksztaci dane zebrane podczas badania przekrojowego wrwnowanik grupy porwnawczej.

Metody czenia danych


Zadaniem metody czenia obserwacji jest przeksztacenie zbioru danych w sposb umoliwiajcy oszacowanie przecitnego wpywu, jaki wywiera poddanie jednostki dziaaniu programu. Zreguy do szacowania efektw wykorzystuje si techniki nieparametryczne lub semi-parametryczne. Techniki

198

Pawe Strawiski

parametryczne polegaj na tym, e badacz apriori zakada, e zmienna losowa opisujca badane zjawisko zachowuje si tak, jakby pochodzia zarbitralnie wybranego przez badacza rozkadu prawdopodobiestwa. Znaczn liczb rozkadw prawdopodobiestwa mona przedstawi jako funkcj zbioru parametrw. Zadaniem badacza jest znalezienie takich wartoci nieznanych parametrw, aby optymalizowa funkcj kryterium dopasowania dostpnej prby empirycznej do wybranego rozkadu. Z uwagi na konieczno okrelenia rozkadu prawdopodobiestwa badanego zjawiska metody parametryczne s efektywne jedynie wprzypadku wyboru prawidowego rozkadu. Techniki nieparametryczne znajdowania estymatorw, wwikszym stopniu ni techniki parametryczne bazuj na informacji zawartej wdostpnej badaczowi prbie. Nie uwzgldnia si rozkadu zjawiska, zastpujc go estymatorem prbkowym. Wad tego podejcia jest budowanie caego rozkadu na podstawie jednej realizacji, oraz ograniczona moliwo wyprowadzenia wzorw analitycznych. Heckman, Ichimura iTodd9 precyzuj warunki, jakie musz spenia dane empiryczne zbierane wwarunkach nieeksperymentalnych oraz metody czenia danych, aby wypeni kryteria stawiane przed idealnym badaniem spoecznym: 1) jednostki poddane oddziaywaniu ijednostki zgrupy kontrolnej powinny mie takie same rozkady cech nieobserwowanych; 2) powinny mie takie same rozkady cech obserwowanych; 3) dane wobu subpopulacjach powinny by zbierane wten sam sposb; 4) uczestnicy programu i czonkowie grupy kontrolnej powinni pochodzi ztego samego rodowiska spoeczno-ekonomicznego. Spenienie kryteriw (3) i(4) nie jest ograniczeniem utrudniajcym przeprowadzenie ewaluacji, gdy kade poprawnie sformuowane badanie powinno je spenia. Kryterium (2) jest moliwe do spenienia podczas rnych etapw badania, odpowiednio zaprojektowanego. Alternatywnie, podczas opracowywania wynikw mog zosta uyte zaawansowane techniki ekonometryczne, takie jak przewaenie danych czy budowa funkcji kontrolujcej. Problematyczne jest spenienie kryterium (1). Zakada si, e jest ono spenione przy prawdziwym warunku (2). Metody czenia obserwacji (ang. matching methods) pozwalaj na rozwizanie problemu oceny prowadzonych programw pomocy winny sposb ni metody parametryczne. Gwn przeszkod utrudniajc zastosowanie metod parametrycznych jest brak adekwatnej grupy porwnawczej, wobec ktrej mona odnie uzyskane wbadaniu wyniki. czenie obserwacji pozwala na skonstruowanie poprawnej grupy porwnawczej zastpujcej brakujce dane,
Heckman J., Ichimura H., Todd P., Matching as an Econometric Evaluation Estimator: Evidence from Evaluating aJob Training Programme, The Review of Economic Studies 1997, vol. 64/4, s.605654.
9

Quasi-eksperymentalne metody ewaluacji

199

bez koniecznoci przyjmowania dodatkowych zaoe a priori10. Ich zadaniem jest naladowanie eksperymentu poprzez taki wybr jednostek do grupy kontrolnej, by bya jak najbardziej zbliona pod wzgldem obserwowanych charakterystyk do grupy poddanej oddziaywaniu. Metody czenia koncentruj si na sposobach konstrukcji grupy referencyjnej. Ich istot jest dobr grupy porwnawczej zpuli potencjalnych jednostek kontrolnych na podstawie wartoci wybranej miary podobiestwa. S to metody wykorzystujce techniki nieparametryczne w celu transformacji rzeczywistych danych zebranych podczas badania przekrojowego wzbir danych quasi-eksperymentalnych. Do przeksztaconych danych mona stosowa techniki wykorzystywane wewaluacji danych eksperymentalnych, czyli wystarczy porwna redni warto zmiennej mierzcej wynik dziaania. Gwnym zadaniem metod nieparametrycznych jest maksymalne iefektywne wykorzystanie dostpnej informacji. Poprawna konstrukcja sztucznej grupy odniesienia zapewnia zredukowanie obcienia izwikszenie precyzji uzyskanych wynikw11. Podobnie jak szereg innych elementw teorii ekonometrii, jej korzenie ipierwsze zastosowania tkwi wbiologii inaukach medycznych.

Propensity score matching


Wrd metod czenia danych mona wyrni dwa podejcia. Historycznie pierwsz metod byo czenie wedug wartoci wspzmiennych (ang. covariates matching). Wspzmiennymi nazywa si zmienne uywane wprocedurze czenia. Ich nazwa wywodzi si std, e rne ich wartoci determinuj zarwno jeden ze stanw oddziaywania programu, jak iwarto zmiennej mierzcej efekt ilociowy programu. Zatem ich warto zmienia si wsplnie z wartoci zmiennej okrelajcej stan oddziaywania. Przykadowymi wspzmiennymi, czsto wykorzystywanymi przy ewaluacji programw rynku pracy, zzastosowaniem metod mikroekonometrycznych, s cechy beneficjentw. Zreguy selekcja uczestnikw odbywa si na podstawie takich cech, jak wiek, pe czy miejsce zamieszkania. Zmienn wynikow mierzc efekt programu mog by np. osigane zarobki wpewnym okresie po programie (np. rok po zakoczeniu). Z teorii rynku pracy wiadomo, e pe, wiek czy miejsce zamieszkania osoby s silnymi determinantami wysokoci uzyskiwanych zarobkw12. Zatem te wszystkie cechy wprzypadku programu pomocy nadaj si na wspzmienne.
Blundell R., Costa-Dis M., op. cit. Rubin D., Matching to Remove Bias in Observational Studies, Biometrics 1973, vol. 29, s.159183. 12 Wielko miejscowoci jest standardow zmienn stosowan wbadaniach rynku pracy jako przyblienie wielkoci (pojemnoci) lokalnego rynku pracy.
11 10

200

Pawe Strawiski

czenie wedug wartoci wspzmiennych polega na czeniu wpary obserwacji oidentycznych lub zblionych wartociach wspzmiennych. Jeeli wartoci zmiennych zostan przedstawione jako punkty przestrzeni wielowymiarowej, to statystyczna metoda czenia polega na podziale tej przestrzeni na klatki wedug wartoci wspzmiennych. Nastpnie czone s nie obserwacje, autworzone klatki wpary. Niestety, jeeli wrd wspzmiennych wystpuj zmienne cige lub gdy jest dua liczba wspzmiennych, to metoda okazuje si niepraktyczna wzastosowaniu, gdy dua liczba klatek pozostaje pusta lub s one zbyt due, co zmniejsza efektywno czenia izwiksza wariancj estymatora wielkoci oddziaywania. Druga metoda, bardziej wspczesna, wykorzystuje wektory propensity score albo inn miar odlegoci midzy wektorami.
Przykad Istnieje zbir danych zawierajcy 150 obserwacji, ktrych cechy s opisane za pomoc kilku zmiennych. Po pierwsze, zmienna wynikowa, ktr oznaczmy jako Y. Na podstawie jej wartoci bdzie oceniana skuteczno programu. Dodatkowo dostpna jest zmienna P informujca, czy jednostka zostaa poddana dziaaniu programu (wtedy P = 1), czy znajduje si wpuli jednostek, zktrej mona wybra grup referencyjn (P = 0). Arbitralnie przyjto, e jednostek uczestniczcych wprogramie jest 50, a jednostek niepoddanych dziaaniu programu 100. Dodatkowo dla kadej jednostki dysponujemy wartociami cigych wspzmiennych X1 oraz X 2 , dyskretnych wspzmiennych X3 oraz X4 oraz zmiennej (X5), ktrej warto wpywa na zmienn wynikow Y, ale nie ma wpywu na stan poddania oddziaywaniu. Wspzmienne X1, X 2 , X3, X4 s to zmienne, ktrych wartoci jednoczenie maj wpyw na stan poddania oddziaywaniu P, oraz warto zmiennej wynikowej Y (ang. outcome variable).

Aby obliczy przecitny efekt programu dany przez (1), naley wrwnaniu Y zawrze informacje zarwno owielkociach wspzmiennych X1, X2, X3, X4, jak iostanie poddania oddziaywaniu P. Y = f X1 , X 2 , X 3 , X 4 , P

Jednak spowoduje to problem endogenicznoci, poniewa warto wspzmiennych X1, X2, X3, X4 bdzie jednoczenie wpywa na wynik Y ina stan poddania oddziaywaniu P. Obrazowe przedstawienie punktw przestrzeni wielowymiarowej jest trudne, ztego powodu przykad zostanie ograniczony do dwch wymiarw. Kademu zwymiarw odpowiada jedna wspzmienna uywana do czenia danych. W celu uatwienia prezentacji wszystkie wartoci zmiennych znormalizowano do przedziau [0; 1]. Na rysunku 1 przedstawiono przykadowe wartoci dwch zmiennych cigych (X1, X2). Z kadym z punktw jest

Quasi-eksperymentalne metody ewaluacji

201

zwizana pewna warto zmiennej wynikowej Y. czenie wklatki polega na podziale caej dziedziny na klatki, wprzypadku dwch wymiarw bd to prostokty. Dokonano rwnomiernego podziau dziedziny, czyli wpierwszej klatce wyznaczonej przez zmienn X1 znalazy si obserwacje owartociach z przedziau (0; 0,2) itd. Analogicznie utworzono klatki wzgldem wartoci zmiennej X2.
1 Zmienna X2 0 0 .2 .4 .6 .8

.2

.4 Zmienna X1 Eksperymentalna

.6 Kontrolna

.8

Rysunek 1. Wspzmienne cige. Podzia rwnomierny na klatki


rdo: Obliczenia wasne.

Po poczeniu uzyskano 25 klatek. W klatkach znajduj si jednostki z grupy eksperymentalnej (wypeniony okrg) i grupy kontrolnej (pusty okrg). Jednostki znajdujce si wtej samej klatce mona uzna za podobne pod wzgldem wartoci zmiennych. W przypadku, gdy zmienne maj charakter dyskretny (zmienne X3 oraz X4), sytuacja jest duo prostsza. Dane mona poczy w sposb dokadny (patrz rysunek 2). Na rysunku wprowadzono losowe zaburzenia wartoci punktw, by wszystkie byy widoczne. Problem znalezienia elementu porwnawczego wbliskim ssiedztwie jest problemem wielowymiarowym. Metod pozwalajc na uniknicie koniecznoci porwnywania wszystkich cech badanych jednostek jest uycie zamiast cech pewnej miary podobiestwa obserwacji. Najpopularniejsz inajszerzej

202

Pawe Strawiski

stosowan jest wektor propensity score13. Propensity score jest wartoci pochodnej funkcji prawdopodobiestwa doboru obserwacji do programu obliczon wzgldem wektora cech jednostki. Warto wektora dla jednostki jest rwnowana prawdopodobiestwu zdarzenia, e jednostka naley do grupy eksperymentalnej poddanej dziaaniu14.
4 Zmienna X3 0 0 1 2 3

2 Zmienna X4 Eksperymentalna Kontrolna

Rysunek 2. Wspzmienne dyskretne. Podzia na klatki


rdo: Obliczenia wasne.

Termin propensity score matching odnosi si do klasy metod wielowymiarowych, stosowanych wbadaniach porwnawczych wcelu konstrukcji grup eksperymentalnych idoczonych do nich grup kontrolnych opodobnych rozkadach duej liczby wspzmiennych15. czenie woparciu owspzmienne, gdy jest ich duo, staje si niewykonalne. Wbadaniach stricte eksperymentalnych do obliczenia przecitnych efektw stosowana jest randomizacja. czenie danych, wykorzystujce wektory propensity score, jest odpowiednikiem
Rosenbaum P., Rubin D., The Central Role of the Propensity Score in Observational Studies for Causal Effects, Biometrika 1983, vol. 70/1, s. 4155; Rosenbaum P., Rubin D., Constructing aControl Group Using Multivariate Matched Sampling Method That Incorporate the Propensity Score, The American Statistician 1985, vol. 39, s. 3338. 14 Conniffe D., Gash V., OConnel P., Evaluating State Programs: Natural Experiments and Propensity Scores, The Economic and Social Review 2000, vol. 31/4. 15 Rubin D., Thomas N., Combining Propensity Score Matching with Additional Adjustments for Prognostic Covariates, Journal of the American Statistical Association 2000, vol. 95, s. 573585.
13

Quasi-eksperymentalne metody ewaluacji

203

randomizacji zastosowanym do danych pochodzcych z nieeksperymentalnych bada przekrojowych. Tym, co odrnia randomizacj od czenia danych, jest to, e pierwsza metoda pozwala na zbilansowanie rozkadw wszystkich wspzmiennych, zarwno obserwowanych, jak iniedostpnych dla badacza, natomiast propensity score matching pozwala na zbilansowanie wycznie wzgldem obserwowanych zmiennych. Wan wasnoci techniki propensity score jest to, e w prosty sposb mona j poczy z modelami opartymi na regresji liniowej16. Metoda czenia danych oparta jest na dwch zaoeniach17. Pierwsze znich jest nazywane warunkow niezalenoci (ang. Conditional Independence Assumption). Zakada si, e badacz dysponuje zbiorem czynnikw warunkujcych W, nazywanych wspzmiennymi (ang. covariates), takich, e w kadej warstwie18, zdefiniowanej przez podzbir w W, rozkad obserwowanych cech jednostek jest taki sam wgrupie, na ktr oddziaywano, iwgrupie kontrolnej. (Y0 ,Y1 ) P |W (4) Oznacza to, e realizacje zmiennej wynikowej s warunkowo, wzgldem zastosowanych w procedurze czenia wspzmiennych W, niezalene od statusu uczestnictwa wprogramie. Znajomo wartoci zmiennej wdla jednostki i nie powinna wskazywa, ktry stan, eksperymentalny czy kontrolny, jest bardziej prawdopodobny dla tej jednostki. Zatem, dla ustalonej wartoci w jest rwnie prawdopodobne, e jednostka pochodzi z grupy eksperymentalnej i e pochodzi z grupy kontrolnej. Wobec tego, selekcja jednostki do wskazanej grupy zaley wycznie od czynnikw obserwowanych. Przy spenionym zaoeniu dobrana grupa bdzie zachowywa si tak, jakby bya rzeczywist grup kontroln. Drugim zaoeniem jest, e wszystkie jednostki poddane dziaaniu programu maj swj odpowiednik znajdujcy si poza programem. 0 < Pr( Pi = 1 |W ) < 1 (5) Oznacza to, e dla kadej wartoci ze zbioru zmiennych warunkujcych W i dla kadego uczestnika programu istnieje z niezerowym prawdopodobiestwem co najmniej jedna jednostka znajdujca si poza programem oidentycznych cechach. Ponadto, cechy jednostek nie determinuj wsposb jednoznaczny, czy jednostka naley do grupy eksperymentalnej, czy do grupy kontrolnej. Z zaoe (4) i(5) wynika, e gdy znana jest warto wektora zmiennych warunkujcych w, to oczekiwana warto zmiennej wynikowej jest niezale16 17

Rosenbaum P., Observational Studies, Springer Verlag 2002. Rosenbaum P., Rubin D., The Central Role, op. cit. 18 Warstwa jest odpowiednikiem klatki.

204

Pawe Strawiski

na od statusu uczestnictwa wprogramie. Zatem obliczajc rnic wrednich wartociach pomidzy grupami, mona uzyska oszacowanie przecitnego efektu oddziaywania na jednostki poddane oddziaywaniu. Jeeli przydzielenie do grupy eksperymentalnej lub grupy kontrolnej jest niezalene od obserwowanych cech jednostki, czyli spenione jest zaoenie (4) owarunkowej niezalenoci, to obcienie powodowane przez porwnanie rezultatu wdwch grupach, wynikajce zrnych wartoci wspzmiennych, moe zosta wyeliminowane poprzez ich dopasowanie19. Rosenbaum iRubin20 pokazali, e zamiast cech Wmona zastosowa wektor propensity score PS(w). PS(w ) = Pr( P = 1 | w ) (6) Uycie wektorw redukuje problem wielowymiarowy do jednowymiarowego. Zatem analogicznie do (4) zachodzi W takim przypadku uzyskana warto oszacowania bdzie nadal nieobcionym estymatorem efektu, jednak uzyskany wten sposb estymator nie musi by efektywny21. Nieefektywno metody propensity score ujawnia si wsytuacji ewaluacji danych pochodzcych zeksperymentu22. Jest to zwizane zniepotrzebnym zastosowaniem przeksztacenia danych. Ta oglna metoda ma wiele implementacji, rnicych si sposobem obliczenia miary podobiestwa. Po pierwsze, wmetodzie propensity score mona wybra rne postaci funkcyjne dla prawdopodobiestwa poddania oddziaywaniu. Po drugie, mona zastosowa jedn z dostpnych alternatywnych miar podobiestwa obserwacji. Po obliczeniu miary podobiestwa jednostek s one czone za pomoc wybranego przez badacza algorytmu. czenie moe odbywa si wedug zasady 1 do 1 (w pary), 1 do wielu (do kadej jednostki poddanej oddziaywaniu dobiera si wicej ni jedn jednostk z grupy kontrolnej) lub wykorzystujc jdrowy estymator gstoci (dla kadej obserwacji obliczana jest warto dystrybuanty idobierany jest odpowiednik zdrugiej grupy oidentycznej lub najbardziej zblionej wartoci). Na koniec obliczane s rnice w zmiennej wynikowej dla poczonych obserwacji. Te rnice s oszacowaniami szukanych efektw. (Y0 ,Y1 ) P | PS(w ) (7)

Hirano K., Imbens G., Ridder G., Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score, Econometrica 2003, vol. 71/4, s. 11611189. 20 Rosenbaum P., Rubin D., The Central Role, op. cit. 21 Heckman J., Ichimura H., Smith J., Todd P., Characterizing Selection Bias Using Experimental Data, Econometrica 66/4, s.10171098. 22 Hahn J., On the Role of the Propensity Score in the Efficient Semiparametric Estimation of Average Treatment Effects, Econometrica 1998, vol. 66/2, s. 315331.

19

Quasi-eksperymentalne metody ewaluacji

205

Przykad (cd.) Dla wczeniej opisanych danych utworzono wektor propensity score skadajcy si ze zmiennych X1, X 2 , X3, X4. Przyjto, e rozkad prawdopodobiestwa bdzie opisany przez funkcj logistyczn. Poniewa dwie z wybranych zmiennych maj charakter dyskretny, nie naley ich bezporednio uywa do obliczenia wartoci propensity score. Naley je przeksztaci wodpowiedni liczb23 zmiennych zerojedynkowych.

W tabeli 1 znajduj si parametry modelu prawdopodobiestwa doboru jednostek do programu. Wane s nie tyle statystyczne waciwoci modelu, ajego zdolno bilansowania prby.
Tabela 1. Wyniki oszacowania parametrw wektora propensity score24
Logistic regression Log likelihood = 91.305639 Number of obs LR chi2(10) Prob > chi2 Pseudo R2 = = 150 8.34

= 0.5954 = 0.0437

Program
X1 X2 X3_1 _X3_2 _X3_3 _X3_4 _X4_1 _X4_2 _X4_3 _X4_4 _cons

Coef.
.4235658 .0874898 .4766884 .1316621 .7350328 .442798 .0507517 .9729579 .5416392 .2939577 .6043907

Std. Err.
.6660653 .6530546 .5656819 .5958279 .5787153 .62718 .5476217 .5419965 .6005802 .5671461 .7206802

z
0.64 0.13 0.84 0.22 1.27 0.71 0.09 1.80 0.90 0.52 0.84

P > |z|
0.525 0.893 0.399 0.825 0.204 0.480 0.926 0.073 0.367 0.604 0.402

[95% Conf. Interval]


1.72903 1.192474 .6320279 1.036139 .3992283 .7864521 1.12407 2.035252 1.718755 .8176282 2.016898 .8818982 1.367453 1.585405 1.299463 1.869294 1.672048 1.022567 .0893358 .6354763 1.405544 .8081165

Podczas estymacji propensity score naley podj dwie decyzje. Pierwsza dotyczy wyboru formy funkcyjnej modelu, druga wyboru zmiennych uytych
Odpowiednia liczba jest ojeden mniejsza ni liczba kategorii zmiennej dyskretnej. Wszystkie obliczenia przeprowadzono w pakiecie Stata10 z wykorzystaniem dodatkowego moduu PSMATCH2.
24 23

206

Pawe Strawiski

do obliczenia wartoci wektora. Jak pokazuj liczne prace empiryczne25, zreguy metoda propensity score jest odporna na wybr formy funkcyjnej wektora. Dzieje si tak dlatego, e wpraktyce rnice wartoci wektora wynikajce zzastosowania rnych rozkadw s tak mae, e mog by pominite. Heckman, Ichimura i Todd26 oraz Heckman i Smith27 proponuj dwie strategie doboru zmiennych do konstrukcji wektora propensity score. Pierwsza metoda polega na takim doborze zmiennych, by maksymalizowa wasnoci predykcyjne modelu. Obserwacja jest klasyfikowana jako 1 (sukces), jeeli oszacowana warto propensity score jest wiksza ni udzia jednostek poddanych oddziaywaniu wprbie, wprzeciwnym przypadku jest klasyfikowana jako 0 (poraka). Metoda maksymalizuje poprawn klasyfikacj obserwacji, zakadajc, e koszt bdnej klasyfikacji jest identyczny dla grupy eksperymentalnej ikontrolnej28. Naley jednak pamita, e celem konstrukcji wektorw propensity score jest doprowadzenie do zbilansowania prby, anie budowa idealnego narzdzia klasyfikujcego. Wdrugiej metodzie wykorzystywana jest statystyczna istotno zmiennych. Analiza rozpoczyna si od maego modelu, zawierajcego niewielk liczb oczywistych zmiennych warunkujcych (takich, jak np. charakterystyki demograficzne), anastpnie, zgodnie zzasad od szczegowego do oglnego, dodawane s kolejne zmienne. Jeeli dodana zmienna bdzie istotna statystycznie, to jest doczana do wektora, wodwrotnej stuacji jest pomijana. Wanym zagadnieniem jest dobr zmiennych do wektora propensity score. Ekonomiczna teoria, prowadzone badania iwszelkie informacje oprogramie powinny wskazywa na dobr zmiennych29. Zaoenie warunkowej niezalenoci wymaga, by zmienne uyte do czenia byy niezalene od stanu poddania oddziaywaniu. Winnym przypadku pojawi si problem endogenicznoci wywoanej przez sprzenie zwrotne. Heckman, LaLonde iSmith30 stwierdzili, e dane dotyczce grupy eksperymentalnej ikontrolnej powinny pochodzi ztego samego rda. We wczeniejszej pracy Heckman, Ichimura
25 Por. np.: Sianesi B., An Evaluation of the Swedish System of Active Labor Market Programms in the 1990s, The Review of Economics and Statistics 2004, vol. 86/1; Angrist J., Hahn J., When to Control for Covariates? Panel Asymptotics for Estimation of Treatment Effects, The Review of Economics and Statistics 2004, vol. 86/1. 26 Heckman J., Ichimura H., Todd P., Matching as an Econometric Evaluation Estimator: Evidence from Evaluating aJob Training Programme, The Review of Economic Studies 1997, vol. 64/4. 27 Heckman J., Smith J., Clements N., Making the Most Out of Programme Evaluations and Social Experiments: Accounting for Heterogeneity in Programme Impact, The Review of Economic Studies 1997, vol. 64/4. 28 Heckman J., Ichimura H., Smith J., Todd P., Characterizing, op. cit. 29 Smith J., Todd P., Does Matching Overcome LaLondes Critique of nonexperimental estimators?, Journal of Econometrics 2005, vol. 125, s. 365375. 30 Heckman J., LaLonde R., Smith J., The Economics and Econometrics of Active Labour Market Programs, w: O. Ashenfelter, D. Card (red.) Handbook of Labour Economics 1999, vol 3a, Elsevier.

Quasi-eksperymentalne metody ewaluacji

207

iTodd31 pokazali, e pominicie istotnej zmiennej podczas konstrukcji wektora moe spowodowa obcienie uzyskanego estymatora. Ponadto wskazali, e konieczny jest dobry dobr elementw do macierzy warunkujcej W. Jeeli zostan uwzgldnione tylko takie zmienne, ktre wsposb statystycznie istotny jednoczenie wpywaj na partycypacj wprogramie ijego wynik, to zostanie zagwarantowana poprawna forma funkcyjna PS(W ). Zkolei Heckman, Ichimura iSmith32 uzasadnili, e wmacierzy Wnie powinny znale si elementy silnie skorelowane ze statusem uczestnictwa wprogramie P. Takie zmienne s mocnymi determinantami jednego ze stanw uczestnictwa izbilansowanie zmiennej tego rodzaju moe by kopotliwe, zuwagi na nisk liczb obserwacji opodobnej wartoci cechy wgrupie odniesienia. Zdrugiej strony idealnymi zmiennymi warunkujcymi s te, ktre s silnie skorelowane ze zmienn wynikow.

Ocena jakoci czenia


Wanym elementem wprocesie budowy kadego modelu jest ocena jego jakoci. Niestety, wprzypadku metod czenia nie wypracowano jeszcze powszechnie akceptowanych narzdzi analitycznych umoliwiajcych ewaluacj poprawnoci procedury. Niemniej istnieje kilka sposobw weryfikacji zaproponowanych przez rnych autorw. czenie danych zwykorzystaniem wybranej techniki wwikszym stopniu wpywa na charakterystyki grupy kontrolnej ni eksperymentalnej. Grupa eksperymentalna ulega modyfikacji tylko wprzypadku, gdy dla poszczeglnych jednostek nalecych do tej grupy nie udaje si znale bliskiego odpowiednika wgrupie kontrolnej. Zkolei charakterystyki grupy kontrolnej przed ipo wykonaniu czenia rni si wsposb znaczcy. Celem czenia jest wybranie ze zbioru potencjalnych jednostek kontrolnych tych najbardziej zblionych do jednostek zgrupy eksperymentalnej. Zatem grupa kontrolna po czeniu powinna by bardziej zbliona pod wzgldem charakterystyk uytych do czenia do grupy eksperymentalnej ni przed zastosowaniem tej procedury. Przy szacowaniu efektw ilociowych wane jest, aby uzyskany estymator by nieobciony. Potencjalne obcienie wynikajce zzastosowania procedury czenia mona przedstawi jako sum trzech elementw: obcienia wynikajcego zniepenego wsplnego przedziau okrelonoci (ang. common support), obcienia wynikajcego znieprawidowego przewaenia obserwacji, oraz wynikajcego zselekcji na podstawie czynnikw nieobserowowanych. Wmetodzie czenia zakada si, e caa selekcja dokonuje si na podstawie wartoci zmiennych obserwowanych, wic apriori obcienie trzeciego typu
31 32

Heckman J., Ichimura H., Todd P., op cit. Heckman J., Ichimura H., Smith J., Todd P., Characterizing, op cit.

208

Pawe Strawiski

nie wystpuje. Prawidowa konstrukcja wektora propensity score gwarantuje eliminacj obcienia drugiego typu, ale pod warunkiem, e nie wystpuje obcienie pierwszego typu. Proponowane testy diagnostyczne badaj rozmiar obcienia wynikajcego zbraku spenienia zaoenia owsplnym przedziale okrelonoci. Sukces procedury czenia zaley od tego, czy w prbie znajduj si odpowiednie obserwacje pozwalajce na skonstruowanie zbioru warunkujcego W wtaki sposb, aby spenione byy zaoenia (4) i(5). Jednym zczynnikw warunkujcych sukces wszystkich metod czenia, anie tylko propensity score matching, jest wsplny przedzia okrelonoci dla wartoci cech, lub wartoci funkcji obliczonej na podstawie wartoci cech, ktre s wykorzystywane podczas konstrukcji miary podobiestwa. Przy spenionym zaoeniu owsplnym przydziale okrelonoci Hirano, Imbens iRidder33 wyprowadzili wzory na efektywne estymatory dla przecitnych efektw oddziaywania. Wprzypadku wektorw propensity score, ktrym przypisywana jest warto zprzedziau [0;1], chodzi oto, by rzeczywiste realizacje wartoci wektora dla grupy eksperymentalnej iskonstruowanej grupy kontrolnej naleay do tego samego przedziau. Dodatkowo, cz wsplna przedziau wartoci wektora dla grupy eksperymentalnej igrupy kontrolnej powinna by jak najwiksza. Gdy wsplny przedzia jest stosunkowo wski lub tylko niewielka cze wszystkich obserwacji naley do wsplnego przedziau, wystpuje inny problem. Pojawia si pytanie oreprezentatywno iwiarogodno uzyskanego wyniku. Jest on prawidowy dla jednostek ze wsplnego przedziau, ale mona go rozszerzy na ca grup tylko wobec spenienia zaoenia ojednakowym wpywie oddziaywania na jednostki zgrupy eksperymentalnej (ang. SUTVA)34.
Przykad (cd.) Jeeli wrcimy do rysunku 1 irysunku 2, to wida, e wkadej klatce zawierajcej jednostk zgrupy eksperymentalnej znajduje si co najmniej jedna jednostka zgrupy kontrolnej. Zatem nie wystpuje ewidentne niedopasowanie. Wtabeli 2 przedstawiono wartoci wektora propensity score. S one zblione wobu grupach, jednak dla czci jednostek zgrupy eksperymentalnej nie ma dobrych odpowiednikw zgrupy kontrolnej, gdy brak jest obserwacji owartoci propensity score wikszej ni 0,54.

Tabela 2. Wartoci wektora propensity score


Grupa
Eksperymentalna Kontrolna

Obs
50 100

rednia
.368711 .3156445

Odch. Std.
.1057437 .1089556

Min.
.1819396 .1342

Max
.6062373 .5370342

33 34

Hirano K., Imbens G., Ridder G., op cit. Rosenbaum P., Rubin D., Constructing aControl Group. op cit.

Quasi-eksperymentalne metody ewaluacji

209

Mona rwnie przedstawi graficznie rozkad wartoci wektora propensity score wdwch grupach. Brak dobrych odpowiednikw nazywany jest problemem braku wsplnego przedziau okrelonoci.
.10 0 .1 .2 .4 .6 .8

.2

.3

.4 Propensity score Kontrolna

.5

.6

Eksperymentalna

Rysunek 3. Wektor propensity score.


rdo: Obliczenia wasne.

Powanym ograniczeniem metod nieeksperymentalnych jest brak gwarancji istnienia wsplnego przedziau okrelonoci dla cech jednostek uczestniczcych w programie i jednostek z grupy kontrolnej. Jeeli przedziay okrelonoci znacznie si rni, to zamana zostaje zasada wsplnego przedziau okrelonoci (ang. common support). Wprzypadku homogenicznego oddziaywania nie stanowi to problemu wsensie obcienia wyniku, jedynie znika efektywno oszacowania, zuwagi na utrat czci obserwacji35. Gdy oddziaywanie jest heterogeniczne, oszacowane wielkoci parametrw dla obu subpopulacji mog mie inne znaczenie iinterpretacj. Ztego powodu niezbdnym elementem analizy wynikw jest porwnanie rozkadu cech warunkujcych W wobu subpopulacjach. Efekty przecitne, ktre uzyskuje si, midzy innymi wykorzystujc metody czenia danych, s dobrze zdefiniowane wycznie na wsplnym przedzia35

Blundell R., Costa-Dis M., op cit.

210

Pawe Strawiski

le okrelonoci36. Wliteraturze sugerowany jest szereg metod weryfikujcych to zaoenie. Na przykad Lechner37 proponuje wizualn analiz rozkadw propensity score. Bardziej formalne metody polegaj na porwnaniu minimalnej imaksymalnej wartoci wektora propensity score wgrupie eksperymentalnej ikontrolnej. Obserwacje spoza wsplnego przedziau s wwczas eliminowane zanalizy. Jest to szczeglnie istotne dla czenia zwykorzystaniem estymatora jdrowego gstoci rozkadw, ktry uwzgldnia ca informacj zgrupy kontrolnej. Przy doborze najbliszego ssiada i tak zawsze jest wybierana najblisza obserwacja zdrugiej grupy. Wzwizku ztym ewentualne obcienie wynikajce zbraku wsplnego przedziau okrelonoci jest prawie nieistotne. Problematyczne jest stosowanie tego kryterium w stosunku do obserwacji lecych blisko granicy wsplnego przedziau. Wtakim przypadku moe okaza si, e najblisze odpowiedniki nie nale do wsplnego przedziau okrelonoci iprzez to, po zastosowaniu kryterium, na kracach wsplnego przedziau dopasowanie bdzie gorsze. Innym problemem moe by niska liczba obserwacji wpewnych przedziaach wartoci wektora propensity score lub gdy wsplny przedzia okrelonoci nie jest spjny, tzn. np. wsplny przedzia to [0.25; 0.8], ale wprzedziale [0.4;0.6] nie ma obserwacji. Wtedy mona podzieli dziedzin na dwie czci iprzeprowadzi czenie osobno wkadej, anastpnie obliczy redni efekt oddziaywania, wykorzystujc redni waon liczebnociami. Ale stosujc iteracyjnie t regu, dojdziemy do absurdalnego rozwizania, w ktrym kada warto bdzie znajdowa si wosobnym przedziale. Czyli rozwizaniem granicznym metody iteracyjnej jest dokadne czenie (ang. exact matching). Pozostan poczone jedynie obserwacje oidentycznych wartociach propensity score. Gdy co najmniej jedna ze wspzmiennych jest ciga, to nie da si wykluczy sytuacji, wktrej nie zostanie utworzona adna para. Zatem decyzj oewentualnym podziale dziedziny na czci musi arbitralnie podj badacz. Inne rozwizanie proponuj Smith iTodd38. Sugeruj zastosowanie metody trimming do wyznaczenia wsplnego przedziau okrelonoci. Polega ona na tym, e wsplny przedzia jest zdefiniowany tylko wtych obszarach, gdzie gsto rozkadu obserwacji w grupie eksperymentalnej i grupie kontrolnej przekracza wybran warto progow q>0. Kolejnym aspektem wymagajcym uwagi jest jako procedury dopasowania. Celem procedury czenia jest zblienie grupy poddanej oddziaywaniu igrupy kontrolnej pod wzgldem cech uytych do czenia39. Zamiast wszyst Caliendo M., Kopeinig S., Some Practical Guidance for the Implementation of Propensity Socre Matching, Journal of Economic Surveys 2008. 37 Lechner M., An Evaluation of Publicsector Sponsored Continuous Vocational Training Programs in East Germany, The Journal of Human Resources, vol 35/2, s.347375. 38 Smith J., Todd P., op. cit. 39 Frlich M., Finite-Sample Properties of Propensity Score Matching and Weighting Estimators, The Review of Economics and Statistics 2004, vol. 86/1, s. 7790.
36

Quasi-eksperymentalne metody ewaluacji

211

kich wspzmiennych Wdo czenia uywana jest jedna warto PS(W ), wobec tego naley sprawdzi zbilansowanie rozkadu poszczeglnych zmiennych wgrupie eksperymentalnej iskonstruowanej grupie kontrolnej. Wspczesna literatura proponuje dwa sposoby pomiaru skutecznoci czenia40. Po pierwsze, mona zbada sposb poczenia na poziomie jednostkowym wskali mikro. Polega to na sprawdzeniu, jak blisko jest kady element grupy poddanej oddziaywaniu do odpowiadajcego mu elementu grupy kontrolnej pod wzgldem cech uytych do czenia. Rosenbaum i Rubin41, jako miar dopasowania, zaproponowali porwnanie standaryzowanego obcienia przed i po zastosowaniu procedury czenia. Jest to powszechnie stosowana wbadaniach empirycznych metoda walidacji procedury czenia. Jeeli obcienie spada poniej 5%, jest ono uwaane za nieistotnie mae. Innym sposobem rwnie proponowanym przez Rosenbauma iRubina42 jest zastosowanie testu t dla dwch prb porwnujcego rednie wartoci zmiennych, ktre s wykorzystywane wprocedurze do obliczenia wartoci wektora propensity score. Po jego zastosowaniu nie powinno by istotnych statystycznie rnic pomidzy rednimi wartociami cech uytych do czenia.
PRZYKAD (cd.) Dokonamy teraz porwnania grupy eksperymentalnej ikontrolnej pod wzgldem wartoci zastosowanych wspzmiennych.

Tabela 3. Porwnanie wartoci zmiennych uytych do konstrukcji wektora propensity score


Zmienna Prba
Nieczona czona Nieczona czona Nieczona czona

rednia Eksper.
.46127 .47824 .51749 .50725 .24 .25532

% redukcji % obc
10.8 2.2 9.2 22.0 4.7 25.1 431.9 138.0 79.8

test t t
0.62 0.11 0.53 1.05 0.27 1.11

Kontrol.
.49123 .48429 .49097 .57038 .22 .3617

|obc|

p > |t|
0.535 0.916 0.594 0.298 0.784 0.269

X1

X2

X3_1

Lee M.-J., Micro-Econometrics for Policy, Program, and Treatment Effects, Oxford University Press, 2005. 41 Rosenbaum P., Rubin D., op. cit. 42 Ibidem.

40

212

Pawe Strawiski

Zmienna

Prba
Nieczona czona Nieczona czona Nieczona czona Nieczona czona Nieczona czona Nieczona czona Nieczona czona

rednia Eksper.
.18 .19149 .24 .19149 .16 .17021 .22 .23404 .18 .19149 .14 .14894 .22 .19149

% redukcji % obc
14.7 5.2 14.7 15.6 0.0 11.5 9.9 10.6 36.8 0.0 8.2 5.8 23.7 0.0 100.0 29.1 100.0 6.4 . 6.4 64.5

test t t
0.83 0.25 0.86 0.84 0.00 0.57 0.58 0.47 2.06 0.00 0.47 0.30 1.42 0.00

Kontrol.
.24 .21277 .18 .12766 .16 .12766 .18 .2766 .34 .19149 .17 .12766 .13 .19149

|obc|

p > |t|
0.406 0.800 0.390 0.404 1.000 0.567 0.562 0.640 0.041 1.000 0.639 0.768 0.158 1.000

X3_2

X3_3

X3_4

X4_1

X4_2

X4_3

X4_4

Jak wida w tabeli 3, rozkady poszczeglnych zmiennych s w rnym stopniu zblilansowane. Wprzypadku wszystkich zmiennych rnice wwartoci rednich s statystycznie nieistotne (test istotnoci jest wostatniej kolumnie). Jednak obcienie wynikajce zrnych cech jednostek jest zredukowane poprzez dobranie grupy podobnej pod wzgldem wektora propensity score tylko wobec zmiennych X1 oraz X4. Poczenie danych spowodowao zwikszenie rnicy miedzy grupami wzgldem zmiennej X2 oraz X3. Zatem potencjalnie mona poprawi efektywno dopasowania, eliminujc te zmienne zwektora. Drugim sposobem jest sprawdzenie zbilansowania (ang. balance) obu subpopulacji wskali makro na poziomie grupy, bez zwracania uwagi na cechy pojedynczych jednostek. Polega ono na zbadaniu, czy rozkad wartoci wektora propensity score, lub wybranej wspzmiennej, jest podobny pod wzgldem przyjtej miary podobiestwa wgrupie eksperymentalnej igrupie kontrolnej. To drugie podejcie jest duo czciej stosowane wpraktyce ze wzgldu na swoj prostot. Stosujc to podejcie, zakada si, e wszystkie odchylenia na poziomie jednostkowym pomidzy jednostkami wcaej populacji si znosz (ang. even-out).

Quasi-eksperymentalne metody ewaluacji

213

Przykad (cd.) Czsto porwnanie zblilansowania jest badane zwykorzystaniem analizy graficznej. Wwczas na osi poziomej wykresu znajduj si wartoci wektora propensity score, ana pionowej warto funkcji gstoci.

.1

.2 Kontrolna

.3 .4 Wektor stopnia podobiestwa Testowa: poza przedziaem

.5 Testowa: na przedziale

.6

Rysunek 4. Rozkad wartoci wektora propensity score.


Rozkad bdzie wtedy zbilansowany, jeli, po pierwsze, nie ma duej liczby jednostek zgrupy testowej znajdujcych si poza wsplnym przedziaem okrelonoci. Po drugie, gdy wkadym przedziale jednostek wgrupie eksperymentalnej jest nie wicej ni wgrupie kontrolnej. Naley wzi pod uwag, e rysunek 4 jest winny sposb skalowany dla obu grup.

Heckman, Ichimura iTodd43 pokazali, e dobr zmiennych do macierzy warunkujce W, na podstawie ktrej obliczony jest wektor propensity score, w praktyce wpywa na wielko obcienia uzyskanego oszacowania. Im wicej zmiennych warunkujcych zostanie uwzgldnionych, tym mniejsze jest obcienie. Ale tak jak wprzypadku regresji liniowej dodanie nieistotnej zmiennej nie powoduje obcienia, ale zwiksza wariancj uzyskanego oszacowania. Frlich44 egzaminowa wasnoci rnych technik czenia wykorzystujcych wektory propensity score wprbach skoczonych. Dla wikszoci esty43 44

Heckman J., Ichimura H., Smith J., Todd P., Characterizing Selection, op. cit. Frlich M., op. cit.

214

Pawe Strawiski

matorw wystpuj efekty trade-off pomidzy obcieniem aprecyzj oszacowania. Wduych prbach sytuacja staje si prostsza, gdy wariancja dy do zera. Inn decyzj, ktr musi podj badacz, jest wybr, co zrobi zniedokadnie poczonymi obserwacjami45. Jeeli dua liczba sabo poczonych par zostanie odrzucona, wwczas zmniejszy si liczebno grupy kontrolnej idla pewnych obserwacji zgrupy eksperymentalnej nie bdzie dobrej pary, zatem zostan one pominite wanalizie. Zredukuje to problem zbilansowania, ale rwnoczenie zmniejszy si efektywno, zuwagi na pominicie istotnej czci informacji. Zdrugiej strony uwzgldnienie wszystkich par, bez wzgldu na jako poczenia, pogorszy zbilansowanie. Jako rozwizanie Rosenbaum zaproponowa, aby porwnywa nie zbilansowanie poszczeglnych cech, azastosowa podejcie na poziomie grupy izwraca uwag na zbilansowanie rozkadw cech wcaej grupie. Asymptotycznie wszystkie techniki czenia danych oparte o wektory propensity score powinny dawa takie same rezultaty, gdy wraz ze wzrostem liczebnoci prby metoda zblia si do porwnywania obserwacji dokadnie poczonych. Jednake wmaych prbach wybr algorytmu moe zaway na wyniku46. Wtakim przypadku naley dokona wyboru midzy obcieniem uzyskanego oszacowania efektu ajego wariancj. Nie ma jednego najlepszego sposobu estymacji sprawdzajcego si wkadej sytuacji47. Jako poszczeglnych technik iwybr estymatora powinny by uzalenione od statystycznych waciwoci zbioru danych. Imbens48 podkrela dwa kluczowe jego zdaniem elementy jakoci czenia. Jeeli do budowy wektora propensity score zostan uyte zmienne, ktre s sabo skorelowane ze stanem uczestnictwa wprogramie, to mog one zwikszy wariancj oszacowania. Po drugie, nie powinny by uwzgldniane zmienne, ktrych warto jest uzaleniona od statusu uczestnictwa wprogramie. Angrist i Hahn49 porwnali efektywno czenia na podstawie wspzmiennych (ang. covariates) imetody propensity score. Hahn50 udowodni, e pierwsza jest asymptotycznie efektywna, jednak z uwagi na wielowymiarowo macierzy zmiennych uywanych do czenia, czenie moe okaza si
45 46

Metrics, and Monte Carlo Evidence, The Review of Economics and Statistics 2004, vol. 86/1, s.91107.

Lee M.-J., op. cit., s. 89. Heckman J., Ichimura H., Todd P., Matching as an Econometric, op. cit. 47 Zhao Z., Using Matching to Estimate Treatment Effects: Data Requirements, Matching

48 Imbens G., Nonparametric Estimation of the Average Treatment Effects Under Exogeneity: AReview, The Review of Economics and Statistics 2004, vol. 86/1, s.429. 49 Angrist J., Hahn J., When to Control for Covariates? Panel Asymptotics for Estimation of Treatment Effects, The Review of Economics and Statistics 2004, vol. 86/1, s. 5872. 50 Hahn J., op. cit.

Quasi-eksperymentalne metody ewaluacji

215

bardzo trudne. PSM jest preferowane, gdy wspzmienne uyte do czenia wyjaniaj nisk cz cakowitej wariancji, oraz komrki przez nie stworzone s niewielkie.
Przykad (cd.) Po przeprowadzeniu caej diagnostyki obliczono przecitny efekt oddziaywania na jednostki poddane oddziaywaniu.

Tabela 4. Obliczenie wielkoci efektu


Zmienna
wynik

Prba
Nieczona ATT

Eksperym.
.010821198 .026268326

Kontrolna
.061218912 .058813968

Rnica
.07204011 .085082295

Odch. std.
.049301042 .068184558

t
1.46 1.25

psmatch2: Stan oddziaywania


Poza program W programie Razem

psmatch2: Wsplny przedzia Poza


0 3 3

Razem Na
100 47 147 100 50 150

Z wynikw przeprowadzonej analizy wynika, e jednostki z grupy eksperymentalnej maj nisz warto zmiennej wynikowej ni jednostki zdobranej grupy kontrolnej. Jednak ta nierwno, po skorygowaniu ornice wcechach badanych jednostek, nie jest statystycznie istotna.

Podsumowanie
Omwione tu zostay metody analizy ekonomicznej wykorzystujce czenie danych woparciu otechnik propensity score. Ich celem jest odtworzenie na podstawie danych przekrojowych warunkw eksperymentalnych poprzez konstrukcj hipotetycznej grupy odniesienia (stanu kontrfaktycznego) pozwalajcego na porwnanie wynikw dziaania programu zsytuacj, wktrej nie by on przeprowadzony. Odbywa si to poprzez taki wybr jednostek do grupy kontrolnej, by bya jak najbardziej zbliona pod wzgldem obserwowanych charakterystyk do grupy poddanej oddziaywaniu.

216

Pawe Strawiski

Metody czenia s przydatnym narzdziem wanalizie ekonometrycznej, jednak nie zapewniaj oglnego rozwizania problemu ewaluacji programw pomocy51. Ostatnio w literaturze ekonometrycznej pojawia si grupa prac inspirowanych artykuem Deheija iWahba52. Wskazuj one, e metody estymacji oparte oczenie za pomoc wektorw propensity score mog by bardziej efektywne ni tradycyjnie uywane techniki parametryczne. Deheija iWahba53 pokazali, e proponowane przez nich estymatory maj nisze obcienie ni tradycyjnie stosowane. Druga grupa prac, odwoujca si do podstawowego artykuu LaLondea54 reprezentowana przez prac Heckmana, Ichimury iTodda55, Heckmana, Ichimury, Smitha iTodda56 opowiada si za stosowaniem metod parametrycznych, wskazujc na niedocignicia metod nieparametrycznych. Smith iTodd57 wskazuj na wan rol specyficznego zbioru danych skonstruowanego przez Deheij iWahb, oraz na brak odpornoci ich metody na niewielkie zaburzenia zbioru danych, Odpowiadajc na sformuowane zastrzeenia, profesor Deheija58 wskaza na dwa istotne elementy pomijane przez innych autorw. Po pierwsze, wymagana jest oddzielna specyfikacja wektora propensity score dla kadego porwnania ikadego zbioru danych. Po drugie, musi zosta przeprowadzona analiza odpornoci wynikw, ale nie wstosunku do zbioru danych, aw stosunku do zaproponowanej specyfikacji modelu. Liczni autorzy wskazuj na sabe punkty metod czenia. Kluczowym elementem tej techniki jest prawidowe zdefiniowane warunkowej niezalenoci (4). Suszno tego zaoenia powinna by rozpatrywana oddzielnie dla kadego przypadku59. Metoda rwnie wduym stopniu zaley od tego, czy wektory propensity score s zdefiniowane na tym samym przedziale. Leuven i Sianesi60 zaprojektowali uyteczne narzdzia analityczne, sprawdzajce
Smith J., Todd P., Does Matching Overcome LaLondes Critique of nonexperimental estimators?, Journal of Econometrics 2005, vol. 125. 52 Deheija R., Wahba S., Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Program, Journal of American Statistical Association 1999, vol. 94, no 448, s.1053 1062. 53 Deheija R., Wahba S., Propensity Score Matching for NonExperimental Causal Studies, Review of Economics and Statistics 2002, vol. 86/1, s. 195210. 54 LaLonde R., Evaluating the Econometric Evaluations of Training Programs with Experimental Data, The American Economic Review 1986, vol. 76/4. 55 Heckman J., Ichimura H., Todd P., Matching as an Econometric Evaluation Estimator: Evidence from Evaluating aJob Training Programme, The Review of Economic Studies 1997, vol. 64/4. 56 Heckman J., Ichimura H., Smith J., Todd P., Characterizing Selection, op. cit. 57 Smith J., Todd P., op. cit. 58 Deheija R., Practical Propensity Score Matching: A Reply to Smith and Todd, Journal of Econometrics 2005, vol. 125, s.335364. 59 Blundell R., Costa-Dis M. , Alternative Approachesto Evaluation in Empirical Microeconomics, IFS Working Paper 2002, nr 10/02. 60 Leuven E., Sianesi B., PSMATCH2: Stata module to perform full Mahalanobis and propensity score matching, common support graphing, and covariate imbalance testing, 2003.
51

Quasi-eksperymentalne metody ewaluacji

217

to zaoenie iporwnujce rozkady wektorw propensity score. Jeeli dziedzina ich okrelonoci dla jednostek poddanych oddziaywaniu znacznie rni si od dziedziny dla jednostek poza programem, mona wprowadzi poprawk zaproponowan przez Cohrana i Rubina61, tzw. caliper. Istotny jest fakt, i poprawki dopasowujce dziedziny mog wykluczy wikszo obserwacji. Wtakim przypadku uzyskane oszacowania bd mao wiarogodne. Oceniajc metody czenia, naley rwnie zwrci uwag na opini jej zwolennikw. Zdaniem Coniffe iinnych62 brak podobiestwa grupy poddanej oddziaywaniu do grupy kontrolnej nie oznacza, e metody parametryczne s lepsze wmodelowaniu zachodzcego zjawiska. Trzeba odnotowa, jakie ekonomiczne znaczenie maj wyniki zastosowanych metod parametrycznych wtakim przypadku. Friedlander i Robins63 pokazuj, e statystyczne procedury czenia danych poprawiaj dokadno wynikw uzyskiwanych na podstawie danych przekrojowych, ale poprawa jest nieznaczna. Wymieniaj szereg czynnikw powodujcych, e estymacja oparta na czeniu niekoniecznie zwiksza dokadno oszacowa. Po pierwsze, podczas szacowania uwzgldniane s jedynie obserwowane charakterystyki jednostek. Wrzeczywistoci mog wystpowa znaczne isystematyczne rnice wcharakterystykach nieobserwowanych pomidzy grup eksperymentaln ikontroln. Jeli maj one wpyw na stan poddania oddziaywaniu, wwczas nie jest spenione jedno zzaoe metody. Po drugie, techniki czenia nie musz dziaa w sposb efektywny. Mog przykada zbyt ma wag do najbardziej istotnych pod wzgldem teoretycznym czynnikw. Po trzecie, zaoenie, e grupa zakwalifikowana do programu, ale niepoddana jego dziaaniu, zachowywaaby si identycznie jak grupa kontrolna, moe nie by prawdziwe. Michalopoulos i inni64 porwnali parametryczne i nieparametryczne techniki ewaluacji w zastosowaniu do danych eksperymentalnych. Przedstawili, e sztuczna konstrukcja grupy odniesienia powoduje obcienie, jednak jest ono due wycznie w duszym horyzoncie czasowym. Jeeli dane wykorzystane do ewaluacji byy zebrane wniewielkim odstpie czasowym od wprowadzenia programu, to powstae obcienie jest do pominicia. Po drugie, ma znaczenie, wjaki sposb powstaje grupa kontrolna.
61 Cohran W., Rubin D., Controling Biasin Observational Studies, Sankhya 1975, vol 35, s.417446. 62 Conniffe D., Gash V., OConnel P., Evaluating State Programs: Natural Experiments and Propensity Scores, The Economic and Social Review 2000, vol. 31/4. 63 Friedlander D., Robins P., Evaluating Program Evaluations: New Evidence on Commolny Used Nonexpermental Methods, The American Economic Review 1995, vol 85/4, s.923937. 64 Michalopoulos C., Bloom H., Hill C., Can Propensity Score Method Match the Findings From aRandom Assignment Evaluation of Mandatory Welfare-to-Work Programs?, The Review of Economics and Statistics 2004, vol. 86/1, s.156179.

218

Pawe Strawiski

Jednostki do niej dobrane powinny pochodzi ze zblionego rodowiska co jednostki zgrupy eksperymentalnej65. Po trzecie, nie ma jednej najlepszej techniki eliminacji obcienia, jako dopasowania jest determinowana przez wasnoci zbioru danych66.

Pawe Strawiski doktor nauk ekonomicznych, adiunkt w Katedrze Statystyki i Ekonometrii. Ukoczy studia magisterskie na Wydziale Nauk Ekonomicznych Uniwersytetu Warszawskiego oraz uzyska dyplom Master of Science in Economics na Katholelieke Universiteit Leuven (Belgia). Wroku 2006 obroni rozpraw doktorsk pt. Ewaluacja programw pomocy publicznej. Jest autorem licznych publikacji naukowych. Jego badawcze zainteresowania koncentruj si na zastosowaniach wspczesnych technik mikroekonometrycznych do analizy zagadnie zwizanych zfunkcjonowaniem rynku edukacyjnego oraz rynku pracy, atake interakcjami pomidzy tymi segmentami gospodarki.

Bibliografia
Angrist J., Hahn J., When to Control for Covariates? Panel Asymptotics for Estimation of Treatment Effects, The Review of Economics and Statistics 2004, vol. 86/1. Blundell R., Costa-Dis M. , Alternative Approachesto Evaluation in Empirical Microeconomics, IFS Working Paper 2002, nr 10/02. Blundell R., Costa-Dis M., Evaluation Methods for Non-Experimental Data, Fiscal Studies 2000, vol. 21/4. Caliendo M., Kopeinig S., Some Practical Guidance for the Implementation of Propensity Score Matching, Journal of Economic Surveys 2008. Cohran W., Rubin D., Controling Biasin ObservationalStudies, Sankhya 1975, vol 35. Conniffe D., Gash V., OConnel P., Evaluating State Programs: Natural Experiments and Propensity Scores, The Economic and Social Review 2000, vol. 31/4. Deheija R., Practical Propensity Score Matching: AReply to Smith and Todd, Journal of Econometrics 2005, vol. 125. Deheija R., Wahba S., Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Program, Journal of American Statistical Association 1999, vol. 94, no 448. Deheija R., Wahba S., Propensity Score Matching for NonExperimental Causal Studies, Review of Economics and Statistics 2002, vol. 86/1. Friedlander D., Robins P., Evaluating Program Evaluations: New Evidence on Commolny Used Nonexpermental Methods, The American Economic Review 1995, vol 85/4.
Heckman J., Ichimura H., Todd P., Matching, op. cit. Por.: Frlich M., Finite-Sample Properties of Propensity Score Matching and Weighting Estimators, The Review of Economics and Statistics 2004, vol. 86/1; Imbens G., Nonparametric Estimation of the Average Treatment Effects Under Exogeneity: AReview, The Review of Economics and Statistics 2004, vol. 86/1.
66 65

Quasi-eksperymentalne metody ewaluacji

219

Frlich M., Finite-Sample Properties of Propensity Score Matching and Weighting Estimators, The Review of Economics and Statistics 2004, vol. 86/1. Hahn J., On the Role of the Propensity Score in the Efficient Semiparametric Estimation of Average Treatment Effects, Econometrica 1998, vol. 66/2. Heckman J., Ichimura H., Smith J., Todd P., Characterizing Selection Bias Using Experimental Data, Econometrica 66/4. Heckman J., Ichimura H., Todd P., Matching as an Econometric Evaluation Estimator: Evidence from Evaluating aJob Training Programme, The Review of Economic Studies 1997, vol. 64/4. Heckman J., LaLonde R., Smith J., The Economics and Econometrics of Active Labour Market Programs, w: O. Ashenfelter, D. Card (red.) Handbook of Labour Economics 1999, vol.3a, Elsevier. Heckman J., Smith J., Clements N., Making the Most Out of Programme Evaluations and Social Experiments: Accounting for Heterogeneity in Programme Impact, The Review of Economic Studies 1997, vol. 64/4. Hirano K., Imbens G., Ridder G., Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score, Econometrica 2003, vol. 71/4. Imbens G., Nonparametric Estimation of the Average Treatment Effects Under Exogeneity: AReview, The Review of Economics and Statistics 2004, vol. 86/1. Konarski R., Kotnarowski M., Zastosowanie Metody Propensity Score Matching w ewaluacji expost, w: A. Haber (red.), Ewaluacja ex-post. Teoria i praktyka, PARP, Warszawa 2007. LaLonde R., Evaluating the Econometric Evaluations of Training Programs with Experimental Data, The American Economic Review 1986, vol. 76/4. Lechner M., An Evaluation of Publicsector Sponsored Continuous Vocational Training Programs in East Germany, The Journalof Human Resources, vol 35/2. Lee M.-J., Micro-Econometrics for Policy, Program, and Treatment Effects, Oxford University Press, 2005. Leuven E., Sianesi B., PSMATCH2: Stata module to perform full Mahalanobis and propensity score matching, common support graphing, and covariate imbalance testing, 2002. Michalopoulos C., Bloom H., Hill C., Can Propensity Score Method Match the Findings From aRandom Assignment Evaluation of Mandatory Welfare-to-Work Programs?, The Review of Economics and Statistics 2004, vol. 86/1. Meyer B., Natural and Quasi-Experiments in Economics, Journal of Business and Economic Statistics 1995, vol. 13/2. Rosenbaum P., Observational Studies, Springer Verlag 2002. Rosenbaum P., Rubin D., The Central Role of the Propensity Score in Observational Studies for Causal Effects, Biometrika 1983, vol. 70/1. Rosenbaum P., Rubin D., Constructing aControl Group Using Multivariate Matched Sampling Method That Incorporate the Propensity Score, The American Statistician 1985, vol. 39. Rubin D., Matching to Remove Bias in Observational Studies, Biometrics 1973a, vol. 29. Rubin D., The Use of Matched Sampling and Regression Adjustment to Remove Bias in Observational Studies, Biometrics 1973b, vol. 29. Rubin D., Thomas N., Combining Propensity Score Matching with Additional Adjustments for Prognostic Covariates, Journal of the American Statistical Association 2000, vol. 95. Roy A., Some Thoughts on the Distribution of Earnings, Oxford Economic Papers. New Series, vol. 3/2. Sianesi B., An Evaluation of the Swedish System of Active Labor Market Programms in the 1990s, The Review of Economics and Statistics 2004, vol. 86/1.

220

Pawe Strawiski

Smith J., Todd P., Does Matching Overcome LaLondes Critique of nonexperimental estimators?, Journal of Econometrics 2005, vol. 125. Smith J., Todd P., Rejoinder, Journal of Econometrics 2005, vol. 125. Strawiski P., Przyczynowo, selekcja i endogeniczne oddziaywanie, Przegld Statystyczny 2007 nr 4/2007. Zhao Z., Using Matching to Estimate Treatment Effects: Data Requirements, Matching Metrics, and Monte Carlo Evidence, The Review of Economics and Statistics 2004, vol. 86/1.