Agpilar, M2 ¥ Ander 63, TEnAG Las cuasi-evaluaciones He Jk Agr y Bs Ader '™ Se rat & evuacones que no sempre pesmitenformular un juicio ‘aloraivo babi cunt que lar cociones Ge slr sade se ~ secundaria 0 tangencae, como ocure con dye 1 tos estos basuos en lot objetivos; los esudis basados en ln experimencacion. En cuamo a loy"studos basado en objtivot,y que han sido fos precurores de los trabajos evaeativor 200 ua Torme de ceraluar ques limita a=deerminr# los abjetivos han sido sleanzas dos y, de acuerdo con eo, conelir te ha tendo Eto ene aba ‘qu tha valoradn. Sin embargo, el poder espeifcar en qué media fe lana nce raptncy no ei w uo J ‘aloe sbre un programa plan, actividades o servi, Es el cas, por empl, de a ers edveva tl comm le concbe Snot ‘os: que los slumnosaleancen 0 no lor objeivos prfjados no binds evidencnvlday ible sobre el alr de hecuee ol sistema ‘ducaivo, Es mis, ni lo platen Dicho én oxo tennis: eden lanza lo ojeivos propuesos, sin que ella connituys una saranta de quel que se ent haclendo tenga un valor y ses ignites “Ademis, como seilan Stlebeam y Shield, ene tipo de + El resultado siltimo puede ser sencillamente|tontrastar que hay discre- pancias entre el disefio y la realidad y adaptar una de las dos a la otra, es decir, redefinir el programa o lograr su adecuada implementacién. En la evaluacién de la implementacién de un programa/intervencidn, aparte del método de recogida de informacién, los dos aspectos clave son: a. La adecuada seleccién de cusles son las actividades —o cosas— que “conatituyen y definen realmente el programa separando lo que es fesencial y definitorio de lo que es accesorio. b. La fijacién de una muestra de momentos, de.unidades de-andlisis.y de lugares para llevar a cabo la recogida de informacién sobre las actividades, de modo que esta informacién tenga validez externa. 1. Un programa de intervencién consisie esencialmente en un conjunto de actividades a aplicar a una poblacién objeto. Por tanto, un método de eva- luar un programa consisté en analizar hasta qué punto llega a la poblacién objeto del mismo. Se trata.no sélo de calcular la tasa de cobertura Lel porcentaje,de Ja de analizar si El posible sesgo de cobertura queda ejemplarizado en el caso del pro- grama de televisién «Barrio Sésamo. Originariamente esta serie televisiva, se concibi6 para reducir el desfase linguistico existente entre las minorias —negros, chicanos, etc..— y la mayoria blanca angloparlante de Estados Unidos. Sin embargo, parte del fallo en la consecucién de este objetivo basico —de reduecién de la diferencia lingtiistica entre minorias y mayo- ria— se debi6 a una sobrecobertura puesto que no se pudo evitar que los. nifos/adolescentes de la mayoria blanca angloparlante siguieran el progra- ma en televisién, con lo que el desfase no se pudo reducir. Este es un ejemplo de sobrecobertura, pero lo.normal es que haya in- fracobertura —solo llegue el programa a parte de la poblacién objeto— 0 'sesgo en la cobertura de manera que también llegue el programa a personaso ‘CUADERNOS METODOLOGICOS 2 que no forman parte de la poblacién objeto o que sélo llegue a una parte de la poblacién objeto que tenga determinadas caracteristicas. Dentro de la evaluacion de la cobertura resulta clave el andlisis deJa- accesibilidad det programa estudiando: — el conocimiento del mismo por parte de la poblacién objeto; — la accesibilidad fisica, y — la aceptacién del programa (accesibilidad psiquica o motivacional). entre otras posibilidades. 1.1.6. Monitorizaci6n y seguimiento del programa Dentro de esta riibrica reino todos los tipos dé! evaluaci6n —de proceso, del esfuerzo, del desempefio, del producto, de la calidad..— que normal- mente se llevan a cabo cuando se realiza una evaluacion continuada de un programa/intervencién desde dentro utilizando una recogida de informa- ‘cién continuada con el objetivo esencial de gestionar y dirigir adecuada- mente el programa Existe asimismo un capitulo dedicado a este tipo de evaluacién; aqui basta con seftalar que requiere en principio: 1. Establecer el tipo de informacién —en forma de indicadores— ¢ coger para la evaluacion que se quiere hacer. 2. _Elaborar un sistema de informacida normatmente informatizado que lizado, Ia productividad del personal ma,eteétera, ~ La monitorizacién exige-por-tanto: un sistema de indicadores; "unos soportes documentales donde se recoja la inf para elaborar dichos indicadores; tun sistema de informacién inf "una métodologte adecuada de andlisi Reriddico de la informacion recogida. 117; Evaluacion de resultados Coincide este tipo de evaluacién con el modelo de evaluacion mediante objetivos, es decir, se-trata de analizar el grado.en que el programa consi-METODOLOGIA DE LA EVALUACION DE PROGRAMAS a Zz gue los resultados buscados. Sin embargo; o existe ninguna razén para‘no poder evaluar resultados no queridos o bustados, es decir, para realizar una evaluacién de resultados utilizando todas las consecuencias, previstas.o.no, que tenga el programa. La tinica condicién es la identificacién previa de estos posibles efectos/consecuencias. La clave de la evaluacién de resultados estriba en Ia atribucién univoca de los efectos —o no efectos— al programa o intervencién. Por eso se en- cuentra en el criterio de validez interna tal y como se veré en el siguiente capitulo, Evaluacién de resultados es sindnimo de evaluacién de la efectividad, 0 de la eficacia de un programa puesto que en los tres casos se trata de lo mismo: recoger informacién concluyente sobre si el programa esta 0 no consiguiendo los resultados esperados. La pregunta es, por tanto, doble: — ¢Se estén consiguiendo los resultados buscados? = Gstos resultados son achacables al programa con un grado de cer- tidumbre razonable? 1.1.8. La evaluacion de impact No ¢s evidente en la literatura especializada la separacién y diferenciacion entre evaluacién de resultados y evaluacién de impacto, quiz4 porque la metodologia de ambos tipos de evaluaci6n es muy similar y lo unico que les diferencia es en qué tipo de poblacién se realiza el anélisis de los efectos © resultados del programa. En el caso de la evaluacién de resultados se trata de establecer cuales son los resultados del programa sobre,la poblacién objeto del mismo, o mas exactamente sobre los usuarios/beneficiarios del programa; mientras que en ta evaluacion del impacto:ee trata de analizar los efectos del programa sobre una poblacién mas amp! .d o pueblo, personas asocia- das alos usuarios, ete. Un ejemplo espanol pone de relieve lo dif efectuar la distincién en la realidad espafiola. En una evaluacién efectuada por el auior de este manual de los Centros Ocupacionales para minusvalidos psiquicos.del INSERSO, los resultados esperados centrados en los usuarios se relacionaban con la integracién de Jos minusvalidos en una vida normal a través del trabajo. Se trataba de lograr que los minusvalidos psiquicos aumentaran su autonomfa, fueran capaces de aprender un oficio, legaran incluso y en ultimo extremo a po- derse integrar laboral y socialmente en la sociedad no minusvalida Pero los habitantes de los pueblos donde estn localizados los centros (en algunos casos) sefialaban que para obtener trabajo —en un mercado Iaboral escaso— lo nico que habia que hacer era tener una minusvalia psiquica. En este segundo caso, de profundizar en este tema, y también en el problema de la posible competencia desleal que introducian los produc- ea uapeRnos meTopoLocicos 2 tos fabricados por los minusvAlidos psiquicos en los centros ocupacionales, se estaria entrando en una evaluacién de impacto. Resulta evidente que si la evaluacion se lleva a cabo teniendo en cuenta ‘todos los posibles efectos del programa, y no sélo los queridos o previstos, evaluacion de resultados y de impacto se confundirén en un solo tipo de evaluacién. “81.1.9., La evaluacién econémiza En este tipo de evaluacién el anilisis se centra en el coste del programa en relacién a los resultados gue éste consigue. El problema bisico no suele estar ef el lado de la investigacién del coste del programa sino en el lado izacin de los resultados. Por ello, en ciencias sociales resulta costelefectividsd o coste/utilidad que el analisis coste/beneficio. = Resulta dificil por’ejemplo dar valor econ6mico a la rehabilitacién de ‘un drogadicto o al aumento de conocimientos en una profesién determinada mediante el desarrollo de un seminario de form: Parte de los diferentes tipos de evaluacién resefiados (evaluabilidad, im- plementacién, resultados, impacto, econémica) forman un escalograma de Gurtman, de modo que no tiene sentido realizar un andlisis coste/beneficio si antes no se ha levado a cabo un andlisis de resultados —se ha démos trado que un programa es efectivo, tiene un efecto especifico. Del mismo modo esta demostraci6n —Ia atribucién de unas determinados resultados © efectos a un programa— requiere la comprobacion de que el programa esté funcionando como se habia diseitado, pues si no la atribucién no seré univoca, Puesto que el programa/servicio social est4 en marcha se debe asumir ‘que previamente se ha realizado una evaluacién de necesidades, lo que iertamente no es siempre el caso. Al preparar un plan de evaluacién de un Programa este tipo de evaluacién no es necesario; es necesario antes de poner en marcha y disefiar un programa. Ahora bien, si el programa que vamos a evaluar no ha contado previa- mente con una evaluacion de las necesidades, la evaluacion del programa Sera mas incompleta, mas dificil de realizar. Un andlisis del impacto del programa o un andlisis de la poblacién usuaria del programa (cobertura del programa) no serén posibles o en cualquier caso seran més dificiles. La evaluacién del impacto del programa/servicio sobre la comunidad/so- ciedad 0 sobre otros grupos sociales distintos del usuario/beneficiario del mismo, es una continuacién logica de la evaluacién-de-resuitados, pero. no es una consecuencia necesaria de la misma. Normalmente cualquier eva- luacién de resultados incluye algo de la evaluacién del impacto social pero no de una manera sistematica ni como tal evaluacién de impacto. Del mismo modo, la evaluacién coste/beneficio.deberta:METODOLOGIA DE LA EVALUACION DE PROGRAMAS a — ser una necesaria consecuencia de la evaluacion de resultados, e — ir siempre precedida de un previo andlisis de resultados; pero ninguna de las dos condiciones se da habitualmente. Es posible —y normal— realizar un anilisis coste/beneficio sin plantear para nada una evaluacién de resultados y al revés. Las razones de la no jerarquizacién de los diferentes tipos de evaluacién yy del hecho de que normalmente no se leven a cabo evaluaciones compren- ‘Sivas implicando todos los tipos de evaluacién reseftados son a la vez his téricas y pragmaticas. Desde el punto de vista pragmitico el «cliente» normalmente esté preo-. cupado sélo por unos cuantos problemas, no por todos. Puede estar preo- cupado por problemas de costes, o por problemas de cobertura de servicios, pero rara vez est preocupado por ambas cosaéia la vez, Historicamente ademas cada tipo de evaluacién se ha originado en dis- ciplinas cientificas diferentes: — el analisis coste/beneficio en las ciencias econémicas; — el analisis de la implementacion en’ las ciencias administrativas y politicas; — Ia evaluacién de resuliados en la psicologia, sociologia y pedagogia, y — la evaluacién de impacto primero en la ingenieria, luego en el con- junto de las ciencias sociales. Sin embargo, quiero mantener Ia tesis Iogica de que-existe una jerar- quizacién necesaria_que.de.no respetarse hace muy dificil el logro de una adecuada interpretacién de resultados. Esta jerarquizacién adopta la direc- ‘Cin senaladas SS ‘ Ia evaluac 4, Len principle no. deberia realizarse ninguna de las (ied sia una eva- Tuacion de la evaluabilidad. a Del mismo modo que.no.deberia intervenirse sin’una previa evaluacion @éesidades: =