Por XAVIER BALLART SUMARIO 1. INTRODUCCIN.II. QU ENTENDEMOS POR EVALUACIN?: 1. Concepto de eva- luacin. 2. mbito material de la evaluacin. 3. Evaluacin y juicio valorativo. III. CMO HACERLO? LA CUESTIN DE LOS MTODOS: 1. Primer paso: Crear datos sobre eficacia: a) Tipos de medidas; b) Seleccin de variables y fuentes de datos. 2. Segundo paso: la evaluacin de las polticas y programas: a) La evaluacin de resultados; b) La evaluacin de proceso.IV. ORGANIZACIN INSTITUCIONAL DE LA EVALUACIN: 1. Estados Unidos: el caso del mercado ms abierto y plural. 2. Reino Unido: de la preocupacin por el impacto final a las iniciativas centradas en la productividad. 3. Alemania: institucionalizacin de la evaluacin en la administracin central. 4. Suecia: fragmentacin y descentralizacin de la evalua- cin. 5. Holanda: la reconsideracin de las polticas. 6. Francia: creacin de un dispositivo central de evaluacin dependiente del primer ministro.V. IMPLICA- CIONES DE LA EXPERIENCIA COMPARADA EN LA DEFINICIN DE UNA POLTICA DE EVALUA- CIN PROPI A. REFERENCI AS BIBLIOGR FICAS. I . INTRODUCCIN Este trabajo presenta una descripcin detallada de la organizacin y uso de la evaluacin de la actividad de los poderes pblicos en Estados Unidos y en cinco pases europeos (Reino Unido, Alemania, Suecia, Holanda y Francia). Desde una perspectiva comparada se presenta informacin sobre el desarrollo-institucionalizacin de la evaluacin en cada pas y sobre la utili- zacin de sus resultados en el proceso poltico-administrativo. Si bien las seis democracias consideradas siguen una misma direccin, creemos que de la observacin de la experiencia comparada se desprende claramente la idea de que cada pas ha de definir su poltica de evaluacin 199 Revista de Estudios Polticos (Nueva poca) Nm. 80. Abril-Junio 1993 XAVIER BA1.LART en funcin de sus propios condicionamientos: situacin fiscal y econmica, orientacin poltica del gobierno, caractersticas jurdico-polticas de las ins- tituciones, tradicin cientfica y capacidad de oferta por parte de la comunidad universitaria y profesional. Por esta razn, al final del trabajo se incluyen una serie de consideraciones sobre el caso espaol y sobre posibles lneas de desarrollo y organizacin de la evaluacin en nuestro pas. El anlisis de los seis casos individualmente considerados requera una clarificacin de conceptos clave. El trabajo se inicia, pues, planteando algunas cuestiones bsicas sobre el concepto y los mtodos de la evaluacin, cuestiones que se han tratado con mayor detalle en otro lugar (Ballart, 1992). I I . QUE ENTENDEMOS POR EVALUACIN? 1. Concepto de evaluacin El desarrollo de la evaluacin, tanto por lo que se refiere a sus mtodos como por lo que se refiere al tipo de cuestiones a las que se dirige, ha resultado en una clara expansin de su campo de aplicacin. La primera y principal idea en relacin con la evaluacin la identifica con un medio para determinar los resultados y efectos de las polticas y programas a travs de rigurosos instrumentos metodolgicos (preferiblemente, diseos de tipo experimental). El pensamiento ms reciente, sin embargo, sugiere que la evaluacin puede abarcar todas las esferas del ciclo vital de una poltica o programa, desde su concepcin hasta su impacto pasando por su ejecucin. Una definicin bastante aceptada de evaluacin es, pues, aquella que entiende que la evaluacin consiste en la aplicacin de mtodos de investigacin sistemticos con el objeto de examinar el diseo, la implementacin y la utilidad de las polticas y programas pblicos. Generalmente, la evaluacin tendr un carcter retrospectivo, o como mnimo, concomitante. A diferencia de otras formas de anlisis prospectivo que pretenden informar decisiones que todava no se han tomado, la evaluacin retrospectiva busca producir informacin sobre lo que ha ocurrido o est ocurriendo. La adopcin de una perspectiva cclica en relacin con las polticas o programas de la Administracin supone que la evaluacin puede examinar como mnimo tres fases diferentes que se corresponden con las de creacin o formulacin, implementacin, y produccin de resultados o impactos de una poltica o programa. En cada una de estas fases se pueden plantear cuestiones, que si bien variarn en funcin de las necesidades de informacin 200 EVALUACIN DE POLTICAS y de la audiencia (los gestores plantearn cuestiones que sern distintas de las de los polticos, legisladores o hasta medios de comunicacin y sanos), sern todas ellas de carcter retrospectivo. As, los estudios que se centran en la fase de formulacin y diseo de las polticas persiguen producir informacin sobre: 1) El problema del que se ocupa la poltica: ello supone revisar o elabo- rar, en su caso, los estudios de necesidades correspondientes. 2) El proceso de formulacin y diseo de la poltica: esto supone la investigacin de los procesos polticos y sociales que conducen a la formula- cin de nuevas intervenciones. 3) La racionalidad intrnseca de las mismas intervenciones: ello supone preguntarse hasta qu punto la poltica, tal y como ha sido llevada a trmino, sirve a sus objetivos. Los estudios de implementacin de las polticas persiguen producir infor- macin sobre: 1) Las caractersticas del grupo de poblacin servido, esto es, el nivel de cobertura conseguido, los posibles sesgos en su composicin, o las razones por las que determinados grupos de poblacin estiman que no vale la pena seguir el programa y optan por abandonar. 2) Los problemas generados por la propia organizacin administrativa, en trminos de informacin y comunicacin, acceso, tiempo, desplazamientos o inadecuacin de los procedimientos administrativos establecidos. Por ltimo, los estudios de eficacia o impacto persiguen producir informa- cin sobre los efectos del programa. Para ello presuponen que existen un conjunto de objetivos operacionales e intentan determinar el xito del progra- ma en funcin de si se ha producido algn cambio en la direccin deseada hacia la consecucin de estos objetivos. La funcin de los evaluadores consiste en este caso en intentar aislar el impacto de la intervencin pblica de otros factores que pudieran explicar por s solos los efectos observados. De forma general, se puede afirmar que para ello ser preciso recurrir a tcnicas de carcter experimental o estadsticas (1). 2. mbito material de la evaluacin La definicin propuesta tiene igualmente un carcter expansivo en la medida que incluye la evaluacin retrospectiva tanto de polticas como de programas y servicios. Un programa es un conjunto de recursos y actividades (1) Esta concepcin y tipologa de los estudios de evaluacin se encuentra en toda la literatura, si bien originalmente se debe a Rossi y Freeman (1985: 39-46). 201 XAVIER BALLART organizados para obtener ciertos objetivos. Son programas los planes de ex- pansin de la educacin preescolar, de ayuda a los alquileres, de reforma integral de barrios degradados, o de formacin e insercin de jvenes limpia- cristales, por poner algunos ejemplos. Muchas actuaciones pblicas no adoptan la forma de un programa en el sentido convencional del trmino. Se trata de iniciativas polticas que no implican necesariamente la creacin de nueva burocracia o la distribucin de servicios especficos. Cambios en las leyes impositivas, una nueva regulacin de la caza, la prohibicin de circular sin el cinturn de seguridad..., son ejemplos de polticas pblicas que la Administracin podra llevar a trmino cambiando simplemente las rdenes o los procedimientos ordinarios. Tambin estas polticas tienen, sin embargo, consecuencias que polticos y directivos pblicos querran conocer. Quiz cabra, pues, afirmar que la evaluacin de las polticas tiene de forma general mayor relevancia a nivel de instancias de decisin poltica que no de gestin operacional e intenta responder a cuestiones relacionadas con la generalizacin de una determinada aproximacin a un problema. A todo ello an cabra aadir los servicios de transporte urbano o interur- bano, de polica, bomberos, ambulancias, recogida de basuras, limpieza via- ria, bibliotecas, museos..., actuaciones pblicas que no se articulan formal- mente como un conjunto de programas dada la estructura administrativa exis- tente y la forma en que se toman las decisiones que conciernen al presupuesto. La evaluacin de este tipo de servicios intentara identificar y especificar objetivos y establecer medidas de los servicios prestados, con el propsito de construir las bases de datos necesarias para ir ajustando mejor los mismos objetivos operacionales, e ir obteniendo resultados respecto a aquellas dimen- siones que se consideren crticas, para una misma Administracin o para distintas Administraciones que sean susceptibles de comparacin. 3. Evaluacin y juicio valorativo La definicin de evaluacin propuesta ha sido considerada excesivamente tecnocrtica por una parte de la comunidad cientfica, que ha propuesto defi- niciones alternativas basndose en el principio de que evaluar una poltica consiste en valorar-emitir un juicio de valor sobre sta. De acuerdo con este concepto, habra que distinguir entre los expertos encargados de hacer el anlisis tcnicos y aquellos otros legitimados para emitir un juicio valo- rativo las autoridades evaluadoras, esto es, Parlamento, Gobierno, Tribu- nal de Cuentas, Pleno municipal... u otros rganos que se puedan constituir. Desde esta perspectiva se considera que slo estas instituciones tienen la 202 EVALUACIN DE POLTICAS legitimidad democrtica para hacer juicios sobre el mrito u oportunidad de las polticas pblicas (Guba y Lincoln, 1987: 210-215; Monnier, 1991-1992: 148-142; Viveret, 1989: 25). Si bien el primer concepto de evaluacin indica el requisito de una apro- ximacin metodolgica rigurosa, este segundo concepto pone de relieve el inevitable input que suponen los factores polticos en el proceso de evaluacin. Ciertamente, la evaluacin de la eficacia de las polticas y programas pblicos busca establecer relaciones de causalidad entre medios y efectos y comparar estos ltimos a los objetivos iniciales de la poltica. Este esfuerzo precisa, sin embargo, de un conocimiento profundo de la poltica. La evaluacin tiene que situarse dentro de la poltica, sobre todo si adoptamos una visin dinmica que tenga en cuenta, primero, la interaccin continua entre medios, efectos y objetivos, y segundo, la importancia de los juicios de los principales actores, incluyendo entre stos hasta los mismos beneficiarios de la poltica. Su impli- cacin, como la de todos aquellos que tengan un inters en la poltica, es importante, como condicin para un cierto pluralismo, y tambin para la integracin de todas las informaciones, interpretaciones y juicios pronunciados en el marco del proceso evaluador. III. Si bien la discusin en profundidad de los mtodos de evaluacin supera claramente el alcance de este trabajo, se incluyen a continuacin algunas consideraciones sobre: primero, la necesidad de concentrar esfuerzos en la medida de la eficacia y en la construccin de sistemas de indicadores internos, simples y permanentes como primer paso para poder llevar a cabo evaluaciones en el futuro, y segundo, la posible utilizacin de los datos obtenidos para la evaluacin de las polticas y programas pblicos y, por tanto, para aislar el impacto de la intervencin pblica de otros factores causales. De acuerdo con el sentido amplio de evaluacin adoptado, se hace igualmente referencia a aquellos mtodos que se centran en el anlisis de los procesos ms que en el anlisis de los resultados finales. 1. Primer paso: crear datos sobre eficacia Si bien, como se ha indicado anteriormente, la discusin sobre la evalua- cin de la actividad de la Administracin pblica ha ido ampliando su objeto, se puede afirmar que es una discusin que ha girado en torno a la idea de resultados, efectos o impactos. 203 XAVIER BALLART a) Tipos de medidas Generalmente, se entiende por medidas de eficacia aquellas categoras de indicadores que aportan informacin sobre el grado en que los objetivos de una poltica o programa se han conseguido. A nuestro entender, sin embargo, las medidas de eficacia tambin deberan aportar informacin sobre los si- guientes aspectos: 1) El grado en que se producen efectos no esperados en la poblacin a la que van dirigidos los servicios, ya sean estos efectos positivos o negativos (Shortell y Richardson, 1978). 2) El grado en que la cantidad de servicios producidos se adeca a las necesidades y expectativas de la poblacin destinataria (Scriven, 1973). 3) La forma en que se produce la respuesta por parte de los servicios pblicos a las demandas de servicio, lo que nos acerca a la idea de servicios implcitos o de servicio como paquete de servicios. 4) El grado de satisfaccin de los ciudadanos con los servicios prestados, independientemente de que las percepciones subjetivas sean dispares de las medidas objetivas de la Administracin (Fitzsimmons y Sullivan, 1982; 16-28). Desde esta perspectiva, que combina indicadores objetivos y subjetivos, la evaluacin conecta con la preocupacin por determinar la medida en que las Administraciones pblicas responden a las demandas de los ciudadanos y adopta, por tanto, la ptica del cliente-destinatario de los servicios y de la utilidad concreta que obtienen stos de la intervencin pblica. En sustitucin de indicadores de eficacia a menudo se utilizan meras medidas de actividad o de carga de trabajo, dado que son ms fciles de construir a partir de contabilizar los recursos utilizados y/o los output o productos que resultan de la transformacin de aqullos en servicios espec- ficos. Si bien el cmputo de las horas de trabajo invertidas, de los clientes atendidos, de las visitas, entrevistas o salidas realizadas, por poner algunos ejemplos, pueden ser de utilidad para propsitos operacionales o para justificar gastos, no nos parece que este tipo de medidas aporten excesiva informacin sobre los servicios en trminos de calidad. Como complemento de los indicadores de eficacia s tiene mayor inters aportar informacin en trminos de eficiencia, esto es, sobre la relacin entre la cantidad de servicios producidos y la cantidad de input o recursos utilizados en su elaboracin y distribucin, puesto que un servicio eficaz se puede producir de forma intolerablemente ineficiente. Ahora bien, concentrar todos los esfuerzos en el anlisis de la eficiencia y, por tanto, en la determinacin del coste unitario de los servicios pblicos no tiene demasiado sentido en un 204 EVALUACIN DE POLTICAS contexto en que la mayor parte de los recursos tienden a ser bastante rgidos y en el que esta informacin podra, en ltimo trmino, interesar nicamente a aquellos que precisan argumentos para denunciar la situacin de ineficacia en la que se presupone operan las Administraciones pblicas. b) Seleccin de variables y fuentes de datos La evaluacin debe, pues, servir esencialmente para mejorar la calidad de los servicios finales, en trminos del binomio eficacia-eficiencia, y para introducir elementos correctores en relacin con su gestin y hasta planifi- cacin. El primer paso en este sentido pasa por producir datos sobre la eficacia de los servicios, internamente y de forma continuada, de forma que sea posible elaborar peridicamente informes exhaustivos de inters para administradores- gestores, o ms sintticos de inters para los niveles polticos o hasta la prensa y la poblacin en general. Para que estos datos tengan alguna posibilidad de ser utilizados es importante: primero, que los sistemas de mediacin sean asumidos por sus propios usuarios (Patton, 1986), y segundo, que sean rela- tivamente simples, ya que los anlisis excesivamente sofisticados no se pueden realizar de forma habitual y tienden a producir informacin poco clara para los decisores o para la poblacin. Para la seleccin de los indicadores y de las fuentes de datos es preciso elaborar antes un mapa completo de los objetivos que definen eficacia en relacin con un servicios especfico. Para ello ser conveniente recurrir a una pluralidad de instrumentos, entre los que cabe incluir: 1) Las declaraciones oficiales de objetivos (que se encuentran en los documentos de planificacin, presupuestacin o hasta memorias de actividades de la misma Administracin). 2) Las discusiones generadas a travs de las tcnicas adecuadas entre los profesionales responsables o entre las organizaciones corporativas y aso- ciaciones ciudadanas relacionadas con los servicios estudiados. 3) Los anlisis de las quejas de los ciudadanos y de las preocupaciones expresadas por stos individualmente en los medios de comunicacin. 4) La literatura cientfica especializada. A su vez, los indicadores y las fuentes de datos debern reunir determina- das caractersticas de validez aparente y fiabilidad, adems de cubrir la tota- lidad de los objetivos relevantes. Desde una perspectiva operativa, es igual- mente importante que aquellas variables que se decida controlar dependan realmente de la actividad de la Administracin, puesto que en el caso contrario poco se podr hacer para incidir sobre su cambio en la direccin deseada. 205 XAVI1R BA1.LART Finalmente, los costes de recoger la informacin necesaria debern ser razo- nables, ya que en caso contrario dejar de tener sentido la evaluacin. Esta ltima cuestin nos llevar a plantear la oportunidad de hacer una utilizacin intensiva de los datos que ya recoge de forma ordinaria y continuada la Administracin. A menudo sern, sin embargo, necesarios otros procedi- mientos de recogida de informacin, como, por ejemplo, los estudios de opinin entre los usuarios del servicio o entre la poblacin en general (y que incluye, por tanto, aquellos que siendo beneficiarios potenciales del servicio no lo utilizan). Otro procedimiento de recogida de datos es el que se funda- menta en la observacin directa, si bien para esto es preciso proceder de una forma lo bastante sistemtica como para que diferentes observadores otorguen una misma calificacin a una misma condicin (2). La produccin peridica y continuada de datos sobre la eficacia de un servicio debera permitir la comparacin interanual de los resultados globales obtenidos por una misma Administracin. Este proceso debera a su vez permitir elaborar bases de datos que sirvan para formular objetivos ms racio- nales. Una segunda posibilidad para la interpretacin de los datos consiste en comparar los resultados para distintos grupos de poblacin en funcin de criterios de equidad. Para poder garantizar que ningn grupo de poblacin no recibe peores servicios que la media, la Administracin precisa datos sobre la eficacia para distintos grupos de poblacin. En este sentido, los datos se pueden separar en funcin, por ejemplo, del lugar de residencia, de la edad, el sexo, la renta o el lugar de origen. La comparacin con otras Administraciones ofrece otra fuente de interpre- tacin, si bien en este sentido a menudo nos encontraremos con problemas derivados de las diferencias en las problemticas de distintas comunidades. 2. Segundo paso: la evaluacin de las polticas y programas Los datos producidos por las Administraciones en su actividad de medida peridica y continuada constituyen una buena base de partida para la evalua- cin de la eficacia de las polticas y programas que, como se ha indicado ms arriba, en puridad, implica la idea de aislar el impacto de la intervencin pblica de otros factores externos que puedan encontrarse en la causa de los efectos observados. Cmo se consigue esto? (2) Sobre seleccin de variables y fuentes de datos, vid. la literatura sobre mtodos de investigacin emprica. En general, para ciencias polticas, Buttolph Johnson y Joslyn (1986). 206 EVALUACIN DE POLTICAS a) La evaluacin de resultados Siguiendo con el procedimiento hasta aqu explicado y partiendo de que existen unos objetivos especficos y unos indicadores de estos objetivos sus- ceptibles de medicin, todo lo que tendra que hacerse es recoger datos sobre los indicadores para aquellos individuos que se beneficiaron del programa y para un grupo de control equivalente que no hubiera obtenido estos beneficios, y analizar los datos sobre los participantes y los no participantes, en funcin de los objetivos de partida (Weiss, 1972: 24). Concretamente, en los diseos experimentales la asignacin aleatoria de los individuos a grupos experimentales y de control distribuye los posibles efectos externos a la intervencin de forma aleatoria entre los dos grupos; mientras que en los diseos cuasi-experimentales es el investigador quien procura identificar las caractersticas del grupo que recibe el programa, para despus intentar formar un grupo de comparacin no equivalente, pero s similar en todas las caractersticas relevantes al grupo tratado. Los diseos no experimentales, en cambio, analizan los resultados para un nico grupo de sujetos que pueden presentar variaciones tanto respecto a su participacin en el programa como a otros factores, para, a travs de mtodos estadsticos, eliminar las posibles diferencias entre los sujetos que no sean debidas a la intervencin (3). En la prctica, sin embargo, lo que parece fcil puede complicarse enor- memente. Esta aproximacin, que hemos llamado en otro lugar cientfico-ra- cional, es adecuada cuando se trata de programas bien definidos, donde una serie de individuos reciben una misma intervencin, cuyos efectos pueden ser anticipados y medidos. No lo es tanto, en cambio, cuando los programas no renen estas condiciones, tanto por los problemas que presentan la identi- ficacin y operacionalizacin de los objetivos como por la complejidad intrn- seca de los mismos programas o la dificultad tcnica de aplicar los diseos que permiten aislar el impacto neto de la intervencin pblica. b) La evaluacin de proceso Ciertamente, los objetivos de las polticas y programas ms innovadores acostumbran a ser generales, abstractos y confusos. Esto es as porque el proceso de decisin pblica se fundamenta en acuerdos sobre aspectos gene- rales. Se podra afirmar que en la negociacin poltica se hace sobre programas y no sobre objetivos. Una vez existe un acuerdo de principio sobre la necesidad de hacer algo en relacin con los problemas que se hacen un hueco en la (3) Para una introduccin en castellano a los diseos de tipo experimental, desde una perspectiva de polticas pblicas, vid. Alvira Martin (1991) o Bailan (1992). 207 XAVIER BALLART agenda poltica, lo que se tenga que hacer escapa al acuerdo, de lo que resulta la aprobacin de programas generales sin objetivos especficos. A menudo las polticas y los programas son extremadamente complejos, disponen de distintos medios alternativos para alcanzar objetivos mltiples y a menudo contradictorios. Esto dificulta la definicin de sus componentes, la reconstruccin de la cadena de efectos buscados y, por tanto, su reduccin a un modelo simplificado. Los diseos de investigacin que parten de la idea de establecer controles experimentales y estadsticos presentan igualmente dificultades relacionadas no tanto con los objetivos de las polticas como con la aplicacin del mismo dispositivo de evaluacin. Muchas veces, simplemente no ser posible cons- truir los controles que requieren las tcnicas experimentales o estadsticas. Estas dificultades y la demanda de evaluaciones que puedan ser realizadas en perodos de tiempo relativamente cortos, sin comprometer grandes cantida- des de recursos, y que respondan a las necesidades de sus usuarios, ha dado lugar a la formulacin de una serie de modelos que pueden caracterizarse de forma general por el hecho de recurrir a aproximaciones cualitativas. Desde esta perspectiva se podra hablar de un modelo de evaluacin de proceso (Monnier, 1990-1991: 136-140), que se caracterizara por el intento de adaptarse a la concepcin de las polticas pblicas como entidades dinmi- cas que van transformndose en la medida que son llevadas a la prctica. Si efectivamente los objetivos iniciales de una poltica son objeto de variaciones importantes, los recursos utilizados no coinciden con los recursos previstos y, en general, se inicia la poltica como una experiencia abierta de la que se espera aprender de cara al futuro, entonces la evaluacin deber centrarse en la identificacin y comprensin de los hechos: en el proceso. La evaluacin se convierte entonces en una investigacin sobre qu hechos se encuentran en el origen de los xitos y de los fracasos observados. Para ello puede ser til adoptar instrumentos de participacin pluralista en el proceso evaluador, con el objeto de incorporar los valores y las opiniones del conjunto de actores que tengan relacin con la poltica o programa evalua- do. En este sentido puede ser importante no perderse la diversidad de percep- ciones sobre los criterios de evaluacin que deben aplicarse en cada situacin especfica (Majone, 1989: 168). Esta aproximacin responde igualmente a la preocupacin por la utilidad efectiva de los resultados de las investigaciones. En este sentido se entiende que al ofrecer al conjunto de actores implicados la posibilidad de incidir en el proceso evaluador y hasta de decidir las cuestiones que deban examinarse, se incrementarn las posibilidades de que los resultados de la evaluacin sean eventualmente de alguna utilidad (Patton, 1986: 330). 208 EVALUACIN DE POLTICAS Finalmente, creemos que se puede afirmar que la evaluacin de los pro- cesos y ms si es pluralista o participativa, dado que precisa un elevado nivel de familiaridad con las intervenciones y con sus principales actores (su experiencia, su posicin en relacin con la organizacin, sus opiniones y argumentos) supone no obtener ningn tipo de medida sobre los efectos concretos de los programas en poblaciones especficas. I V. ORGANIZACIN INSTITUCIONAL DE LA EVALUACIN La evaluacin de la accin pblica se produce principalmente en aquellos pases donde existe un desarrollo importante de las polticas de bienestar social y en las organizaciones de la ONU dedicadas a programas de ayuda internacional. De una parte, Estados Unidos, Canad, Alemania, Suecia y Gran Bretaa cuentan con iniciativas de este tipo desde finales de los aos sesenta, mientras que Noruega, Dinamarca, Holanda y Francia intensifican la demanda de evaluacin en los aos ochenta (Derlien, 1990: 148-149). De otra parte, la evaluacin de polticas pblicas se encuentra formalmente ins- titucionalizada en la ONU, y de forma singular en el Banco Mundial, OMS, FAO, UNESCO y UNIDO (Hellstern, 196: 282). Empezamos el anlisis comparado con el caso de los Estados Unidos (EEUU en adelante), indudablemente el pas con un sistema de evaluacin ms avanzado, tanto por su elevado nivel de institucionalizacin como por el grado de sofisticacin metodolgica alcanzado. Generalmente, se afirma que nicamente en los EEUU, en el Canad y en algunas organizaciones internacionales existe una poltica de evaluacin sistemtica de las polticas y programas pblicos, mientras que en los dems pases de la Europa occiden- tal sta se produce ad-hoc, es decir, en relacin con demandas especficas. Ciertamente, la experiencia europea en este campo es mucho ms limitada y no alcanza todava el carcter de una funcin asumida como propia por las instituciones. Sin embargo, la presentacin de algunos datos sobre la experien- cia de cinco pases europeos (Reino Unido, Alemania, Suecia, Holanda y Francia) nos permite sacar algunas conclusiones sobre los factores que condu- cen a un mayor desarrollo de la evaluacin en unos determinados pases y sobre la poltica de evaluacin que puede tener mayor sentido en nuestro pas, partiendo de la experiencia comparada en esta materia (4). (4) La informacin que se presenta a continuacin se basa en un limitado nmero de publicaciones para EEUU y en los trabajos del Working Group on Policy Evaluation coor- dinado por R. Rist en el marco de las reuniones organizadas por el Instituto de Ciencias Admi- 209 XAVIER BALLART 1. Estados Unidos: el caso del mercado ms abierto y plural La evaluacin de los programas pblicos emerge en los EEUU sobre la base de una tradicin consolidada de aplicacin de las ciencias sociales al anlisis de las polticas de las instituciones de gobierno. Esta tradicin tiene su origen en las polticas federales del New Deal, y se desarrolla de forma intensiva durante la dcada de los sesenta para dar respuesta a la preocupacin creciente sobre la utilidad de los programas de la Great Society y de la Guerra contra la pobreza del presidente Johnson. Desde entonces ha produ- cido numerosos estudios empricos sobre todo tipo de programas sociales, que se caracterizan por incorporar las tcnicas de investigacin y los mtodos estadsticos propios de las ciencias sociales, lo que hace de la misma evalua- cin un rea de conocimiento interdisciplinar. La dcada de los sesenta se corresponde asimismo con la extensin de la reforma presupuestaria conocida como Planning, Programming and Budget- ing System (en adelante PPBS) a toda la Administracin federal norteame- ricana. El PPBS propona organizar el gasto en funcin del producto final, y de su contribucin por tanto a los objetivos de las diversas unidades y servicios pblicos, lo que permitira agrupara aquellos programas que tuvieran una forma similar de tratar un determinado problema y establecer comparacio- nes entre programas alternativos. Si bien esta aproximacin racionalizadora no pudo superar las dificultades encontradas para llevar a cabo estimaciones vlidas y fiables de los resultados de la intervencin pblica a priori, s puso de manifiesto las posibilidades del anlisis retrospectivo, sobre la base de mejorar las bases de datos y el conocimiento sobre la forma de operar la intervencin pblica sobre la realidad. Estas dos corrientes, que segn todos los autores (Rossi y Freeman, 1985: 28; Chelimsky, 1985: 2; Nioche, 1988: 136) se encuentran en el origen de la evaluacin de programas en los EEUU, tienen sin embargo un peso desigual. Efectivamente, como ha sealado Nioche: El lento y progresivo desarrollo de la evaluacin emprica de las polticas sobre la base de la investigacin aplicada y de la acumulacin de conocimien- tos y know-how demostr ser ms eficiente y til para los decisores pblicos que no la aproximacin tecnocrtica del PPBS (1988: 59). nistrativas de Bruselas para las experiencias europeas. El autor quiere expresar su agradecimien- to a los profesores J. Leca, presidente del Conseil Scientifiquc de l'Evaluation de Francia; J. P. Nioche, profesor de Hautes Etudes Commerciales en Pars, y E. Monnier, director del Labora- toirc d'Evaluation pour les Organismes et les Politiques Publiques de Lyon, por los materiales facilitados y por sus explicaciones sobre el caso francs. 210 EVALUACIN DE POLTICAS La segunda mitad de los aos sesenta y los setenta experimentaron el crecimiento ms importante de las prcticas de evaluacin, tanto a nivel de demanda como de oferta tanto pblica como privada. Entre las evaluaciones llevadas a cabo, algunas fueron especialmente complejas, tanto por sus dimen- siones (en cuanto a nmero de personas afectadas y presupuesto) como por los diseos de investigacin aplicados. En este sentido, las ms espectaculares fueron los experimentos que intentaban determinar los efectos de un impuesto negativo asociado a la garanta de un nivel mnimo de renta, los experimentos con los llamados bonos de vivienda y los desarrollados en el mbito de la seguridad ciudadana y la criminologa (5). Este enorme esfuerzo para determinar los efectos de la intervencin pblica ha dado lugar a una verdadera profesin, como demuestran, primero, el nmero de publicaciones y revistas aparecidas (Evaluation Review, Evaluation and Program Planning, Evaluation Studies Review Annual); segundo, la creacin de asociaciones nacionales y comits dedicados al control de la calidad de los trabajos (Evaluation Research Society), y tercero, el creci- miento experimentado por las empresas e institutos de investigacin que se crearon originariamente para optar a los contratos ofrecidos por las Adminis- traciones pblicas (Abt. Ass., Systems Development Corp., Mitre, Rand, Stanford International). La normalizacin de la funcin de evaluacin en el sistema poltico-admi- nistrativo tuvo su traduccin en la creacin de unidades especializadas tanto dentro de la Administracin como dependientes del Congreso. A nivel del ejecutivo, los departamentos y agencias que gestionan la mayor parte de los programas sociales (trabajo, sanidad, educacin y bienestar) adoptan estructuras de evaluacin, apoyadas por la Oficina del Presupuesto, que se encarga de llevar a cabo una labor de estmulo y divulgacin de metodologas. A nivel del legislativo, el principal instrumento para la evaluacin de los programas de la Administracin es la General Accounting Office (en adelante, GAO). Esta agencia, que a principios de los ochenta contaba con ms de 3.000 empleados (Walker, 1985: 272), puede actuar por iniciativa propia, a requerimiento de un miembro del Con- greso o de un departamento ejecutivo, o simplemente porque as lo establece la legislacin que autoriza la intervencin. Adems de la GAO, el Congressional Research Service, el Congressional Budget Office y la Office of Technological Assesment pueden trabajar (5) Vid. Ballart (1992), para una descripcin ms detallada de estas experiencias. 211 XAVIER BALLART para el Congreso en la evaluacin de opciones programticas alterna- tivas. Resumiendo, pues, la evaluacin constituye hoy en los EEUU una funcin perfectamente consolidada y que ha dado lugar a un mercado plural en el que participan tanto instituciones pblicas y universidades como institutos de investigacin, fundaciones y empresas privadas. 2. Reino Unido: de la preocupacin por el impacto final a las iniciativas centradas en la productividad A finales de los aos sesenta y principios de los setenta el inters por el anlisis de las polticas y la evaluacin retrospectiva de sus resultados encontr dos puntos de apoyo, segn Jenkins y Grey (1990: 56), en las iniciativas del Tesoro con el propsito de poner en funcionamiento sistemas efectivos de control del gasto, y en el movimiento de reforma que reclamaba ms gestin en el sector pblico y ms racionalidad en los procesos de decisin a nivel central. Ambas preocupaciones quedaron reflejadas en el libro blanco sobre La Reorganizacin del Gobierno central de 1970 y se traduciran en la creacin del Central Policy Review Stqff (CPRS), a nivel de gabinete y del Program Analysis and Review (PAR), a nivel de departamentos ministeriales. El CPRS adopt la forma de un think tank integrado por altos funcionarios de la Admi- nistracin, expertos acadmicos y dirigentes de empresas privadas, que tenan por misin generar propuestas de evaluacin a nivel de gabinete. Mientras que el PAR se estructur como un programa que tena por objetivo forzar a los departamentos ministeriales a entrar en el anlisis y en la evaluacin de sus servicios. Ambas iniciativas acabaran por desaparecer sin haber conseguido sus propsitos. Entre las razones del fracaso del PAR, Jenkins y Grey (1990: 57) han sealado, primero, dificultades tcnicas derivadas de la pobreza de los datos existentes y de la falta de personal con la preparacin adecuada; segundo, dificultades a nivel de organizacin, en la medida que los departamentos no contaban con unidades especializadas, y tercero, dificultades polticas, dado que la evaluacin presentaba algunos riesgos. La llegada al poder de M. Thatcher en 1979 supuso un cambio de orien- tacin: la preocupacin por el control de los recursos utilizados sustituira la preocupacin por cuantificar el output pblico o por delimitar los efectos netos de la intervencin. En lugar del CPRS y del PAR aparecieron, primero, 212 EVALUACIN DE POLTICAS la Efficiency Strategy (ES) y despus la llamada Financial Management ini- tiative (FMI). La ES fue diseada por D. Rayner, un conocido hombre de negocios, a quien M. Thatcher encarg el programa de eficiencia de su gobierno. Su estrategia para conseguir mayor eficiencia en la Administracin central con- sisti en organizar una oficina de pequeas dimensiones con apoyo directo de la Primera Ministra, y con la autoridad y capacidad necesarias para llevar a cabo estudios rpidos de actividades especficas de los departamentos y agencias administrativas. El programa persegua objetivos relacionados no nicamente con la idea de productividad sacar ms provecho de los recursos invertidos y eliminar obstculos burocrticos a una mejor gestin, sino tambin con la idea de implementar los cambios propuestos, de una forma rpida y efectiva. Segn Jenkins y Gray (1990: 60), si bien los resultados de esta estrategia en trminos de evaluacin fueron bastante limitados, el apoyo continuado que obtuvo de la Primera Ministra permiti desarrollar una tarea de pequeas reformas que ha sido muy bien recibida por el Parlamento y la opinin pblica. La FMI fue la respuesta del gobierno conservador a la demanda de un sistema ms amplio de revisin de polticas por parte del Parlamento. Sin embargo, a diferencia de las iniciativas de los aos setenta, la FMI reflejaba una mayor preocupacin por la contencin del gasto y por el desarrollo de sistemas descentralizados de gestin responsable. Coordinada centralmente por un equipo de reducidas dimensiones, la FMI encargaba a los departa- mentos ministeriales la elaboracin de sus estrategias, la descripcin de las actividades que estaban llevando a cabo para gestionar sus objetivos, y el establecimiento de mecanismos de asignacin de responsabilidades por los recursos utilizados. Como en el caso de la ES, la FMI cont con el apoyo incondicional de la Primera Ministra y ha dado lugar a sistemas de control del gasto y de medida de outputs en relacin con los objetivos iniciales. Jenkins y Grey (1990: 61) sealan, sin embargo, cmo la excesiva preocupacin por los recursos y por el establecimiento de sistemas de control de gestin internos ha dejado poco margen a la evaluacin de la eficacia final de las polticas. A nivel parlamentario, la Comisin de Contabilidad Pblica ha visto reforzada su capacidad de control desde la aprobacin de una ley en 1983, por la que se amplan las funciones tradicionales del Comptroller and Auditor General y de su personal en la National Audit Office (equivalente a nuestro Tribunal de Cuentas) con las de investigar si los departamentos del ejecutivo utilizan los recursos de que disponen de una forma eficiente y eficaz. Si bien sus investigaciones difcilmente podran considerarse evaluaciones en sentido 213 XAVIER BALLART estricto, la seleccin de nuevos profesionales y la extensin de su mbito de actuacin puede tener consecuencias importantes, a pesar de las limitaciones que impone el sistema mayoritario de gobierno. 3. Alemania: institucionalizacin de la evaluacin en la Administracin central En Alemania, al igual que en los EEUU y en el Reino Unido, el desarrollo de la evaluacin se asocia a la progresiva adopcin de nuevas polticas y programas en las reas de educacin, sanidad, vivienda y asuntos sociales a finales de los aos sesenta y principio de los setenta, y a la necesidad poltica de justificar el incremento del gasto pblico en nuevas intervenciones cuyos efectos no haban sido demostrados de forma emprica. Segn Derlien (1990: 38), despus de la formacin del gobierno de coa- licin social-liberal de 1969 y de la primera ola de reformas administrativas (unidades de planificacin, modelos de previsin, anlisis coste-beneficios), la evaluacin sera practicada e institucionalizada de forma gradual, tanto a nivel federal como a nivel de los estados y ciudades importantes. Sin embargo, este mismo autor seala que hay que buscar las causas concretas del desarrollo inicial de la evaluacin en la presiones polticas del Parlamento, en el papel otorgado a Hacienda por las leyes de reforma presupuestaria y en la predispo- sicin de la Administracin a mejorar sus sistemas de informacin para crear argumentos con los que hacer frente a las crticas externas. De forma general, se considera sin embargo que la evaluacin se desarrolla bsicamente a nivel ministerial, lo que tuvo su traduccin a nivel institucional en la creacin de unidades especializadas en algunos ministerios centrales. Concretamente se crearon unidades de evaluacin en los Ministerios de Agri- cultura, Transportes, Ayuda al Desarrollo y Tecnologa. A su vez, las Agen- cias Federales para las Relaciones con la Prensa y para la Divulgacin de la Informacin sobre la Salud, establecieron organismos de evaluacin de sus polticas de comunicacin. En relacin con estos organismos, Derlien (1990: 39) seala que no se trataba tanto de que las evaluaciones fueran efectivamente realizadas por el personal administrativo-funcionarial como de que los minis- terios contaran con especialistas que pudieran mantener contactos con equipos de investigadores externos, contratar los que fueran ms adecuados para cada caso y discutir los diseos de investigacin y los trabajos de recoleccin de datos. Otra fuente de evaluaciones fueron los experimentos en materia de vivien- da, educacin y sanidad que, como en EEUU, se llevaron a cabo en Alemania a principios de los aos setenta con el propsito de determinar los resultados 214 EVALUACIN DE POLTICAS de una intervencin antes de generalizar su aplicacin a toda la poblacin. La supervisin de estos experimentos y en general de las actividades de evaluacin de los ministerios centrales ha sido desempeada en Alemania, segn Derlien (1990: 40), por una seccin especializada en tcnicas de plani- ficacin y evaluacin que se cre dentro de la Oficina del Canciller en 1969. El Parlamento federal tambin ha jugado un importante papel en el esta- blecimiento de mecanismos de control y evaluacin. Al igual que en los EEUU, desde finales de los aos sesenta el Parlamento ha legislado para numerosos programas la obligacin de aportar informacin sobre su imple- mentacin y efectos. Ejemplos de esta poltica legislativa han sido importantes leyes como, por ejemplo, la Ley de Mejora de la Estructura Econmica Regional, la Ley del Mercado y de la Ocupacin, la Ley de Subsidios Sociales, la Ley de Inversin en Hospitales, la Ley de Becas y Ayudas, la Ley del Aborto, la Ley de Proteccin de los Arrendatarios y varias leyes impositivas. Otra forma de forzar la evaluacin de programas adoptada por el legislativo alemn ha consistido en estipular la terminacin automtica de un programa en un determinado perodo de tiempo a no ser que demuestre su eficacia (la llamada Sunset Legislation norteamericana). Esta tcnica legislativa se apli- c, por ejemplo, en la citada Ley de Proteccin de los Arrendatarios. El Tribunal de Cuentas Federal, por el contrario, no ha entrado en la valoracin de las polticas y programas pblicos en trminos de eficacia y eficiencia, si bien sta es una tarea que le encomienda la legislacin. Segn Derlien (1990: 40), la posicin polticamente neutral de esta institucin, su misin tradicional de auditora de las cuentas pblicas y la formacin de su personal se hallan entre las posibles causas de este abstencionismo. Desde 1985, sin embargo, el Tribunal de Cuentas recoge en su informe anual los resultados de las evaluaciones llevadas a cabo por los mismos Ministerios. 4. Suecia: fragmentacin y descentralizacin de la evaluacin Suecia ha sido uno de los primeros pases en desarrollar estudios de evaluacin de las polticas pblicas, y son muchos los estudios realizados desde mediados de los aos sesenta en relacin con polticas de asistencia social y sanitaria, educacin, trabajo y conservacin de la energa (Vedung, 1990: 3). Ello no debera soprender tratndose de un pas en el que, segn Ysander (1984: 53), ms del 70 por 1000 del montante total del producto interior pasa por los presupuestos pblicos. Otros autores (Deleau, et al., 1986: 146) han sealado, sin embargo, otros factores que podran explicar una menor presin poltica en el caso sueco 215 XAVI1R BALLART para realizar anlisis ex post de los programas pblicos. Primero, hasta hace relativamente pocos aos, Suecia ha mantenido un fuerte consenso sobre la justificacin de los programas pblicos de intervencin, sobre todo en el rea de bienestar social. Segundo, existe una percepcin generalizada de que la Administracin funciona bien. Tercero, la implementacin de un sistema de planificacin y presupuestacin similar al PPBBS norteamericano sirvi en Suecia para descentralizar de forma significativa la Administracin central, hasta el punto que dos tercios del presupuesto son administrados por munici- pios y corporaciones de carcter supramunicipal. Hasta las reducidas dimensiones del pas y la proximidad de la Adminis- tracin a los usuarios finales de los servicios podran haber funcionado como un elemento sustitutorio de la evaluacin. Sin embargo, Suecia ha desarrollado su propio sistema, que como demuestra Vedung (1990: 16), no se adapta a ninguno de los modelos de organizacin de la evaluacin discutidos por la literatura. El modelo sueco se caracteriza por la fragmentacin de la evaluacin que se desarrolla de forma independiente bajo el control de las mltiples comisio- nes creadas ad-hoc para la formulacin o enmienda de las polticas de cada uno de los distintos niveles de gobierno. A nivel central, las leyes ms importantes son elaboradas y discutidas por una comisin que nombra el gobierno y que incluye a altos funcionarios, a representantes de los partidos polticos y de los grupos de inters, y a expertos especialistas del mundo acadmico. Corresponde a estas comisiones el poder de decisin sobre los estudios previos que deban realizarse, y sobre la infor- macin que sea preciso recoger sobre los resultados de polticas pasadas. Adems, los Ministerios centrales suecos generalmente cuentan con una co- misin de investigacin y desarrollo, de composicin igualmente plural, en- cargada de desarrollar la investigacin de aquellos aspectos que precise la poltica del Ministerio. Esta constituye una segunda fuente importante de evaluaciones a nivel central. A nivel local, dada la importancia de este nivel de gobierno en la prestacin de los servicios, tanto las asociaciones nacionales de municipios como las mismas instituciones centrales de gobierno han impulsado el desarrollo de medidas comparativas y de evaluaciones de polticas sectoriales. Una tercera fuente de evaluaciones ha sido en el caso de Suecia la Oficina Nacional de Control o Tribunal de Cuentas que, por imperativo legal desde 1967 se ocupa de evaluar la actividad y la eficiencia con la que actan las agencias nacionales en las que se organizan los ministerios centrales en Suecia. A diferencia de otros casos estudiados, la Oficina Nacional de Control sueca ha ido ampliando progresivamente su papel desde una actividad de control 216 EVALUACIN DE POLTICAS externo a una actividad de control ms directo: su estrategia consiste en examinar, primero, la misin y objetivos de la agencia; segundo, su actividad, y tercero, sus mecanismos de control interno de gestin. A su vez, la Oficina Nacional de Control estimula a las agencias administrativas para que analicen sus actividades por s mismas y les ofrece informacin y sugerencias que puedan interesarles (Vedung, 1990: 9). Este modelo ha sido seguido asimismo por la Oficina del Auditor General noruego, que incluye desde 1986 una seccin de Auditora de Rendimientos que tiene como misin la evaluacin de la utilizacin de recursos y bienes pblicos en base al anlisis crtico de objetivos y resultados (Eriksen, 1990: 127). En este sentido, Noruega sigue, con retraso, los pasos de Suecia en la adaptacin efectiva de esta institucin de control a sus nuevas obligaciones legales. 5. Holanda: la reconsideracin de las polticas La introduccin del anlisis de las polticas y programas pblicos tuvo lugar en el caso de Holanda a principios de los aos setenta, con la creacin por el Ministerio de Hacienda de un Comit Interdepartamental para el Des- arrollo del Anlisis de las Polticas. El llamado COBA estaba integrado por representantes de todos los ministerios que contaban con el soporte de personal especializado del Ministerio de Hacienda y tenan por misin promo- ver la aplicacin de anlisis cientficos de las polticas ministeriales. En sus aos de existencia, segn Bemelmans-Videc, et al. (1990: 110), las activida- des del COBA se centraron en la clarificacin de los objetivos de los depar- tamentos ministeriales, en base al desarrollo de estructuras que iban desde los propsitos ms generales y abstractos hasta los objetivos operacionales concretos que deban tener indicadores claros de rendimiento. Estos mismos autores holandeses sealan, sin embargo, como las dificul- tades encontradas tanto a nivel poltico como administrativo, llevaron en ltimo trmino a la desaparicin del COBA. Ni gestores ni polticos estaban excesivamente interesados en fijar objetivos claros y especficos, puesto que ello les haca ms vulnerables, mostraba sus propios errores y, en ltimo trmino, su ineficacia a la hora de alcanzar sus propsitos. Una comisin formada en el ao 1980 para estudiar la estructura organi- zativa de la Administracin Pblica holandesa recomend en su informe final la sistematizacin de la evaluacin de las polticas en las instituciones centrales de gobierno por la va de incorporar la tcnica de la llamada Sunset Legis- lation, esto es, programas que tienen una fecha lmite cuya continuacin depende de que demuestren su eficacia. En esta direccin, el impulso del Parlamento, al estipular la obligatoriedad de las evaluaciones de determinadas 217 XAVIKR BAl.l.ART polticas en las mismas leyes que las aprobaron, ha sido importante para la institucionalizacin de la evaluacin en Holanda. Al mismo tiempo, la recesin econmica de principios de los ochenta y la necesidad de encontrar formas de reducir el gasto pblico crearon las condiciones necesarias para que esta tcnica legislativa y, en general, la idea de evaluar retrospectivamente las polticas y programas encontraran un apoyo que antes no tenan de la parte de polticos y altos funcionarios. Segn Bemelmans-Videc et al. (1990:112), la Administracin central holandesa ha dado un fuerte empuje a la demanda de evaluaciones en esta ltima dcada, en todas las materias relacionadas con las polticas de bienestar social (ocu- pacin, seguridad social, participacin ciudadana a nivel local), lo que ha contribuido de forma notable a crear un mercado plural en el que participan, adems de las administraciones pblicas, instituciones relacionadas con el mundo acadmico y empresas de consultora privadas. De forma general se considera, sin embargo, que el ejemplo ms impor- tante de evaluacin sistemtica de las polticas es, sin embargo, el llamado Procedimiento de Reconsideracin de las Polticas (PRP). Este procedimiento sigue el ao fiscal y consiste en la reconsideracin de los programas y servicios estudiados, con el propsito de proponer alternativas a su modo de operar que redunden en un menor gasto pblico. La seleccin de los programas que son objeto de reconsideracin cada ejercicio fiscal corresponde al Consejo de Ministros y los resultados de las investigaciones son igualmente discutidos por el Consejo en pleno. Los traba- jos son realizados por equipos mixtos, dirigidos por un representante del ministerio ms directamente afectado, que adems suele contar con la asisten- cia de un comit de altos funcionarios y representantes del Ministerio de Hacienda. El procedimiento de reconsideracin implica tres tareas: primero, describir la poltica o programa; segundo, evaluar el desarrollo del proceso de imple- mentacin, eficacia y eficiencia, y tercero, proponer un mnimo de cuatro alternativas que requieran menos esfuerzo presupuestario, adems de explorar las posibilidades de privatizacin, descentralizacin y o aplicacin del princi- pio de maximizacin de los beneficios. Esta iniciativa ha sido juzgada con un xito relativo debido, sobre todo, al carcter obligatorio del procedimiento, a la especificidad de las directrices y a los estrechos mrgenes temporales en que deben completarse las investi- gaciones. El principal resultado ha sido, sin embargo, los recortes presupues- tarios y las operaciones de reorganizacin administrativa, descentralizacin o hasta privatizacin (Bemelmans-Videc, et al., 1990: 115). 218 EVALUACIN DE POLTICAS 6. Francia: creacin de un dispositivo central de evaluacin dependiente del primer ministro El gobierno socialista francs sancion en enero de 1990 la evaluacin como procedimiento institucional de revisin de las polticas pblicas dentro de la Administracin francesa. La reforma fue el resultado final de un largo debate que empez con una conferencia internacional en 1983 y con la presen- tacin de dos informes: el primero en 1986 (Informe Deleau) y el segundo en 1989 (Informe Viveret). Los esfuerzos para desarrollar una cierta capacidad de evaluacin se re- montan a los aos sesenta, en que se adopt el programa de la Rationalisation des Choix Budgtaires (RCB). Si bien la RCB se centraba en el anlisis ex ante ms que en la evaluacin expost de las polticas, la creacin de unidades dentro de la Administracin francesa especializadas en las nuevas tcnicas de programacin y presupuestacin, gener una importante demanda de estudios que contribuira a producir un cierto desarrollo de la evaluacin en Francia. En 1987, escribira Nioche, la evaluacin de las polticas en Francia es una actividad que avanza muy lentamente y que no est organizada ni insti- tucionalizada en el sistema poltico-administrativo (1988: 16). A su vez, este autor sealaba en el mismo texto cmo la preocupacin por la evaluacin se extiende en Francia a las instituciones de control tradicio- nal Tribunal de Cuentas e inspecciones ministeriales, si bien este inters podra, sin embargo, redundar en un menor desarrollo de evaluaciones cien- tficas y completas, en la medida que se confunde evaluacin y control y se intenta mantener la primera como una funcin estrictamente interna de la Administracin. La organizacin e institucionalizacin de la evaluacin en Francia se produce con la reforma Rocard de 1990 (Decreto 90-82, de 22 de enero de 1990). Para ello se crea una estructura administrativa nueva con la que se intenta ampliar a nivel interministerial las iniciativas de evaluacin adoptadas por los ministerios individualmente considerados y dotar al conjunto de las administraciones de una poltica de evaluacin coordinada. Concretamente, el nuevo dispositivo de evaluacin francs est constituido por: el Comit Interministerial de la Evaluacin (CIME), el Fondo Nacional para el Desarrollo de la Evaluacin (FNE) y por el Consejo Cientfico de la Evaluacin (CSE). El CIME est presidido por el primer ministro y rene a los principales ministerios del gobierno. Acta como instancia de coordinacin de las eva- luaciones del ejecutivo, y en este sentido recibe las proposiciones de evalua- cin de los ministerios. Tambin pueden presentarle propuestas de evaluacin 219 XAVIER BALLART el Consejo de Estado, el Tribunal de Cuentas y el Defensor del Pueblo. Es, sin embargo, el CIME el rgano que tiene la autoridad formal para tomar una decisin final, y en este sentido afectar los recursos previstos en el Fondo Nacional para el Desarrollo de la Evaluacin. El FNE es, pues, controlado por el primer ministro a travs del CIME. La legislacin establece, sin embargo, una reserva de hasta un 20 por 100 del Fondo para evaluaciones cuya iniciativa sea adoptada por el Consejo Econmico y Social. La utilizacin de esta reserva por parte de este organismo requiere a su vez la autorizacin previa del Consejo Cientfico de la Eva- luacin. El CSE se compone de 11 miembros, nombrados por el presidente de la Repblica, entre profesores, altos funcionarios de reconocido prestigio cien- tfico y/o administrativo. Su mandato es por un perodo de seis aos, no renovable, y su funcin consiste en proporcionar asesoramiento cientfico al CIME. Concretamente, el CSE emite dos dictmenes sobre cada proyecto de evaluacin: uno, antes que el primer ministro y el CIME decidan sobre la aprobacin de un proyecto, y otro, despus que la evaluacin haya sido realizada. En este segundo dictamen, que se publica al mismo tiempo que el contenido de la evaluacin, el CSE expresa su opinin sobre la calidad de los trabajos realizados. Si bien este dispositivo de evaluacin est llamado a ser el ncleo central de la evaluacin en Francia, existen otras instancias pblicas independientes cuya misin consiste en evaluar un sector preciso de actividad. Algunos ejemplos de instancias de evaluacin dependientes del ejecutivo son el Comit Nacional de la Evaluacin de las Universidades, el Comit Nacional de Eva- luacin de la Investigacin, el Comit de Evaluacin y de Prospectiva de Nuevas Profesiones, el Comit de Evaluacin de la Poltica de las Ciudades y la Agencia Nacional para el Desarrollo de la Evaluacin Mdica. Mientras que dependen de la Asamblea Nacional, la Oficina Parlamentaria de Evalua- cin de las Opciones Cientficas y Tecnolgicas y la Comisin Nacional de Evaluacin de la Renta Mnima de Insercin (CEOPS/ENTP, 1991). La adopcin de dispositivos similares al adoptado por el gobierno central a nivel de las regiones podra contribuir a un desarrollo ms plural de la evaluacin en Francia. En esta lnea, el Consejo Regional de la Regin Rhone-Alpes decidi en enero de 1991 crear un Comit Regional de la Evaluacin, equivalente al CSE nacional. La legislacin autorizante otorga al CRE funciones de definicin previa de los programas que se someten a evaluacin, de control tanto de las propues- tas de evaluacin como de los equipos encargados de llevarlas a cabo, y de supervisin a posterior! de los trabajos realizados. Como en el caso de las 220 EVALUACIN DE POLTICAS instituciones centrales, la iniciativa queda en manos del presidente regional, si bien en este caso, de una parte, se incluye en el debate anual del presupuesto la deliberacin sobre las polticas susceptibles de evaluacin, y de otra parte se deja en manos de las comisiones correspondientes del Consejo Regional y del Comit Econmico y Social Regional, la discusin sobre los resultados de las evaluaciones (Quermonne, el al., 1991). V. IMPLICACIONES DE LA EXPERIENCIA COMPARADA EN LA DEFINICIN DE UNA POLTICA DE EVALUACIN PROPIA La observacin de las experiencias comparadas pone de relieve algunas tendencias que es preciso tener en cuenta a la hora de definir una poltica de evaluacin. Sin embargo, las diferencias econmicas, polticas, instituciona- les y hasta de tradicin en las ciencias sociales determinan unos condicionantes propios de cada pas. En primer lugar, la evaluacin tiene su edad dorada en una poca de expansin econmica, en la que la ampliacin automtica de las bases impo- nibles financia casi sin costes polticos las nuevas polticas de intervencin social. Cuando nuestro pas se suma a estos procesos nos encontramos con una situacin radicalmente distinta que determina que aquellos que antes se preocupaban por el impacto de las polticas cambien su orientacin a favor de los anlisis que sirvan para incrementar la productividad, racionalizar la gestin de unos recursos cada vez ms limitados y hasta, en ltimo trmino, justificar los recortes presupuestarios. En segundo lugar, el sistema parlamentario espaol, tanto a nivel central como autonmico, se basa en una fuerte disciplina de partido que tiende a limitar la funcin de control del Parlamento. El partido o coalicin mayoritaria har todo lo que sea posible para evitar una discusin poltica de la que pueda salir perjudicado su gobierno, mientras que la oposicin, ms interesada en ejercer sus funciones de control, se ve fuertemente limitada por su condicin minoritaria. En tercer lugar, los Tribunales de Cuentas, central y autonmicos, a pesar de estar obligados legalmente a examinar la eficacia y la eficiencia con que actan los organismos pblicos de su jurisdiccin, limitan su papel al de supervisin de las cuentas pblicas de acuerdo con lo que establecen la ley del presupuesto y las dems leyes que sean aplicables. En cuarto lugar, tanto por el lado de la oferta como por el lado de la demanda el nmero de profesionales con conocimiento de mtodos suscepti- bles de ser aplicados a la evaluacin de las polticas sociales es bastante 221 XAVIER BA1.I.ART reducido. En el mismo sentido, los sistemas de informacin internos y en general los bancos de datos estadsticos, a pesar de los avances registrados en los ltimos aos, presentan importantes lagunas y/o no han sido construidos desde una perspectiva de medicin de resultados y evaluacin. Estos factores podran explicar el retraso de nuestro pas en materia de evaluacin a la vez que limitan una posible poltica de revisin de la actuacin de los poderes pblicos. En este sentido creemos que lo ms realista corto plazo sera generar una demanda mnima de evaluaciones en distintos cam- pos, realizar dos o tres estudios en una perspectiva temporal concreta e impulsar a los Parlamentos central y autonmicos y a los Tribunales de Cuentas a desarrollar su propia oferta de evaluacin o como mnimo a que controlen la actividad desarrollada por las Administraciones. En este sentido constatamos como la mayor parte de las evaluaciones tienen su origen en el ejecutivo. Cuando han sido los ejecutivos centrales los que han tomado la iniciativa, generalmente lo han hecho para ocuparse de polticas de carcter interdepartamental. Un ejemplo de ello sera el CPRS britnico o el mismo dispositivo creado en Francia por el gobierno Rocard. Como en el caso de la Efficiency Strategy y de la Financial Management Initiative de la poca Thatcher o del Procedimiento de Reconsideracin holands cabe, sin embargo, que los gobiernos centrales decidan examinar programas ms especficos y no slo desde una perspectiva de eficacia, sino tambin con una clara orientacin a problemas organizativos o de gestin con propsitos de racionalizacin y ahorro. A nivel de ministerios, en los pases con ms capacidad se crearon numerosas unidades de evaluacin dentro de la Administracin central (EEUU, Alemania), mientras que en los pases ms pequeos, grupos de expertos participan activamente en las actividades de evaluacin de las agencias administrativas (Suecia, Holanda). El Parlamento tiene, sin embargo, en la legislacin la posibilidad de obligar al ejecutivo a presentar informes especficos en una perspectiva tem- poral concreta sobre el desarrollo y los efectos de las polticas aprobadas. Otra forma de institucionalizar la evaluacin pasa por la adopcin de estrate- gias parlamentarias del tipo Sunset Legislation, que al condicionar la con- tinuacin de un programa a la demostracin de su eficacia, obliga de hecho a realizar su evaluacin. Por fin, los Tribunales de Cuentas pueden ir cambiando la concepcin de su propio rol en la medida que la preocupacin por el anlisis de la eficacia y de la eficiencia de la actividad pblica vaya calando en otros sectores institucionales. Mientras tanto, los Tribunales de Cuentas podran ir desarro- llando un rol ms activo en dos mbitos relacionados: primero, la supervisin de las actividades de evaluacin realizadas por el ejecutivo o como consecuen- 222 EVALUACIN DE POLTICAS cia de eventuales obligaciones legales, y segundo, la seleccin y formacin de personal especializado con la perspectiva de desarrollar una divisin de metodologa que sirva de soporte al conjunto de las Administraciones. REFERENCIAS BIBLIOGRFICAS ALVIRA MARTN, F.: Metodologa de la evaluacin de programas, Madrid, CIS, 1991. BALLART, X.: Cmo evaluar programas y servicios pblicos? Aproximacin sistem- tica y estudios de caso, Madrid, Instituto Nacional de Administracin Pblica, 1992. BEMELMANS- VIDEC, M. L.; ELTE, R.; KOOLHAAS, E.: Policy Evaluation in the Net- herlands: Institutional Context and State of Affairs, en R. C. RIST: Program Evaluation and the Management of Government, New Brunswick, Transaction Publishers, 1990. BUTTOLPH JOHNSON, J.; JOSLYN, R. A.: Political Science Research Methods, Washing- ton, D. C , Congressional Quarterly Press, 1986. CEOPS- ENTPE: Les Instances Nationales d'Evaluation en France, Vaulxe en Velin, documento de trabajo, 1991. CHELIMSKY, E.: Program Evaluation: Patterns and Directions, Washington, D. C , American Society for Public Administration, 1985. DELEAU, M.; NIOCHE, J. P.; PENZ, PH. ; POINSARD, R.: Les enseignements de quelques expriences nationales, Documentation Franqaise, 1986, pgs. 135- 157. DERLIEN, H. U.: Program Evaluation in the Federal Republic of Germany y Gnesis and Structure of Evaluation Efforts in Comparative Perspective, en R. C. RIST: Program Evaluation and the Management of Government, New Brunswick, Tran- saction Publishers, 1990. ERICKSEN, B.: Institucional Aspects of Evaluation in Norway, en R. C. RIST: Pro- gram Evaluation and the Management of Government, New Brunswick, Transac- tion Publishers, 1990. GUBA, E. G., y LINCOLN, Y. S.: The countenances of Fourth- Generation Evaluation: Description, Judgement and Negotiation, en D. J. PALUMBO: The Politics of Program Evaluation, Beverly Hills, CA, Sage, 1987. HELLSTERN, G. M.: Assessing Evaluation Research, en F. X. KAUFMANN, G. MA- JONE y V. OSTROM: Guindance, Control and Evaluation in the Public Sector, Berln, De Gruyter, 1986. JENKINS, B. , y GREY, A.: Policy Evaluation in British Government: From Idealism to Realism, en R. C. RIST: Program Evaluation and the Management of Govern- ment, New Brunswick, Transaction Publishers, 1990. MAJONE, E.: Evidence, Argument and Persuasin in the Policy Process, New Haven, CN, Yale University Press, 1989. MONNIER, E.: Objetivos y destinatarios de las evaluaciones, Documentacin Administrativa, 224- 225, 1991- 1992, pgs. 131- 152. NIOCHE, J. P.: Accountable Public Management, en A. KAKABADSE, P. RONDO 223 XAVIER BAI.LART BROVETO y R. HOLZER (eds.): Management Development and the Public Sector, Avebury, Gower Publishers, 1988. PATTON, M. Q.: Utilization-Focussed Evaluation, Beverly Hills, CA, Sage, 1986. QUERMONNE, LARGER y MONNIER: Un Dispositif d'Evaluation des Politiques Publiques pour la regin Rhone-Alpes, Vaulx en Verlin, documento de trabajo, 1991. Rossi, P. H., y FREEMAN, H. E.: Evaluation: A Systematic Approach, Beverly Hills, CA, Sage, 1985. SHORTELL, S. M., y RICHARDSON, W. C: Health Program Evaluation, Sant Louis, MI, Molby, 1978. SCRIVEN, M.: Goal-Free Evaluation, en E. R. HOUSE (ed.): School Evaluation, The politics and Process, Berkeley, CA, McCutchan, 1973. FITZSIMMONS, J. A., y SULLIVAN, R. S.: Service Operations Management, Nueva York, McGraw-Hill, 1982. VEDUNG, E.: Development of Evaluation in the Swedish Political System, trabajo presentado en la Conferencia Internacional de La Haya sobre Evaluacin de Pol- ticas y Programas, 1990. VIVERET, P.: L'Evaluation des Politiques et des Actions Publiques: Rapport au Pre- mier Ministre, informe no publicado, 1989. WALKER, W. E.: The Conduct of Program Evaluations on Government, Evaluation and Program Planning, 8, 1985, pgs. 271-280. WEISS, C. H.: Evaluation Research, Englewood Cliffs, NJ, Prentice Hall, 1972. YSANDER, B. C: L'Evaluation des Politiques Publiques en Sude, en J. P. NIOCHE y R. POINSARD (eds.): L'Evaluation des Potinques Publiques, Pars, Econmica, 1984. 224