Generacion Del Juicio

24_ANUARIO3-2007.
qxd 29/11/2007 17:02 PÆgina 145
_ EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL

CASO DE LA COOPERACIÓN AL DESARROLLO*
_ CHANGES IN THE PARADIGM IN THE EVALUATION OF PUBLIC POLICIES

THE CASE OF COOPERATION/ CONTRIBUTION TO DEVELOPMENT
Carmen Vélez Méndez

Universidad de Sevilla
* Algunas de las ideas recogidas en este artículo fueron presentadas por la autora en el XI Congreso Internacional
del CLAD celebrado en Guatemala en noviembre de 2006.
sumario//summary
1 ORIGEN E HISTORIA DE LA EVALUACIÓN / ORIGIN AND HISTORY OF EVALUATION PROCESS
2 EL CAMBIO DE PARADIGMA: DE LA CONFRONTACIÓN A LA COMPLEMENTARIEDAD / CHANGE

OF PARADIGM: FROM CONFRONTATION TO COMPLEMENTATION
El paradigma positivista / The positivist paradigm

El paradigma alternativo: constructivista / The alternative paradigm: the contrustivist paradigm
3 EVOLUCIÓN DEL DISEÑO DE LAS EVALUACIONES / DESIGN EVOLUTION OF EVALUATIONS
Cambio en las metodologías y técnicas aplicadas / Methodological changes and applied techniques
4 EL CAMBIO DE PARADIGMA EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN PARA EL

DESARROLLO / CHANGES IN THE PARADIGM OF THE EVALUATION OF COOPERATION TO
DEVELOPMENT POLICY
La supremacía del enfoque del marco lógico, en cuestión / The supremacy of the approach to logical
frame, in question
La concepción reticular en la evaluación de la política de cooperación al desarrollo: primeras
reflexiones / The reticular conception in the evaluation of the evaluation of cooperation to development
policy: preliminary considerations
5 BIBLIOGRAFÍA / BIBLIOGRAPHY
145
24_ANUARIO3-2007.qxd 29/11/2007 17:02 PÆgina 146
NUEVAS POLÍTICAS PÚBLICAS. Anuario multidisciplinar para la modernización de las Administraciones Públicas
EVALUACIÓN DE POLÍTICAS PÚBLICAS
resumen//summary
Desde los orígenes de la evaluación de políticas públicas 1 ORIGEN E HISTORIA DE LA

en los años 60 hasta la actualidad se ha producido un EVALUACIÓN
cambio de paradigma en la teoría de evaluación que ha
venido caracterizado por el paso del positivismo, como
pensamiento científico dominante, al constructivismo.
Hablaremos de la teoría y de la práctica de la evaluación.
Nos centraremos en el caso de la política de cooperación
E
al desarrollo, donde existe gran tradición en planificación l hecho de evaluar individuos y
y evaluación. Además, en España, la Dirección General de
Planificación y Evaluación de Políticas de Desarrollo (DG
“ programas apareció, como mínimo, en
POLDE) del Ministerio de Asuntos Exteriores y el año 2000 a.C., cuando algunos
Cooperación está en la actualidad inmerso en un proceso oficiales chinos dirigieron unas investigaciones
de revisión de la Metodología de Evaluación de la de los servicios civiles, y en el siglo V a.C.,
Cooperación Española.
cuando Sócrates y otros maestros griegos
Se propone, en esta reflexión sobre la adecuación de los utilizaron cuestionarios evaluativos como parte
métodos de evaluación, la aplicación de un enfoque que
considere la dimensión reticular de la política de ayuda
de su metodología didáctica. (…) Entre 1887 y
al desarrollo. Se pretende, precisamente, identificar las 1898, Josph Rice estudió los conocimientos
conexiones entre los distintos actores, objetivos y niveles, en ortografía de 33.000 estudiantes de un
para poder analizar adecuadamente el éxito y bondad de amplio sector escolar (…). Este estudio está
la intervención pública, así como el grado de desarrollo
institucional y la capacidad que tienen los agentes para generalmente reconocido como la primera
resolver sus conflictos e interrelacionarse. evaluación formal sobre un programa
educativo realizado en América”.
From the beginnings of the evaluation of public policies
in the 1960's to the present day, there has been a change (Stufflebeam y Shinkfield, 2005: 33).
in the paradigm in the theory of evaluation that is charac-
terised by the change from positivism, as the prevailing
scientific thinking, to constructivism what has affected the Al margen de referencias anecdóticas como las
contents of these evaluations, their aims, methods and de la cita que encabeza este epígrafe, lo cierto
techniques.
es que la utilización de la ciencia social en el
We will talk of the theory and practice of evaluation. We will análisis de políticas y servicios públicos no es
focus on the particular case of the policy of cooperation to
novedosa. Se ha llevado a cabo desde dife-
development, where there is a great tradition regarding the
planning and evaluation. Furthermore, in Spain, the rentes perspectivas y con la aplicación de dis-
General Bureau of Planning and Evaluation of tintas metodologías, pero no es hasta los años
Development Policy (DG POLDE) under the Foreign Affairs posteriores a la I Guerra Mundial cuando apa-
and Cooperation Ministry is nowadays immersed in a pro-
cess of revision of the Methodology of the Evaluation of the
recen los primeros esfuerzos evaluativos diri-
Spanish Cooperation. gidos al análisis de programas de educación y
formación profesional e iniciativas de salud pú-
In these considerations on the adequacy of the evaluation
methods, it is proposed the application of an approach that blica para reducir la mortalidad provocada por
considers the reticular dimension of the policy of help to enfermedades infecciosas (Rossi y Freeman,
development. It is intended, in fact, to identify the connec- 1993, en Osuna y Máquez, 2000:6).
tions established between the different actors involved so
as to be able to analyse appropriately the success and pu-
blic intervention kindness as well as the degree of institu- Ahora bien, la mayoría de los autores coinciden
tional development and the agents' ability to solve their en datar el “nacimiento de la evaluación” en los
conflicts and relate with each other.
Palabras Clave: Key Words:
- Evaluación. - Evaluation.
- Paradigma. - Paradigm.
- Análisis de redes. - Network analysis.
- Política de cooperación. - Cooperation policy.
ESTUDIOS
146
EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO
años 60 en Estados Unidos, coincidiendo con el in- Se puede llegar a establecer una correspondencia, reco-
terés por conocer los resultados de la puesta en gida en la Figura 1, entre la segmentación temporal pro-
marcha de los programas sociales de la Gran puesta por Stufflebeam y Shinkfield y la realizada por
Sociedad y de la Guerra contra la Pobreza, para los Guba y Lincoln, siempre tomando como referencia lo ocu-
que se comprometía un importante volumen de fondos rrido en el campo de la evaluación en Estados Unidos.
y que sin embargo tenían una reducida capacidad
para resolver los problemas a los que iban dirigidos1. Figura 1. Evolución histórica de la evaluación
Fueron la expansión de los programas socioeconó-

micos, la preocupación por el control del gasto público
y el cambio ideológico, político y social experimentado
durante el siglo pasado los principales factores que im-
pulsaron la aplicación de la evaluación al análisis de
políticas públicas (Osuna y Márquez, 2000: 5).
Así, en el análisis histórico elaborado por George Fuente: Elaboración propia a partir de Stufflebeam y
Manaus y Daniel Stufflebeam, basado en el trabajo Shinkfield, 2005 y Guba y Lincoln, 1989.
realizado por Tyler, que establece cinco períodos bá-
sicos en la evolución de la evaluación, se señala la dé-
cada de los 60, denominada por estos autores la
época del realismo, como el comienzo de la evalua- Para Stufflebeam y Shinkfield, las evaluaciones re-
ción, pero no es hasta la siguiente década cuando alizadas antes de los años 30, denominado por
empieza a hablarse de la evaluación como profesión ellos periodo pre-tyleriano, estaban centradas en
(época del profesionalismo). (Stufflebeam y Shinkfield, valorar el resultado de los programas educativos
2005: 33). en los alumnos a través de la aplicación de test2,
encuestas, acreditaciones3 y comparaciones expe-
Otros dos autores, Guba y Lincoln, clasifican la his- rimentales.
toria de la evaluación en 4 generaciones en función
del paradigma evaluativo predominante. Es la evalua- Bustelo menciona algunos estudios en el siglo XIX
ción de tercera generación, la denominada por ellos y principios del siglo XX, recogidos en la obra de
la del juicio y valoración, la que se corresponde con Weiss, que están en el origen de la evaluación de
esta época de nacimiento de la evaluación como pro- programas. Entre ellos: el realizado en 1833 por el
fesión. (Guba y Lincoln, 1986 y 1989). francés Guerry sobre la influencia de la educación
en la reducción del crimen; el desarrollado por
1 En este sentido, el Acta de la Educación Elemental y Secundaria de 1965 incluía en su artículo I la obligación de realizar eva-
luaciones sobre el logro de los objetivos de los proyectos financiados y sobre la congruencia entre resultados y objetivos, y así
conseguir evidencias científicas para los padres de los alumnos (House, 1993: 17).
2 Algunos autores, como Monnier, consideran la aplicación de los test de inteligencia de Alfred Binet en 1904, como el comienzo
de la sicología experimental y la introducción del experimentalismo como enfoque científico adoptado para la Administración
Pública. (En Osuna y Márquez, 2000: 8).
3 Uno de los principales medios para evaluar actualmente los servicios educativos, la acreditación, comenzó en los últimos
años del siglo pasado en Estados Unidos. (Stufflebeam y Shinkfield, 2005: 33).
ESTUDIOS
147
Depuit, en 1844, sobre la utilidad de las infraestruc- Para los investigadores americanos Guba y Lincoln,
turas públicas; el del americano Cabot en 1912 desde 1930 hasta 1945 aparece la generación de
sobre la calidad de los diagnósticos médicos (com- la descripción. Nace con Ralph Tyler, por lo que
parando los resultados de 3000 autopsias con los también se conoce a este período como la época
diagnósticos previos realizados); y, en 1914, tyleriana (Stufflebeam y Shinkfield). Los evaluadores
Codman intenta evaluar el desempeño de los ciru- describen las fortalezas y debilidades de los pro-
janos a través de la medición del estado de los pa- gramas respecto a una serie de objetivos predeter-
cientes después de dejar el hospital. (Weiss, 1998, minados. A Tyler, al que algunos consideran el
en Bustelo 2001: 73-75). padre de la evaluación, le encargaron dirigir la in-
vestigación del famoso Eight-Year Study (Smith y
En esta época, se equiparaba a la evaluación con la Tyler, 1942)6, en un contexto donde predominaba la
investigación4, entendiéndola como una ciencia so- filosofía pragmatista lanzada por Rooselvet parar
cial; debía ser objetiva y estar desprovista de valores sacar a la economía americana del abismo en el
y los evaluadores investigadores debían aplicar pre- que había caído tras la Gran Depresión7. Introdujo
ferentemente diseños experimentales, considerados un modelo de evaluación basado en la compara-
el mejor método de las ciencias sociales. ción de los resultados obtenidos con los objetivos
preestablecidos. Es el origen de la evaluación cen-
Según el enfoque experimental, la acción pública trada en objetivos.
se considera una ciencia donde es posible realizar
experimentaciones sobre la realidad, contrastando El siguiente periodo, desde 1946 hasta 1957, fue
hipótesis previamente establecidas y determi- el conocido como época de la inocencia.
nando relaciones causales entre las variables pre Stufflebeam y Shinkfield también la llaman la época
viamente definidas (Campbell, Stanley, y Cook de la irresponsabilidad social puesto que según
1966, 1979, 1993)5. ellos existía una amplia complacencia a la hora de
enjuiciar los graves problemas de la sociedad
La evaluación se caracterizaba por la medición. El americana de los años 40 y 50 (fundamentalmente
evaluador es un técnico. Por eso Guba y Lincoln pobreza y racismo); se pensaba que los pro-
clasifican los estudios de evaluación realizados en gramas sociales solucionarían de manera directa
este período como la primera generación de eva- las necesidades existentes.
luaciones, la generación técnica, centrados en pro-
gramas de intervención social en el campo de la Las evaluaciones siguen respondiendo a las gene-
educación y la salud. raciones de la descripción y de la medición. Se re-
4 Muchos han sido los autores que han analizado las principales diferencias entre evaluación e investigación, fundamental-
mente con el objetivo de definir la evaluación como área diferenciada.
5 El modelo experimental parte de la construcción aleatoria de dos grupos de entre la población objetivo de una política o pro-
grama, el grupo experimental al que se le aplica el programa y el grupo control, que no participa en el programa. La cuestión
es determinar si existe una relación que permita atribuir los impactos causados al programa desarrollado. Para ello se toman
mediciones de las variables seleccionadas en ambos grupos antes y después del desarrollo del programa, aislando aquellas
externas que puedan interferir en la evolución de los efectos. Las diferencias existentes entre los grupos permitirán determinar
el éxito del programa y deslindar el efecto neto del programa de los efectos brutos.
6 Este estudio tenía como objetivo examinar la efectividad de ciertos currículos renovadores y estrategias didácticas que se es-
taban empleando en 30 escuelas americanas: 15 progresistas y 15 tradicionales.
7 John Dewey y algunos otros intentaron contribuir a que la educación se convirtiera en un sistema dinámico e innovador, que
a la vez se fuera renovando a sí mismo. Con el nombre de Educación Progresiva, este movimiento reflejó la filosofía del prag-
matismo y empleó los instrumentos de la psicología conductista. (Stufflebeam y Shinkfield, 2005: 34).
ESTUDIOS
148
copilaba información, se describían las actuaciones de decisiones. Ahora la evaluación debía estar re-
públicas, y se medían sus resultados, pero no se lacionada con conceptos como utilidad y rele-
ofrecían recomendaciones para la mejora de los vancia, como puso de manifiesto Cronbach en un
programas. Esta situación tuvo su reflejo, como se- artículo publicado en 19639, poniéndose cada vez
ñalan Stufflebeam y Shinkfield, en la evaluación más énfasis en los procedimientos y la ejecución y
educativa, “los educadores escribían sobre la eva- no sólo en los resultados, criticando así al modelo
luación y sobre la recopilación de los datos más tyleriano por su limitada orientación hacia la mejora
importantes, pero, al parecer, no traducían estos del proceso de toma de decisiones. En Estados
esfuerzos en intentos de mejorar los servicios edu- Unidos, el Nacional Study Committee on Evaluation
cativos”. (Stufflebeam y Shinkfield, 2005: 36). (creado por el Phi Delta Kappa, Comité organizado
para valorar las evaluaciones educativas reali-
La aplicación de la evaluación experimental era la zadas) “concluyó que la evaluación educacional
tónica predominante, y ello a pesar de que el mo- “era víctima de una grave enfermedad” y reco-
delo de evaluación tyleriana, que incluía compara- mendó el desarrollo de nuevas teorías y métodos
ciones internas entre los resultados y los objetivos, de evaluación, así como nuevos programas para
hacía innecesario recurrir a costosas y problemá- preparar a los propios evaluadores”10. (Stufflebeam
ticas comparaciones entre grupos de control y y Shinkfield, 2005: 39).
grupos experimentales (Stufflebeam y Shinkfield,
2005: 34 y 35). Las evaluaciones realizadas en esta época se co-
rresponderían con la generación que los ameri-
La época del realismo, que cubre el período 1958- canos Guba y Lincoln denominan la del juicio y va-
1972. Stufflebeam y Shinkfield ponen de manifiesto loración. Con la evaluación se pretende valorar el
como a partir de la época anterior se empezaron a mérito o valor de los programas. El evaluador es un
demandar evaluaciones de grandes proyectos edu- juez; a la evaluación se le presupone no sólo una
cativos (creados tras el lanzamiento, por parte de función positiva (describir lo que es) sino también
la Unión Soviétca, del Sputnik I en 19578), finan- normativa (establecer cómo debería ser el pro-
ciadas por estamentos federales. grama o política). Empezaron a aparecer, por tanto,
nuevas conceptualizaciones sobre la evaluación.
Ello vino acompañado de un cambio en la metodo-
logía de evaluación, pues se constató que con la La época del profesionalismo, que incluye la evo-
aplicación de los métodos experimentales no se lución experimentada desde 1973 hasta el pre-
estaba dando respuesta a las demandas de los sente. En estos años la evaluación “empezó a cris-
evaluados. Eran muy costosos, pues se trataba de talizar y a emerger como una profesión diferen-
grandes experimentos, y se necesitaba un largo ciada de las demás” (Stufflebeam y Shinkfield,
período de tiempo para que los resultados fueran 2005: 40). Este fue el inicio de la evaluación “como
visibles, tanto que no eran operativos para la toma industria” y como profesión (Rossi y Freeman,
8 El lanzamiento del satélite ruso fue interpretado por los americanos como un fracaso de su sistema de educación, por lo que
pusieron en marcha numerosos programas educativos e instrumentos para su evaluación. (Monnier 1995, en Díez, 2001: 126).
9 En el marco de la evaluación de los currículos educativos, “Cronbach recomendó a los evaluadores que reconceptualizan la
evaluación no como si se tratara de una carrera de caballos entre programas competidores, sino como un proceso consistente
en recoger y formalizar información que pueda ayudar a quienes elaboran los currículos”. Cronbach, L.J. 1963. Course impro-
vement through evaluation. Teachers Collage Record, 64: 672-683, en Stufflebeam y Shinkfield, 2005: 37 y 38.
10 Las comillas están en el original.
ESTUDIOS
149
1993). Antes, “la evaluación era una actividad uso se generalizó en la década de los 70 a la mayor
menor” (House, 1993: 15). “De manera progresiva, parte de las agencias federales americanas. La in-
la evaluación se iba perfilando como una disciplina troducción de esta forma de planificación y presu-
social con entidad y cuerpo teórico propio, prós- puestación también se produjo en otros países in-
pera, floreciente y en continua expansión”. (Díez, dustrializados: Public Expenditure Survey (PES) en
2001: 121). Reino Unido, Racionalización de la Elección
Presupuestaria (RCB) en Francia, el Presupuesto
Ernest R. House considera que la evaluación es por Programas en España, o sus equivalentes en
uno de los desarrollos de las sociedades capita- Alemania y en los Países Bajos. (Díez, 2001: 120 y
listas avanzadas, un intento de buscar una nueva Osuna y Márquez, 2000: 3).
autoridad, la de la ciencia y la investigación social,
para legitimar e informar las acciones del gobierno Esta utilización creciente de la evaluación se vio fa-
en las sociedades en las que las instituciones tra- vorecida por la creación de instituciones del tipo de
dicionales han perdido su poder legitimador como la General Accounting Office (1921) en Estados
consecuencia del avance del capitalismo. La eva- Unidos, y de la Audit Comisión o la National Audit
luación es una nueva forma de “autoridad cultural” Office (1988) en el Reino Unido. En la Guía para la
que respalda la toma de decisiones públicas. Esta evaluación de políticas públicas (Osuna et al. 2000)
es la razón que explica, para este investigador, el también señalábamos como catalizadores la puesta
surgimiento de la evaluación en los países capita- en marcha de iniciativas encaminadas a modificar
listas más avanzados, como institución, como dis- los procesos internos y estructuras organizativas de
ciplina y como profesión, hecho que no ocurre las agencias públicas en aras a desarrollar en ellas
hasta pasada la mitad del siglo XX, aunque la eva- la capacidad necesaria para la evaluación de polí-
luación existía antes de diversa forma. (House, ticas. Entre ellas la Efificiency Strategy (1979) y la
1993: 12, 17 y 18). Así, la evaluación es una nueva Financial Management Initiative en el Reino Unido;
profesión, que opera en las sociedades altamente la creación del Comité Interministerial de la
profesionalizadas. Evaluación (CIME) y el Fondo Nacional para el
Desarrollo de la Evaluación (FNDE) en Francia.
Vedung coincide en este planteamiento. Para él, “la
evaluación de programas es una incorporación re- Por tanto, las distintas propuestas de reforma de
ciente a una cadena de intentos por parte de los las Administraciones Públicas, como proceso de
gobernantes de utilizar el poder mental de acadé- cambio institucional, han extendido el uso de la
micos y científicos para promover los intereses del evaluación, favoreciendo el desarrollo de procedi-
Estado” (Vedung, 1997:17). mientos, formas organizativas y culturales más fle-
xibles, para conseguir actuaciones públicas más
Uno de los factores que impulsaron el crecimiento eficaces y eficientes en procesos de mayor trans-
de la aplicación de la evaluación fue la adopción de parencia democrática. (Osuna y Márquez, 2000: 6).
sistemas de presupuestación acordes con la plani-
ficación. Este fue el caso de la utilización, por el Tras su generalización en Estados Unidos, el uso de
Departamento de Defensa, del Sistema la evaluación se extiende a Canadá, y posteriormente
Presupuestario y Gestión por Programas (PPBS: al resto del mundo: Inglaterra, norte de Europa,
Programing, Planning and Budgeting System), cuyo Australia, España y países latinos, Latinoamérica y
11 En España, al igual que en el resto de países de la Unión Europea, se observa en la última década, un incremento en el nú-
mero de evaluaciones motivada, fundamentalmente, por la obligación reglamentaria de realizar evaluaciones de los programas
ESTUDIOS
150
Asia11. Ahora bien, el desarrollo de la evaluación desde donde eficiencia, eficacia y transparencia se con-
la época del profesionalismo no ha sido constante. vierten en sus expresiones más inequívocas (Román,
Hay algunos investigadores que consideran que los 1999). Ello, unido al interés creciente de las
años que van desde 1975 a 1985 podrían clasificarse Administraciones por involucrar, al menos en el diseño
como un periodo de crisis de la evaluación (Peters, de sus actuaciones, al beneficiario último de los ser-
1998 y Díez, 2000, entre otros). La generalización del vicios que prestan, y a la obligación de informar al ciu-
Estado del Bienestar, con la consiguiente aparición de dadano del uso que se hace de sus aportaciones al
fuertes déficits públicos por el incremento del gasto, Estado en forma de impuestos12, hace que la legitima-
intensificó el debate sobre el empleo de los recursos ción de la intervención pública pase ineludiblemente
públicos y sus resultados. Las limitaciones presupues- por garantizar la transparencia en la gestión y ejecu-
tarias provocaron una reducción en la financiación de ción de sus actuaciones. Se trata de una nueva forma
programas públicos y consecuentemente del número de hacer política. (Román, 2007).
de evaluaciones demandadas, y las que se encar-
gaban tenían objetivos e intereses diferentes: valorar Se volvió de nuevo, como se verá en el epígrafe si-
la eficiencia y reducir el gasto público. La preocupa- guiente, a considerar la función normativa de la evalua-
ción principal de los gestores públicos era el recorte ción, a no despreciar los juicios de valor y a la búsqueda
presupuestario y no la mejora de los programas del diálogo entre los implicados en los programas para
(Viñas, 2005 y Díez, 2001: 121), lo que influyó en los valorar la puesta en marcha y los resultados de las po-
diseños evaluativos, más centrados en ofrecer resul- líticas públicas, dando como resultado una nueva gene-
tados sobre la idoneidad de dar continuidad o no a los ración de evaluaciones, las de la cuarta generación,
programas (evaluaciones sumativas) que en proponer como las denominan Guba y Lincoln.
recomendaciones para su reformulación (evalua-
ciones formativas). En la actualidad no cabe duda de que la evaluación
se ha configurado como una profesión, como docu-
Tras este período de “crisis” en la evaluación, la cons- mentamos en otro artículo donde se analizan los indi-
tante preocupación por determinar cuál debe ser el cadores que desde el lado de la oferta y desde el de
papel del sector público en la sociedad ha intensifi- la demanda ponen de manifiesto la progresiva confi-
cado el debate sobre el empleo de los recursos pú- guración de un mercado evaluativo donde se constata
blicos y sus resultados. La cuestión no es ya si el la creciente profesionalización de la evaluación y su
Estado debe o no intervenir, sino cómo. Algunos au- configuración como disciplina diferenciada de otras.
tores abogan por una nueva intervención del Estado, (Vélez, 2006).
cofinanciados con Fondos estructurales. Tras esta obligación reglamentaria se encuentra la preocupación lógica de los países
más desarrollados, que transfieren rentas a los menos desarrollados, por conocer los resultados que se consiguen. Es al calor
de esta imposición donde empiezan a aparecer evaluaciones de programas en regiones como la andaluza, región Objetivo nº
1 que ha recibido uno de los mayores porcentajes de recursos de los Fondos estructurales. (Vélez, 2000). Así, la implantación
de este campo de investigación es relativamente reciente y además no está lo suficientemente extendido en la práctica de la
gestión pública.
12 Para mayor profundización en esta idea del ciudadano como cliente de la Administración véase Richards S. (1994). El pa-
radigma de cliente en la gestión pública en Gestión y Análisis de Políticas Públicas nº 1, pág. 5 a16 y, también en Gestión y
Análisis de Políticas Públicas Brugué Q., Amorós M. Y Gomá R (1994). La Administración Pública y sus clientes ¿Moda organi-
zativa u opción ideológica? En Gestión y Análisis de Políticas Públicas, nº 1. Pág. 33 a 46, sobre la clientelización de las rela-
ciones entre la Administración y sus administrados. Sobre la evaluación y el concepto de usuario de los servicios públicos véase
Jenkins B. Y Gray A. (1994) Evaluación y el usuario: la experiencia de Reino Unido, en Gestión y Análisis de Políticas Públicas,
nº 1. Pág.47-57.
ESTUDIOS
151
2 EL CAMBIO DE PARADIGMA: DE LA CON- ximaciones cualitativas para entender de manera induc-

FRONTACIÓN A LA COMPLEMENTARIEDAD tiva y holística el comportamiento humano (la realidad)
en un contexto específico. (Patton, 1990: 35 y ss).
Como se ha esbozado en el epígrafe anterior, desde los
orígenes de la evaluación hasta la actualidad se ha pro- En el campo de las ciencias sociales Ormerod pone
ducido un cambio de enfoque que, en consonancia con de manifiesto en su conocida obra de 1994, Por una
lo acontecido en el campo de las ciencias sociales, se nueva economía, cómo, desde finales del siglo XIX, se
ha caracterizado por el paso del positivismo, como pen- deseaba incrementar la utilización de la precisión ma-
samiento científico dominante, al constructivismo, lo temática, especialmente en las ciencias económicas,
que ha afectado al contenido de la evaluación, a sus para así equipararlas en status y prestigio a las cien-
fines y a los métodos y técnicas. Así, se puede esta- cias físicas, todo ello desde una perspectiva mecani-
blecer una correlación entre el cambio de paradigma en cista del mundo, perspectiva que como afirma
las ciencias sociales y la evolución de los enfoques se- Ormerod, es cada vez menos relevante y se de-
guidos en evaluación en la que ha influido el perfeccio- muestra menos creíble (Ormerod, 1995: 21)14.
namiento de las técnicas de investigación social y su
empleo en el estudio de los problemas sociales, lo que Parece que, impregnados del mismo deseo de los
ha generado un desarrollo de la teoría de la evaluación economistas, los evaluadores han intentando au-
producto de aproximaciones realizadas desde distintas mentar la precisión matemática de sus evaluaciones
ópticas con distintos objetivos. equiparándolas a investigaciones. De hecho, algunos
de los esfuerzos por configurar a la evaluación como
Las diferentes aproximaciones realizadas en el campo una disciplina seria e independiente han basado sus
de la evaluación han sido asimiladas por la mayoría argumentos contra esta premisa. En definitiva, al igual
de los teóricos como cambio de paradigma en el sen- que en las ciencias sociales, en la teoría de evaluación
tido Kunhiano, es decir, un cambio de enfoque, una podemos encontrarnos con dos grandes paradigmas:
manera diferente de entender la realidad y de plantear el positivista o hipotético deductivo, y el constructivista
la evaluación13. o hipotético inductivo.
Los filósofos de la ciencia se han esforzado durante

años en un largo debate epistemológico sobre qué es
ciencia y sobre cómo conducir mejor una investigación, EL PARADIGMA POSITIVISTA
enfrentando fundamentalmente dos paradigmas: el po-
sitivista, que usa enfoques cuantitativos y experimen- El positivismo, paradigma predominante en las cien-
tales para contrastar generalizaciones utilizando para cias sociales durante los años 50 y 60, ha impregnado
ello el método hipotético-deductivo, y el constructivista el carácter y concepción de las primeras evaluaciones,
basado en la indagación fenomenológica, usando apro- que eran concebidas como investigaciones evalua-
13 Para Kuhn un paradigma es una especie de amalgama de teoría y método que conjuntamente aporta algo que se asemeja
casi a una visión del mundo, aportando una perspectiva general, una manera de descomponer la complejidad del mundo real.
Es decir, son constructos teóricos que determinan que lo que es legítimo, importante y razonable, orientando las acciones en
la práctica sin necesidad de plantear cuestiones epistemológicas esenciales. Esa es su principal ventaja, pues hace posible la
práctica, y también su principal inconveniente, pues la razón principal de la acción (de la investigación o de la evaluación) se
convierte en incuestionable, quedando escondida por las asunciones del paradigma (Patton, 1990: 37).
14 Según el enfoque mecanicista cartesiano, el mundo se ve como una máquina, aunque complicada, pero cuyo funciona-
miento puede comprenderse desmontando y volviendo a unir sus piezas, a modo de la máquina construida en 1950 por Bill
Phillips, guardada en la London School of Economics, para enseñar a los estudiantes el funcionamiento de la economía. Un
sistema se entiende desde este enfoque como la suma de las partes que lo integran. (Ormerod, 1995: 55-56).
ESTUDIOS
152
tivas basadas en un modelo racional de consecución más fundamentales de toda la estructura teórica del
de los objetivos de los planes y políticas públicos. paradigma. Esta crisis se resuelve con la adopción de
una nueva teoría o paradigma hasta que se alcance
El positivista utiliza la metodología convencional ba- uno que pueda generalizarse. Este es el proceso ite-
sada en el descubrimiento y la verificación; es decir, rativo de prueba y error, al que Kunh denomina revo-
parte de una primera fase en la que emergen las hi- lución científica, que da lugar a una nueva teoría16.
pótesis, etapa más creativa del proceso, donde se es-
tablece la teoría que luego será probada (corroborada En definitiva, los positivistas son defensores de aplicar
o refutada) a través de la observación, utilizando para el método deductivo para conocer las leyes de causa-
ello diferentes métodos (fundamentalmente estadís- efecto que se dan en la realidad, aislando las varia-
ticos), para, a partir de la deducción, formular leyes de bles que pueden interferir en la verificación empírica
causa-efecto de aplicación generalizada. de las hipótesis de partida para alcanzar así una te-
oría generalizable, que en el caso de la evaluación
Si el conocimiento que se produce no se corresponde sería la teoría del programa, actuando para ello de la
con la realidad, es decir, si los resultados refutan las manera más neutral posible presuponiendo con ello
hipótesis de partida, se puede recurrir a un nuevo es- lograr una mayor objetividad.
tudio, y así sucesivamente hasta que la teoría se pa-
rezca a la realidad. Así, puede ocurrir que, durante lo Por una parte, desde el paradigma positivista, la inves-
que Kunh denomina período de ciencia normal, en el tigación se debe llevar a cabo bajo condiciones contro-
que la investigación se lleva a cabo de acuerdo con el ladas, por lo que es necesario despreciar las variables
modelo elaborado, los datos pongan de manifiesto del contexto para aislar las que pueden interferir en el
que la teoría más apropiada es justamente la contraria análisis de las causas y efectos que quieren demos-
a la de partida, lo que podría interpretarse como resul- trarse y no minar el objeto de estudio. Con ello se crean
tados anómalos o inesperados15. Estas anomalías o condiciones similares a las de un laboratorio, logrando
bien se obvian durante un determinado período de aumentar la validez interna de la investigación, pero a
tiempo o bien se tratan mediante el uso de hipótesis costa de la validez externa, esto es, limitando las posi-
ad-hoc. Es aquí donde radica una de las principales bilidades de generalización de los resultados. Esta re-
limitaciones del método, en centrar el estudio sólo en lación inversa entre validez interna y externa suele ser
las variables que pueden refutar o validar una teoría común en la aplicación del paradigma positivista.
de partida.
Por otra parte, otra de las premisas del paradigma po-
Pero cuado existe un número suficiente de anomalías sitivista es la necesaria objetividad de la investigación,
se da lo que se conoce con el nombre de “crisis de que debe llevarse a cabo libre de valores, por lo que
paradigma” en el sentido Kunhiano, que hace cues- las interferencias entre el evaluador y el evaluado
tionar las técnicas básicas usadas y las suposiciones deben ser mínimas.
15 Se presume que el paradigma adoptado es correcto y apropiado, y las partes de la naturaleza que no encajan satisfacto-
riamente son simplemente ignoradas. La función general de un científico durante el período de ciencia normal se convierte en
“resolución de rompecabezas”. Los resultados obtenidos pueden ser más o menos anticipados, así los problemas se con-
vierten en rompecabezas debido a que poseen soluciones garantizadas, aseguradas por la propia potencia del paradigma,
que aporta reglas apropiadas para la resolución de la investigación con éxito. Este estado lleva a progresos rápidos en la in-
vestigación. (Blaug, 1985).
16 Así, para Kunh la historia de la ciencia está señalada por una serie de discontinuidades importantes, muy diferente a un pro-
ceso de desarrollo continuado acumulativo como los inductistas pensaban.
ESTUDIOS
153
La aplicación de este paradigma en evaluación parte EL PARADIGMA ALTERNATIVO: CONSTRUCTIVISTA

de la base de considerar la política pública como ob-
jeto de investigación social, que puede ser sometido El fracaso en los procedimientos racionalistas o positi-
a un proceso de experimentación continua (Díez, vistas, que consideraban la política como una ciencia,
2001: 118, 123 y ss.). Se parte del convencimiento de para ofrecer resultados evaluativos útiles a los respon-
que sólo mediante el uso de este método científico se sables políticos hace que empiece a perderse confianza
pueden obtener evidencias que permitian resolver los en la ciencia para solucionar los problemas sociales.
problemas sociales y mejorar los programas. Empezaron a surgir “nuevas demandas” de evaluación,
nuevos requerimientos que estaban relacionados con
Sin embargo, esta postura positivista, defensora de un la mejora de los programas durante su ejecución.
modelo científico-neutral, es más propia de la investiga-
ción que de la evaluación. De hecho, algunos autores Esta desconfianza en la utilidad de las evaluaciones
han identificado la utilización del método científico expe- realizadas desde el prisma del positivismo dio lugar,
rimental como una de las claves en la diferencia entre por tanto, a la aparición de nuevos enfoques evalua-
evaluación e investigación evaluativa. Para los que de- tivos más centrados en los procesos y en el fomento
fienden la utilización de los métodos experimentales en de la participación en la evaluación de los implicados
evaluación, ésta es la única forma de ofrecer evidencias en las políticas (los stakeholders, según la termino-
fundadas sobre lo que está ocurriendo con un pro- logía anglosajona), en el marco de lo que se ha venido
grama; los evaluadores no son más que investigadores a denominar un nuevo paradigma en evaluación.
que deben aplicar un método riguroso a un problema
práctico. Identifican la calidad de las evaluaciones con Surge entonces lo que Guba y Lincoln denominan eva-
la aplicación de técnicas cuantitativas. luación de cuarta generación, la evaluación sensible y
constructivista. En esta generación se toma como
Entre los defensores de estos métodos se encuentran, punto de partida las preocupaciones, cuestiones y opi-
entre otros, Suchman, Campbell y Stanley. En la ac- niones de los diferentes actores que pueden verse
tualidad son varias las asociaciones que defienden afectados por la evaluación, reconociéndose la plura-
esta postura. Entre ellas la Cochrane Collaboration lidad de valores e intereses coexistentes en la sociedad
(www.cochrane.org) y la Campbell Collaboration y su relevancia en la determinación de los propósitos
(www.campbellcollaboration.org). Son organizaciones de la evaluación, donde los parámetros de referencia
internacionales independientes, sin ánimo de lucro, para la emisión de juicios de valor deben ser determi-
dedicadas al análisis de los efectos de las políticas so- nados a través de un procedimiento de diálogo con
ciales, en el campo de la sanidad la primera (cuyo todos los implicados en un programa o política.
nombre hace alusión al epidemiólogo inglés Archie
Cochrane) y en el campo de la educación, bienestar Fueron estos autores los que empezaron a hablar de
social, crimen y justicia la segunda. este nuevo paradigma en evaluación, al que denomi-
naron en primera instancia naturalista, por defender
En España uno de los grupos más activos en este la realización de las evaluaciones en un entorno na-
campo es el de Meta-análisis de la Universidad de tural, en el que no hay cabida para la manipulación,
Murcia (www.um.es/facpsi/metaanalysis), en cuyo sitio aunque pasaron a llamarlo constructivista, aludiendo,
web reconocen que para realizar un meta-análisis se entre otras razones, al paralelismo realizado por al-
requiere la aplicación de los mismos estándares de gunos autores entre evaluación naturalista y evalua-
rigor científico demandados en el desarrollo de estu- ción cualitativa, fundamentalmente los que partici-
dios de investigación empíricos, así como el uso de paron en el libro Naturalistic Evaluation editado por
métodos estadísticos especiales. Fetterman, que entienden que el concepto de evalua-
ESTUDIOS
154
ción naturalista es un término genérico que engloba miento como construcciones mentales que pueden
distintos tipos de evaluaciones cualitativas. (Guba y ser discutidas, negociadas, puestas en común, refor-
Lincoln, 1989: 178 y ss.). Sin embargo, muchos inves- muladas y priorizadas, usando lo que Guba y Lincoln
tigadores siguen empleando el término naturalista llaman dialéctica hermenéutica para interpretar los he-
para hacer referencia a las corrientes pluralistas-cua- chos desde la perspectiva de los actores, verdaderos
litativistas. (García, 2003: 27). protagonistas de la realidad.
Para Guba y Linconln, el constructivismo no es simple- Esta dialéctica hermenéutica parte de un proceso cí-
mente una reacción al paradigma positivista, no es una clico de interacción entre los diferentes implicados en
postura reactiva sino preactiva, que parte de sus pro- una evaluación, entre los diferentes constructos, hasta
pias asunciones (Guba y Lincoln 1989: 173), y no sólo que se llega a un acuerdo. La información a recopilar
de carácter metodológico, sino lo que es más impor- se va perfilando en un proceso continuo, buscando el
tante, asunciones diferentes epistemológicas y ontoló- consenso para construir sistemáticamente el análisis
gicas. Por ello, Guba y Lincoln diferencian el debate de los datos. Por ello, cuando se aplica este para-
entre paradigmas y entre métodos, técnicas y herra- digma la muestra de observaciones a realizar no se
mientas a utilizar, puesto que consideran que centrar elige exclusivamente por su representatividad a
la discusión en estos elementos es perder el reto real efectos estadísticos, sino buscando un amplio alcance
que supone el nuevo paradigma. Desde el punto de de fuentes de información, de grupos de interés, en
vista ontológico supone una manera diferente de en- definitiva, de diferentes constructos mentales.
tender la realidad. Frente a la postura convencional,
que considera que existe una única realidad, objetiva, Los constructivistas no parten de una teoría preesta-
que opera de acuerdo a leyes predeterminadas de blecida, ni de unas hipótesis de partida o preguntas
causa-efecto, el paradigma constructivista parte de la predeterminadas. Por el contrario, defienden su formu-
existencia de múltiples realidades no gobernadas por lación contando con los implicados en el programa.
leyes causales predeterminadas, con lo que para Además, los resultados de la evaluación, según este
aprehenderla es necesario conocer las diferentes vi- paradigma, se plasman en un informe de caso, donde
siones que de ella se tiene. Desde el punto de vista las conclusiones y recomendaciones emergen de los
epistemológico el nuevo paradigma ofrece una forma agentes clave, es decir, no son sólo las conclusiones
diferente de relación entre el conocedor y el conoci- del evaluador o evaluadora.
miento, entre el evaluador y la realidad, frente al para-
digma positivista donde son entidades independientes Frente a la postura positivista, la aplicación del para-
(Guba y Lincoln 1989: 83-90). digma constructivista posibilita el examen de la
realidad considerada desde diversas perspectivas,
En la base de este nuevo paradigma se encuentra la siendo la diferencia fundamental la preocupación por
importancia de reconocer qué es lo que los partici- analizar los procesos de aplicación de las políticas
pantes en un programa o política consideran rele- públicas y no exclusivamente sus resultados 17.
vante, y la necesidad de fomentar el intercambio de Además, para los defensores de este paradigma el
opiniones, valores y experiencias entre ellos a través análisis del contexto en el que se forman los cons-
de la utilización de métodos participativos. tructos mentales es fundamental, puesto que el con-
texto influye en el evaluando así como el evaluando
Así, el paradigma constructivista se basa en el reco- influye en el contexto, analizando la política desde un
nocimiento de las realidades sociales y del comporta- posicionamiento sistémico.
17 Bustelo señala las diferencias entre este paradigma y el postpositivista, paradigma que asume que la realidad no puede ser
totalmente comprendida, que no existe una única ley de causa-efecto, sino una multiplicidad de causas y efectos, y que es crí-
tico con el experimentalismo, enfatizando los enfoques cualitativos, la teoría y el descubrimiento. (Bustelo, 2001).
ESTUDIOS
155
Este paradigma es más acorde con la evaluación, medición del resultado, es decir, el grado en que las
puesto que la concibe como un proceso dinámico que categorías predeterminadas o variables son usadas
parte de la posibilidad de que exista un cambio de di- para descubrir el fenómeno estudiado. En el para-
rección en los programas, es decir, se entiende que los digma constructivista no se restringe los resultados
programas públicos pueden y deben, cambiar en fun- de la investigación a lo que debe ser y no se obvia
ción de la evolución de la complejidad de la realidad la influencia de factores externos donde sólo un con-
en la que el programa actúa y pretende modificar. junto limitado de variables son mensurables.
A modo de corolario, podemos resumir las principales El método experimental, propio del paradigma po-
diferencias entre ambos paradigmas en los siguientes sitivista, es más adecuado para valorar los efectos
elementos: causales de un programa en sus beneficiarios, y así
poder valorar la inferencia causal de una acción. El
En el paradigma positivista el descubrimiento y la paradigma constructivista es más adecuado para
verificación son procesos separados, uno se centra capturar procesos y explorar las diferencias indivi-
en la formulación de la teoría, el otro en la observa- duales y los efectos sobre variables externas.
ción. En el paradigma constructivista, por el con-
trario, son procesos inseparables, sinérgicos (Guba Ahora bien, aunque hay una tendencia natural a elegir
y Lincoln, 1989: 166). datos cuantitativos en el paradigma positivista frente
a información de carácter cualitativo en el paradigma
El método inductivo, al contrario que el método hi- alternativo, la elección de un paradigma u otro no está
potético deductivo, no necesita del establecimiento relacionado con los datos e informaciones a recabar.
predeterminado de las variables principales ni de la
definición de hipótesis previas a la recolección de Por otra parte, los paradigmas hacen referencia a la
datos. Los constructivistas parten sin explicitar a forma de entender el mundo y no a las técnicas
priori ninguna formulación teórica, con lo que no se usadas. La aplicación de una u otra técnica no implica
trabaja con la finalidad de verificar las proposi- la adopción de un determinado paradigma. Las
ciones iniciales. Se trata de conocimiento tácito, mismas técnicas pueden ser usadas por positivistas y
que no se explicita, un tipo de conocimiento que es constructivistas, la diferencia radica en el objetivo para
despreciado por los positivistas por su subjetividad. el que se utilizan y la forma de usarlas, con lo que no
En palabras de Guba y Lincoln “los positivistas em- puede encuadrase a un evaluador en un determinado
piezan sabiendo lo que no saben frente a los cons- paradigma sólo por las técnicas que utiliza18. Por tanto,
tructivistas que enfrentan la evaluación obviando lo la diferencia entre paradigmas no radica en la meto-
que saben” (Guba y Lincoln, 1989: 175). dología, aunque lo cierto es que la elección de téc-
nicas cualitativas parece más adecuada para la explo-
El positivismo trata de interpretar los datos sin más, ración, el descubrimiento y la utilización de la lógica
como realidades; el contrustivista parte de la base inductiva (pues se parte de la observación de un fenó-
de constructos mentales que pueden ser discutidos meno específico a la construcción de tendencias ge-
y negociados. nerales) que las técnicas cuantitativas.
Frente al positivismo, el paradigma constructivista En cualquier caso, no hay que obviar que uno de los
minimiza el nivel de manipulación del fenómeno para motivos de peso en la elección de métodos y técnicas
su análisis y reduce el nivel de restricción sobre la suele ser, desafortunadamente, los hábitos y las cos-
18 Guba y Lincoln utilizan el ejemplo del martillo, herramienta que puede ser usada por un fontanero, carpintero o electricista,
de modo que no puede enjuiciarse la profesión de una persona sólo por utilizar un martillo.
ESTUDIOS
156
tumbres. Como apunta Patton, la rutina y la ceguera ferente único ha desembocado en una pluralidad me-
paradigmática constriñen la flexibilidad metodológica todológica. Así, en la práctica, el evaluador aplica pers-
y la creatividad del evaluador. Algunos evaluadores pectivas y procedimientos de distintos marcos para-
tienden a elegir, por comodidad, las técnicas que digmáticos. (García García, 2003: 303 y ss).
saben usar, o aquellas que más estatus científico
pueden aportar (sobre todo aquellos más preocu-
pados por su carrera académica que por la mejora de
la acción de los poderes públicos), independiente- 3 EVOLUCIÓN DEL DISEÑO DE LAS
mente de su adecuación al contexto evaluativo. Es la EVALUACIONES
formación, más que la experiencia, el factor que más
influye en las posturas a favor o en contra de determi- Este cambio de paradigma en evaluación ha dado
nadas aproximaciones (Patton, 1990: 38). lugar, como no podía ser de otra manera, a una evo-
lución en el diseño de las evaluaciones (esquemati-
Por esta razón, este autor prefiere hablar del para- zado en la Figura 2), que se ha concretado en el paso
digma de la elección, haciendo referencia a la selec- de la función sumativa a la búsqueda de una finalidad
ción de los métodos más adecuados en cada evalua- formativa en el desarrollo de las evaluaciones; en el
ción (Patton, 1990: 39). Este autor defiende la ade- predominio de la evaluación centrada en objetivos a
cuación metodológica al contexto y situación una libre de objetivos; de la indiferencia de los ele-
evaluativo frente a la ortodoxia como primer criterio mentos del contexto político a la inclusión de los va-
para valorar la calidad metodológica de una evalua- lores y de los elementos institucionales como factores
ción y aboga por el diseño de diferentes estrategias clave en el diseño y desarrollo evaluativo; en la con-
de evaluación más que por la elección entre diversos cienciación de la importancia de las opiniones de los
paradigmas evaluativos. actores clave implicados en las políticas y programas
para emitir juicios de valor sobre lo evaluado; y en la
No podemos afirmar que el constructivismo haya su- tendencia hacia la realización de evaluaciones inte-
perado definitivamente al positivismo como paradigma grales, con una visión holística de la política, en vez
predominante en evaluación, sino que coexisten como de evaluaciones parciales de un programa. Para ello
opciones teóricas, y al igual que ocurre en otros se utiliza criterios y cuestiones de evaluación que am-
campos de las ciencias sociales, la ausencia de un re- plían la visión tradicional del control de resultados.
Figura 2. Cambio de paradigma en la evaluación
Evaluación sumativa Evaluación formativa
Centrada en objetivos explícitos Libre de objetivos
Evaluación ajena al proceso político Evaluación inmersa en el proceso político (no es ajena
(ajena a los valores) a los valores)
Los implicados como agentes informantes Los implicados como protagonistas: evaluación
participativa
Evaluaciones parciales Evaluaciones integrales y holísticas
ESTUDIOS
157
Si bien las primeras evaluaciones respondían a una participativos, donde los implicados pasan de ser
motivación reglamentaria, promovida por los financia- agentes informantes a protagonistas de la evaluación.
dores de los programas, en muchos países, como en Y ello por varios motivos:
el caso de España, se viene observando en los últimos
años un cambio de tendencia hacia la demanda de Porque los programas se ejecutan en un contexto
evaluaciones por motivaciones más relacionadas con donde existen múltiples grupos de interés con de-
el aprendizaje que con la rendición de cuentas a ins- mandas de información diferentes y, por tanto, pro-
tancia de parte. pósitos y cuestiones distintas para la evaluación.
Ello ha provocado que la función de la evaluación Porque este enfoque fomenta y facilita la demo-
haya basculado desde la vertiente sumativa a la for- cracia, sentando las bases para la cooperación y el
mativa. La primera tiene como objetivo fundamental consenso sobre el programa y sobre lo que debe
ofrecer conclusiones sobre la oportunidad de conti- ser evaluado.
nuar o suspender un programa y se suele llevar a
cabo una éste ha concluido. La evaluación formativa Porque confiere legitimidad y abre el proceso de
tiene por objetivo proporcionar información para me- elaboración de políticas públicas, fomentando así
jorar el objeto evaluado y se suele realizar antes de los procesos de gobernanza.
poner en marcha el programa o durante su desarrollo.
Es una evaluación orientada hacia el aprendizaje ins- Porque forma a los implicados, que aprenden del
titucional, utilizando la información para generar cono- programa y de los procesos de evaluación: aumen-
cimiento que sirva al equipo técnico encargado de tando las capacidades institucionales y fomentando
gestionar e implantar los programas y políticas para la apropiación del proceso de evaluación y sus re-
mejorar el proceso de toma de decisiones. Además, sultados.
fomenta la utilización de la evaluación por las institu-
ciones, que no la perciben como un simple control Según algunos autores, son evaluaciones para el em-
final de resultados sino como un proceso más com- poderamiento. Entre ellos, Fetterman, Kaftarian y
pleto de análisis de una realidad más compleja que Wandersman, (1996) proponen un modelo de “autoe-
pretende ayudarles a ser mejores (Patton, 1997). valuación” donde el evaluador actúa como árbitro o fa-
cilitador y donde juegan un importante papel los pro-
Se busca con la evaluación permitir a los responsa- fesionales de base de los programas y políticas (los
bles de la puesta en marcha de las actuaciones pú- técnicos de nivel medio): la evaluación queda así en
blicas incorporar las lecciones de la experiencia en su manos del personal del programa. Se trata de una eva-
quehacer diario, contribuyendo de este modo a me- luación participativa limitada, en el sentido de no contar
jorar la elaboración de estrategias regionales de des- con otros actores clave relacionados con el evaluando
arrollo. Así, la evaluación no sólo es importante por la y que deben ser considerados en evaluación. Otro de
información que suministra a todos aquellos intere- los defensores de la aplicación de este tipo de enfo-
sados en conocer los resultados de la política, sino ques es Cronbach, quien propugnaba la necesidad de
por su efecto de retroalimentación en el proceso de trabajar conjuntamente con los responsables del di-
elaboración de políticas públicas, donde sus conclu- seño, gestión y ejecución de los programas.
siones y recomendaciones sirven de base para plani-
ficaciones futuras. (Vélez, 2000). Otros enfoques acordes con esta visión participativa de
la evaluación, encuadrados bajo la denominación de
Así, en coherencia con esta función sumativa de la evaluaciones pluralistas han perseguido conseguir una
evaluación, la tendencia en la realización de evalua- mayor participación, reducir el poder de negociación de
ciones ha sido la de priorizar la utilización de enfoques los que encargan la evaluación (Monnier, 1995). Tienen
ESTUDIOS
158
en común el reconocimiento de una pluralidad del sis- perimentado (pertinencia en la ejecución). Este posi-
tema de valores en la sociedad y defienden que la uti- cionamiento amplía la utilidad de la evaluación, al con-
lidad de la evaluación radica en la credibilidad y legiti- siderar la dimensión dinámica de los programas.
midad política del proceso de evaluación por parte de
los actores críticos más que en la metodología y rigor Ello no implica que los objetivos marcados en las po-
técnico (legitimidad científico-técnica). líticas o planes dejen de importar. Todo lo contrario; la
cuestión está en no dejar de lado ningún efecto, cola-
Este cambio de postura, junto con las limitaciones en teral, inducido, no deseado o no previsto, que pueda
la formulación y diseño de las políticas, planes y pro- producirse, y en considerar todas las necesidades de
gramas, hace que los parámetros de referencia para información de los implicados en las políticas. La apli-
la evaluación cambien. Como se ha comentado ante- cación de este enfoque no centrado en objetivos y ba-
riormente, la contrastación del cumplimiento de los sado en la teoría del programa ha venido impulsado,
objetivos explícitos, siguiendo un enfoque tyleriano, ha además, por la tendencia actual a diseñar y aplicar
sido desde siempre la hipótesis de partida del trabajo programas complejos cuya evaluación sólo puede lle-
de evaluación. Este modelo parte de la existencia de varse a cabo utilizando un marco teórico de referencia
objetivos claros y medibles en la política o programa acorde con la perspectiva sistémica de la realidad.
a evaluar; objetivos de referencia que permitirán con-
cretar y delimitar los cambios buscados, siendo su co- Evidenciamos así un cambio de enfoque, de la evalua-
nocimiento lo que orienta la elección de las variables ción centrada en objetivos (como postulaba Tyler) a la
dependientes de análisis y los criterios a utilizar. Este evaluación libre de objetivos (como defendía Scriven,
tipo de evaluación se asocia normalmente con el en- que proponía tomar como referencia para la evaluación
foque hipotético-deductivo. las necesidades fundamentales detectadas) pero ba-
sada en la teoría de la política o del programa, como
Sin embargo, la escasa calidad en la definición de los ya mencionaba Weiss a principios de la década de los
objetivos de las intervenciones públicas, unido a la ne- 70. Esta investigadora habla de las “teorías de cambio”
cesidad de analizar no sólo los efectos previstos y de un programa, teorías que incluyen la “teoría del pro-
mencionados, hace que se defienda el establecimiento grama” y la “teoría de la implementación”. La teoría del
más amplio de los parámetros de referencia para la programa hace referencia a las hipótesis que median
emisión de juicios de valor a través de un proceso de entre la realización de una actividad y la aparición de
diálogo con todos los implicados en la política y que los resultados. Se trata de evaluar las relaciones causa-
no se centre la evaluación exclusivamente en los obje- efecto establecidas previamente en el diseño del pro-
tivos predefinidos. Como subraya Vedung, los obje- grama. La evaluación siguiendo la teoría de valorar la
tivos de un programa no son los únicos criterios de implementación hace referencia a la forma en que se
valor permisibles en una evaluación (Vedung, 1997). gestiona y se ponen en marcha las actividades. Es una
evaluación basada en el proceso.
Y ello porque no siempre las hipótesis de causa efecto
explicitadas en los programas, cuando lo están, son Otro cambio en la postura evaluativa viene del lado del
ciertas. Así es, la inexistencia de objetivos cuantifi- reconocimiento de la importancia del contexto socio-
cados e incluso cuantificables y la deficiente formula- político en el que se desarrolla la evaluación. Se
ción de las intervenciones a realizar hace que deban asume que la evaluación está inmersa en el proceso
buscarse otros elementos de referencia para la eva- político, que no es ajena a los valores, que no sólo
luación. Además, no cabe duda de que los objetivos está afectada por ellos sino que puede modificarlos,
iniciales pueden cuestionarse, bien a la luz del diag- y que, consecuentemente, deben ser considerados en
nóstico realizado (pertinencia en el diseño), bien en el trabajo de evaluación (Weiss, 1998). Varias son las
coherencia con los cambios que la realidad haya ex- razones que argumentan la mayoría de los evalua-
ESTUDIOS
159
dores para afirmar la naturaleza política de la evalua- Porque la evaluación debe abarcar todos los ele-
ción (García, 2003: 27 y ss, Bustelo, 2001): mentos relevantes del programa, para lo que se nece-
sita la aplicación de una metodología pluralista, com-
Las evaluaciones tienen como objeto de estudio
binando técnicas cualitativas y cuantitativas.
políticas y programas públicos. La dinámica, los
rasgos del contexto político en el que surgen y los
procedimientos, las estructuras y los actores que
conforman este contexto inciden en su realización.
CAMBIO EN LAS METODOLOGÍAS Y TÉCNICAS
La evaluación constituye una actividad política,
puesto que en que en ella se ven involucrados in- APLICADAS
tereses políticos contrapuestos.
Este cambio de paradigma y la evolución en el diseño
Las evaluaciones se realizan con el propósito de in-
de evaluaciones se ha traducido en un cambio en las
formar y, por tanto, influir, en el proceso de toma de
decisiones políticas. Además, como afirma Vedung, metodologías y técnicas empleadas. De la utilización
los resultados de las evaluaciones se utilizan en de técnicas acordes al enfoque deductivo cuyo funda-
ocasiones de manera instrumental para fines polí- mento está en el empleo de técnicas cuantitativas, fun-
ticos. (Vedung, 1997). damentalmente basadas en la utilización del método
experimental para determinar las principales hipótesis
En la evaluación deben considerarse, por tanto, las es- específicas de comportamiento antes de iniciar la re-
pecificidades del contexto político en el que se desarrolla cogida de datos, se ha pasado a la selección de téc-
la intervención a evaluar y las características de las ins- nicas propias de enfoques inductivos, principalmente
tituciones y agentes implicados en su diseño, gestión y técnicas cualitativas de análisis orientados a explorar y
ejecución. La evaluación debe adaptarse a cada con- descubrir la lógica de las relaciones causales partiendo
texto, a cada situación, si quiere fomentarse su utilidad. de lo concreto para derivar en comportamientos gene-
rales. Este tipo de evaluación se asocia normalmente
Todo ello, unido a la importancia concedida a la eva- con la evaluación libre de objetivos puesto que no
luación conjunta de las políticas y no a los efectos ais- parte de hipótesis de causalidad preconcebidas.
lados de sus componentes (enfoque sistémico de la
evaluación), hace que se demande la aplicación de un La necesidad de valorar aspectos como el grado de
enfoque holística e integral: satisfacción de la población objetivo y el cambio de
las expectativas e identificar cómo los participantes en
Porque los programas no se diseñan ni ejecutan de un plan (gestores, administradores, población benefi-
forma aislada. Forman parte de un mosaico donde ciaria y responsables últimos de su ejecución) toman
cada pieza juega un papel en los resultados finales de sus decisiones, ha provocado que la metodología de
un proceso sociopolítico más amplio y complejo. evaluación haya evolucionado hacia un concepto más
amplio en el que los aspectos cualitativos cobran cada
Porque la evaluación no debe considerarse la última vez mayor relevancia y las técnicas cuantitativas
parte del proceso de formación y ejecución de pro- tienden a integrarse como un elemento más del pro-
gramas de intervención pública. ceso evaluador19.
19 La ventaja de la evaluación de carácter cuantitativo es que permite medir reacciones o cuestiones en un grupo de variables
(individuos, empresas, etc.) y, además, posibilita la agregación y tratamiento estadístico. Por su parte, la evaluación cualitativa
tiene la ventaja de producir una mayor riqueza de detalles sobre los grupos o variables, aunque sea de difícil agregación y es-
tandarización.
ESTUDIOS
160
Sin embargo, en la práctica evaluativa suelen combi- En este sentido, la aproximación metodológica más
narse ambos enfoques. A través de la inducción se apropiada combina el enfoque de arriba a abajo (top-
identifican las cuestiones y variables a estudiar y luego down), que posibilita evaluar el impacto total y efecto
se contrastan los resultados de forma deductiva. Así, neto de la intervención, con estudios “de abajo-arriba”
la dicotomía cuantitativista frente a cualitativistas se ha (bottom-up), para analizar las relaciones de causa-
limado, y hoy no cabe duda de que la utilización de lidad y determinar el impacto de cada medida especí-
varias técnicas que permitan triangular la información fica a través de la información recogida de los partici-
recopilada y mejorar el análisis e interpretación de los pantes y beneficiarios del proyecto.
datos es la mejor alternativa.
Top-D
Down Bottom-U
Up
Medir la diferencia entre la situación de partida y la final Proporcionar indicios sobre las relaciones causa-efecto.
tras la aplicación del programa.
Analizar el valor añadido neto usando información de los
Comparar los resultados con aquellos que se habrían beneficiarios/as (adicionalidad y efectos indirectos).
producido en caso de no aplicarse el programa.
Identificar la contribución de la cada acción, pero no se
Analizar el impacto global (pero no identifica la contribu- analizan los impactos más globales del programa.
ción de cada acción concreta).
El análisis top-down consiste básicamente en estimar La elección de la técnica más apropiada al objeto de
qué hubiera ocurrido si el plan nunca se hubiera apli- evaluación está siempre condiciona por factores me-
cado. El impacto neto del plan se define como la dife- todológicos comunes tales como la necesidad de cla-
rencia entre las circunstancias reales (resultado fáctico) sificar y cuantificar los objetivos; la determinación del
y la estimación de las que hubiesen sido de no haber ha- momento de la evaluación; y, la disponibilidad de in-
bido proyecto (resultado contrafáctico o contrafactual). formación. Todos estos condicionantes hacen que
ningún método proporcione por sí sólo una explica-
Como vemos, no existe un método de evaluación de ción suficiente de los impactos, aunque son útiles para
impactos único y como los planes no son iguales, extraer indicios e identificar las tendencias y su direc-
cada evaluación es distinta. El alcance de la evalua- ción. De ahí que aboguemos por una pluralidad me-
ción puede ir desde la descripción de los impactos todológica que se adapte a la realidad objeto de eva-
hasta la búsqueda empírica de una causalidad entre luación y donde los elementos del contexto jueguen
acciones e impactos. En este sentido, la calidad de la un papel fundamental en la elección de los métodos.
evaluación de impacto no depende tanto del uso de Por todo ello el enfoque de evaluación que propo-
un método en particular como de la utilidad de la in- nemos se caracteriza por ser:
formación generada.
ESTUDIOS
161
Integral, donde la evaluación contempla todas las de contextos, generalmente variables e inestables.
etapas del diseño de políticas y programas pú-
blicos. Además, la eficacia del sistema de ayuda se en-
Pluralista y participativa. cuentra condicionada por la confluencia de los efectos
Analítico y formativo. de otras políticas públicas sobre la consecución de los
Orientado a la utilización de los resultados del pro- objetivos de desarrollo. Entre ellas, las políticas nacio-
ceso de evaluación. nales de los propios países en vías de desarrollo y las
políticas exteriores de los países donantes o de orga-
Estos nuevos enfoques son totalmente pertinentes nismos internacionales, con las que se debe buscar el
para la evaluación de la política de cooperación para aprovechamiento de sinergias para evitar que la falta
el desarrollo, debido, como se comentará en el apar- de coherencia de estas políticas con los objetivos de
tado siguiente, a sus particularidades y a las exigen- la política de cooperación provoque un saldo global
cias marcadas desde los organismos internacionales. negativo sobre la eficacia del sistema de ayuda. Esta
búsqueda de complementariedad queda recogida en
la Ley de Cooperación Internacional para el Desarrollo,
aprobada en 1998, donde se asume, en su artículo 4,
4 EL CAMBIO DE PARADIGMA EN LA EVALUA- la necesidad de promover la máxima coherencia entre
CIÓN DE LA POLÍTICA DE COOPERACIÓN PARA la política de ayuda y el resto de políticas públicas con
EL DESARROLLO20 incidencia sobre los países en vías de desarrollo.
La política de cooperación para el desarrollo, al igual Esta compleja realidad sobre la que incide la política
que otras políticas y programas, presenta elementos de desarrollo encuentra también otras particulari-
que la configuran como una realidad compleja y que dades: colectivos destinatarios en situaciones de ex-
deben ser tenidos en cuenta al considerar su evalua- trema pobreza, de difícil acceso y con problemáticas
ción. Entre ellos los diferentes niveles de planificación multidimensionales; actuaciones con objetivos de na-
(política de cooperación, estrategias sectoriales y ge- turaleza diversa que, además de afectar a múltiples
ográficas, planes operativos y proyectos de coopera- políticas y marcos superiores de programación,
ción, entre otros), las diferentes áreas temáticas y sec- pueden ser contradictorios entre sí o con los pro-
tores afectados (como, por ejemplo, desarrollo econó- gramas de otros donantes que operan en el mismo
mico en sentido amplio, defensa y seguridad, igualdad ámbito con otros criterios; ejecución en áreas geográ-
de género, educación, cultura, sanidad y medio am- ficas dispersas y dispares en las que la variable cul-
biente), la multiplicidad de agentes implicados (admi- tural se convierte en un factor crítico; y gestión de las
nistraciones públicas de los países donantes y de los actuaciones compartida por un amplio y heterogéneo
países receptores, cuyos sistemas políticos son cada grupo de entidades locales, y de los países donantes.
vez más pluralistas y descentralizados, y organiza-
ciones no gubernamentales y destinatarios civiles e Por otra parte, una de las características más rele-
institucionales) y su aplicación a una gran diversidad vantes de la estructura de relaciones internacionales
20 Las ideas recogidas en este epígrafe se han extraído fundamentalmente, del artículo de José Antonio Alonso, “El desarrollo
como proceso abierto al aprendizaje”, publicado en The european journal of development research, 2004, y en las conclusiones
sobre las particularidades del sistema de ayuda que condicionan su evaluación alcanzadas en la mesa de expertos celebrada
en Madrid el 20 de abril de 2006 para orientar la revisión de la Metodología de Evaluación de la Cooperación Española, pro-
yecto en el que he trabajado en el marco de un Convenio firmado entre la Dirección General de Planificación y Evaluación del
Ministerio de Asuntos Exteriores y el Instituto de Desarrollo Regional, Fundación Universitaria. En este proyecto también han
trabajado José Luis Ouna, Juan Murciano y Juan Carlos Sanz (Universidad de Sevilla e Instituto de Desarrollo Regional) y José
Antonio González, Belén Sanz, Miriam Arredondo y Adán Ruiz (de la DG POLDE), entre otros.
ESTUDIOS
162
en que se desenvuelve el sistema de ayuda al des- poblaciones locales participen en el establecimiento de

arrollo, y que la diferencia de otras políticas, es la asi- las estrategias de la cooperación, mediante un diálogo
metría de la relación entre los países desarrollados y abierto entre las autoridades locales y la sociedad civil
los países receptores, originada por el hecho de que y con los socios exteriores. (MAE 2000: 66 y ss).
las decisiones sobre la ayuda se asientan principal-
mente sobre la libre voluntad de los donantes. Desde Por todo lo anterior, la evaluación de las interrelaciones
el Sur, las organizaciones locales y los beneficiarios existentes entre las intervenciones de cooperación, de
suelen adoptar un enfoque pragmático basado en cum- la política exterior en general y de las políticas de des-
plir las expectativas de donantes y asegurar la conti- arrollo locales, que afectan a un territorio, sector o co-
nuidad de la financiación del proyecto. (Alonso, 2004). lectivo, se convierte en una tarea insoslayable. Aún
más cuando el beneficiario de la política, como apun-
En consecuencia, en esta red algunos actores se ca- tábamos en otro artículo, no concibe a los programas
racterizan por tener un estatus privilegiado de poder, como unidades de programación independientes,
y otros por no gozar de la legitimidad para participar sino como una pieza más del mosaico político.
en el esquema de cooperación horizontal y exigir la (Osuna, Vélez, Cirera y Murciano, 2006).
evaluación de la ayuda. Por ello, se plantea la nece-
sidad de buscar nuevas reglas para compartir la com- En este contexto no parece que sea muy oportuno
petencia en la toma de decisiones entre las distintas aplicar un enfoque positivista de evaluación. Por el
entidades políticas, instituciones y actores que la con- contrario, dadas las características de la política de
forman, y, así, buscar el equilibrio de la relación, aún cooperación al desarrollo y las exigencias y recomen-
más cuando desde instancias internacionales se pro- daciones del CAD hacia la asociación, el alineamiento,
pone una estrategia de Asociación entre donantes y la armonización de criterios y la búsqueda de la apro-
receptores como elemento clave para el éxito de la co- piación de las estrategias como elementos clave para
operación para el desarrollo. el desarrollo socioeconómico, parece mucho más per-
tinente aplicar un enfoque de evaluación basado en la
Los esfuerzos de los Estados para el diseño de sus participación, más acorde con el paradigma construc-
futuras políticas de cooperación, y de sus correspon- tivista y con la denominada, por las autoras ameri-
dientes sistemas de evaluación, deberán por tanto canas, evaluación de cuarta generación que se centre
orientarse hacia la armonización de criterios de inter- en la aplicación de una aproximación evaluativa:
vención, objetivos e instrumentos con el fin de contri-
buir a la consolidación de un compromiso común, Libre de objetivos, que se base en la teoría de los
entre donantes y receptores, por el desarrollo y la erra- programas y políticas. “La negación de ciertos
dicación de la pobreza. efectos no esperados –el impacto en colectivos
que no sean el grupo meta- puede ser coherente
Como señala el Comité de Ayuda al Desarrollo (CAD), en organizaciones que sólo se preocupan por sí
por necesidades de eficiencia, la ayuda precisaba una mismas, pero es cuestionable en proyectos pú-
colaboración con las autoridades centrales; ahora, es blicos”. (Gasper, 1999).
cada vez más patente la importancia que cobran la
participación de las poblaciones locales en su propio Que haga énfasis en los procesos y no sólo en los
desarrollo y la apropiación de las estrategias de des- resultados.
arrollo para la consecución de los objetivos socioeco-
nómicos. El CAD propone la asociación “como el Orientada hacia el aprendizaje y la apropiación
medio más adecuado para abordar los nuevos y com- (evaluación formativa), y que permita valorar su
plejos problemas de desarrollo”, lo que implica que las contribución a los procesos de gobernanza y em-
ESTUDIOS
163
poderamiento de las organizaciones y territorios de gunas limitaciones, sobre todo en situaciones com-
los países receptores. plejas, donde existe una multiplicidad de agentes con
diferentes intereses, lo que conlleva a la existencia de
Que de respuestas satisfactorias a cuestiones rela- objetivos múltiples, en ocasiones implícitos, y resul-
cionadas con la interacción de los elementos y estados no esperados21.
tructuras de la red, aplicando para ello una aproxi-
mación pluralista y enfoques participativos. Es la matriz de planificación la base para la evaluación,
donde los objetivos y resultados se traducen en indica-
Que contemple y se inserte y contemple en el con- dores cuantitativos, sobre la base de un conjunto de su-
texto político y cultural de las intervenciones a evaluar. puestos sobre las relaciones causales entre los obje-
tivos, resultados, actividades e insumos, lo que posibi-
Aún así, no existe un modelo único y universal que lita su jerarquización. Es, en definitiva, el documento
permita evaluar, sin riesgos, un sistema tan complejo. que recoge el diseño del proyecto, la teoría del pro-
Sin embargo, la comprensión de la realidad de la co- grama. Como apunta Gasper (1999), pueden utilizarse
operación al desarrollo debe servir al menos para “para ayudar a los planificadores a que consideren más
acotar la realidad objeto de evaluación, identificando cuidadosamente los modelos normativos y positivos de
sus principales dimensiones. cambio, aunque no sin herramientas complementarias”.
En la lógica vertical se presupone que si los recursos

están disponibles se podrán realizar las actividades
LA SUPREMACÍA DEL ENFOQUE DEL MARCO programadas, lo que debe producir los resultados es-
LÓGICO, EN CUESTIÓN perados, contribuyendo de este modo al logro del ob-
jetivo específico previsto. A largo plazo, ello facilitará
En el campo de la cooperación para el desarrollo, la el cumplimiento del objetivo global. La lógica hori-
orientación positivista de la evaluación ha sido la tó- zontal se dedica a la elaboración de indicadores bajo
nica dominante, relegando a la evaluación de pro- el supuesto de que los fines son claros y las condi-
cesos un papel secundario. Esto ha venido acrecen- ciones estables.
tado por la aplicación de técnicas como la Gestión del
Ciclo del Proyecto y el Enfoque del Marco Lógico A pesar de que el EML fomenta el análisis de las inter-
(EML), referente común para la planificación y evalua- conexiones y los supuestos, distinguiendo niveles y je-
ción de las actuaciones y para la representación de la rarquías entre objetivos, al plantearlos y considerarlos
teoría del programa implícita en un proyecto. de manera excesivamente simplificada y rígida, esta-
blece las relaciones causales como una secuencia li-
Si bien la aplicación del EML resulta útil en planifica- neal, alejada en ocasiones de la realidad, donde no
ción, como instrumento para la evaluación presenta al- suelen darse relaciones lineales entre los elementos de
21 Gasper, sobre la base de un trabajo de Gosling y Edwards (1995: 117, citado en Gasper, 1999), reflexiona acerca de la per-
tinencia de la utilización de las matrices de planificación en la evaluación de la ayuda de emergencia, concluyendo que la es-
casez de tiempo, la ausencia de información fiable, las condiciones rápidamente cambiantes, la complicada relación entre los
objetivos de corto y largo plazo, la necesaria coordinación con un gran número y variedad de organizaciones diversas, los pro-
blemas de comunicación y acceso, la escasez de personal, el trabajo en zonas cuya soberanía se encuentra en disputa, y él
énfasis de la metodología en los resultados esperados, condiciona su uso en estos casos. Y ello sobre todo porque “la matriz
del EML precisa una trayectoria de más largo plazo, consenso sobre los objetivos y precisión sobre los efectos”, que en situa-
ciones de emergencia compleja no se dan, por lo que no puede aplicarse un modelo lineal de predicción del cambio.
ESTUDIOS
164
un nivel y los del siguiente. Un resultado puede requerir ciones públicas. Ello ha permitido que las ONG finan-
varias actividades, y una actividad puede contribuir a cieras del Norte hayan adquirido un importante rol en
la consecución de varios resultados, estando todo ello la cadena de la ayuda, encargándose de formular las
fuertemente condicionado por la influencia del con- propuestas en términos de marco lógico y atendiendo
texto. Como apunta Gasper, “la verdad es tan discu- las exigencias de seguimiento y evaluación, supliendo
tible, los actores y factores tan diversos y co-determi- así la ausencia de capacidad para ello por parte de
nantes, que los juicios fidedignos sobre las relaciones las organizaciones de base. En opinión de Rodríguez-
de causa-efecto son muchas veces inalcanzables”. Carmona, el EML “más que una metodología de eva-
luación, constituye, en el fondo, un proceso de norma-
El EML es útil para representar la teoría del programa lización de procedimientos de gestión de los pro-
bajo el supuesto de que las relaciones causales que yectos”. (Rodríguez-Carmona, 1999).
se dan se deben a la actuación de un actor o de un
conjunto de actores, pero es necesario considerar la Además, como señala este autor, no es una metodo-
posición de cada actor en la cadena. Davies, R. iden- logía centrada en el análisis de capacidades, sino en
tifica al menos cinco tipos diferentes de actores que el análisis de los problemas, sobre la base de unas re-
pueden relacionarse con una posición diferente en la laciones causa-efecto que no tienen por qué darse en
cadena lógica representada por el EML: la organiza- todas las culturas.
ción responsable de ejecutar el programa, los socios
contrapartes de la organización responsable (socios Por otra parte, su concentración en resultados tiende
frontera), los clientes finales o beneficiarios, los inter- a negar la importancia de construir redes de rela-
mediarios y otros actores. (Davies, 2005). Además, ciones con otros actores de la cooperación, relegando
al igual que existe una red de actores, existe una red a un segundo plano aquellos objetivos relacionados
de indicadores interconectados, que en el EML no con el fortalecimiento institucional de los receptores
aparecen relacionados, al menos para cada nivel. de la ayuda al desarrollo. (Gasper, 1999).
Otro de sus principales inconvenientes es su excesiva Sin embargo, a pesar de todo lo expuesto, no debe
orientación a la rendición de cuenta y a la determina- restársele importancia a la aplicación de esta técnica
ción del grado de cumplimiento de los objetivos pre- para la creación de una cultura de la planificación en
diseñados en distintos niveles, en detrimento de una el seno de las agencias de desarrollo, ni su utilidad
reflexión cualitativa sobre los procesos (Rodríguez- para la evaluación de proyectos cuando se considera
Carmona Velasco, 1999). Además, el EML “parece su- complementariamente con otras herramientas de eva-
bestimar la consecución de objetivos de alto nivel por luación y no como instrumento predominante.
caminos no planificados y los efectos no previstos”
(Gasper, 1999), no considerando de este modo aque- En la segunda mitad de los años 90, y como res-
llos efectos no esperados. Ello hace que no sea una puesta a las nuevas cuestiones de evaluación y en
técnica adecuada en las evaluaciones libres de obje- coherencia con el cambio de paradigma, ha surgido
tivos, donde los caminos no previstos y los efectos in- con fuerza el discurso de la evaluación participativa.
esperados son importantes. Entre las metodologías participativas aplicadas en la
evaluación de las intervenciones de evaluación se en-
Pese a todas estas limitaciones, el EML es el modelo cuentran el Monitoreo y Evaluación Participativa
impuesto por la mayoría de organismos donantes, de- (MEP), el Marco de Desarrollo de Base (MDB) y la sis-
bido fundamentalmente a que su orientación sumativa tematización de experiencias. De éstas, tal vez la más
satisface las necesidades de los donantes, quienes interesante, por su énfasis en el análisis de los pro-
exigen su aplicación en las solicitudes de subven- cesos y en la reconstrucción de experiencias sea la
ESTUDIOS
165
última, que consiste en la “interpretación crítica de tores, políticas, beneficiarios y territorios, tema al que
una o varias experiencias, que, a partir de su ordena- dedicaremos el epígrafe siguiente.
miento y reconstrucción, descubre o explicita la lógica
del proceso vivido, los factores que han intervenido
en dicho proceso, cómo se han relacionado entre sí
y por qué lo han hecho de ese modo”. (Jara, O. 1994, LA CONCEPCIÓN RETICULAR EN LA EVALUACIÓN
citado en Rodríguez-Carmona Velasco, 1999)22. Se DE LA POLÍTICA DE COOPERACIÓN AL DESARROLLO:
trata, en definitiva, de aproximarse a la lógica del pro- PRIMERAS REFLEXIONES
grama a través de la experiencia de los actores impli-
cados en él. Como una de las posibles alternativas a la utilización
de técnicas de evaluación acordes con en el para-
La evaluación de la ayuda al desarrollo, utilizando téc- digma positivista, se propone la aplicación de un en-
nicas cualitativas y participativas, e integrando crite- foque de red para evaluar la ayuda al desarrollo. Con
rios que complementen a los clásicos de resultados e ello se pretende contribuir a identificar las conexiones
impactos, como pueden ser la participación local y la entre los distintos actores, para poder analizar adecua-
alineación y coherencia con otras políticas23, puede damente el éxito y bondad de la intervención pública,
garantizar la eficacia de la ayuda y contribuir a la apro- así como el grado de desarrollo institucional y la ca-
piación de las estrategias de desarrollo y al fortaleci- pacidad que tienen los agentes para resolver sus con-
miento de la sociedad civil de los países receptores24. flictos e interrelacionarse.
La evaluación, si tiene el propósito de fortalecer la ca-
pacidad del sistema democrático de generar condi- La aplicación de este enfoque se basa en la concep-
ciones de inclusión social, no puede ser entendida ción de la política de cooperación como una red de
simplemente como evaluación de eficacia y / o control políticas y programas25. Las políticas de cooperación
en el ámbito de la gestión pública (Cirera y Amaya, surgen de la interacción entre las diferentes organiza-
2007). Se debe huir de una concepción retrospectiva ciones gubernamentales de los países donantes y re-
de la evaluación, para entenderla como una filosofía ceptores de ayuda (local, regional o nacional) y una
que debe imbuir la planificación de la política de coo- red de organizaciones de otro tipo (principalmente or-
peración al desarrollo e integrarse en el ciclo político. ganizaciones no gubernamentales tanto en los países
donantes como en los receptores). Esta forma de en-
Para ello deben buscarse técnicas que permitan ana- tender la formación y evaluación de las políticas pú-
lizar y evaluar las relaciones entre instituciones, ac- blicas es una nueva forma de gobernanza en materia
22 Rodríguez-Carmona señala los siguientes pasos y elementos en la aplicación de este método de trabajo: Definición del ob-
jetivo y ejes de la sistematización; Registro y ordenamiento de la información; Reconstrucción del proceso vivido (identificación
de momentos clave); Participación de los actores locales; Visualización de procesos; Análisis, síntesis e interpretación crítica
del proceso; Conceptualización de la práctica; Aprendizaje y generación de nuevos conocimientos; Difusión del aprendizaje; y
Empoderamiento local.
23 La Declaración de París para la Eficacia de la Ayuda estableció los criterios de alineamiento, armonización, apropiación,
orientación a resultados y mutua rendición de cuentas.
24 “Padaki (1995), Honadle y Cooper (1990) y Marsden y Oakley (1990) son ejemplos de autores que sistemáticamente basan
sus recomendaciones para la evaluación de programas de desarrollo, no tanto en los productos y la provisión de servicios en
el corto plazo, cuanto en los impactos sobre la capacidad y, por lo tanto, la adaptabilidad y viabilidad, incluyendo los efectos
sobre los comportamientos, capacidades, confianza y modos de trabajo, así como el fortalecimiento de organizaciones e ins-
tituciones”. Gasper, Des (1999).
25 Para un mayor detalle sobre el concepto de “policy network” véase Zurbriggen C.
ESTUDIOS
166
de cooperación, una manera de reconocer que las po- cambio, que proporcionan las bases para su aplica-
líticas de ayuda al desarrollo deben surgir de la inter- ción en circunstancias específicas.
acción entre los principales actores de la cooperación
como única vía para garantizar la apropiación de los Frente a la existencia de una única relación lineal, tal
procesos de desarrollo. como se presupone en la aplicación del EML, Davies
propone la existencia de al menos tres perspectivas re-
Como afirma González Laxe, “el nuevo concepto de lacionadas de redes, centradas cada una en un conjunto
gobernanza ha servido de orientación para las re- diferente de relaciones que tienen lugar a escala distinta:
formas de los Estados y para afianzar la cooperación
para el desarrollo durante los procesos de ajuste es- En la organización encargada de implementar el
tructural” (González Laxe 2006)26. Por tanto, garantizar programa. El análisis de redes puede centrarse en
las condiciones para la buena gobernanza y para las relaciones entre los miembros de la organiza-
sentar las bases de la gobernabilidad, son condi- ción (normalmente de carácter contractual laboral),
ciones imprescindibles a considerar en la evaluación entre los recursos, actividades, resultados y obje-
de la ayuda al desarrollo. tivos de la organización. A esta red la denomina
Red Interna.
Teniendo en cuenta lo anterior y dadas las rigideces del
Enfoque del Marco Lógico para modelizar las com- Entre la organización encargada de la implementa-
plejas relaciones que se dan en la realidad, a lo largo ción del programa y los socios inmediatos con los
de los últimos 10 años se han ido aplicando y desarro- que interactúa (que ejercen un papel de interme-
llando nuevos métodos basados en el análisis de redes diarios con los beneficiarios finales). El análisis de
sociales para analizar el entramado de relaciones exis- redes puede centrarse en este caso en la valora-
tentes en torno a un programa de actuación y para re- ción de la naturaleza de las relaciones entre la or-
presentar la llamada teoría del programa, utilizando de ganización y los actores externos. Esto puede lla-
manera complementaria el mapeo de estrategias para marse Red Frontera (boundary network). Aquí las
recoger los elementos principales de las hipótesis cau- relaciones entre los actores es más compleja y no
sales que subyacen en las políticas de cooperación. siempre es explícita.
Ahora bien, no existe en la actualidad un único mé- Entre todos aquellos actores con los que la orga-
todo o aproximación que haya podido superar la su- nización encargada de la implementación no tiene
premacía del Enfoque del Marco Lógico. Como afirma relaciones directas si no es a través de los inter-
Davies, R. J. (2005), existe un conjunto de enfoques mediarios. Red Externa (outer network). En este
que en ocasiones comparten contenidos y perspec- tipo de red se trata de descubrir, entre otras cues-
tivas, de modo que puede hablarse de una aproxima- tiones, cuál es la tipología de relaciones, cuáles los
ción modular de la representación de teorías del objetivos compartidos.
26 Este autor recoge las cuatro dimensiones que para C. von Haldenwang que caracterizan a este nuevo concepto de gober-
nanza: gobernanza económica, esto es, regular un orden económico de mercado, competitivo y no discriminatorio, que debe
favorecer el crecimiento económico; gobernanza política, por medio de normas que instrumenten la participación de institu-
ciones políticas, democráticas, legítimas, pluralistas y accesibles; gobernanza administrativa, mediante la cual se debe contar
con una administración pública eficiente, transparente, independiente y responsable; y gobernanza sistémica, por la que las
propias instituciones protegen los valores culturales, garantizan la libertad y la seguridad, y contribuyen a promover la igualdad
de oportunidades. (C. von Haldenwang 2005, citado en González Laxe 2006).
ESTUDIOS
167
En línea con el modelo de Marsh y Rhodes sobre las sobre los procesos vividos, pueda contribuir al enten-
redes de políticas, se debe prestar atención a las pe- dimiento de la realidad de las interacciones que se
culiaridades de las instituciones políticas, como los di- producen entre la política de ayuda al desarrollo y los
versos organismos del gobierno central o el ejecutivo, impactos que provoca, no sólo de carácter econó-
como factor necesario para entender la naturaleza de mico, sino institucional relacionados con el fortaleci-
las relaciones entre los actores. (Marsh y Rhodes, miento de las capacidades de desarrollo de los pa-
1992, citado en Zurbriggen C.). íses receptores de la ayuda y el desarrollo de nuevos
mecanismos institucionales de gestión, seguimiento
El seguimiento y la evaluación dependerán de los y evaluación propios.
tipos de red existentes puesto que las cuestiones re-
levantes serán distintas para cada tipo de red. Algunas
de las consideraciones principales para el seguimiento
y la evaluación son las siguientes: 5 BIBLIOGRAFÍA
Los objetivos deben ser considerados como Alonso, J.A. (2004). “El desarrollo como proceso
acuerdos sobre los objetivos, fundamentalmente en abierto al aprendizaje”, en The european journal of de-
redes donde la toma de decisiones no está centra- velopment research.
lizada y existe un alto nivel de negociación sobre
prioridades y objetivos. Ballar, X (1992). ¿Cómo evaluar programas y servi-
cios públicos? Aproximación sistemática y estudios de
Los actores son fuentes de información para de- caso. Ministerio para las Administraciones Públicas,
tectar las diferencias de opinión y sus efectos. Es Madrid.
importante determinar quién tiene y suministra la in-
formación y quién tiene conocimiento sobre la es- Bemelmans-Videc, M.L., B. Eriksen, y E.N.
trategia a seguir y los cambios deseados. Se debe Goldenberg (1994). “Facilitating Organizacional
buscar una mayor participación en el proceso de Learning: Human Resource Management and Program
evaluación, otorgando mayor capacidad de control Evaluation”. En F.L. Leeuw,, R.C. Rist, y R.C. Sonnichsen
y refllexión. (eds.). Can Governments Learn? Comparative
Perspectivas on Evaluation and Organizacional
Es necesario considerar que el rol de los actores Learning. Páginas 145-87. Transaction Publishers. New
puede cambiar a lo largo del tiempo, es decir, que Brunswick.
las redes no son estables sino dinámicas, y puede
darse un continuo trasiego de actores de un tipo de Blaug, M. (1985): La metodología de la economía.
red a otra. Alianza Editorial, Madrid.
Como anunciábamos en el título del epígrafe, estas Boyle R. y Donald Lemaire (Edit.) (1999). Building
son unas primeras reflexiones sobre los enfoques Effective Evaluation Capacity. Lessons from
para la evaluación de la Política de Cooperación, practice.Transaction Publishers, New Brunswick.
donde la aplicación de una concepción reticular de la
política y la aplicación de técnicas que permitan, por Bustelo Ruesta, M. (1999). “Diferencias entre eva-
un lado, analizar las relaciones entre las instituciones, luación e investigación: una distinción necesaria para
entre los actores y entre los programas y políticas y, la identidad de la evaluación de programas”. En
por otro, pasar de recopilar información de los bene- Revista Española de Desarrrollo y Cooperación nº 4.
ficiarios sobre resultados a construir información Madrid. Páginas 9 a 29.
ESTUDIOS
168
Bustelo Ruesta, M. (2004). La evaluación de las po- Guba, E.G. y Lincoln, Y.S. (1989). Fourth Generation
líticas públicas de igualdad de género de los go- Evaluation. Sage Publications. Newbury Park,
biernos central y autonómicos en España: 1995-1999. California.
Tesis Doctoral, Universidad Complutense de Madrid.
Defendida con fecha 2001. En línea: House, E.R. (1993). Professional evaluation: social
http://www.ucm.es/BUCM/tesis/cps/ucm-t25225.pdf impact and political consequences. Sage Publications.
Newbury Park, California.
Cirera, A. y Amaya, P (2007). “Evaluación: la com-
plejidad de su realidad pendular entre la política y la Ministerio de Asuntos Exteriores. (2000). “El Comité
administración”. En fase de publicación. de Ayuda al Desarrollo de la Organización para la
Cooperación y el Desarrollo Económicos: Doctrina y
Davies, Rick (2004). “Scale, Complexity and the Actividades”. Secretaría de Estado para la Cooperación
Representation of Theories of Change” en Evaluation. Internacional y para Iberoamérica. Madrid.
Enero 2004; 10: 101 – 121.
Ministerio de Asuntos Exteriores (2005). Plan
Díez López, M.A. (2001). La evaluación de la polí- Director de la Cooperación Española 2005-2008.
tica regional: propuestas para evaluar las nuevas po- Secretaría de Estado para la Cooperación
líticas regionales. Serie Tesis Doctorales. Universidad Internacional y para Iberoamérica. Madrid.
del País Vasco.
Ministerio de Asuntos Exteriores (2006). Plan Anual
García García, J.T. (2003). Desarrollo, diversificación de Cooperación Internacional (PACI 2006). Secretaría
y construcción de modelos de evaluación: estrategias de Estado para la Cooperación Internacional y para
reflexivas de afrontamiento desde la investigación so- Iberoamérica. Madrid.
cial aplicada. Tesis de Doctorado. Facultad de
Ciencias Económicas y Empresariales. Universidad de Ormerod, P. (1995). Por una nueva economía.
Alicante. Biblioteca Virtual Miguel de Cervantes. Anagrama. Barcelona. España.
http://descargas.cervantesvirtual.com/servlet/SirveObr
as/01372719777915515312802/011816.pdf. Osuna J.L. y C. Márquez (Dir.) y A. Cirera y C. Vélez
(2000). Guía para la evaluación de políticas públicas.
Gasper, D. (1999). “El Enfoque del Marco Lógico Instituto de Desarrollo Regional. Sevilla.
más allá de los proyectos: el seguimiento y la evalua-
ción de la ayuda humanitaria en emergencias com- Osuna, J.L., C. Vélez, A. Cirera y J. Murciano (2006).
plejas”. En Revista Española de Desarrrollo y “Programación y Evaluación Pública: un triángulo
Cooperación nº 4. Madrid. Páginas 9 a 29. complejo”. En Ekonomiaz, Revista Vasca de
Economía, nº 60. Páginas 76 a 97. Servicio Central de
Gasper, D. (2000). Evaluating the ´Logical Publicaciones del Gobierno Vaso. Viztoria-Gasteiz.
Framework Approach´. Towards Learning-oriented
Development Evaluation. Public Administration and Patton (1997). Utilization-Focused Evaluation.
Development 20 (1), 17-28. Tercera edición. Sage Publications. Newbury Park,
California.
González Laxe, F. (2006). De la “performance” a la
evaluación de las políticas públicas: primeras notas re- Patton, M.Q. (1990). Qualitative evaluation and re-
flexivas. En fase de publicación. search methods. Segunda edición. Sage Publications.
Newbury Park, California.
ESTUDIOS
169
Pazos, M. y E. Zapico-Goñi (2002). “Program eva- Creating and developing evaluation organizations: les-
luation in Spain: Taking Off at the Edge of the Twenty- sons learned from Africa, Americas, Asia, Australasia
First Century?”. En Furubo, J.E., R. Rist y R. Sandahl and Europe. Perú, DESCO-UNICEF y en línea:
(eds.) (2002). International Atlas of Evaluation. Páginas h t t p : / / w w w. i o c e . n e t / d o w n l o a d / c a s e _ s t u d i e s /
201-306. Transaction Publishers. New Brunswick. IOCE_EvalOrgPack_Jan2007.pdf
Peters, G.B. (1998). “El surgimiento, declive y resur- Vélez, C. (2006). Enfoques para la evaluación de la
gimiento de la evaluación de políticas públicas en el Política de Cooperación: una primera reflexión.
gobierno americano”, en Gestión y Análisis de Ponencia presentada en el XI Congreso Internacional
Políticas Públicas, nº 11/12, páginas 12-28. del CLAD sobre la Reforma del Estado y de la
Administración Pública celebrado en la Ciudad de
Rodríguez-Carmona Velasco, A. (1999). “El pro- Guatemala (Guatemala), 7 - 10 de noviembre de 2006.
blema de la evaluación en las ONG. Los enfoques al- En línea: http://www.clad.org.ve/siare/biblo/
ternativos de sistematización: un caso práctico en biblo_a.html
Bolivia”. En Revista Española de Desarrollo y
Cooperación nº 4. Madrid. Páginas 83-101. Weiss, C. (1991). Investigación evaluativa: métodos
parla determinar la eficiencia de los programas de ac-
Shadish, W.J., Cook, T.D. y Levinton L. C. (1991). ción. Trillas. México.
Foundations of Program Evaluation. Theories of
Practice. Sage Publications. Newbury Park, California. Zurbriggen C. “Las redes de políticas públicas. Una
revisión teórica”. Colección de documentos. En línea
Stufflebeam, D.L. y A. J. Shinkfield (2005). http://iigov.org/documentos/?p=1_0105 (2 julio 2006 )
Evaluación sistemática. Guía teórica y práctica. Temas
de educación, 4. Paidós. Ministerio de Educación y Viñas, V. (2005). “Satisfacción del cliente, calidad y
Ciencia. Barcelona. evaluación: un análisis crítico”. En Revista del CLAD.
Reforma y Democracia, 32, 159-182
Vedung, E. (1997). Evaluación de Políticas Públicas
y Programas. Madrid: Ministerio de Trabajo y Asuntos
Sociales. Instituto Nacional de Servicios Sociales.
Vélez, C. (2000). “La evaluación de las políticas pú-

blicas en Andalucía: una realidad en proceso de gesta-
ción”. En Cuadernos Económicos de Granada nº 11:
Estrategia y tácticas de desarrollo regional y conver-
gencia económica: urbanismo, coyuntura inmobiliaria y
sistema financiero. Enero del año 2000. Páginas 53-68.
Vélez, C. (2006). “La evaluación: un nuevo yaci-

miento de empleo” en E-valuación, Revista de la
Sociedad Española de Evaluación, nº 3, diciembre.
Sevilla.
Vélez, C. (2006). Spain: Sociedad Española de

Evaluación (SEE) en Segone, M. y Ocampo, A. (Edit.).
ESTUDIOS
170

Generacion Del Juicio

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Generacion Del Juicio

Transféré par

Droits d'auteur :

Formats disponibles

24_ANUARIO3-2007.

qxd 29/11/2007 17:02 PÆgina 145

_ EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL

_ CHANGES IN THE PARADIGM IN THE EVALUATION OF PUBLIC POLICIES

Carmen Vélez Méndez

2 EL CAMBIO DE PARADIGMA: DE LA CONFRONTACIÓN A LA COMPLEMENTARIEDAD / CHANGE

El paradigma positivista / The positivist paradigm

3 EVOLUCIÓN DEL DISEÑO DE LAS EVALUACIONES / DESIGN EVOLUTION OF EVALUATIONS

4 EL CAMBIO DE PARADIGMA EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN PARA EL

EVALUACIÓN DE POLÍTICAS PÚBLICAS

Desde los orígenes de la evaluación de políticas públicas 1 ORIGEN E HISTORIA DE LA

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

Fueron la expansión de los programas socioeconó-

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

2 EL CAMBIO DE PARADIGMA: DE LA CON- ximaciones cualitativas para entender de manera induc-

Los filósofos de la ciencia se han esforzado durante

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

La aplicación de este paradigma en evaluación parte EL PARADIGMA ALTERNATIVO: CONSTRUCTIVISTA

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

Figura 2. Cambio de paradigma en la evaluación

Evaluación sumativa Evaluación formativa

Centrada en objetivos explícitos Libre de objetivos

Evaluaciones parciales Evaluaciones integrales y holísticas

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

en que se desenvuelve el sistema de ayuda al des- poblaciones locales participen en el establecimiento de

EVALUACIÓN DE POLÍTICAS PÚBLICAS

En la lógica vertical se presupone que si los recursos

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

Carmen Vélez Méndez

EVALUACIÓN DE POLÍTICAS PÚBLICAS

Vélez, C. (2000). “La evaluación de las políticas pú-

Vélez, C. (2006). “La evaluación: un nuevo yaci-

Vélez, C. (2006). Spain: Sociedad Española de

Vous aimerez peut-être aussi