Evaluación cualitativa (y cuantitativa) en

programas sociales
Algunos elementos sobre la importancia de la Evaluación
en los Programas del DIF
XIV Encuentro Nacional y Desarrollo Comunitario
Desarrollo Integral de la Familia (DIF)

Gabriela Vázquez Cermeño

Con la colaboración de:
Ana Núñez Interiano y
Silvia A. Vázquez Hernández
Noviembre 26, 2014
Huatulco, Oaxaca
 CONTENIDO
1. Aspectos generales sobre la evaluación de los programas
sociales.
2. Evaluación de impacto: Metodología Cualitativa – Cuantitativa
o Métodos Mixtos.
3. Presentación de algunos ejemplos de evaluación:
 Progresa- Oportunidades – PROSPERA.
 Programa de Desarrollo Comunitario del DIF: Comunidad
DIFerente.
4. Algunas recomendaciones para la evaluación de los
programas del DIF.
 Importancia de la evaluación de programas sociales

¿Por qué es necesario evaluar

los programas sociales?
 Para conocer las características,
resultados y/o efectividad de las
intervenciones públicas y hacer las
Importancia de a
correcciones pertinentes.
 Dependiendo del tipo de evaluación que
se diseñe e implemente, se puede obtener
información específica de interés.
 Importancia de la evaluación de programas sociales

• ¿La intervención está

produciendo los beneficios
La evaluación previstos?
de un • ¿Cuál es el impacto general que
programa tiene el programa en la
social debería población?
poder •Importancia
¿Se podríade a
diseñar mejor el
responder las programa o proyecto para
siguientes lograr los resultados previstos?
preguntas: • ¿Se están empleando los
recursos en forma eficiente?
 Normatividad de la evaluación de programas sociales en México

Desde el año 2005 se creó el Consejo Nacional de

Evaluación de la Política de Desarrollo Social (CONEVAL).

 Es el órgano encargado de normar y coordinar la

evaluación de la Política Nacional de Desarrollo Social y
las políticas, programas y acciones que ejecuten las
dependencias públicas.
 Se encarga de establecer los criterios y lineamientos
Importancia de a
para las metodologías de evaluación sobre la política y
los programas de desarrollo social.

Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.

 Normatividad de la evaluación de programas sociales en México

Evaluación
 Es el análisis sistemático y objetivo de los programas
federales y que tiene como finalidad determinar la
pertinencia y el logro de sus objetivos y metas, así
como su eficiencia, eficacia, calidad, resultados,
impacto y sostenibilidad.
 Mediante la evaluación, se busca generar insumos
Importancia de a
relevantes que apoyen la toma de decisiones sobre
ajustes y mejoras al diseño y operación del programa,
mejorando así la efectividad y eficiencia del uso de los
recursos y la rendición de cuentas.

Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.

 Tipos de Evaluación según el CONEVAL

a) Evaluación de Consistencia y Resultados

b) Evaluación de Indicadores
c) Evaluación de Procesos
d) Evaluación de Impacto. Identifica con metodologías
rigurosas el cambio en los indicadores a nivel de
resultados atribuible a la ejecución del programa
Importancia de a
federal.
e) Evaluación Específica
f) Evaluaciones Estratégicas
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
 Sistema de Evaluación del Desempeño - CONEVAL

Las evaluaciones normadas por el CONEVAL tienen requisitos

específicos. Estas evaluaciones y sus resultados forman parte del
Sistema de Evaluación del Desempeño y se articularán
sistemáticamente con la planeación y el proceso presupuestario.
Componentes del Sistema de Evaluación del Desempeño
•Indicadores
•Metodología del Marco Lógico
Presupuesto Basado en
•Nueva organización del proceso
Resultados (PbR)
Importancia de a presupuestario
•Asignación de recursos con base en
resultados

Sistema de Evaluación
Evaluación de del Desempeño
Políticas Públicas y (SED) Gestión para la
Programas calidad del gasto
Presupuestarios

Programa Anual de Evaluación

(PAE)

Fuente: SHCP. Sistema de Evaluación del desempeño .

Evaluación de impacto: Metodología
Cualitativa – Cuantitativa o Métodos
Mixtos.
 Evaluación de Impacto

El impacto (α) de un programa es la diferencia entre los resultados (Y) de la

misma persona cuando ha participado y cuando no ha participado en el
programa.

Importancia de a

Fuente: Gertler et al. (2011) y Martínez (2014).

 Evaluación de Impacto
… Esto no es posible, por lo tanto…

Importancia de a

Fuente: Gertler et al. (2011) y Martínez (2014).

Principales pasos en el diseño e implementación de una Evaluación de Impacto

Durante la identificación y preparación del proyecto

1. Determinar si realizar o no una evaluación e identificar las preguntas de política
pública relevantes
2. Aclarar los objetivos de la evaluación
3. Examinar la disponibilidad de datos
4. Diseñar la evaluación
5. Formar el equipo de evaluación
6. Si se recopilan datos:
(a) Diseñar y seleccionar muestras
(b) Elaborar instrumentos de recopilación de datos
(c) Reunir y capacitar personal para trabajo en terreno
(d) Realizar pruebas piloto
(e) Recopilar datos
Importancia de a
(f) Administrar datos y acceder a ellos

Durante la implementación del proyecto

7. Recopilar datos actuales
8. Analizar los datos
9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes
interesadas
10. Incorporar los resultados en el diseño del proyecto
Tomado de Baker, (2000:17)
 Diseños de Evaluaciones: Cualitativas vs. Cuantitativas

Tradicionalmente la evaluación de impacto se realiza utilizando

metodologías cuantitativa, aunque también se utiliza métodos
mixtos.
Metodología Metodología
Cuantitativa Cualitativa

Importancia de a
Diseños de control
experimental o Estudios de caso
aleatorio

Diseños no
experimentales o
Etnografía
cuasi
experimentales
 Características de los Métodos Cualitativos
• El propósito de los Métodos Cualitativos es explorar las relaciones
sociales y describir la realidad tal como la experimentan sus
protagonistas.
• La investigación cualitativa requiere un profundo entendimiento
del comportamiento humano y las razones que lo gobiernan.
• A diferencia de la investigación cuantitativa, la investigación
cualitativa busca explicar las razones de los diferentes aspectos de
tal comportamiento. Importancia de a
• En otras palabras, investiga el por qué y el cómo se tomó una
decisión, en contraste con la investigación cuantitativa, que busca
responder preguntas tales como cuál, dónde, cuándo, cuánto.
• La investigación cualitativa se basa en la toma de muestras
pequeñas, esto es la observación de grupos de población
reducidos, como salas de clase, una comunidad, etcétera.
 Diseños de Evaluaciones: Métodos Mixtos

 Cuando se utilizan de forma aislada, los métodos

Cuantitativos y Cualitativos de evaluación tienen ventajas y
desventajas.
 Ventajas:
M. Cuantitativo: se pueden medir y analizar los datos; se pueden probar hipótesis
en diseños experimentales o quasi-experimentales utilizando información
estadística.
M. Cualitativo: es flexible; se obtiene información detallada; se puede observar el
contexto y el sentido del sujeto que se estudia.
 Desventajas: Importancia de a
M. Cuantitativo: no se toma en cuenta el contexto particular de la población de
estudio; requiere una muestra más amplia para obtener resultados
estadísticamente representativa y generalizable.
M. Cualitativo: requiere mucho tiempo y puede presentar sesgos del investigador.
 El objetivo de los Métodos Mixtos es aprovechar las ventajas
de ambos enfoques e integrarlos para superar sus desventajas
y potenciar sus ventajas.
Presentación de algunos ejemplos de evaluación:
 Progresa- Oportunidades – PROSPERA.
 Programa de Desarrollo Comunitario del DIF:
Comunidad Diferente
 Un ejemplo de un Programa Multievaluado:
Progresa - Oportunidades - PROSPERA
Modelo integral de la evaluación de impacto

Externa e •Grupos Asesores de la Evaluación

•Reconocidas instituciones académicas y de investigación
independiente •Acompañamiento del BID, se suma CONEVAL
I
N • Cuantitativo
Enfoques • Cualitativo
T
E • Hogares e Individuos
Niveles de • Grupos etarios, étnicos
G Análisis
• Localidades
• Clínicas (proveedores de servicios) y Escuelas modalidad de
R escuela)

A Dimensión Importancia
•Transversal de a
•Longitudinal (Corto, Mediano y Largo Plazo)
L Temporal •Ex ante y ex post

I
Grupos de •Grupos de tratamiento
D Estudio
•Grupos de comparación: sin Programa, por tiempos de
exposición al Programa
A
•Socioeconómicos y/o Demográficos
D •Biológicos/antropométricos
•Desarrollo cognitivo, habilidades, logro educativo
Temáticas •Dinámica familiar
•Infraestructura y dinámica comunitaria
•Otras
 Resultados de la Evaluación de Impacto del PDHO

• Logros en Educación
1 Hubo una reducción de 23.7% en el abandono escolar de los
jóvenes de 16 a 19 años de zonas urbanas.

Se logró un grado adicional en la escolaridad esperada de

2 jóvenes de 15 a 18 años en zonas rurales.

En zonas rurales se incrementó la probabilidad de entrar a la

3 secundaria de los niños y niñas de 12 a 14 años en 42 y 33 %
respectivamente. Importancia de a

• Logros en Nutrición
La prevalencia de anemia en zonas rurales fue 7.2% menor en niños
1 beneficiarios de 48 a 59 meses de edad.

Los niños beneficiarios en zonas rurales de 24 a 71 meses de edad

2 crecieron en promedio 0.67 cm. más que los niños no beneficiarios.
 Un ejemplo de un Programa Multievaluado:
Progresa - Oportunidades - PROSPERA
Evaluación de Impacto Cualitativa

La evaluación cualitativa de impacto de Oportunidades en zonas rurales 2007- 2008

Coordinadora de la evaluación: Mercedes González de la Rocha – CIESAS Occidente
Investigadores: Alejandro Agudo Sanchíz, Armando Haro, Juan Luis Sariego, Gabriela Sánchez.

• Objetivo principal
Esclarecimiento de los procesos que llevan a un impacto diferencial en la
población incorporada al programa, según su condición étnica.

• Muestra Analítica de Hogares

1. Se eligieron doce microrregiones rurales étnicamente diversas en cuatro estados del país.
2. Se eligieron Hogares según las variables: ETNICIDAD E INCORPORACIÓN O NO AL
PROGRAMA. Cuatro casos de cada uno de los siguientes tipos:
Indígenas Beneficiarios (N=4)
No Indígenas Beneficiarios (N=4)
Indígenas No Beneficiarios (N=4)
No Indígenas No Beneficiarios (N=4)
En total 16 hogares por micro-región.
Tipos de hogares . En los 8 casos de estudio de hogares beneficiarios se seleccionaron aquellos
de larga exposición al Programa.
 Resultados de la Evaluación de Impacto del PDHO

• Evaluación Cualitativa

1
 El Programa ha contribuido a cerrar dos importantes brechas
en escolaridad: étnica y de género.

 La prolongación de las trayectorias educativas es mayor entre

2 indígenas que entre no Importancia
indígenas,deyatambién mayor entre
mujeres que entre hombres.
 Mejoras al PHDO- PROSPERA a partir de las
recomendaciones de la evaluación de impacto

Recomendaciones Acciones implementadas

Mejorar las sesiones

educativas de autocuidado Sustitución de las “pláticas” por talleres de capacitación y
de la salud mejoramiento del Paquete Básico de Servicios de Salud.

Mejorar la promoción para  Mejora de la comunicación educativa para la preparación y

asegurar el uso adecuado uso del complemento.
del Nutrisano  Mejora en la distribución y entrega del complemento.

Cambiar el formato de  Cambio en la fórmula de hierro para mejorar la biodisponibilidad.

hierro utilizado en los
complementos para
mejorar la efectividad de
los impactos en la nutrición
 Se aumentó la cantidad de algunas vitaminas y minerales.
 Realización de un estudio de eficacia de tres tipos de
complementos para mejorar el crecimiento y desarrollo en niños, y el
estado de nutrición en mujeres.
Ejemplo de Investigación sobre el Programa de Desarrollo Comunitario del DIF:
Comunidad DIFerente: Tesis de Luz Helena Salgado

• Duración de la evaluación: 1 a 2 años

• Métodos y técnicas empleados: Mixto. Cuantitativo -
Encuesta y Cualitativo – Entrevistas semiestructuradas
• Tamaño y representatividad muestral:
– Baja California 25 grupos – solo una ronda
– Nuevo León 66 grupos (primera ronda), 46 grupos
(segunda ronda)
• Principales resultados:
Importancia de a
– Hay autonomía en la definición del Programa a nivel
estatal.
– Su viabilidad depende de decisiones a nivel estatal.
• Actualmente se está realizando un Diagnóstico del
Programa por un evaluador externo.
 Algunas recomendaciones para la
evaluación de los programas del DIF
 Consejos para realizar evaluaciones con recursos escasos

Cuando se cuenta con poco tiempo y recursos limitados para invertir en

evaluaciones de impacto y poca experiencia profesional en evaluaciones,
pueden seguir los siguientes consejos:
• Comience gradualmente y extienda el alcance a medida que obtiene
experiencia.
– Por ejemplo: realizar un estudio diagnóstico rápido para diseñar un
cuestionario.
• Asegúrese de que los hallazgos sean metodológicamente correctos y
creíbles para las partes interesadas.
– No gaste todos sus recursosImportancia
en encuestas dede
a muestras extensas si las partes
interesadas aceptan estudios de caso y descripciones exhaustivas de cómo
funciona realmente el programa.
– El muestreo puede asegurar que se pueda seleccionar una pequeña cantidad
de estudios de caso para garantizar que sea representativa en líneas generales
del total de la población objetivo, y así, aumentar la validez/credibilidad de los
hallazgos.

Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto

 Consejos para realizar evaluaciones con recursos escasos

• Manténgase dentro de su presupuesto y nivel de

experiencia profesional.
– Algunas universidades enseñan sobre métodos mixtos y
quizás sea posible colaborar con un miembro del cuerpo
docente o estudiante de forma gratuita o por un costo
simbólico para una de sus asignaciones de campo. Muchos
estudiantes de posgrado podrían considerar la preparación
de un estudio de caso.
• Obtenga ayuda. Importancia de a
– Existen muchos seminarios web y otros recursos en
Internet sobre el diseño y el uso de evaluación de
programas sociales.

Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto

 ¡Gracias por su atención!

Contacto:
gabriela.vazquezc@prospera.gob.mx