Dir.

AdjuntadeInformacin,
EvaluacinyNormatividad
(DAIEN)

Dir.AdjuntadeDesarrollo
RegionalySectorial
(DADRyS)

Propuestametodolgicaparalaevaluacinde
impactoalProgramaS225:

FortalecimientoenlasEntidadesFederativasdelas
capacidadescientficas,tecnolgicasydeinnovacin

INFORMEFINAL

EQUIPOEVALUADOR:
CoordinadorGeneral:
Dr.HugoJavierFuentesCastro


Investigadores:
Mtra.CinthyaRochaSantos
Mtro.ArturoBacaMilln

Septiembrede2009

Introduccin ..3

Capitulo 1. Descripcin del Diseo Metodolgico 4

Capitulo 2. Anlisis de las Caractersticas del Programa, Respecto al Diseo

Metodolgico para la Evaluacin de Impacto ..7

Capitulo 3. Anlisis de la Informacin Disponible y Fuentes...9

Capitulo 4. Diseo Metodolgico Propuesto..13

Capitulo 5. Conclusiones.19

Bibliografa
Anexos
Guin del Anlisis de Factibilidad para llevara a cabo una evaluacin de Impacto:
(formato Coneval)

2
 Introduccin

La evaluacin de impacto representa una de los rubros ms importante de la evaluacin

integral de cualquier programa, ya que a travs de ella, se analiza y determina el cumplimiento
de los objetivos generales y particulares establecidos en los diferentes documentos normativos
(Reglas de Operacin, Matriz de Indicadores, Programas Operativos Anuales, entre otros), en
trminos de los beneficios econmicos, institucionales y sociales que resultan de su operacin
y diseo. Una evaluacin de impacto se realiza a lo largo del tiempo con el fin de observar los
cambios en una realidad comparando el estatus antes y despus de la intervencin
gubernamental.

En un sentido general, una intervencin se define como aquella accin que se ejecuta sobre
una situacin o fenmeno que se pretende transformar, ya sea en uno o varios aspectos. Para
este caso especfico, el objetivo central de la intervencin es fortalecer los Sistemas Locales
de Ciencia, Tecnologa e Innovacin (SLCTI), por lo que el estudio de evaluacin de impacto
deber reflejar el efecto que han tenido las intervenciones del programa, proyectos
financiados, sobre dichos Sistemas.

Si bien queda claramente identificado el objetivo de la evaluacin de impacto del Programa, es

importante sealar que, dada la elevada heterogeneidad que se observa tanto en la naturaleza
como en los objetivos de sus intervenciones, ser prcticamente imposible aplicar una
metodologa basada en las comparaciones apareadas, es decir, Matching methods, tcnica
ampliamente utilizada para la evaluacin de impacto de los programas gubernamentales.

Para poder aplicar dicha metodologa a la evaluacin de impacto del programa, es

imprescindible contar con una base de proyectos similar a los financiados mediante los
Fondos Mixtos pero con la salvedad que no hayan recibido el apoyo del programa. Es decir,
para poder identificar las diferencias entre los dos grupos como el impacto atribuible al
programa necesitamos elegir el grupo de comparacin de tal manera que sea similar al grupo
de tratamiento en la ausencia del programa, esto es, necesitamos construir escenarios contra-
factuales con el propsito de establecer una base para la estimacin de los impactos o
beneficios netos del programa sobre la poblacin beneficiaria.

Por tal motivo, se presenta el mtodo de Evaluacin del Desempeo Interno como una
propuesta factible y adecuada para medir si los proyectos financiados a travs del Programa
contribuyen efectivamente al fortalecimiento de los Sistemas Locales de Ciencia, Tecnologa e
Innovacin.

La aplicacin de esta metodologa arrojar informacin necesaria y relevante que servir como
insumo realizar un estudio comparativo a nivel de entidad federativa y as, generar un anlisis
de Benchmarking sobre el desempeo de los SLCTI con el propsito de identificar las reas
de oportunidad y las mejores prcticas para la generacin de mejoras continuas al interior de
cada Sistema.

3
1. Descripcin del Diseo Metodolgico

El Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (Coneval) tiene por

objeto normar y coordinar la evaluacin de las Polticas y Programas de Desarrollo Social a
travs de evaluaciones de diseo e impacto de las entidades pblicas.

La metodologa que solicita Coneval para la evaluacin de impacto es la construccin de una

contra-factual, aplicando las comparaciones apareadas Matching methods, mtodo de amplia
aplicacin en la evaluacin de programas de gobierno. Esta metodologa se aplica en
programas con objetivos precisos y acotados, proyectos homogneos, muestras
suficientemente grandes, procesos causales relativamente simples para poder apreciar y
entender la relacin entre los apoyos y los resultados.

Por lo tanto, si consideramos esta metodologa (matching methods), y una vez analizados los
objetivos del programa S225, la poblacin, universo de proyectos (3,500), y la gran
heterogeneidad de sus Componentes, es decir, la gran diversidad de los proyectos que son
financiados a travs de los Fondos Mixtos con el propsito de fortalecer los SLCTI, este
equipo evaluador considera que no es adecuada la aplicacin de dicha metodologa en este
programa.

Debido a esta heterogeneidad, se ha detonado la bsqueda de metodologas aplicadas en

reas como desarrollo empresarial, organizacin industrial, desarrollo organizacional,
planeacin estratgica y evaluacin social, con el propsito de medir adecuadamente el
impacto de los proyectos financiados a travs de los Fondos Mixtos. Esta bsqueda ha dado
como resultado la revisin detallada del mtodo de evaluacin de desempeo interno, el cual
este equipo evaluador sugiere como un mecanismo adecuado para medir el impacto de los
proyectos apoyados mediante el Programa S225.

1.1 Evaluacin del Desempeo Interno

1.1.1 Antecedentes

La globalizacin, el cambio tecnolgico, la desregulacin y la eliminacin de intermediarios en

las cadenas productivas han provocado una de las ms grandes transformaciones a nivel de
estructura y operacin de las industrias, especialmente de aquellas que se encuentran
estrechamente relacionadas con la provisin de servicios. Estas transformaciones han
provocado un replanteamiento de la forma en que las industrias evalan el desempeo de sus
propias unidades operativas y una modificacin tanto de las prioridades y objetivos como de la
forma en que interactan y participan los diferentes actores del entramado organizacional.

En esta nueva conformacin de la organizacin industrial, las unidades operativas

descentralizadas (departamentos y sucursales) han ido adquiriendo un rol cada vez ms

4
importante para el incremento de los ingresos, la productividad y la competitividad de la
industria; sin embargo, esta mayor importancia ha complicado la forma en que estas unidades
rinden cuentas sobre su desempeo a la organizacin central. Por este motivo, dichas
organizaciones demandan cada vez con mayor insistencia el diseo de mecanismos que les
permitan no slo medir y evaluar el desempeo de cada una de las unidades que las
conforman, sino tambin comprobar si las metas y objetivos de stas se encuentran alineadas
con las metas y objetivos (preferencias) de la unidad central.

Para tal efecto, autores como Grifell y Mrques (2007) han desarrollado la metodologa de
evaluacin del desempeo interno, la cual es aplicada a cualquier organizacin de servicios
que est estructurada a partir unidades centralizadas y descentralizadas, tal es el casos de los
bancos comerciales los cuales tienen corporativos (unidad centralizada) y sucursales
(unidades descentralizadas) que si bien operan en aras del cumplimiento de los objetivos y
metas de la unidad centralizada, cada unidad operativa tiene objetivos y metas especficas.

Cada centro de decisin puede tener objetivos diferentes entre s pero deben estar alineados
con las preferencias de las unidades centrales, integrndose as en un mismo marco de
evaluacin. Esta metodologa permite introducir explcitamente el objetivo de cada unidad
evaluada, la cual puede ser formulada de acuerdo a condiciones relevantes (externas e
internas).

En trminos generales, la evaluacin interna de las unidades operativas de una organizacin

tiene rasgos importantes que la diferencian de cualquier evaluacin de desempeo, ya que
requiere ser til y significativa para las organizaciones centrales, es decir, debe considerar que
las unidades operativas consideren en sus objetivos y metas las necesidades y preferencias
del rgano central.

1.1.2 Aspectos generales del enfoque de evaluacin del desempeo interno

Las ms recientes aportaciones tericas y metodolgicas en torno a la evaluacin del

desempeo interno pretenden dar respuesta a la crecientes necesidad de disear mecanismos
que permitan no slo medir el desempeo de los centros de decisin operacin de cada
organizacin sino tambin el grado en que dicho desempeo se alinea con las preferencias y
objetivos de la organizacin central; es decir, que la evaluacin logre captar el nivel de
congruencia que existe entre los objetivos y metas de las unidades operativas y las
preferencias de los gerentes, ver Grifell, Marques (2007:308). Para lograr lo anterior, es
fundamental definir claramente los objetivos o preferencias de la organizacin e identificar las
asimetras entre prdidas y ganancias.

Dado lo anterior y considerando la elevada heterogeneidad tanto en la naturaleza como en el

impacto de los proyectos financiados a travs de los Fondos Mixtos, sta metodologa puede
ser utilizada para medir si efectivamente dichos proyectos han contribuido a fortalecer los

5
SLCTI a nivel estatal, regional y municipal. Una de las grandes ventajas de esta metodologa
es que logra capturar el desempeo de unidades descentralizadas que son altamente
heterogneas entre s y cuyos objetivos pueden ser dismiles.

Para efectos de la medicin, la heterogeneidad responde a la variacin de condiciones

externas e internas que deben ser identificadas por cada unidad descentralizada y de no
existir dicha heterogeneidad, la empresa u organizacin no alcanzara la meta u objetivo
esperado. Asimismo, dicha heterogeneidad impide la agregacin de supuestos para medir y
comparar el desempeo de las unidades que coexisten dentro de la organizacin; sin
embargo, acepta la discrepancia de opiniones que pudieran surgir por parte de expertos en
torno a los objetivos y metas que deben de alcanzar los proyectos logrando contabilizar
perdidas y ganancias, brindando grados de libertad esenciales para una evaluacin completa
ante un escenario complejo.

En este sentido, la medicin del desempeo interno (MDI) quedara explicada de la siguiente
forma:

n n
MDIi (x i p i ) = 1 T (t) 2 (x it x ) 3 (pit ) 1 T (t) 2 (x it x itref ) 3 (pit )
ref
it
t =1 t =1
x it x itref x it x itref

Donde,

MDI = Medicin de Desempeo Interno

UTD = Unidad Tomadora de decisiones
xit = Resultado de desempeo de la UTD en el periodo t
n
pit = Frecuencia de un determinado xit ;0 pit 1 y cumple con p
t =1
it =1

xitref = Nivel de preferencias u objetivos. Solo si xitref xit se considera un buen resultado
xi y pi son vectores; xi = ( xi 0 , xi1 ,..., xin ) y pi = ( pi 0 , pi1 ,..., pin )
T (t ) es una funcin del tiempo

Este modelo permite que los resultados de las evaluaciones sean tratados asimtricamente en
tres niveles:

a) las funciones 2 y 2 permiten un tratamiento diferente cuando los valores de la

evaluacin de xit sean buenos o malos, respectivamente,

6
 b) las funciones 3 y 3 permiten que pi sea evaluado de forma diferente segn los
resultados de la evaluacin; y

c) los parmetros 1 y 1 ponderan de forma diferente los resultados buenos o malos de

la evaluacin.

2. Anlisis de las Caractersticas del Programa

El anlisis de las principales caractersticas y particularidades del programa, as como de sus

intervenciones, nos permite fundamentar, contextualizar e identificar las ventajas del mtodo de
Evaluacin del Desempeo Interno que arriba formulamos.

El Programa Fortalecimiento en las Entidades Federativas de las Capacidades Cientficas,

Tecnolgicas y de Innovacin surgi en 2001 con el objetivo de apoyar la realizacin de
investigaciones cientficas o tecnolgicas; innovacin y desarrollo tecnolgico; formacin y
desarrollo de recursos humanos especializados; divulgacin cientfica y tecnolgica; creacin y
fortalecimiento de grupos o cuerpos acadmicos de investigacin y desarrollo tecnolgico; e
infraestructura de investigacin y desarrollo con el propsito de contribuir al desarrollo
econmico y social de inters para los gobiernos de los estados, segn lo establecen sus
propias Reglas de Operacin (RO).

No cabe duda de la importancia que dicho Programa tiene para el impulso del desarrollo
econmico y social en los estados y municipios, sobre todo si se consideran dos situaciones: i)
la relacin causal que existe entre el desarrollo cientfico y tecnolgico y el fortalecimiento de la
actividad productiva y; ii) que el programa es el principal instrumento para la descentralizacin
e impulso de la actividad cientfica y tecnolgica en el pas; ello, mediante el apoyo de
proyectos dirigidos a fortalecer las capacidades de los sistemas locales de ciencia, tecnologa e
innovacin.

2.1 Heterogeneidad de los proyectos, principal limitacin para la evaluacin de impacto

La heterogeneidad de los proyectos financiados a travs de los Fondos Mixtos tiene su origen
en dos aspectos: la naturaleza de los mismos y el objetivo particular que persigue cada
proyecto. La naturaleza de cada proyecto est directamente relacionada con las modalidades
definidas en las Reglas de Operacin las cuales se presentan a continuacin; mientras que, el
objetivo particular de cada proyecto se encuentra asociado a la demanda especfica que
atiende, la cual se aprecia a travs de la clasificacin Demanda que atiende dentro de la base
de datos del programa.

7
2.1.1 Heterogeneidad causada por la modalidad de los proyectos: Segn lo establece las
Reglas de Operacin vigentes, los proyectos financiados por el programa debern ubicarse en
las siguientes modalidades:

A) Investigacin Cientfica
A1) Bsica
A2) Aplicada

B) Desarrollo e Innovacin Tecnolgica

B1) Precompetitivo
B2) Competitivo

C) Formacin de Recursos Humanos

C1) Creacin y consolidacin de programas de posgrado que atiendan las prioridades
especficas.
C2) Creacin y/o consolidacin de grupos y redes de investigacin e innovacin
C3) Formacin de especialistas

D) Creacin y Fortalecimiento de Infraestructura

E) Difusin y Divulgacin

Como se puede apreciar, las modalidades, tal y como estn definidas, dan cabida a cualquier
cantidad de proyecto; es decir, no existe ninguna limitante en cuanto a los asuntos que busca
resolver cada proyecto. Esto es cuestionable, sobre todo cuando se toma en cuenta que el 80%
de los proyectos financiados se concentra en slo dos modalidades.

La dispersin en la naturaleza de los proyectos al interior y entre las diferentes modalidades,

pone sobre la mesa la discusin sobre la pertinencia, relevancia y adecuacin de las cinco
modalidades como mecanismo para el fortalecimiento de los SLCTI.

2.1.2 Heterogeneidad causada por el objetivo especfico de cada proyecto: En lo que se refiere
a la dispersin que provoca la definicin y clasificacin de cada proyecto segn su objetivo,
sta se explica fundamentalmente por la ausencia de una metodologa que defina y clasifique
la demanda que pretende atender cada proyecto en funcin de una taxonoma adecuada que
d lgica, orden y reduzca la ambigedad que presentan muchos de los objetivos, permitiendo
precisar con ms claridad lo que se espera de cada uno de ellos, tal y como lo establecen las
diferentes tcnicas para la conformacin de las metas en el mbito del aprendizaje (ver Bloom
y Mager). Se anexa lista de taxonoma.

En este sentido, el diseo de una taxonoma adecuada para la clasificacin de los proyectos
segn su objetivo ser un factor importante para reducir la heterogeneidad y facilitar las futuras

8
evaluaciones al programa, ya que es precisamente por este comportamiento no homogneo y
variable, que es imposible aplicar metodologa de matching.

3. Anlisis de la informacin disponible y las fuentes

A la fecha el Programa apoya a 34 Sistemas Locales de Ciencia, Tecnologa e Innovacin

SLCTI- (32 sistemas estatales y dos municipales).

Desde 2001 se han financiado 3,594 proyectos con una asignacin presupuestaria que
asciende a 3,441 millones de pesos, siendo la investigacin cientfica la modalidad a la cual se
le ha otorgado el mayor monto (58.54% respecto al total), seguida del desarrollo tecnolgico
(21.56% del presupuesto total).

Del total de proyectos dirigidos a apoyar la investigacin cientfica (2,104), la gran mayora
(1,867 proyectos) se dirigieron al rea de investigacin cientfica aplicada; en tanto que, slo
113 proyectos se ubicaron en el rea de investigacin cientfica bsica. Lo anterior, signific
una asignacin de 1,142 millones de pesos para la investigacin aplicada y 77.4 millones de
pesos para la investigacin bsica. Por su parte, los proyectos financiados con el propsito de
impulsar el desarrollo tecnolgico (775 proyectos) registraron un monto total de 684.2 millones
de pesos. Lo anterior, da cuenta de que el programa presenta una elevada concentracin
(80%) en el financiamiento de proyectos dirigidos slo a dos modalidades: la investigacin
cientfica y al desarrollo e innovacin tecnolgica, ver grficas 1 y 2.

Esta elevada concentracin en el financiamiento de proyectos, no garantiza de ninguna forma

un comportamiento relativamente similar en la naturaleza y objetivo de los proyectos al interior
de una misma modalidad, ya que stos se desarrollan en funcin de las demandas, por lo que
existe una elevada heterogeneidad no slo entre las diferentes modalidades, sino tambin
entre los proyectos de una misma modalidad. Lo que s es posible decir, es que todos los
proyectos sin importar su modalidad persiguen un mismo objetivo macro: el fortalecimiento de
los SLCTI.

9
 GRFICA 1

NUMERODEPROYECTOSPORMODALIDAD
20012009
2500

2000
NUMERODEPROYECTOS

I.CIENTIFICA
1500
I.TECNOLOGICA

F.RECURSOS
1000
C.F.INFRAESTRUCTURA

500 DIF.YDIV.

Fuente: Elaboracin propia con base en informacin del Programa.

GRFICA 2

*
MONTO POR MODALIDAD 2001-2009

1,400,000

1,200,000
MILES DE PESOS

1,000,000

800,000

600,000

400,000

200,000

-
A. Investigacin B. Desarrollo e I. C. Formacin de D. Creacin y F. E. Difusin y
Cientifica Tecnolgica R. Humanos de Infraestructura Divulgacin
MODALIDADES

Fuente: Elaboracin propia con base en informacin del Programa.
*No se consideraron aquellos proyectos en los cuales intervienen ms de una categora.

10
 GRFICA 3

ESTADOS CON MAYOR PARTICIPACION EN EL MONTO TOTAL

2001-2009

16.00%
RESPECTO AL 100%

14.00%
12.00%
10.00%
8.00%
6.00%
4.00%
2.00%
0.00%
1
ESTADOS

NUEVO LEON GUANAJUATO YUCATAN CHIAPAS SONORA TABASCO

La base de datos del Programa S225 a junio de 2009 cuenta con la informacin
correspondiente a 3,593 proyectos y se encuentran clasificados de acuerdo a lo siguientes
rubros:

a) Estado
b) Clave
c) rea de Conocimiento
d) Modalidad
e) rea de Desarrollo
f) Demanda que Atiende
g) Institucin Participante
h) Estado de la Institucin participante
i) Tipo de Investigacin
j) Monto Solicitado
k) Monto Aprobado
L) Duracin del Proyecto
M) Estatus y
N) Fecha de Formalizacin, entre otros.

Al momento de analizar la base de datos y querer encontrar factores que nos permitan
homogenizarla, nos encontramos con el rubro de las Demandas que Atiende, las cuales son
tan dismbolas como el hecho de encontrar proyectos que atienden las siguientes demandas y
solo en el Estado de Aguascalientes:

11
1.- Actualizacin del proceso de tratamientos trmicos en la industria metal-mecnica de
Aguascalientes.

2.- Detector de fugas de agua a presiones menores de 1 kg/cm2.

3.- Capacitacin a tcnicos y productores, que incursionan con tecnologas de inocuidad y

seguridad alimentaria, con base en el uso de plsticos y agricultura orgnica. (Modalidad b) y
evaluacin de parmetros de produccin y mercado de guayaba en el municipio

4.- Desarrollo e innovacin de procesos y productos que eleven la competitividad de las

empresas en sectores estratgicos para el estado de Aguascalientes (modalidad b)

5.- Impacto y control del sndrome de deshidratacin en la pesquera y cultivo del abuln

Como podemos apreciar la informacin es muy completa, sin embargo y como se menciono
anteriormente, la problemtica es la heterogeneidad de los proyectos, y esta es entendible si
consideramos que el Programa S225 es precisamente para atender las diferentes demandas
que presentan los Estados de la Republica y que deriva en el fortalecimiento de los SLCTI.

12
4. Diseo Metodolgico Propuesto

Dada la elevada heterogeneidad de las intervenciones, la evaluacin del desempeo interno

se ubica como la metodologa idnea para evaluar el impacto del programa, ya que permitir
conocer si efectivamente se ha logrado fortalecer los SLCTI a travs de los proyectos
financiados. En este sentido el modelo propuesto para la evaluacin de impacto del Programa
S225 quedara de la siguiente forma:

n n
MDIi (x i p i ) = 1 T (t) 2 (x it x ) 3 (pit ) 1 T (t) 2 (x it x itref ) 3 (pit )
ref
it
t =1 t =1
x it x itref x it x itref

Donde,

MDI = Medicin de Desempeo Interno

xit = Resultado de desempeo del proyecto en el periodo t
n
pit = Frecuencia de un determinado xit ;0 pit 1 y cumple con p
t =1
it =1

xitref = Nivel de preferencias u objetivos, slo si xitref xit se considera un buen resultado
xi y pi son vectores; xi = ( xi 0 , xi1 ,..., xin ) y pi = ( pi 0 , pi1 ,..., pin )
T (t ) es una funcin del tiempo

Para lograr que la medicin refleje la contribucin de cada proyecto y cada modalidad al
fortalecimiento de los SLCTI, ser fundamental considerar los siguientes elementos en la
construccin de este modelo de evaluacin.

1.- Definicin del vector xit

Los aspectos para evaluar el desempeo del proyecto i financiado por el programa en
el periodo t se definen en el vector xit .

2.- Definicin del vector xitref

El vector xitref mide el nivel de preferencias u objetivos de cada modalidad, reflejando

los parmetros que medirn la contribucin al fortalecimiento de los SLCTI.

3- Definicin de ponderaciones 1 y 1

13
 Los ponderadores permitirn priorizar o jerarquizar los criterios de evaluacin del
desempeo.

Dada la importancia que tiene la definicin tanto de los vectores como de los ponderadores
para medir el desempeo de los proyectos y su contribucin al fortalecimiento de los SLCTI,
es importante subrayar la necesidad de incorporar a los expertos en las diferentes materias
para tal definicin. En el caso del CONACYT, este es un aspecto que representa importantes
ventajas comparativas, ya que es la institucin que concentra a los investigadores y expertos
ms importantes del pas, adems de que cuenta con mecanismos para hacer vlida su
participacin.

Aunado a lo anterior, es importante sealar que en el diseo del vector que define los
aspectos a considerar en la evaluacin de los proyectos, se tomaran en cuenta tanto los
elementos generales de los mismos, sin considerar su naturaleza u objetivo especfico, como
los elementos especficos de cada proyecto. Asimismo, se debern separar los aspectos
asociados directamente con cumplimiento del proyecto de los que se refieren netamente al
impacto.

a) Criterios Generales independientes del tipo de proyecto:

Para la definicin de los criterios generales se debern considerar variables como

eficacia, eficiencia, rentabilidad (slo en los casos que as se requiera) y
satisfaccin/calidad. Estos criterios debern estar sujetos, a su vez, a dos aspectos:
i) rea de conocimiento y ii) rea de desarrollo, tal y como se muestra en el siguiente
cuadro:

Lista de Meta Ponderador

Propuesta Aspectos a
Presu- Deman
Criterios Filtro 1 Filtro 2 (bien o
servicio)
puesto -das
evaluar
xitref 1 y
1
xit
Generales i.A
i) Eficacia i.B
ii) Eficiencia A S i.C
rea de rea de
iii) Satisfaccin/ B X T ii.X
conocimiento desarrollo
Calidad C U iii.S
iii.T
iii.U
Nota: Por eficacia se entiende el hecho de cumplir con la accin se haba propuesto. Ejemplo: Hizo el libro si o no. De 100 calles
pavimentadas cuntas puede ser 80/100. Por eficiencia se entiende el cumplimiento del presupuesto indicado. Si se puede
generar una aproximacin comparando con otros que hayan hecho lo mismo se genera indicador (proyecto entre referencia)
Mayor a 1 no es eficiente; menor a 1 es eficiente. Por calidad/satisfaccin se entiende a aquellos aspectos que impactan al
consumidor sobre el servicio o producto generado.

Para lograr lo anterior se propone satisfacer los siguientes criterios:

a) Las valoraciones xit deben definirse por dos actores: expertos y consumidor. Las
variables eficacia, eficiencia y los valores o niveles de calidad pueden ser evaluadas o

14
 medidas por expertos; en tanto que, el nivel de satisfaccin deber evaluarse por el
consumidor.

b) En el caso especfico de este programa, es posible que se prescinda de T (t ) ya que

ser una evaluacin en un periodo de tiempo.

b) Criterios especficos de cada proyecto:

Para la definicin de los criterios especficos de los proyectos que debern evaluarse
para cada modalidad, se recomienda hacerlo en los trminos que lo muestra el
siguiente cuadro:

MODALIDADES VECTORES
Satisfaccin/
xit Eficacia Eficiencia Impacto Cronograma
Calidad
Encuestasde
MetasyObjetivosde
satisfaccinalos Indicadores
Proyecto
queutilizanel Econmicosy
Artculos
productodel Sociales
Categorizacindelos
proyecto. Empleo
Artculos Tiempos
A)Investigacin Tiempo Gobiernodelos Salud
Indexadosono,etc Entregables
Cientfica Presupuesto Estadososus Educacin
Libros
Secretaraso Productividad
Patentes
Direcciones, Mercado
Multidiciplinaridad
Cmaras Ventas
Empleos
empresariales,
Especializados
etc.
MetasyObjetivosdel
Proyecto
Encuestasde
Artculos
satisfaccinalos Indicadores
Categorizacindelos
queutilizanel Econmicosy
Artculos
productodel Sociales
Indexadosono,etc
proyecto. Empleo
B)Desarrolloe Libros
Tiempo Gobiernodelos Salud Tiempos
Investigacin Patentes
Presupuesto Estadososus Educacin Entregables
Tecnolgica Entregables
Secretaraso Productividad
Multidiciplinaridad
Direcciones, Mercado
ProcesoInnovado
Cmaras Ventas
ProductoInnovado
empresariales,
ServicioInnovado
etc.
Empleos
Especializados
MetasyObjetivosdel Encuestasde Indicadores
Programa satisfaccinalos Econmicosy
Empleos queutilizanel Sociales
Especializados productodel Empleo
C)Formacinde
NmerodeAlumnos Tiempo proyecto. Salud Tiempo
Recursos
Nmerode Presupuesto Gobiernodelos Educacin Entregables
Humanos
Especialistas Estadososus Productividad
ObtencindeGrados Secretaraso Mercado
de Direcciones, Ventas
Licenciatura Cmaras

15
 Maestra empresariales,
Doctorado etc.
Postdoctorado
MetasyObjetivosdel
Encuestasde
Programa
satisfaccinalos Indicadores
NuevosLaboratorios
queutilizanel Econmicosy
Equipamiento
productodel Sociales
CreacindeCentros
proyecto. Empleo
D)Creaciny deInvestigaciny
Tiempo Gobiernodelos Salud Tiempos
Fortalecimiento Desarrollo
Presupuesto Estadososus Educacin Entregables
deInfraestructura CiudadesIndustriales
Secretaraso Productividad
ParquesyMuseos
Direcciones, Mercado
Cientficosy
Cmaras Ventas
Tecnolgicos
empresariales,
Empleos
etc.
Especializados
Encuestasde
satisfaccinalos Indicadores
MetasyObjetivosdel queutilizanel Econmicosy
Programa productodel Sociales
Museos proyecto. Empleo
E)Difusiny Ferias Tiempo Gobiernodelos Salud Tiempos
Divulgacin EncuentrosdeCiencia Presupuesto Estadososus Educacin Entregables
yTecnologa Secretaraso Productividad
Congresos Direcciones, Mercado
Cmaras Ventas
empresariales,
etc.

c) Resultados y Benchmarking

Los resultados de nuestro modelo arriba sealado, son elementos para la aplicacin de la
metodologa Benchmarkinng, la cual tendra como objetivo en este programa, comparar los
parmetros alcanzados por estado a fin de determinar cuales de ellos tienen los estndares
ms eficaces y eficientes.

Asimismo, la aplicacin de los resultados en modelos como Data Envelopment Analysis

(DEA)1 que permiten generar fronteras de mejor practica y darle una referencia clara a las
entidades de cuales seran aquellas que podran ser su mejor referencia y ejemplo.

4.1 Etapas de la evaluacin de impacto y cronograma de actividades para su implementacin

1.- Definicin del universo a evaluar.

Lo definir quien vaya a realizar la evaluacin en conjunto con Conacyt.

2.- Definicin de variables

1
Cooper, W., Seiford, M., Zhu, J., (Eds). (2004). Handbook on Data Envelopment Analysis ( International Series
in Operations Research & Management Science)

16
 Se anexan los vectores por modalidades; sin embargo, y con base en cmo definan los
expertos-conacyt las caractersticas de los proyectos por modalidad, se podrn agregar
ms variables.

3.- Evaluacin y Comparativo contra Metas y Objetivos

Anlisis de los resultados obtenidos por el modelo as como de la aplicacin del
Benchmarking

4.- Propuestas para alcanzar las metas y objetivos aprobados

5.- Publicacin de resultados.

4.2 Diseo de Herramientas para recabar informacin

Los mtodos de orden cualitativo, como son las entrevistas en sus distintas variedades:
observaciones en sitio, tcnicas de orden etnogrfico, entre otros, han alcanzado un nivel de
rigurosidad en los ltimos aos que permite ponerlos a la par de los cuantitativos. Mediante
una propuesta bsica se procurar seguir un protocolo para utilizar un mtodo estndar
durante toda la evaluacin en los tres pasos principales del trabajo cualitativo:

Instrumentos a utilizar

a) Entrevistas semi-estructuradas y a profundidad

Realizaremos entrevistas semi-estructuradas y a profundidad con actores relevantes para

obtener informacin de primera mano sobre el funcionamiento del Programa S225, para con
ello observar la accin y coordinacin con los intermediarios (Universidades, Institutos, etc).,
para llegar al beneficiario final.

La entrevista es, entre otras, una estrategia de las ciencias sociales para indagar las
opiniones, percepciones, representaciones, significaciones de los actores sociales que se
aplica de forma amplia en estudios evaluativos. En el mbito de la sociologa, la entrevista
cualitativa es una tcnica indispensable en la generacin de un conocimiento sistemtico
sobre el mundo social2. De ah que las ciencias sociales, la entrevista, a la par que con otras
estrategias metodolgicas, nos acerca a los significados que los actores sociales producen y
reproducen en los vnculos que establecen en el da a da con otros actores cercanos.

b) Grupos de enfoque

El grupo de enfoque es un tipo de entrevista colectiva que sirve como herramienta de

recoleccin de datos. Busca encontrar el cmo y el por qu, proporcionando respuestas
contextuales en grupos cuasi-homogneos de poblacin elegidos bajo criterios del grupo

2
Vela P., F., 2004. Un acto metodolgico bsico de la investigacin social: la entrevista cualitativa, en
Tarrs, M. L. ed), Observar, escuchar y comprender sobre la tradicin cualitativa en la investigacin
social. FLACSO-Miguel Angel Porra, p.67, Mxico

17
evaluador. De tal forma se realizar esta tcnica con tipos de participantes similares en
algunas caractersticas clave con el fin de identificar temas o patrones de percepciones. As
los grupos se reunirn para discutir una serie de asuntos especficos guiados por un
moderador entrenado que estimula y enfoca la discusin.3

El propsito del grupo de enfoque ser la recoleccin de datos cualitativos a partir de un

proceso de interaccin grupal que ayude a la mejor comprensin de las actitudes, las
percepciones, los sentimientos y la forma de pensar de los participantes. Es por ello que la
mayor utilidad y valor de los grupos de enfoque radica en la riqueza de los comentarios e
interaccin, manifiesta o latente, de las personas participantes. Para alcanzar los objetivos
deseados en cada grupo se recomienda que estn integrados entre siete y ocho personas. Es
el nmero ideal que permite tener un control ms completo sobre la discusin, sin perder de
vista las reacciones, comentarios e interaccin entre los integrantes. La mayor utilidad y valor
de los grupos de enfoque radicar en la riqueza de los comentarios de las personas
participantes.

Algunas de las ventajas de esta tcnica es que representa una herramienta muy valiosa para
desarrollar hiptesis sobre problemas y oportunidades; proporciona la flexibilidad para cubrir
temas de manera ms profunda que la entrevista individual por realizarse en grupos, as el
proceso de recoleccin de datos y anlisis de los mismos es ms acelerado.

c) Observaciones en sitio

En funcin del conjunto de instrumentos de campo, se utilizan las observaciones de manera

cualitativa, fundamentalmente para recoger datos sobre el apego a las Reglas de Operacin y
tambin para recoger las actitudes e impresiones sobre la operacin del Programa. Estas
observaciones requerirn de un esquema de trabajo para captar manifestaciones y aspectos
trascendentes del grupo social que se observa, y de igual modo servirn al equipo de trabajo
como una forma de control interno en el acopio de informacin en campo.

3
Kotler, P., 1987. Strategic marketing for Non-Profit Organizations. Engelwoods, Cliffs, NJ: Prentice 3rd
ed.

18
5. CONCLUSIONES

El Programa Fortalecimiento en las Entidades Federativas de las Capacidades Cientficas,

Tecnolgicas y de Innovacin surgi en 2001 con el objetivo de apoyar la realizacin de
investigaciones cientficas o tecnolgicas; innovacin y desarrollo tecnolgico; formacin y
desarrollo de recursos humanos especializados; divulgacin cientfica y tecnolgica; creacin y
fortalecimiento de grupos o cuerpos acadmicos de investigacin y desarrollo tecnolgico; e
infraestructura de investigacin y desarrollo con el propsito de contribuir al desarrollo
econmico y social de inters para los gobiernos de los estados, segn lo establecen sus
propias Reglas de Operacin (RO).

A la fecha el Programa apoya a 34 Sistemas Locales de Ciencia, Tecnologa e Innovacin

SLCTI- (32 sistemas estatales y dos municipales). Desde 2001 se han financiado 3,594
proyectos con una asignacin presupuestaria que asciende a 3,441 millones de pesos, siendo
la investigacin cientfica la modalidad a la cual se le ha otorgado el mayor monto (58.54%
respecto al total), seguida del desarrollo tecnolgico (21.56% del presupuesto total).

No cabe duda de la importancia que dicho Programa tiene para el impulso del desarrollo
econmico y social en los estados y municipios, sobre todo si se consideran dos situaciones: i)
la relacin causal que existe entre el desarrollo cientfico y tecnolgico y el fortalecimiento de la
actividad productiva y; ii) que el programa es el principal instrumento para la descentralizacin
e impulso de la actividad cientfica y tecnolgica en el pas; ello, mediante el apoyo de
proyectos dirigidos a fortalecer las capacidades de los sistemas locales de ciencia, tecnologa e
innovacin.

El diseo de una metodologa de evaluacin de impacto del programa S225 ha representado

un reto para este equipo evaluador, no solo por tratarse de un programa que atiende a la
comunidad cientfica, sino por el hecho que representa una forma de medicin diferente a los
modelos que solicita el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
(Coneval).

Coneval solicita que para la evaluacin de impacto se construya una contra-factual, aplicando
las comparaciones apareadas Matching methods. Esta metodologa se aplica en programas
con objetivos precisos y acotados, proyectos homogneos, muestras suficientemente grandes,
procesos causales relativamente simples para poder apreciar y entender la relacin entre los
apoyos y los resultados.

Sin embargo, la metodologa propuesta por este equipo evaluador, Evaluacin de

Desempeo Interno, responde a la gran heterogeneidad que existe en los objetivos y metas
de la gran variedad de proyectos financiados a travs de los Fondos Mixtos, sta metodologa
puede ser utilizada para medir si efectivamente dichos proyectos han contribuido a fortalecer
los SLCTI a nivel estatal, regional y municipal. Una de las grandes ventajas de esta

19
metodologa es que logra capturar el desempeo de unidades descentralizadas que son
altamente heterogneas entre s y cuyos objetivos pueden ser dismiles.

Asimismo, los resultados de nuestro modelo son elementos que nos permiten la aplicacin del
Benchmarkinng, en modelos DEA con el fin de generar mejores prcticas. Respecto a las
variables propuestas por este equipo evaluador, consideramos que deben ser sujetas a
discusin y mejora por parte del equipo de expertos-conacyt con el fin de obtener los mejores
resultados cuando se realice la evaluacin de impacto.

20
BIBLIOGRAFIA

lvarez-Gayou, J. L. (2005). Cmo hacer investigacin cualitativa. Fundamentos y

metodologa. Mxico: Paids
Angrist, J. y Lavy V. (1999). Using Maimonides rule to estimate the effect of class size on
Scholastic achievement, Quarterly Journal of Economics.
Buddelmeyer, H. y Skoufias E. (2004, septiembre). An Evaluation of the Performance of
Regression Discontinuity Design on PROGRESA. Working Paper 3386. World Bank Policy
Research.
Burga, C. (2003). Re-Evaluando PROJoven: Propensity Score Matching y una evaluacin
Paramtrica, Working Paper.Cernea, M. M. (1991). Putting People First: Sociological Variables
in Rural Development. Oxford: Oxford University Press Books.
Champetier, Y. (2003). LEADER, un example de management public local: linititative
communautaire LEADER en faveur du dvelopppement des zones rurales de lUnion
Europen, ponencia presentada para el Instituto de Desarrollo Social Interamericano.
Heckman, J., Ichimura, H. y Petra, T., 1998. Matching As an Econometric Evaluation
Estimator, Review of Economic Studies, vol. 65, no. 2, pp. 261-264.
Heckman, J., Ichimura, H., Smith J., y Petra, T., 1998. Characterizing Selection Bias Using
Experimental Data, Econometrica, vol. 66, no. 5, pp. 1017-1098.
King, G., R. O. Keohane y S. Verba (2000) El diseo de la investigacin social. Espaa,
Madrid, Alianza
Kotler, P., 1987. Strategic marketing for Non-Profit Organizations. Engelwoods, Cliffs, NJ:
Prentice 3rd ed.
Glazerman, S., D. Levy and D. Myers. (2002). Nonexperimental Replications of Social
Experiments: A Systematic Review, Interim Report/Discussion Paper, Mathemathica Policy
Research Inc. September, 78 pp.
Ravallion M. (1999). The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's Introduction
to Evaluation, World Bank Policy Research Working Paper No. 2153.
Vela P., F., 2004. Un acto metodolgico bsico de la investigacin social: la entrevista
cualitativa, en Tarrs, M. L. ed), Observar, escuchar y comprender sobre la tradicin
cualitativa en la investigacin social. FLACSO-Miguel Angel Porra, pp. 63-131, Mxico.
Weiss, R. S., 1995. Learning from Strangers. The Art and Method of Qualitative Interview
Studies, The Free Press.

21