Innovacion Inteligente

Un estudio de la DG Empresa e Industria
INNOVACIN INTELIGENTE:
Gua prctica para la evaluacin de
Programas de Innovacin
Los coordinadores del estudio:
Louis Lengrand y
Associs
Socios del estudio:
PREST
Universidad de
Manchester
ANRT (Asociacin
Nacional de la
tcnica de recherche)
Reidev Ltd
Reidev Ltd
01 2006
________________________________________
Pgina 2
INNOVACIN INTELIGENTE - Apoyo al Monitoreo y Evaluacin de la Innovacin
Programas
2
Esta gua ha sido compilada en nombre del equipo del proyecto y bajo la inspiracin de las ideas desarrollado en las
reuniones HLWG, por el equipo de PREST. Los principales contribuyentes son Ian Miles y Paul Cunningham, con
aportaciones de Deborah Cox, Christina Crowe y Khaleel Malik. Edicin cont con el apoyo de Marco Jaso.

CECA-CE-CEEA Bruselas-Luxemburgo, 2006
"Ni la Comisin Europea ni ninguna persona que acte en nombre de la Comisin, es
el responsable del uso que pueda hacerse de la informacin contenida en este informe.
Las opiniones expresadas en este informe son las de los autores y no reflejan necesariamente la
polticas de la Comisin Europea ".
________________________________________
Pgina 3
Programas

RESUMEN EJECUTIVO
Esta Gua es en efecto un Manual para los interesados en la puesta en marcha,
implementacin o uso de la evaluacin y el seguimiento en el contexto de la innovacin
programas. Como tal, comprende una gran coleccin de pregunta-y-
Conteste las formulaciones que se ocupan de los problemas que surgen cuando se lleva evaluacin
enfoques que soportar aqu.
Esto significa que un Ejecutivo convencional
Resumen no es realmente viable, por lo que aqu nos centraremos en la explicacin del
estructura principal de la Gua y los elementos crticos de la filosofa que hay detrs
ella.
La estructura de la Gua es sencillo. En primer lugar la naturaleza de la innovacin
la evaluacin del programa se introduce, y las razones para llevar a cabo lo establecido
cabo. Se abordan argumentos en contra de dicha evaluacin. Diferentes enfoques
a la evaluacin se puso en camino y el alcance de los estudios de evaluacin examin. La
gama de mtodos que pueden ser llevados a soportar se establecen brevemente, junto con
una discusin de las cuestiones que se plantean en trminos de evaluacin de impacto. Finalmente
la gua concluye con una discusin de la que se informa, el uso, y la incrustacin
de evaluacin de los programas de innovacin.
La principal filosofa que subyace en la Gua se cristaliz en el curso de
el estudio actual, y se basa en gran medida en las aportaciones que recibimos de
entrevistados y nuestro Grupo de Trabajo de Alto Nivel. Esto se puede resumir en
trminos de una serie de puntos clave:
La cultura de la evaluacin se desarrolla de forma muy desigual en
Europa, y si bien esto sugiere que hay pases y regiones que
se underutilising el enfoque, al menos que significa que hay una buena
practicamos podemos recurrir.
En las culturas ms avanzadas, la evaluacin se ha movido ms all de ser un
sencilla auditora de rendimiento, y se est convirtiendo en una parte integral de un
enfoque basado en el aprendizaje para la formulacin de polticas y la formacin de los programas.
Las evaluaciones pueden proporcionar acumulativamente creciente comprensin de la operacin
de los sistemas de innovacin dentro de la cual los programas de innovacin se buscan
para operar.
evaluacin del programa La innovacin puede aprender mucho de la experiencia
en la evaluacin de programas de investigacin, pero esta zona de poses de evaluacin
desafos propios que deben ser abordados.
No existe ninguna "varita mgica" en la evaluacin: hay un mtodo nico que puede responder a
todas las cuestiones principales de un estudio de evaluacin, y se aplicar en todos los tipos
de estudio. Por lo general, las evaluaciones tendrn que usar una mezcla de mtodos
elegido para adaptarse a las necesidades del estudio en particular.
uso efectivo de la evaluacin requiere que los usuarios informados, que aprecian la
limitaciones necesarias de cualquier estudio de evaluacin individual.
Los usuarios informados mencionados en el ltimo punto se valorar la
contribuciones de la evaluacin en el proceso de la poltica, y es probable que voluntariamente
servir como embajadores de la evaluacin de programas de innovacin. Se espera que
esta Gua ser til a tales responsables polticos, se para los profesionales de evaluacin real y potencial.
________________________________________
Pgina 5
Programas

________________________________________
Pgina 9
Programas
Prefacio
El proyecto SMEIP - SMEIP significa apoyar el seguimiento y la
Evaluacin de Programas de Innovacin - ha sido financiado por la DG Empresa.

El proyecto ha incluido estudios de caso de los sistemas de evaluacin, entrevistas y
una encuesta en lnea de profesionales de evaluacin y las partes interesadas, y, sobre todo, un
serie de reuniones del Grupo de Trabajo de Alto Nivel. Una conferencia muy concurrida
Tambin se celebr en Bruselas a principios del verano de 2005. Todas ellas han demostrado ser de vital importancia
recursos en forjar la idea de esta gua - la creacin de un recurso utilizable en
Adems de nuestros informes de los proyectos convencionales.
para fomentar la futura prctica de la evaluacin en el
campo del programa Uno de los principales objetivos del proyecto era identificar las oportunidades para la
Comisin Europea de innovacin. Mientras que el proyecto alcanza numerosas conclusiones
en cuanto a las estrategias para la mejora de la cultura de la evaluacin, uno de los principales
compromiso era entregar un plan para una iniciativa piloto que promueva esta
situacion.
Esta Gua, inteligente Innovacin, pretende ser de uso generalizado, pero su inmediata
aplicacin, con suerte, estar en la iniciativa piloto (en caso de llevarse a cabo).
En este contexto, la Gua debe ser visto como una entidad dinmica, algo que
ser perfeccionado y mejorado a travs de la experiencia adquirida en su aplicacin. Ms
prosaica y convencionalmente, podramos decir que esta versin de la Gua es un
primer borrador, y que estamos esperando comentarios sobre su estructura y contenido
lo que permitir ediciones mejoradas y aumentadas en el futuro.
Una direccin obvia para un mayor desarrollo de la Gua es configurarlo como
un hipertexto - una herramienta electrnica que se accede a travs de Internet o en un CD-
ROM. Esta versin podra estar relacionado con los dems materiales de la SMEIP
proyecto a medida que se ponen en lnea, y al rico corpus de materiales pertinentes
generados en otros lugares. (Una de las recomendaciones de SMEIP es que ms
esfuerzo que se pone en la documentacin y difusin de informacin sobre la
la prctica y el uso de la evaluacin del programa de innovacin y sistemas de evaluacin
ms en general). En el poco tiempo del presente proyecto, no hemos sido
capaz de hacer este documento como un hipertexto, pero esperamos que la estructura
ser lo suficientemente clara y fcil de usar para los usuarios aplicar de manera eficaz en
formato papel o PDF.
________________________________________
Pgina 10
________________________________________
Pgina 11
Programas
11
Agradecimientos
En primer lugar, gracias a nuestro oficial del proyecto, el Sr. Alberto Licciardello (Innovacin
Unidad, DG Empresa).
Especial agradecimiento a nuestros miembros del Grupo de Trabajo de Alto Nivel, que ayudaron
definir las tareas de esta gua y nos proporcion ideas y mucho
valioso material:
Sra. Agnes ARCIER, Jefe de Unidad, la Innovacin y la Competitividad
Polticas, Ministerio de Economa, Finanzas e Industria - Francia
Sra. Ullrike Blankenfeld, Unidad VIII D 1, Ministerio Federal de Economa
y laboral - Alemania
Sr. Lennart NORGREN, Analista, Vinnova, en representacin del Sr. Kjell-Hkan
NRFELT, Miembro del Consejo Asesor y, Vinnova - Suecia
Sr. Arjan WOLTERS, fabricante Poltica / experto en evaluacin en el Ministerio de
Asuntos Econmicos, en representacin de D. Theo ROELANDT, Director de la
Departamento de Estrategia, Investigacin y Cooperacin Internacional de la Direccin General de
Innovacin, del Ministerio de Asuntos Econmicos - Pases Bajos
Sr. Paolo GUARNIERI, Unidad Operativa, las regiones europeas del conocimiento
Red de Innovacin y Simone SORBI, Director de Innovacin y
Oficina de Polticas de Investigacin, Regin Toscana - Italia
Sr. Janis Stabulnieks, Director Gerente del letn Tecnolgico
Centro - Letonia
Sr. Peter Stanovnik, Vice-Presidente, Consejo Nacional para la Tecnologa -
Eslovenia
Sr. Neil MACCALLUM, Jefe de Evaluacin y Evaluacin, Scottish
Empresa - Reino Unido, en representacin de Charlie MADERAS, Tercera
Director de Gestin del Conocimiento, Scottish Enterprise - Reino Unido
El otro estudio Miembros del equipo contribuyeron material y la motivacin: gracias
al Sr. Louis LENGRAND, coordinador y la Sra. Julie Koeltz, (Louis Lengrand
et Associs); Sr. Alain QUEVREUX, y el Sr. Jean-Marc Levy, (Asociacin
Nationale de la Recherche Technique), y el Sr. Reinhold Enqvist, (REIDEV
Ltd).
Por ltimo, los entrevistados, encuestados y participantes Estudio de caso
se agradeci por sus valiosos aportes e informacin. Son demasiado numerosos para
nombramos individualmente, pero les agradecemos sinceramente.
________________________________________
Pgina 12
Programas
12
________________________________________
Pgina 13
Programas
13
Definiciones
La innovacin en la industria es una cuestin de hacer cosas nuevas, o la bsqueda de nuevas formas de
hacer cosas conocidas. Gran parte de la discusin de la innovacin gira en torno a
la innovacin de productos (la creacin de bienes y servicios nuevos o mejorados)
y la innovacin de procesos (nuevas formas de produccin de bienes y servicios).
Sin embargo, tambin hay innovaciones en trminos de las interfaces entre los
organizaciones y entre los proveedores y usuarios de los productos (marketing, e-
el comercio, los nuevos sistemas para la prestacin de bienes y servicios, despus de las ventas
los servicios, las interacciones entre los proveedores y usuarios acerca de diseo de producto
y especificacin, etc) Las innovaciones organizativas son a veces
diferenciada de los tecnolgicos (aunque a menudo van de la mano).
Otra distincin importante es entre innovaciones incrementales (menores
modificaciones en los productos y procesos) y las innovaciones ms radicales (mayor
cambios en cmo los procesos se organizan y cmo los productos funcionan).
Las innovaciones incrementales a menudo surgen de la experiencia de hacer y
la entrega de productos; innovaciones radicales a menudo requieren de investigacin y
Desarrollo o esfuerzos similares para traer nuevos conocimientos para influir en el producto
o proceso. Una idea o proyecto no es una innovacin si no se aplica en
procesos puestos en el mercado, o se utilizan en el sector pblico. (En el negocio
mundo, es comn para restringir el uso de la palabra slo para aplicaciones de xito:
pero creemos que no puede haber mucho que aprender de las innovaciones que son
xito en cuanto a la consecucin de los mercados que se espera, o incluso en trminos de
no cumplir con las especificaciones tcnicas.)
Programas de Innovacin (PI) son las medidas, planes, iniciativas, etc
Financiado por (cualquier nivel) de gobierno, cuyo objetivo es la promocin, apoyo o
fomento de la innovacin y las actividades relacionadas con la innovacin. Pueden operar
ya sea directamente, a travs de la provisin de fondos, informacin u otro tipo de apoyo;
o indirectamente, a travs de la facilitacin del proceso de innovacin (es decir, a travs de fiscal o
reforma de la reglamentacin). Tenga en cuenta que algunos programas de innovacin puede tener
la innovacin como un objetivo secundario, o como un medio para un fin, como una mayor
la eficiencia energtica o el desarrollo regional.
Visin general del programa encapsulan en unas pocas pginas o en un relativamente simple
Diagrama de lo que un programa es, y lo que est tratando de lograr. Incluyen
planteamientos como los modelos de programas o marcos lgicos. Un tipo de
Visin general del programa es conocido como la declaracin Roame. Preparado en el
etapa de planificacin inicial del Programa, tal declaracin se establece la
Programa de:
Razones - cul es su objetivo general, qu poltica tiene como objetivo que se trata de apoyar.
Objetivos - cules son los logros especficos del Programa es
destinada a estar haciendo en apoyo de este Fundamento?
Evaluacin - Cules son las actividades que realizarn estos logros a
ser seleccionado?
________________________________________
Pgina 14
Programas
14
Monitoreo - cules son los medios para examinar el progreso de la
diferentes actividades, en trminos de cumplimiento de los hitos y la realizacin de la
tareas asignadas.
Evaluacin - qu enfoque se adoptar para examinar en qu medida
que el programa ha logrado sus objetivos con eficacia y
eficiente?
Ya sea puesto en un marco Roame
1
o alguna otra disposicin, un Programa
Informacin general que se establece en el inicio de un programa para la innovacin debe
que el Programa sea ms fcil de manejar y, en definitiva, de evaluar. Se puede
as tambin ser una forma til de la comunicacin sobre el Programa a los servicios financieros
y otras autoridades polticas, y para otras partes interesadas.
La evaluacin en este contexto se refiere a la evaluacin del programa. Este es el
evaluacin sistemtica de un programa para determinar (1) hasta dnde se est cumpliendo
objetivos (y, tal vez, el logro de otros efectos), (2) si est cumpliendo
estos objetivos con eficiencia y eficacia), y (3) cmo la gestin
estructuras (y otros factores) han dado forma a estos resultados. La evaluacin puede ser
ex ante, supervisin, ex post, etc; y puede centrarse en un solo proyecto o
programa, o extender de manera ms amplia para abarcar el marco poltico
en el que estos se encuentran.
Evaluabilidad se refiere a lo fcil que es para evaluar algo - esto depender,
por ejemplo, en los objetivos de hasta qu punto existe se definen claramente en contra de la cual
logros pueden ser evaluados, lo extendida y difunden estos efectos
puede ser, durante qu perodo de tiempo que se puede esperar a emerger, y as sucesivamente. Lo
normalmente es ms fcil de evaluar las consecuencias inmediatas de un programa
que sus resultados a largo plazo - aunque estos ltimos son probablemente lo que motiva
el programa en primer lugar, en particular en el caso de la innovacin
programas.
Evaluacin del Programa de Innovacin (IPE) es la evaluacin de la Innovacin
Programas - cada uno de estos trminos de componentes se ha definido anteriormente.
Mientras que muchas de las herramientas y tcnicas que se utilizan aqu se derivan de los
empleado en la evaluacin de los programas de I + D, los objetivos de la Innovacin
Los programas suelen ser ms amplias que las de los programas de I + D, y hay
son menos indicadores estndar que se pueden utilizar para fines de evaluacin. Para
, programas de I + D de instancia se pueden evaluar en trminos de contribuciones a
conocimiento como publicaciones y patentes; pero IPs requieren que sus impactos sobre,
por ejemplo, las prcticas comerciales y el desempeo, se evalan.
Una cultura de la evaluacin es un trmino que se utiliza para referirse a lo lejos la evaluacin
prcticas estn integrados en la poltica de la institucin y el diseo de programas y
aplicacin. En una cultura avanzada de evaluacin, la evaluacin se considera como un
natural y caracterstica inherente de los programas, y se prev que en el inicio de
programas. No es slo algo que se aade simplemente en al final de la
ejercicio - aunque para llevar a cabo una evaluacin en todo es un poco superiores a un
1
Ms detalles sobre Roame y enfoques anlogos se proporciona a continuacin en el captulo 5.
________________________________________
Pgina 15
Programas
15
marco institucional en el que simplemente no hay evaluacin en absoluto. En ms
culturas avanzadas de evaluacin, por otra parte, la evaluacin no es slo una forma de
la evaluacin del rendimiento de un IP en particular. Se ha convertido en una herramienta para
informar el diseo de IPs, y de hecho informar la poltica de innovacin, ms
en general.
La adicionalidad es un elemento importante en la consideracin de los efectos de una
Programa. Adicionalidad es el cambio debido a la actividad, en comparacin con los
lo que habra ocurrido si no la actividad ha llevado a cabo en absoluto. Ms
discusin de la adicionalidad se proporciona en el texto a continuacin (captulo 7).
El modelo lineal de innovacin se basa en la idea de que en su mayor parte,
las innovaciones surgen de la elaboracin de aplicaciones cada vez ms prcticos
de nuevo conocimiento fundamental.
La innovacin normalmente es provocada por descubrimientos realizados en los laboratorios de investigacin que se
encuentran que tienen uso potencial
en la creacin de nuevos productos y procesos. Estimular la innovacin es entonces,
en gran medida una cuestin de la bomba de cebado de I + D: el nuevo conocimiento se convertir
en la innovacin de los empresarios. Muchos estudios sobre la innovacin - y evaluaciones
de los programas de I + D - han puesto en duda esta cuenta, y una serie de
Se han propuesto modelos ms complejos. Estos incorporan, por ejemplo,
todo tipo de circuitos de retroalimentacin, y la probabilidad de que la innovacin puede ser iniciado
en cualquier punto en lo se ha visto anteriormente como una secuencia o cadena de actividades -
incluso por los usuarios. Pero mientras que el modo lineal es habitualmente criticado en el
literatura de investigacin, e incluso ha sido rechazado en los documentos oficiales, sigue siendo
implcita en gran parte de la formulacin de polticas.
________________________________________
Pgina 16
Programas
16
________________________________________
Pgina 17
Programas
17
SIGLAS
ATP
Programa de Tecnologas Avanzadas
DTI
Departamento de Comercio e Industria (UK)
CE
Comisin Europea (tambin conocido como CCA)
EPEC
Consorcio Evaluacin de la Poltica Europea
ePUB
Una red financiada por la CE en el conocimiento acumulado en el
rea de la evaluacin socio-econmica de las polticas pblicas de IDT
ESPRIT
Tecnologas de la Informacin de la Comisin Europea
programa, que abarca proyectos industriales de I + D y tecnologa
medidas de asimilacin
EUREKA
Una red europea de mercado orientado a la investigacin industrial
y el desarrollo
HEI
Institucin de Educacin Superior (por ejemplo, una universidad)
IKED
Organizacin Internacional para la Economa del Conocimiento y
Desarrollo de la Empresa
IP
Programa para la Innovacin
IPE
Evaluacin del Programa Innovacin
Informtica
nueva tecnologa de la informacin (tambin denominado a veces como
TIC, IST)
NSF
Fundacin Nacional de Ciencias (EE.UU.)
De I + D
Investigacin y Desarrollo (tambin denominado a veces como
RTD)
Roame
Justificacin, Objetivos, Evaluacin, Monitoreo, Evaluacin
SMEIP
Apoyo al Monitoreo y Evaluacin de la Innovacin
Programas - el nombre del proyecto a partir del cual esta Gua
deriva.
TEKES
La Agencia Nacional de Tecnologa de Finlandia
VINNOVA
La Agencia Sueca para Sistemas de Innovacin
________________________________________
Pgina 18
Programas
18
________________________________________
Pgina 19
Programas
19
Captulo 1 INTRODUCCIN
1.1 Por qu se ha producido esta gua?
En los ltimos aos la poltica de innovacin se ha elevado a un primer plano. Ahora es ampliamente
reconocieron que la competitividad y otros objetivos socioeconmicos son muy
depende de la innovacin industrial. Las iniciativas gubernamentales al apoyo
innovacin han proliferado. Otra cosa que es ahora ampliamente reconocido es
que estas iniciativas van mucho ms all de Investigacin y Desarrollo (I + D)
apoyo. Programas de Innovacin toman muchas formas, tratando de influir en
varias partes (lo que se ha dado a conocer como) los sistemas de innovacin, con una
amplia gama de objetivos e instrumentos.
Evaluacin, a lo mejor, es un proceso de aprendizaje que ayuda a disear mejores programas
en el futuro, y como consecuencia ahorrar dinero a los contribuyentes, mientras que el logro de
importantes objetivos socioeconmicos. La necesidad de evaluar la Innovacin
Los programas se est convirtiendo en ampliamente reconocidos, aunque todava hay muchos
entornos en los que esto no es el caso. An ms frecuente es una muy
visin estrecha de lo que la evaluacin podra ser y lo que debe contribuir. Hay
son relativamente pocos entornos en los que una "cultura de evaluacin" ha sido bien
establecida.
El objetivo de esta gua es ayudar a construir ms de una cultura de evaluacin de
Programas de Innovacin. Se analizan las razones para llevar a cabo dicha
evaluaciones, y cmo los argumentos que pueden ser montados en contra de ellos puede
ser contrarrestado. En l se establecen las diferentes funciones que se puede utilizar la evaluacin
para, y sugiere cmo pueden sustentar una cultura de evaluacin. En l se establecen
los mtodos que se pueden utilizar en las evaluaciones, sealando que la innovacin
La evaluacin del programa es, inevitablemente, un asunto complejo. (Programas de I + D son
relativamente simple para evaluar, ya que los resultados clave son la acumulacin de
el conocimiento y el prestigio cientfico. El tipo de impacto en la innovacin
rendimiento que estn destinadas a los Programas de Innovacin son mltiples
y relativamente difcil de rastrear.) Discute el diseo y la gestin de
evaluaciones, y cmo pueden ser utilizados con eficacia en la formacin de los programas y
polticas.
Esta Gua pretende cristalizar el conocimiento disponible acerca de los problemas
hacer frente a la evaluacin de los Programas de Innovacin, extrayendo el
implicaciones prcticas que se derivan de este conocimiento. Se basa en los resultados de
revisiones de literatura, una encuesta, entrevistas y estudios de casos llevados a cabo en el
curso del presente estudio, y la experiencia del equipo del proyecto en
prcticas de evaluacin. Por cristalizacin de conocimiento prctico adquirida durante muchos
los estudios y las actividades de evaluacin, la Gua tiene como objetivo reducir algunas de las barreras
para los ejercicios de evaluacin, y para contribuir a la construccin ms sofisticada
culturas de evaluacin.
Por ltimo, pero no menos importante , esta gua no habra visto la luz del da a menos que haya
la opinin generalizada entre los expertos de la CE y de fuera de ella que ms
la evaluacin es necesaria en el campo de la innovacin para que Europa sea competitiva
suficiente para garantizar su bienestar habitantes en los prximos aos.
________________________________________
Pgina 20
INNOVACIN INTELIGENT

E - Apoyo al Monitoreo y Evaluacin de la Innovacin
Programas
20
1.2 Quin es esta gua?
"Smart Innovation" pretende ser una "gua prctica" que servir como un
punto de referencia para todos aquellos interesados en la realizacin, utilizacin y / o la creacin de
Las evaluaciones del programa Innovacin. Los lectores podran tener inters en
la organizacin de una evaluacin de un programa en particular, o por la realizacin de una
sistema de evaluacin en una organizacin en particular. Usted podra estar preocupado con
la mejora de la calidad o el uso de las evaluaciones que su institucin se compromete,
o con la utilizacin de los resultados de una serie de evaluaciones realizadas por tercera
partes. Usted podra ser un poltico para las polticas de innovacin, un programa
gerente, un evaluador (o aspirantes a evaluador) usted mismo. Usted podra basarse
en los planos nacional, regional, o incluso transnacionales.
Nos hemos dirigido a hacer la gua atractiva y til para una variedad de tales
diferentes lectores. Por lo tanto, se ha diseado de manera que se puede utilizar en varios
diferentes maneras. El formato de pregunta y respuesta modular, debe hacerlo
fcil para que usted pueda echar mano de diferentes partes de la Gua. Se puede leer
secuencialmente, de principio a fin, o usted puede dar vuelta a las secciones y
preguntas que ms le interesan. Las referencias cruzadas se incluyen a lo largo de
indicar donde otros captulos y secciones tratan aspectos complementarios de
dado problemas.
Si usted no tiene mucho conocimiento sobre la evaluacin y la forma en que se puede utilizar,
la Gua presenta y explica, ilustra y ejemplifica, evaluacin
la prctica y en el caso de la evaluacin (captulos 2 y 3, en especial).
Captulo 4 presenta algunos de los diferentes enfoques de evaluacin que pueden
adoptarse con respecto a los programas de innovacin.
Si sus intereses son ms inmediatamente instrumental, y desea utilizar la
Gua para explicar los principales problemas que se enfrentan en el diseo del programa y
gestin, podra considerar centrndose inicialmente en el captulo 5. Los mtodos
utilizado en los estudios de evaluacin se analizan en los captulos 6 y 7, mientras que la forma en la
presentacin de informes y uso de los resultados de la evaluacin, de manera que sus contribuciones a la poltica puede
maximizarse, se recoge en los captulos 8 y 9.
________________________________________
Pgina 21
Programas
21
Captulo 2 QU ES LA EVALUACIN DE LA INNOVACIN
PROGRAMAS?
2.1 Por qu es la innovacin una cuestin crtica ahora?
La innovacin se ha elevado a un primer plano en la reflexin sobre la futura prosperidad y
calidad de vida de los pases y regiones de Europa y, de hecho, en todo el mundo.
Ahora es ampliamente aceptado que el rendimiento econmico no es slo una cuestin de
acceso a los recursos naturales y los grandes mercados, o incluso de tener un experto
fuerza de trabajo de barril. Estas cosas son importantes, pero la mayor parte del
logros que se han hecho en trminos de crecimiento econmico y social
bienestar estn relacionados con la innovacin. Nuevos procesos han hecho posible
crear mercados de masas para los productos que antes estaban reservadas a las lites;
nuevos productos han permitido a las personas para lograr mejores niveles de vida.
Las empresas innovadoras tienen ms probabilidades de crecer y prosperar: pases y
regiones con ambientes ms innovadores son ms dinmicos y exitosos.
Estos puntos de vista son ahora tan ampliamente aceptadas que puede venir como una sorpresa para
dan cuenta de que hace slo unas dcadas eran considerados como bastante peculiar
queridos. Han sido necesarios muchos estudios econmicos e industriales, y mucho prctico
experiencia, para cambiar nuestra visin del mundo.
La innovacin es cada vez ms destacado como un problema debido a la
advenimiento de las nuevas tecnologas, en torno al cual los nuevos productos y procesos son
proliferantes. Puede parecer algo trillado para hablar de la "Informacin
Revolucin de la tecnologa ", pero el continuo aumento en la energa y las reducciones
en el costo de las tecnologas subyacentes son tan dramticos como en el sentido de que podemos
esperar ver grandes cambios continuos aqu en las prximas dcadas. La
nuevas biotecnologas (derivados de la genmica y el trabajo posterior) son
empezando a encontrar aplicaciones en la salud, la agricultura, los servicios ambientales,
y en otros lugares - que son tal vez en la misma situacin aqu como estbamos
con la tecnologa de la informacin en la dcada de 1970. La nanotecnologa - que cubre un
gran variedad de cosas muy pequeas, de nuevos materiales a travs miniaturizado
electrnica a nanomquinas - est en una fase temprana de desarrollo, pero
aplicaciones de cremas solares en las herramientas de corte extremadamente afilados ya estn en
el mercado. Las economas exitosas tendrn que ser capaces de hacer un buen uso de
estas tecnologas, y en su caso que se dedican a la oferta y la
configuracin de los productos basados en ellos, y los bienes complementarios y
servicios de apoyo y la mejora de su uso.
________________________________________
Pgina 22
Programas
22
2.2 Por qu son los Programas de Innovacin una cuestin crtica ahora?
Los gobiernos de todos los colores polticos y las dimensiones regionales han reconocido
la importancia de la innovacin. En consecuencia, han tratado de fomentar
la innovacin en sus territorios.
Dado que la innovacin se ha convertido en un objetivo fundamental de la poltica, por lo que los Programas de
Innovacin
se han convertido en importantes herramientas para la realizacin de las polticas de innovacin. Hay una
problema aqu, sin embargo. La formulacin de polticas est compartimentada tradicionalmente en un
conjunto de los ministerios o departamentos del gobierno - la educacin, la ciencia, la industria,
energa, medio ambiente, etc. La innovacin se extiende por todo esto y ms. Hay
son raramente Ministros para la Innovacin en un puesto de alto nivel en los gobiernos. Hacemos
no suelen escuchar las polticas y programas de innovacin siendo defendidos por
lderes polticos. Los programas que ms a menudo se conocen explcitamente como
Los programas de innovacin sern ms a menudo se derivan de los ministerios de industria o
de los gobiernos regionales (que son jugadores cada vez ms importantes en este
rea). Sin embargo, otros sectores del gobierno tambin pueden ser activos aqu. Innovacin
la poltica es a menudo una bastante complicada, y no siempre coherente, un conjunto de actividades
realizado a travs de varias ramas del gobierno. A veces, la promocin de la
la innovacin es un objetivo consciente de las polticas. A veces las polticas de forma inadvertida
afectar a la innovacin, positiva o negativamente. Una cosa que las evaluaciones son responsables
de descubrir es que los Programas de Innovacin prometedores puede quedar comprometido por
las acciones llevadas a cabo por otros mbitos polticos.
________________________________________
Pgina 23
Programas
23
2.3 Por qu son las polticas de innovacin tan diversa?
La respuesta simple es que la innovacin en s es una cosa multifactica. En diferentes
pases, puede haber diferentes herencias de la ciencia y la tecnologa,
diferentes supuestos culturales sobre el papel del Estado, las diferentes actitudes que
el espritu empresarial, y as sucesivamente. El entorno internacional ha cambiado; nuevo
tecnologas han surgido; y los investigadores y los polticos han aprendido
Ms informacin sobre los procesos de innovacin. No es de extraar que la poltica de innovacin tiene
tomado muchas formas diferentes.
Un enfoque tradicional era simplemente para apoyar a los "campeones nacionales". La
idea era que los ms grandes, las empresas de alta tecnologa en el pas de uno solo
es necesario un poco ms de aliento (subsidios, mercados preferenciales) para ser
capaz de mantenerse al da con la frontera global. Este enfoque fue desacreditado en gran parte
como los campeones nacionales a menudo tomaban las ddivas, y en varias ocasiones llegaron
a por ms - mientras no adoptar nuevas prcticas. (O, en muchos casos, si se
probamos cosas realmente nuevas, que apost por las normas y los diseos que eran
incapaz de abrirse paso en los mercados mundiales.) Se convirti en polticamente difcil
apoyar estas grandes firmas en forma abierta, como las regulaciones comerciales y de adquisicin
fueron adoptados que reduce las posibilidades de este tipo de favoritismo.
La doctrina de los campeones nacionales tambin sufri como la poltica dominante
posiciones desplazadas hacia el reconocimiento de los lmites del poder del Estado en la liberal
democracias. Se convirti en la sabidura aceptada de que el Estado no estaba en condiciones de
de adivinar el mercado como para que las empresas, qu productos prosperar. El apoyo a los campeones nacionales an
continu - las grandes empresas an
poseer influencia poltica y econmica. Muchos gobiernos han querido
evitar el ligero al orgullo nacional que supuestamente sera ocasionado por el
las empresas que se fusionan en las empresas transnacionales ms grandes, o los despidos
que se vera amenazada por la captacin de contratos lucrativos. Pero su
apoyo se ha convertido en menos abierta y menos legitimada por una afirmacin de que todo es
acerca de la innovacin.
El consenso en torno a los lmites del poder estatal tambin asest un duro golpe a la idea
de los "ganadores" - la nocin de que los gobiernos estaban en una buena posicin para
decidir qu tecnologas son las que deben ser invertidos en otro lado
la economa. Puede haber razones ms all de la economa para apoyar en particular
tecnologas - por ejemplo, para cumplir objetivos ambientales, para proporcionar ms amplio
acceso a las tecnologas clave a travs de las escuelas y bibliotecas, y as sucesivamente. Pero en
en general, el gobierno no estaba en condiciones de decir que tecnolgica
promesas eran los que tenan ms probabilidades de satisfacer los requerimientos del mercado.
Los polticos haban tenido sus dedos quemados con la suficiente frecuencia por los empresarios y
visionarios, y los gerentes de los campeones nacionales, asegurndoles que este
o que el producto era la solucin. Los procesos de seleccin del mercado fueron
va a tener que salirse con la suya, elegir entre una gama de productos que
de los que ofrecen. Lo ms que los gobiernos podan hacer era identificar el amplio
reas de la tecnologa, donde eran propensos a desarrollar importantes oportunidades.
Otro factor que afecta el sistema en el que la innovacin se encuentra.
La innovacin no reside en las manos de un grupo limitado de clave industrial
________________________________________
Pgina 24
Programas
24
jugadores, pero es un "juego de equipo", que se basa en las actividades de las PYME,
universidades, el sector pblico, competidores y colaboradores, por nombrar slo
pocos. Las polticas de innovacin deben tener en cuenta estos actores, las interfaces
entre ellos y las condiciones marco ms generales que influyen en su
comportamientos.
________________________________________
Pgina 25
Programas
25
2.4 En qu difiere la Poltica de Innovacin de Investigacin de Polticas?
La desilusin con "escoger ganadores" - campeones nacionales o especficas
productos que el pas debe centrarse en - ha sido ampliamente sentida. Cuando este
punto de vista fue articulado junto con el "modelo lineal" de la innovacin, que
dado lugar a un enfoque en la investigacin y la poltica de desarrollo (a veces slo visto
como Policy Research). El Estado, a travs de esta poltica, podra crear nacional
fuerza en las reas del conocimiento cientfico a partir del cual, el modelo lineal
sugerido, innovaciones comerciales eventualmente fluir. Ha habido
varios problemas con este enfoque, sobre todo la tendencia de alta-
ciencia de calidad (si es que esto se logr) que no se pueda conectar bien con los locales
el espritu empresarial. A veces la ciencia no mostrara ninguna ruta evidente para
aplicaciones tecnolgicas; esto no es un argumento en contra de la financiacin cientfica
descubrimiento, pero no quiere decir que no toda la investigacin debe ser justificada como
contribuir a los objetivos de innovacin, o ser visto como parte de la poltica de innovacin.
A veces los grandes logros cientficos - por ejemplo en biotecnologa -
se ve que tiene considerables sobornos tecnolgicos, pero estos lo hara
no interesar a las empresas locales, y el conocimiento se adquiere y se aplica por
los de otros pases. El modelo lineal estaba fallando as en la prctica -
adems de ser sometidos a un bombardeo incesante de crticas por parte de la innovacin
investigadores.
Una comprensin ms sofisticada de los procesos de innovacin comenz a construirse
en la poltica de innovacin, aunque todava podemos encontrar a menudo restos de la lineal
modelo de pensamiento poltico apuntalamiento. En lugar de un flujo lineal de conocimiento
a lo largo de una serie de etapas, desde la ciencia a la comercializacin, se ve la innovacin
como la participacin de muchos ciclos de retroalimentacin entre estos diferentes "etapas". Uno de los objetivos
de la poltica es mejorar la comunicacin a travs de estos puntos de accin. Vista
la innovacin como un proceso que tiene lugar en un sistema, ms el reconocimiento es tambin
dada a la difusin de las innovaciones, no slo a su invencin. Innovacin
poltica no ha hecho ms que tiene que ver con la investigacin, entonces, sino tambin con cuestiones como la
comercializacin de las invenciones, con la transferencia de tecnologa, la adopcin y
aplicacin, y as sucesivamente. En la medida en que es todava sobre la investigacin,
la poltica de innovacin se centra en el apoyo a programas de I + D que son mucho
ms estrechamente relacionados con las necesidades del mercado y de los usuarios, y las acciones necesarias
para relacionar las innovaciones a estos. Los programas de innovacin abarcan una mucho ms amplia
serie de mecanismos e instrumentos que slo el apoyo de la I + D.
________________________________________
Pgina 26
Programas
26
2.5 Cules son los orgenes de la Evaluacin del Programa de Innovacin?
La poltica de innovacin en s surgi a la prominencia en un momento en que los presupuestos pblicos
se que son objeto de escrutinio. El gasto pblico se ve como la disminucin de la
los fondos disponibles para la reinversin en el sector privado, y como la sustitucin de
eleccin de los consumidores con las decisiones del gobierno. Tena que ser justificado, como
lograr lo que se propuso hacer y en realidad no socavar la privada
economa. Una justificacin importante para la intervencin del Estado en los asuntos econmicos era
el de la "falla del mercado". Los gobiernos slo deben estar activos en que los mercados
manifiestamente no estaban operando en la forma en que la ortodoxia econmica cree
que deberan.
Por ejemplo, los gobiernos podran tener que desempear un papel regulador donde hay
fueron oligoplica o oligopsnico
2
jugadores en el trabajo en un mercado, que podran utilizar
su capacidad de fijar los precios, etc que tenga que proporcionar informacin para
los agentes econmicos cuando haba un conocimiento insuficiente sobre los asuntos de mercado
(Recordemos que comenzaron los modelos econmicos ortodoxos asumiendo que
las partes tienen acceso a la informacin prefecto que puedan procesar sin costo).
Los gobiernos podran tener que actuar para suministrar diversos bienes pblicos donde el
ingresos de los productores del mercado por s solo no sera suficiente para motivar
actividad adecuada - stas podran ser cosas como el cuidado de los pobres
, la estabilizacin econmica ancianos, o el establecimiento de normas. Uno de los pblico
bienes ms relevantes para la innovacin es la educacin general y especializada y
entrenamiento. (Por ejemplo, se ha argumentado que en algunos pases que los negocios
carecen del incentivo para la formacin avanzada para su personal debido a que estos
personal capacitado puede pasar a beneficiar a otra empresa que no ha invertido en
entrenamiento. Gobierno se ve a continuacin, que tienen un papel en la prestacin de un adecuado
oferta de calificaciones.) La financiacin de la produccin de conocimiento que no tiene
valor econmico inmediato forma otro bien pblico de gran relevancia para
innovacin. La financiacin de la investigacin bsica de largo se ha visto, en gran parte, como una
importa para el gobierno,
La poltica de investigacin fue objeto de presiones sobre el erario pblico, y fue
cada vez ms evidente en los aos 1970 y 80 que necesitaran las prioridades que establezcan
entre las diferentes lneas de investigacin. Los gobiernos no pueden seguir
aumentar los fondos a travs de todos los campos de estudio. Pero los gobiernos no eran expertos en
la investigacin ni en la toma de decisiones en cuanto a si los fondos se estaban utilizando bien,
y las decisiones acerca de la promesa de las reas de investigacin a fondo tenan tradicionalmente
sido tomada por los propios cientficos. Sin embargo, se tema que los cientficos
resistira el establecimiento de prioridades, o favorecer sus propios campos y colegas. Por lo tanto,
era necesario traer evidencia externa para ayudar a evaluar si los fondos
estaban siendo bien gastado, y para establecer prioridades. La evaluacin fue uno de los principales
herramientas aqu, especialmente con respecto a la determinacin de cmo de manera eficiente y
efectivamente se utilizaron los fondos de investigacin. (Como veremos, la evaluacin tambin se alimenta
a informar a la fijacin de prioridades, aunque otras herramientas - como la planeacion - tienen
tambin llegado a ser frecuentes para sustentar este tipo de decisiones.)
2
El funcionamiento de los mercados puede afectar seriamente cuando estn dominados por unos pocos
proveedores o clientes. Estos pueden crear presiones sobre los precios, estndares y contractual
acuerdos que no seran viables en los mercados donde hay ms competencia entre los
numerosos jugadores.
________________________________________
Pgina 27
Programas
27
Principios de evaluacin han sido elaboradas a travs de muchas reas de la pblica
poltica - un estmulo importante aqu era los programas de "Gran Sociedad" de la dcada de 1960
Latina, especialmente aquellos programas cuyo objetivo era impulsar la
rendimiento de los nios de bajo rendimiento de las comunidades desfavorecidas.
Herramientas de evaluacin para el examen de la poltica de investigacin se inici en la dcada de 1980, como
gobiernos estaban iniciando nuevos programas de I + D para afrontar los retos
planteado por las nuevas Tecnologas de la Informacin (TI).
________________________________________
Pgina 28
Programas
28
2.6 Evaluacin del Programa Innovacin dibujar sobre Investigacin
Evaluacin?
Los programas de I + D a gran escala en TI que se impuso en la dcada de 1980
ocupado de temas que no podan fcilmente ser clasificados en el tradicional
dicotoma entre investigacin pura y aplicada. Los avances en las nuevas TI involucrado
nuevo conocimiento fundamental sobre una serie de temas - el rendimiento de
semiconductores y fibras pticas, las formas en que el software podra ser
estructurados y procesados, la naturaleza de las interfaces de usuario, y una serie de nuevos
campos como la mecatrnica, chematronics, optrnica, y similares. Este nuevo
el conocimiento se genera a menudo en respuesta a las necesidades de los proveedores de TI
y los usuarios, no slo de los caprichos de la curiosidad cientfica. Requera bsica
la investigacin cientfica, sin embargo, se vio impulsado por y encontr una rpida aplicacin en la prctica
propsitos. El trmino investigacin estratgica se hizo popular como una manera de describir
este tipo de trabajo, y las actividades paralelas que se han puesto de manifiesto en
la biotecnologa y la nanotecnologa trabajo.
La investigacin estratgica que plantea un reto interesante para los estudios de evaluacin. En
Por un lado, fue posible evaluar el gasto de los fondos en trminos de
su contribucin al conocimiento cientfico. Se estn publicando artculos en revistas
y cit, fue la obra que tiene un efecto sobre las comunidades cientficas? Por
Por otra parte, era tener los efectos prcticos que se buscan - fue la obra
pueden ser recogidos y aplicados por la industria en tecnologas comerciales? Cmo
significativos fueron estos? La cuestin de la excelencia en la investigacin slo haba una
cuestin a evaluar: financiadores tambin deban tener en cuenta ms amplio
consecuencias socioeconmicas de la investigacin.
La investigacin estratgica estaba siendo financiado por los gobiernos ms con el fin de
alcanzar los objetivos de innovacin que las de la ciencia pura - aunque a menudo stos
objetivos se expresan en trminos tales como "cresta de la ola de la TI
revolucin "o" a la par con las oportunidades de la nueva tecnologa. "
Esto refleja el hecho de que el esfuerzo se concentr en ser innovadores en torno a una
un conjunto particular de las tecnologas - no ser ms innovadores en general. Algunos
Programas de innovacin se centran en esta forma, mientras que otros son mucho ms
genricamente orientada a la innovacin.
La poltica de innovacin puede incluir tanto la poltica de investigacin - a pesar de que tiene sentido continuar
financiando la investigacin bsica, sin justificacin econmica inmediata.
Gran parte de la experiencia y conocimientos, muchas de las herramientas y tcnicas, de
La evaluacin del programa Innovacin habr descendido de investigacin
evaluacin. Pero como es necesario para hacer frente a una gama ms amplia de programas,
y una gama ms amplia de impactos, por lo que ha sido necesario desarrollar nuevas
enfoques de la evaluacin. La evaluacin de los impactos en el comportamiento de
los agentes econmicos es un foco importante de la actividad de evaluacin.
________________________________________
Pgina 29
Programas
29
2.7 Por qu es la Evaluacin del Programa de Innovacin una cuestin crtica ahora?
La evaluacin sigue siendo muy significativa en el mbito de las polticas de innovacin. En
parte, esto refleja el creciente protagonismo de la evaluacin en toda la prctica totalidad
mbitos de la poltica. Esto tiene algo que ver con el surgimiento del "saber-
sociedad basada en el "- se supone que las decisiones deben basarse en el conocimiento ms
que el prejuicio o la casualidad. "La poltica basada en la evidencia" se ha convertido en una convocatoria de reunin
para la modernizacin de los polticos. Los gobiernos estn bajo presin para justificar su
las decisiones de gasto a unos medios de comunicacin informados y poblacin. Su rendimiento
est regida por una serie de organismos pblicos y privados, informando al
las decisiones de inversin de las corporaciones globales, por ejemplo.
La evaluacin tambin es importante porque diferentes partes del gobierno se encuentran en
efectuar competencia por una parte limitada de los fondos pblicos. Tienen que justificar su
los gastos previstos a las autoridades polticas - no slo a un primer ministro o
presidente, sino tambin para el Ministerio de Hacienda, y cualquiera que sea "perro guardin"
organizaciones escudrian las finanzas pblicas y las cuentas.
La siguiente figura muestra cmo la opinin pblica percibe la importancia de
Innovacin Evaluacin de programas en el marco de la formulacin de
la poltica de innovacin. Una gran mayora de los interesados entrevistados dentro del
encuesta realizada para el estudio estn de acuerdo con la siguiente declaracin:
"Las evaluaciones de los programas de innovacin son importantes en la formulacin de
la poltica de innovacin en mi pas ".
Figura 2.1 Las evaluaciones de los programas de innovacin son importantes en la
formulacin de la poltica de innovacin en mi pas
________________________________________
Pgina 30
Programas
Pero quizs el principal problema es que los programas de innovacin a menudo trabajan
en un territorio inexplorado y mal entendido. Mientras que la importancia de
la innovacin en general se reconoci, la naturaleza del proceso de innovacin es
en proceso de cambio casi continuo.
(Por ejemplo: los sectores que estaban
considerado previamente como no innovadoras - como muchos de los servicios - se ve que
sean de gran actividad (y nuevos pases se estn uniendo en el proceso, tambin); la
ubicacin de conocimiento crtico, y el tipo de redes que se forman a
aplicar esto en las innovaciones, est evolucionando hacia nuevas direcciones; nuevas herramientas para la gestin
la innovacin se estn haciendo disponibles.) Las polticas de innovacin abarcan una amplia gama de
acciones y metas, y hay mucho aprendizaje necesario sobre cmo actuar
efectivamente en condiciones diversas y cambiantes.
Las evaluaciones de los
las intervenciones que se han hecho es, pues, una herramienta vital.
________________________________________
Pgina 31
Programas
31
2.8 As, qu significa la evaluacin?
La evaluacin es, en el fondo, una cuestin de ver qu tan bien una poltica o programa tiene
alcanzado los objetivos fijados para este ltimo. Hay, sin embargo, un poco ms que
esto. Algunos autores (por ejemplo, de parcela 1998) distinguen entre tres aspectos de la
Evaluacin - Evaluacin de la eficacia, de eficiencia y de eficacia. La
caractersticas de la evaluacin, entonces, son:
La evaluacin puede examinar la forma eficiente el programa de manejo,
la exploracin de la gestin de las actividades para ver si haba una buena
comunicacin de los objetivos y progresos, evitar la redundancia y
capacidad para detectar y abordar los problemas que iban surgiendo.
La evaluacin puede examinar la eficacia del programa, cmo ahora la
Se han cumplido los objetivos. Esto es ms fcil si los objetivos se han puesto en
trminos cuantitativos o verificables, y / o si hay programas relacionados
contra la cual puede ser punto de referencia. En la evaluacin del programa
eficacia, es comn el uso de indicadores de desempeo . Aqu el
preocupacin es, como ha sido bien explicado por el United Way of America
(2002) con los resultados: "no cuntos gusanos el pjaro alimenta a sus cras, pero
lo bien que el novato vuela ".
La evaluacin puede ir ms all y considerar la eficacia del programa:
lo relevante es que los grandes objetivos polticos a los que fue diseado para
contribuir.
Ms all de estos objetivos muy pragmticos, la evaluacin tambin puede implicar
explicacin . Se puede arrojar luz sobre cmo y por qu el programa logr
el grado de efecto que se realiz. Se puede iluminar los temas de
gestin de los programas, y, ms profundamente, elevar el entendimiento
del sistema de innovacin ms amplio dentro del cual el programa tiene
operado.
La evaluacin puede ser utilizado en lo que parece ser una manera simplista, pero
puede llegar a ser tcnicamente muy exigente para poner en funcionamiento, para intentar
examinar el valor preciso para el dinero que se ha conseguido (en trminos de
una estimacin de la tasa de rentabilidad del gasto pblico).
La evaluacin tambin puede ser utilizado para examinar las consecuencias no deseadas de la
intervencin del programa: beneficios y costos de las actividades que no estaban
esperado por los diseadores del programa, o no estableci explcitamente como
ser uno de los objet
ivos del programa.
________________________________________
Pgina 32
Programas
32
2.9 Podemos realmente esperar para evaluar algo tan complejo como
Innovacin?
Muchas reas de la poltica se han convertido en objeto de evaluacin y para ms rutinario
seguimiento de los resultados de una serie de indicadores pertinentes - la escuela
logro, la reincidencia de prisioneros, la ocupacin de camas de hospital, los niveles de pobreza
y el desempleo, y as sucesivamente. La poltica de innovacin est sujeta a la misma
presiones. Pero la innovacin es un gran reto en trminos de rendimiento
indicadores. Cmo podemos saber si hemos aumentado la capacidad de innovacin de la
economa?
Los programas especficos de innovacin por lo general tienen objetivos ms modestos que son
destinada a contribuir a este gran objetivo. Por ejemplo, los programas podran
establecido para dar a conocer las oportunidades tecnolgicas particulares o del
beneficios potenciales para las empresas y universidades que colaboren en el desarrollo de nuevos
aplicaciones de los nuevos conocimientos en un rea en particular. Pueden proporcionar
apoyo a las pequeas empresas que operan en un rea para proteger su propiedad intelectual,
para productos derivados que se generan a partir de los laboratorios del gobierno, para consultoras
ayudar a las agrupaciones industriales utilizan nuevos enfoques en sus cadenas de suministro y otros
relaciones. Los programas pueden ser vistos como la transferencia de tecnologa
polticas, las polticas de propiedad intelectual, las polticas de formacin, polticas de clster y as
en. Pero si - como en los ejemplos mencionados - la innovacin es uno de los principales
objetivos, entonces tambin pueden ser vistos como los Programas de Innovacin. Y como tal,
que pueden ser evaluados en trminos de las metas ms modestas que tienen - es el
cambio deseado cabo, y tampoco parecen tener el deseado
consecuencias?
Tabla 2.1 sugiere formas en que los ms modestos objetivos de la innovacin
programas podran ser evaluadas, y cmo stas se pueden vincular a ms largo plazo,
ms ambiciosos, los impactos.
________________________________________
Pgina 33
Programas
33
Tabla 2.1 Ejemplos de Programas de Innovacin y Asociados
Cuestiones de Evaluacin
Objetivos
Objetos de Evaluacin
Programa
Objetivos
Inmediato
Impactos
Mediano Plazo
Impactos
Largo Plazo
consecuencias
Aumentar
conciencia de un
juego de nuevo
tecnologas
La asistencia a las
reuniones, la captacin
de la literatura, las visitas
en los sitios web
Adopcin de
tecnologas
Mejorado
negocios
rendimiento;
continuo
conciencia y
adopcin de
conexo
tecnologas.
Mejorar las habilidades
la base de un conjunto de
industrias
Las sesiones de entrenamiento,
intercambios de personal
Mejorado
tcnico
competencias de
el personal, el aumento de
eficacia de
in-house de I + D
Mejorado
innovacin
rendimiento,
aumentado
tecnolgico
absorbente
capacidad, mayor
tcnico
conciencia
Para aumentar HEI-
Enlaces de la industria
Estudiante
colocaciones,
aumentado
acadmico-
el dilogo de la industria
Introduccin de
nuevos conocimientos
y las habilidades
Habilidades mejoradas,
tcnico
competencia y
base de conocimientos
Estimular la
puesta en marcha de nuevo-
tecnologa basada
empresas
Hacienda y
informacin para
empresa de nueva creacin
para los aspirantes a
empresarios
Creacin de nuevo
de alta tecnologa
empresas
El crecimiento a largo plazo
y sostenida
desarrollo de
nueva de alta tecnologa
sectores industriales
(Hay muchos otros objetivos posibles: la lista anterior es ilustrativo.)
________________________________________
Pgina 34
Programas
34
Captulo 3 POR QU EVALUAR LOS PROGRAMAS DE INNOVACIN?
Argumentos en contra de Evaluacin
3.1 Por qu la gente podra oponerse a la evaluacin?
Para los que vienen de una cultura bien desarrollada de la evaluacin, puede parecer
extrao, o incluso sospechoso, que hay pases y gobiernos
departamentos en los que la evaluacin es tratada con cierto recelo. Los evaluadores
podra admiten que hay cuestiones sobre la cantidad de evaluaciones son
emprendido, con qu frecuencia ya qu costo - pero el principio de la evaluacin es
bien desarrollada y ampliamente aceptada en algunas culturas.
Pero este no es el caso universal. La evaluacin podr ser impugnada en un nmero
de los suelos. Antes de considerar el caso intelectual contra la evaluacin, que
tenga que admitir que esto puede ser utilizado slo una cortina de humo. La restriccin del uso de
evaluacin puede reducir las posibilidades de exposicin de los inadecuadamente diseado o
programas aplicados, de las polticas arbitrarias que no aprenden de las anteriores
xitos y fracasos, de muy estrechas relaciones entre los responsables polticos y
aquellos que se beneficiarn de los programas.
(Del mismo modo, la evaluacin en s puede ponerse en marcha como parte de una poltica de punto
ejercicio de puntuacin, y no como un esfuerzo para aprender a hacer las cosas mejor. La
gobierno o el gobierno nuevo designado podr solicitar una evaluacin para
demostrar la incompetencia o peor que su predecesora. Este puede ser el
oportunidad de instituir un poco de prctica seria evaluacin, pero ser
importante en estos casos, para evitar dejar la evaluacin se convierten en slo un
instrumento poltico - la evaluacin es ante todo una herramienta de aprendizaje. Se tendr que estar
llevado a cabo sistemticamente y con la mayor precisin posible, y los que
Comisin se requerir que estar preparado para la posibilidad de que se van a plantear con
resultados que no sirven a sus fines polticos inmediatos. Si este no es el caso,
luego tenemos otro posible argumento en contra de evaluacin - que es responsable
que se limita a atacar a aquellos en el poder en el pasado y / o legitimacin de los de
poder ahora.)
________________________________________
Pgina 35
Programas
35
3.2 Cules son los argumentos detallados en contra de la evaluacin?
Algunos de los argumentos "de sentido comn" en contra de la evaluacin preocupacin
dificultades tcnicas y prcticas . Por ejemplo, se puede argumentar en contra
evaluacin que:
Es susceptible de ser demasiado caro, y de tomar fondos fuera de la importante
programas que son necesarios. Se trata de una desviacin del esfuerzo real de un
Programa para la Innovacin.
Es muy difcil llevar a cabo de una manera seria y sistemtica.
Se enfrenta a demasiados obstculos en cuanto a la renuencia de la gente a ser
evaluado, lo que puede significar su ser encontrado culpable y criticados.
Otra lnea de preguntas de argumentos si la evaluacin es realmente necesario,
lo que sugiere que se trata simplemente de una distraccin de los esfuerzos. No slo contribuye
pocas cosas de valor, que roba el tiempo y recursos que podran ser mejor utilizados en la
programa en s. As, escuchamos las sugerencias de que:
Los polticos y los diseadores del programa han adquirido un buen sentido del
lo que funciona y lo que no, y hay poco nuevo una evaluacin puede decir
ellos.
Los evaluados - directores de los programas, los participantes en el programa,
y as sucesivamente, estn demasiado ocupados para ser desviados a pasar tiempo involucrado en un
evaluacin.
Las personas que ya han participado en evaluaciones anteriores (o anterior
etapas de una evaluacin en tiempo real) pueden estar sufriendo de "Evaluacin
fatiga ", lo que significa que estn dispuestos a responder preguntas y proporcionar
informacin se erosiona.
"fatiga de Evaluacin" tambin puede afectar a los usuarios previstos de las evaluaciones, que
pueden verse bombardeados con las evaluaciones si un nmero estn siendo
generado al mismo tiempo. Sin visin sinttica de las evaluaciones,
no son susceptibles de ser utilizados en realidad como se pretende.
________________________________________
Pgina 36
Programas
36
3.3 Cmo se puede contrarrestar los argumentos en contra de la evaluacin?
La mejor manera de contrarrestar los argumentos en contra de la evaluacin es para ser capaz de
demuestran que las evaluaciones pueden llevarse a cabo y se utilizan tambin. Esto puede
hacer referencia a la experiencia exitosa y til de la evaluacin en
otros mbitos polticos. Pero estamos acostumbrados a or que la poltica de innovacin es
particularmente difcil y de largo plazo, lo que puede significar que la relevancia de
evaluaciones de las polticas diseadas para tener efectos ms inmediatos es bastante
dudosa.
Qu se puede hacer cuando no hay evaluaciones de largo plazo relevante
polticas, por no hablar de los programas de innovacin (o incluso de la investigacin
programas), que pueden ser llamados a hacer caso? En tales casos, se
puede ser una cuestin de aprovechar la experiencia de otros pases. Estudios piloto y
trabajo de evaluacin llevado a cabo por las universidades u otras partes sin
fondos del gobierno tambin se puede llamar en juego.
Pero hay algunos argumentos en contra genricos que pueden aplicarse cuando el
se est haciendo caso en contra de la evaluacin. Esta gua debe proporcionar gran parte de la
sustancia para sustentar estos argumentos en contra.
________________________________________
Pgina 37
Programas
37
3.4 Cmo pueden los argumentos acerca de la dificultad de la evaluacin ser
contrarrestado?
La evaluacin es susceptible de ser demasiado caro, y de tomar fondos fuera de la
programas importantes que se necesitan. Se trata de una desviacin del esfuerzo real de
un programa para la innovacin.
Un programa que no puede alcanzar sus objetivos, o los alcanza en un
forma ineficiente es una prdida de las finanzas pblicas. Sin ningn tipo de evaluacin, el
eficacia y la eficiencia de un programa no se pueden evaluar. Los costes
de una evaluacin del programa son rara vez ms de un pequeo porcentaje del total
los costos del programa. Las evaluaciones deben ser capaces de proporcionar la informacin que se
permitir una asignacin ms eficiente de los recursos en el futuro, lo que significa ms
fondos para las actividades que son ms eficaces. Por otra parte, bien realizado
evaluaciones son municiones importante utilizar en el esfuerzo para obtener recursos
de las autoridades financieras. Las evaluaciones deben dar a los diseadores de programas y
gerentes la oportunidad de mirar hacia arriba de su trabajo inmediato a adoptar un enfoque ms
visin estratgica de lo que sea que ellos estn tratando de hacer - la oportunidad de hacer
Asegrese de que las preocupaciones a corto plazo no estn dando lugar a una desviacin de los esfuerzos que se
ser problemtico para los objetivos a largo plazo.
La evaluacin es muy difcil llevar a cabo de una manera seria y sistemtica.
Esta Gua contiene mucha informacin acerca de cmo hacer evaluaciones serias
y asuntos sistemticos. Pero la evaluacin se trata de mejorar nuestro conocimiento,
perfeccionamiento no es posible. Incluso una evaluacin incompleta puede producir til
inteligencia, aunque hay que reconocer explcitamente que es incompleta, por lo
que las decisiones no son exclusivamente fundada en un subconjunto particular de rendimiento
indicadores, por ejemplo. Las evaluaciones pueden ser fcilmente integrados en los programas y
desarrollo de polticas y puede ser desarrollado de forma incremental desde un simple conjunto de
herramientas y metodologas. Gran experiencia y asesoramiento sobre la forma de llevar a cabo
evaluacin est disponible fuera de esta Gua.
La evaluacin se enfrenta a demasiados obstculos en cuanto a la renuencia de la gente a ser
evaluado, cuando temen ser encontrado culpable y criticado.
Estas preocupaciones se expresan a menudo cuando las evaluaciones estn siendo primero
introducido en un pas o rea poltica. En general, las evaluaciones no son un
cuestin de buscar fallas individuales, pero el intento de llamar la sistemtica
lecciones sobre cmo llevar a cabo bien. La evaluacin no es un "palo" o un medio para
juzgar a los implicados, se pretende lograr un beneficio para todos los programas
interesados, para asegurar que los beneficios se maximizan y que nadie est
desfavorecidos, por ejemplo, por gastos administrativos indebidos. Por supuesto, puede
emergen de que los programas fueron mal diseados y que las actividades particulares
no se aplica de manera adecuada, lo que puede tener consecuencias negativas para los individuos
involucrados. El conocimiento de que la evaluacin se va a celebrar en su momento y luego
puede constituir la motivacin para un mejor rendimiento! Metodolgicamente, la cuestin
se plantea que las personas con algo que ocultar no pueden ser informantes precisos para
el equipo de evaluacin. La implicacin de esto es que siempre que sea posible
la informacin debe ser "triangulado", que se confirma por medio de varios
fuentes independientes de que no es probable que sufrir de la misma sistmica
"Parcialidad".
________________________________________
Pgina 38
Programas
38
3.5 Cmo pueden los argumentos de que los polticos no necesitan evaluacin
contrarrestarse?
El argumento es:
Los polticos y los diseadores del programa han adquirido un buen sentido de lo que
obras y lo que no, y hay poca nueva evaluacin puede decirles.
Es muy posible que los que se han asociado con muchos programas
tienen un profundo conocimiento de las cuestiones en juego, y una "corazonada" para
si un programa est bien diseado y est funcionando de manera eficiente.
No todos los programas de innovacin son tan afortunados como para tener estos sabios
tomadores de decisiones. Incluso cuando lo hacen, es til contar con la validacin externa de
las percepciones y las sospechas - uno de los principales beneficios de la evaluacin es
que ofrece una oportunidad para un fresco, lo ideal sera independiente, habida cuenta de los efectos
de la implementacin de programas. Y la evaluacin deja un registro de cmo la
se llev a cabo el programa, y para el efecto, que puede ayudar a informar y
mejorar la comprensin de los futuros responsables polticos, que carecen de esta
experiencia. Las evaluaciones pueden beneficiarse considerablemente de tener los puntos de vista de
gerentes bien informadas sobre qu temas y efectos pueden ser especialmente
vale la pena examinar. En la prctica, a menudo encontramos que los gerentes son en s mismas no
completamente seguro acerca de todas las caractersticas de un programa, y de hecho la bienvenida a la
puntos de vista que una buena evaluacin puede proporcionar. Las evaluaciones tambin proporcionan un medio
para poner a prueba las suposiciones subyacentes (sobre el sistema de innovacin) en los que
el programa fue diseado originalmente y ofrecer los responsables polticos y
directores de programas la oportunidad de reflexionar sobre el diseo del pasado
programas y lecciones de dibujo para el diseo de futuros programas. Por ltimo,
programas pueden generalmente durar varios aos y pueden ver una serie de
directores de programas van y vienen. Las evaluaciones por lo tanto proporcionan un medio para
evitar esta prdida de "memoria corporativa".
________________________________________
Pgina 39
Programas
39
3.6 Cmo pueden los argumentos que la evaluacin es un mal uso de esencial
contrarrestarse recursos?
El argumento es:
Esos evaluados - administradores de programas, los participantes en el programa, y
etc, estn demasiado ocupados para ser desviados a pasar tiempo involucrado en un
evaluacin.
Ciertamente, se requiere un tiempo de los participantes. En una evaluacin bien diseado,
este no es el tiempo que normalmente excesivo, y ofrece una oportunidad, como se mencion
anteriormente, para que los interesados a reflexionar sobre su prctica, y para pensar en el
ms amplio programa que se encuentran dentro. Esto es a menudo realmente
dio la bienvenida. De hecho, las personas entrevistadas tambin lo desea, puede utilizar el
procesos como la oportunidad de conocer los avances y problemas en otros
reas del programa. Las entrevistas y cuestionarios sobre todo son menos
onerosa cuando bien diseado (vase ms adelante) y permitir respuestas fciles, y
no exigen que la gente simplemente reiteran material que est en el pblico
ya de dominio. Una evaluacin tambin confiere un nivel mucho mayor de
programa de transparencia a todos sus grupos de inters. Adems, la participacin o
la ejecucin de un programa de sub-ptima de realizar tambin puede ser una prdida importante de
recursos.
La carga de una evaluacin tambin depende de cmo se llevan a cabo evaluaciones:
idealmente, los datos y la informacin de rutina debern obtenerse por medio de bajo costo y
monitoreo de bajo perfil o procedimientos "evaluacin continua", que permiten la
evaluacin para centrarse en cuestiones clave de inters para los participantes. Como los resultados,
Se esperara que los efectos e impactos de los programas para cambiar y desarrollar
con el tiempo, las diferentes partes interesadas deben participar en las diferentes etapas de la
evaluacin.
________________________________________
Pgina 40
Programas
40
3.7 Cmo pueden los argumentos sobre la (falta de) la necesidad de la evaluacin
contrarrestarse?
El argumento es:
Las principales partes interesadas que ya han participado en evaluaciones anteriores son
susceptibles de sufrir de "fatiga de evaluacin" - que tambin puede afectar a la prevista
usuarios de las evaluaciones, lo que significa que no se utilizan realmente como se pretende.
Fatiga La evaluacin puede ser un verdadero problema cuando hay numerosas evaluaciones
de numerosos programas que se llevan a cabo de forma rutinaria. Puede ser especialmente
problemtico para los directores de programas que resultan ser a cargo de un
nmero de programas siguiendo ms o menos el mismo horario. Puede haber una
caso para limitar el nmero de evaluaciones o simplificar el proceso (de modo que,
Por ejemplo, el material puede ser adquirida en varios programas simultneamente).
Por lo tanto, las evaluaciones deben ser programados para maximizar su impacto, tal vez uno o
dos ejemplos de una serie de programas relacionados, se podran utilizar en lugar de
un conjunto completo de evaluaciones de todos los programas. Diferentes aspectos de la similares
programas tambin pueden ser evaluados en diferentes momentos. Los polticos tambin pueden
considerar evaluaciones de la cartera, que se parecen a los efectos de una serie de ligado
programas en lugar de examinar cada uno de ellos individualmente. Esto permite una ms
visin holstica y puede identificar los cuellos de botella o sinergias entre la
componentes del sistema de evaluacin.
Este problema (y los mencionados anteriormente) no hace caso de los
abandonar evaluacin. Lo que nos dice es no sobrecargar a las personas con demasiado
muchas evaluaciones no integrados. Esta ltima conclusin es uno que tiene
resonancias en todas las crticas de la evaluacin discutidos anteriormente. Ninguno de los
ellos hacen un muy fuerte caso contra la evaluacin. Lo que constituyen es una
conjunto de argumentos que refuerzan los mensajes de forma acumulativa:
Las evaluaciones deben llevarse a cabo con seriedad y de manera sistemtica: pobre
evaluaciones ofrecen pocas oportunidades para el aprendizaje, no logran demostrar su
beneficios y harn poco para ayudar a construir una cultura de la evaluacin
Las evaluaciones no son la panacea para todo lo que es malo en la innovacin
polticas (o, de hecho, el sistema nacional de innovacin). Proporcionan una
oportunidad para el aprendizaje y, como tal, son herramientas importantes en el esfuerzo por
alcanzar el progreso aqu. Pero puede haber razones polticas y de otro tipo para que
ser difcil de implementar evaluaciones satisfactorias, o para ver sus resultados
adecuadamente.
Habiendo examinado algunas razones por las cuales la evaluacin puede ser considerada como
innecesaria o contraproducente, vamos a considerar los argumentos de manera positiva para
la evaluacin de los Programas de Innovacin.
________________________________________
Pgina 41
Programas
41
Argumentos para la evaluacin
3.8 Cmo podemos argumentar a favor de la evaluacin?
La innovacin es un fenmeno multifactico, que los polticos son
aproximndose desde muchos ngulos. As pues, hay muchos papeles diferentes que
evaluacin puede desempear en relacin con los Programas de Innovacin. Hay varios
diferentes puntos de vista sobre estas funciones, tambin. Ninguno es necesariamente el punto de vista correcto -
todo depender del contexto en el que se est utilizando la evaluacin y qu lecciones
los responsables polticos desean obtener de su uso.
Cuando se ve en el caso de los programas de innovacin simplemente como una cuestin de
fracaso del mercado, por ejemplo, la tarea principal de la evaluacin es principalmente para
ver hasta qu punto se ha abordado esta falla del mercado - son informacin o
carencias formativas estn superando, por ejemplo? Cuando el problema se ve ms
en trminos de los sistemas de innovacin y su rendimiento (la nocin de sistemas
fracaso, por ejemplo), entonces la evaluacin tiene que abordar el cambio sistmico en qu medida
que se ha logrado, es decir, a travs de la eliminacin de los cuellos de botella, oa travs de la
mejora de las condiciones marco, etc Esto puede implicar cuestiones de la
cambio en el comportamiento de los agentes econmicos en el largo plazo.
Los argumentos a favor de la evaluacin son, pues, igualmente multifactico. Es posible
identificar algunas de las principales razones que se dan para la realizacin de la Innovacin
Las evaluaciones del programa (y evaluaciones de forma ms general)
3
, Y tambin un nmero
de ms de menor importancia o incidentales. Vamos a considerar cada una de las siguientes opciones en
encender las prximas pginas:
el argumento basado en la evaluacin de valor por dinero
el argumento basado en la mejora del diseo de los futuros programas
el argumento basado en informacin para el proceso de establecimiento de prioridades
el argumento basado en la mejora de la formulacin de polticas
otras razones y beneficios - por ejemplo, el uso de las evaluaciones a ms
difundir los resultados del programa.
3
EPEC (2005) presenta una gama similar de fundamentos para la evaluacin, la evaluacin de hasta qu punto cada uno
tipo de impacto se logr a travs de una serie de evaluaciones.
________________________________________
Pgina 42
Programas
42
3.9 Cules son los argumentos en torno 'Evaluacin de valor por dinero'?
Simplemente, la evaluacin de la relacin calidad-precio es una cuestin de hacer la pregunta
de lo bien que se est gastando el dinero pblico. Esta es una pregunta fundamental -
el gasto pblico no es un pozo sin fondo. El dinero tiene que ser extrado
de tasas y otros ingresos, y se aplica a travs de una serie de objetivos polticos. Es
slo ticas para asegurarse de que se est utilizando, as: de otro modo, qu derecho tiene el
Estado tiene que este dinero en el primer lugar? Los ministerios de finanzas y pblica
perros guardianes de gasto / auditores son las instituciones que tienen que estar convencidos de
que el dinero se gasta bien, y los medios de comunicacin y la oposicin poltica puede ser
interesados en saber si este es el caso, tambin. Evidencia de relacin calidad-precio es
importante si el caso se va a construir para los programas posteriores de este tipo. Y,
cuando se lleva a cabo como parte de una evaluacin en tiempo real puede ayudar a tomar decisiones acerca de
ya sea para cambiar las prcticas de gestin en el programa e incluso
si se debe modificar la asignacin de los recursos a travs de actividades.
El tipo de preguntas que se derivan de esta "relacin calidad-precio" justificacin son:
Hasta dnde han hecho las actividades propuestas han llevado a cabo?
Si no han sido llevadas a cabo, son las razones de esta adecuada
los que no se podan prever en la etapa de diseo del programa?
Las actividades llevadas a cabo de manera eficiente, es decir, con el mnimo de
los gastos administrativos y los costos de administracin?
Los procedimientos para la reasignacin de los recursos en caso de descubrimiento de
problemas con una u otra parte del programa adecuado? Eran
llevado a cabo de manera eficiente?
Hasta qu punto las actividades logran sus beneficios previstos y cul es el
relacin beneficios-costos, en la medida de lo posible se expresa en trminos financieros?
Algunos de estos son esencialmente de auditora preguntas que deberan ser valiosa sobre
la base de la informacin recopilada de forma rutinaria durante la gestin del programa. En
este sentido, es til para administradores de programas para recopilar datos sobre si
hitos se estn alcanzando, en la captacin de fondos, y si los informes
y otros productos que se hayan recibido a tiempo. Puede ser que no sea de rutina
informacin tambin ha sido recogido y tratado - por ejemplo, que un
particular, los gastos que no se hayan efectuado debido a que la empresa involucrada cerrado
hacia abajo o las operaciones se movi, porque pilotaje inicial indica que la intencin
actividad no era en absoluto eficaz, y as sucesivamente. A menudo, esta informacin no est escrito
abajo, o si es que tendr que ser revisado y ampliado. Del mismo modo, la
procedimientos para la reasignacin de los recursos en caso de que tales contingencias se
necesita ser explicado, y la forma en que se llevaron a cabo es probablemente un tema
para la investigacin.
________________________________________
Pgina 43
Programas
43
3.10 Cules son las implicaciones de las venidas de evaluacin ms all de Auditora
y Seguimiento de los argumentos sobre "Evaluacin de valor por dinero '?
Los procedimientos de auditora son formas de comprobar si los programas han sido
llevado a cabo segn lo previsto, y que el dinero se ha gastado en planeado
asignaciones con la debida diligencia. La auditora es esencialmente un proceso de verificacin.
Sin embargo, como es el camino con muchos trminos y prcticas, el alcance de la "auditora"
ha crecido a lo largo de los aos. Por un lado, es posible que tengamos "performance
auditoras ", que ver hasta qu punto se han alcanzado los objetivos en trminos de determinado
indicadores de rendimiento. Por otra parte, los auditores pueden tener en
teniendo en cuenta el nivel de conocimiento que estaba disponible en el momento de un programa
fue planeado y ejecutado, para establecer si las decisiones fueron tomadas en
la base de (aparentemente) la inteligencia bien fundada. Estas actividades traen
auditora ms cerca de la evaluacin, pero todava tiende a mantenerse un estrecho y ms
proceso descriptiva. En esencia, la auditora se centra generalmente en los insumos y su
asignacin y puede extenderse a un examen del proceso de utilizacin de entrada.
Lo que no lo hace es examinar los productos y resultados, as como los procesos y
razones que los generan. Las evaluaciones suelen ir ms all de las auditoras en el ser
ms analtico, con el objetivo de extraer lecciones sobre la planificacin y realizacin de
Innovacin Programas ms general. Esto no quiere decir que las evaluaciones
ignorar los insumos, sino que tratan de examinar los vnculos entre el programa
razones fundamentales, insumos, actividades y resultados.
Un argumento similar puede hacerse respecto de la vigilancia . El monitoreo es el
proceso de examen de las actividades del programa durante el curso de la
programa en s, y por lo tanto puede aparecer para asemejarse a la evaluacin "en tiempo real". Pero
monitoreo es ms o una actividad de gestin de rutina. Se trata de una cuestin de comprobar
para ver que las actividades estn avanzando, y los fondos que se asignan y utilizan, como
planeado. Esto no significa, por s mismo, frente a las cuestiones de evaluacin ms amplios relativos a
los objetivos y los efectos generales del programa. Sin embargo, esto no es a
denigrar la funcin de la vigilancia que se puede utilizar para acumular, en un
rutina (y posiblemente de bajo costo) base, la informacin esencial para la realizacin de
la evaluacin final. Es frecuente que se requieren evaluadores
para llevar a cabo ejercicios de recoleccin de datos que consumen muchos recursos para adquirir informacin
que podra haber sido recogidos de manera sistemtica durante el curso de la
programa. Como veremos, la provisin temprana para la identificacin y
recopilacin de esta informacin debera formar parte del diseo del programa
proceso.
El "valor por dinero" justificacin tiene un fuerte enfoque en los gastos: la forma en que
se gestionan, cmo se relacionan con los resultados. Los procesos son examinados
los relativos a los gastos y las principales cuestiones en juego son tanto
los fondos pblicos se utilicen de forma eficiente - y si no es as, cules son las deficiencias
en el diseo o la gestin del programa. Hay pocas razones para reflexionar sobre
si los objetivos del programa eran realmente los ms adecuados, o
cmo las actividades encajan en el sistema de innovacin ms amplio.
La evaluacin en este caso es en gran parte un proceso de auditora, basndose en la rutina
informacin de gestin, y la necesidad de entrar en detalles solamente en el entendimiento
desviacin de los planes y la evaluacin de los beneficios del programa. Con una
________________________________________
Pgina 44
Programas
44
presin para expresar los beneficios en trminos financieros, el tipo de indicadores de
rendimiento que son elegidos tender a ser aquellos que pueden ser ms fcilmente
representado en trminos de dinero: por ejemplo, el volumen de negocios relacionado con el nuevo
productos, el valor econmico de los nuevos puestos de trabajo creados.
Preguntas acerca de los logros y las relaciones costo-beneficio asociados a un
programa son, tpicamente, ms exigente. En la evaluacin de la investigacin, los de
recepcin de los fondos se requieren habitualmente para proporcionar informes de fin de proyecto
que contienen evidencia de publicaciones derivadas del trabajo. La
los resultados y los efectos y, por lo tanto, los impactos de la innovacin ms amplia
Los programas no suelen ser tan fciles de capturar.
4
4
No es que una lista de publicaciones es siempre tan sencillo. Incluso si los compiladores de las listas
utilizar un formato estndar para la presentacin de ellos, a menudo hay problemas tales como: la dificultad de
atribuyendo trabajos especficos a un proyecto especfico; la probabilidad de que algunos previsto publicaciones
ser abandonado mientras aparecen otros; y el largo retraso en la preparacin de publicaciones.
________________________________________
Pgina 45
Programas
45
3.11 Qu
son
la
argumentos sobre la "Mejora de programa
gestin '?
Los programas no se limitan a gestionar ellos mismos. Es bien sabido que el calibre
de los directores de programas pueden desempear un papel vital para garantizar el xito de
un programa - como alerta son las seales acerca de su progreso, la forma enrgica
ellos estn en la exploracin de soluciones a los problemas, qu tan efectivos son en
comunicar la conciencia y el entusiasmo a los participantes en el programa.
Obviamente, la seleccin de los directores de programas que tienen altas capacidades, as
como se ha comprometido con los objetivos del programa, es de gran
importancia.
Las estructuras de gestin tambin pueden variar en cuanto a su eficacia. La
mejores gestores pueden tener dificultades para progresar en ausencia de tales
estructuras, mientras que los gerentes ms pobres sern capaces de hacer un mejor trabajo - y
incluso mejorar sus capacidades - esas estructuras estn en su lugar. Este
Gua analiza la gestin de los procesos de evaluacin, y algunos de los
puntos aqu se aplican a la gestin del programa ms general; la ms amplia
literatura de gestin (especialmente - aunque no exclusivamente - la gestin del sector pblico
materiales) tambin proporciona una gran cantidad de orientacin til a las herramientas y
tcnicas de buena gestin. Las evaluaciones pueden aportar en trminos de
la evaluacin de las prcticas de gestin que participan en un programa para la innovacin.
Por ejemplo, una evaluacin puede examinar cmo diversos procedimientos fueron
implementadas, dibujo lecciones sobre cmo deben ser diseados con el fin de
lograr mejores resultados. Por ejemplo:
Cmo fueron los socios de los programas seleccionados y movilizados?
Cmo pueden los objetivos del programa se comunicar adecuadamente a la
actores involucrados, especialmente a los participantes del programa (y otros
objetivos)?
Las actividades especificadas y un seguimiento adecuado? Hubo
intervalos adecuados de informacin y directrices sobre la informacin requerida,
y fueron los procedimientos de gestin para procesar esta informacin y
para la deteccin de problemas adecuada? Cmo puede el progreso de las actividades
supervisar y compara con los planes y objetivos de manera eficiente?
Hubo un conocimiento adecuado dentro del programa en el mbito de su
razn de ser y objetivos, las formas en que las actividades estaban destinados a relacionarse,
etc?
Qu procedimientos se encontraban en el lugar para una ms amplia difusin de los resultados de la
programa?
Cmo surgi la gestin del programa responde a las contingencias que puedan
han surgido, por ejemplo, cmo se reasignan los recursos en caso de
diferencial progreso hacia los objetivos?
Cmo debe el proceso de evaluacin en s se logr? Qu procedimientos
estaban en el lugar para preparar y facilitar el proceso de evaluacin, lo que
procedimientos deben estar en su lugar para asegurar un seguimiento adecuado de la
conclusiones y recomendaciones del proceso de evaluacin?
________________________________________
Pgina 46
Programas
46
3.12 Cul es el papel de la evaluacin del Programa de Mejora
gestin '?
Principios generales de gestin, aunque aprendido de la experiencia en otros
tipos de programas pblicos, siempre va a necesitar un cierto grado de refinamiento para ajustarse
las especificidades de reas concretas. Programas de Innovacin tienen
caractersticas que los hacen diferentes a la mayora de otros programas pblicos. Estos
involucrar a los tipos de:
cambios de comportamiento que se estn buscando
impacto que estos cambios pueden generar (durante perodos de tiempo prolongados y
amplias esferas de la vida econmica)
agentes econmicos cuyo comportamiento est destinado a ser afectados, y
redes socioeconmicas en que se encuentran estos actores.
Los procedimientos de gestin y procesos involucrados en la innovacin
Los programas son por lo tanto de ninguna manera las estndar. La evaluacin puede desempear un
papel importante para ayudar a identificar y explicar la gestin principal
estructuras y capacidades que se requieren en relacin con determinados tipos de
programa.
Cada evaluacin realizada por una institucin har una nueva contribucin a la
base de conocimientos de la institucin, en trminos de su comprensin de la
del sistema de innovacin, los actores y los procesos dentro de ella y de las instituciones
Capacidad para planificar, ejecutar y evaluar las polticas de intervencin que realiza. .
Los pioneros, evaluaciones iniciales, si se dirigen a la gestin de programas
procesos, contribuirn a establecer un conocimiento bsico acerca de la
principios de la gestin eficaz de los programas de innovacin. A medida que estos
principios vienen a ser bien entendido, estas lecciones tienden a ser
repetitivo, aunque esto puede ser precisamente lo que se requiere para las lecciones para ser
aprendidas y la comprensin de los principios que se incrusta en el
las empresas de explotacin de que se trate. Puede haber cierta tendencia a que ms tarde
evaluaciones de ser ms de una evaluacin de si la mejor prctica es
ser seguido en trminos de gestin, con menor contribucin de las nuevas ideas
en los principios de gestin.
Sin embargo, las disciplinas de gestin estn en continua evolucin, lo que significa que
siempre hay margen para la actualizacin de los principios y procesos que son
siendo aplicado. Modelos y mtodos pueden ser importados desde el sector privado
(Por ejemplo, "lean management") u otros organismos pblicos ("nueva gestin pblica"
enfoques, por ejemplo), nuevas herramientas tcnicas pueden permitir que los enfoques
no eran viables antes (en particular, la nueva tecnologa de la informacin se puede utilizar
ampliamente para la gestin de proyectos, coordinacin de actividades, la difusin de
resultados, etc.) Como la evaluacin es una poderosa herramienta de aprendizaje, por lo tanto, debe
esperan que las prcticas de gestin del Programa de Innovacin para estar continuamente
evolucionando, por lo tanto la evaluacin de la gestin del programa se puede esperar que
mantenerse en movimiento tambin.
________________________________________
Pgina 47
Programas
47
Dicha evaluacin es, de nuevo, algo ms que una cuestin de marcar casillas para
determinar si las mejores prcticas se est siguiendo en diversos elementos de
gestin del programa. Debe orientarse a las lecciones de aprendizaje a partir de
la gestin del programa, que se puede utilizar para informar el diseo de
estructuras y procesos de gestin de los programas futuros. El objetivo
debe ser para lograr una mejora continua en el Programa de Innovacin
gestin, lo que aumentar los resultados positivos de los programas de
y ayudar a construir los casos que los fondos pblicos se gasten de vital importancia
objetivos.
________________________________________
Pgina 48
Programas
48
3.13 Cules son los argumentos sobre "Mejorar el diseo de los programas '?
La evaluacin en trminos de "valor por dinero" nos puede decir si un programa
demostrado ser digno de los fondos gastados en ella. Evaluacin de la gestin
procedimientos nos dice mucho acerca de la eficiencia con que se utilizan los fondos,
y si el valor agregado ms podra lograrse mediante la mejora de la gestin
procesos. Una buena evaluacin de este tipo debe ser tambin capaz de identificar las razones
detrs de las deficiencias, y as ayudar a informar el diseo futuro programa.
Pero el diseo de futuros programas pueden y deben ser una parte clave de la
Justificacin de la evaluacin. Por tanto, la evaluacin se convierte en una herramienta para mejorar el aprendizaje
acerca de qu intervenciones tienen qu consecuencias, y por qu, y cmo
efectivamente disear futuras intervenciones que realmente contribuyan a la mayor
objetivos de poltica que se persiguen.
Por lo tanto, la evaluacin es mucho ms que algo que es slo "atornillada" en la
el final de un programa, para satisfacer a sus patrocinadores que los fondos han sido bien
gastado. En cambio, la evaluacin debe ser vista como una parte integral de un individuo
programa. Por otra parte, es una parte integral de la poltica de innovacin ms amplio
proceso , que puede y debe desempear un papel en el diseo de programas ms
en general.
El diseo del programa est estrechamente relacionado con el establecimiento de metas. El diseo de cualquier
programa ser slo uno de una amplia gama de diseos alternativos de programas
a disposicin de los responsables polticos, algunos de los cuales pueden haber sido explcitamente
investigado y considerado, algunos de los cuales no se han articulado.
Los programas pueden ser diferentes en trminos de sus objetivos finales . Esto es especialmente
cierto de los programas de innovacin. Ejemplos de diferentes objetivos finales podran ser,
por ejemplo, los siguientes: mejorar la capacidad de innovacin en toda la economa; apalancamiento
desarrollo regional racimos aunque ms innovadoras en desventaja
regiones; alentar a la industria a explorar ms lneas de bajo consumo de
la adopcin de tecnologa; y as sucesivamente. Y, por supuesto, hay polticas de orden superior
elecciones entre la asignacin de recursos a las metas como nacional
la seguridad, la salud pblica inmediata, la sostenibilidad ambiental, econmica
estabilidad y otras caractersticas crticas de una sociedad que funcione bien. En este
discusin nos centraremos en los principales objetivos detrs de los Programas de Innovacin.
Dentro de un objetivo final comn, hay una posibilidad de elegir entre diferentes tipos de
actividad que pueda contribuir a este objetivo. Ejemplos de diferentes tipos de
actividad podra ser, por ejemplo, los esfuerzos para: crear conciencia; tecnologa de apoyo
adopcin (por ejemplo, a travs de apoyo de consultora de financiacin para las empresas o clusters);
fomentar mejores relaciones entre los desarrolladores de los investigadores, la tecnologa y
los usuarios de tecnologa; aumentar la calidad y cantidad de la formacin para el uso de tecnologa;
y as sucesivamente. Dentro de las actividades de este tipo tambin puede haber sub-actividades :
qu tan lejos para apoyar cada uno de una serie de tecnologas relevantes, tipos de formacin
programa, y as sucesivamente.
________________________________________
Pgina 49
Programas
49
Diferentes diseos de programas reflejan opciones que se han hecho entre
estas alternativas. Hacer este tipo de decisiones es una cuestin de establecer prioridades, que
puede llevarse a cabo de forma explcita o ms o menos de forma implcita.
El papel de la evaluacin en este contexto es evaluar qu metas son alcanzables,
y por lo que significa que ms eficazmente pueden llevar a cabo. En resumen,
Las evaluaciones se utilizan para evaluar las consecuencias de la accin poltica. Pero el
forma en la que la evaluacin se va a utilizar tiene que ser considerado desde el principio
del proceso de diseo de polticas. Esto facilitar la medicin de estos
metas y evaluacin de hasta qu punto el programa ha contribuido a la consecucin de
ellos.
________________________________________
Pgina 50
Programas
50
3.14 Cul es el papel de establecer objetivos en la Mejora de diseo de
programas '?
Las opciones en cuanto a los objetivos finales se hacen tpicamente en los altos niveles polticos,
y es difcil para una sola evaluacin de contribuir mucho a ellos. Sin embargo,
algunas evaluaciones a gran escala de programas a gran escala han demostrado ser muy
influyente. Adems, una serie de evaluaciones puede ser utilizado como un conocimiento
base desde la cual se puede derivar asesoramiento en cuanto a que los objetivos de poltica pueden ser
logrado con bastante facilidad, y que son ms difciles de resolver, al menos en trminos de la
instrumentos que hasta ahora han sido ejercidas sobre ellos. Este ideal es
por lo general slo imperfectamente comprendida, en todo caso, debido al desarrollo desigual de
cultura de la evaluacin en los distintos mbitos de la poltica, y por lo tanto la calidad desigual
y el enfoque de las evaluaciones que estn disponibles. Basada en el Conocimiento
la formulacin de polticas an tiene un largo camino por recorrer! Sin embargo, la disponibilidad de un
"Biblioteca" de evaluaciones de las polticas de innovacin puede servir para informar a los responsables polticos y
directores de programas por igual sobre las grandes reas de intervencin que son
ms probabilidades de xito - e, igualmente importante, sobre los principales problemas que
son probable que se encuentren con su uso.
Las opciones en cuanto a los objetivos de un programa, y especialmente las opciones
sobre las actividades y sub-actividades que se instituyeron como formas de lograr
estos objetivos, es por lo general menos de un asunto de alta poltica y la poltica. Aqu,
trabajo de evaluacin puede contribuir a deletrear la eficiencia relativa y
efectividad de las diferentes actividades y sub-actividades para contribuir a la
los objetivos del programa. El Resumen del Programa debera haber explicado no
justo lo que estos objetivos son, y cmo las actividades especficas estn destinadas a
contribuir a ellos, sino que tambin han ido de alguna manera de explicar los opciones
que se hicieron acerca de los objetivos y actividades especficas. La evaluacin puede
revisar estas decisiones a la luz de la experiencia, y proporcionar inteligencia para el
decisiones necesarias en los programas futuros.
La pregunta para cada evaluacin individual es, en este sentido, una cuestin de lo que el
experiencia del programa en particular (o conjunto de programas) que es
Evaluado nos dice acerca de cmo disear programas futuros. El diseo de la
programa abarca dos dimensiones. Primera es la dimensin de
el contenido del programa - que las evaluaciones pueden contribuir al aprendizaje sobre
establecer y especificar los objetivos, relacionarlos con las actividades, y as sucesivamente.
En segundo lugar est la dimensin de la estructura del programa - que las evaluaciones pueden
contribuir a aprender acerca de la supervisin efectiva de un programa de este tipo, sobre
las capacidades y prcticas de gestin necesarios para llevarlo a cabo
con xito. Esta segunda dimensin se comenta ms arriba, bajo la rbrica de
"Mejorar la gestin del programa." Evaluacin aqu debe ayudar con la
diseo de los procesos de gestin del programa una vez que las decisiones estratgicas
asociado con la primera dimensin se han tomado. La primera dimensin
implica la seleccin y diseo de los programas que son actividades apropiadas
y usos de los recursos a la luz de los objetivos de poltica. Las evaluaciones tambin pueden contribuir
la inteligencia que debe ayudar con estos procesos de seleccin y de diseo. En lo
haciendo, estarn mejorando la comprensin de las instituciones polticas "del
sistemas de innovacin que sus polticas estn tratando de afectar.
________________________________________
Pgina 51
Programas
51
3.15 Cul es el papel de la evaluacin en la 'Mejora de diseo
programas '?
Como se seal anteriormente, las contribuciones ms fciles para la evaluacin de hacer que son los
objetivos del programa preocupacin, actividades y sub-actividades. La
evaluacin puede hacer frente a estos temas al preguntar, por ejemplo:
Qu lecciones se pueden aprender acerca de la justificacin y los objetivos de
programas? La razn de ser concebida correctamente? Es pertinente hacer la
los objetivos del programa parecen estar ahora en trminos de contribucin a la
objetivos generales de la poltica de innovacin? Hubo superfluo, realista o
objetivos que falta?
Se ha sugerido que la evaluacin de determinados objetivos son particularmente fciles
o difcil de conseguir? Son algunos objetivos demasiado ambiciosos, ahora que tenemos
comprender mejor cules son los efectos de las intervenciones son? Haga particular,
objetivos requieren diferentes o complementarios enfoques? Puede el
logro de los objetivos en realidad se evaluar?
En qu medida determinadas actividades y sub-actividades contribuyen a la
objetivos con los que estn asociados? Se emerge que hay
actividades que son menos efectivos que otros; tener otras actividades potenciales
sido identificados que no estaban en el programa original?
Qu implica esto acerca de los programas futuros? Cmo debe el saldo
de los objetivos y de las actividades y subactividades, modificar? Hay
direcciones prometedoras para futuros trabajos que deben ser exploradas?
A pesar de que es poco probable que los programas sucesivos tendrn exactamente el
mismos objetivos, la evaluacin de un programa puede ser una oportunidad para
considerar dnde las prioridades deben estar en el siguiente programa. Sucesivo
programas pueden variar en formas ms o menos graduales, por ejemplo, la colocacin de
ms nfasis en llegar a determinados tipos de empresas, de promover la adopcin
de determinados tipos de tecnologa o tcnica, etc La evaluacin puede
sugieren que el diseo del programa necesita un nuevo enfoque, para dibujar en los insumos
a partir de una gama ms amplia de conocimientos especializados o de otros estudios y revisiones, o para ser
constituida de modo que no puede haber un mejor aprendizaje de los resultados de antes y
evaluaciones en curso.
Qu implica esto acerca de la evaluacin?
Este razonamiento implica que la evaluacin debe examinar el programa
son hechos objetivos, y cmo los esfuerzos para llevarlas a cabo, a la luz de la
polticas de innovacin ms amplios a los que estn destinados a contribuir. Aunque
puede ser difcil hacer un clculo cuantitativo sencillo aqu, el subyacente
cuestin es si los objetivos (y las actividades que se derivan de ellos)
en realidad no constituyen el tipo de operacionalizacin de los objetivos de poltica general
que se haban previsto inicialmente. A la luz de la experiencia, tener cualquier
se encontraron diferencias entre la traduccin de los objetivos de poltica en
los objetivos del programa?
________________________________________
Pgina 52
Programas
52
Esto tambin implica que los participantes en el programa se les debe pedir a
reflexionar sobre el programa de manera ms general, adems de las actividades con
los que han estado involucrados, y para pensar en cmo los objetivos del programa
podran ser modificados y / o mejor abordados en los programas sucesores.
As, por ejemplo, durante el curso de la evaluacin, los evaluadores pueden
pida a los participantes del programa lo que ellos consideran que es potencialmente fructfera
direcciones para futuros programas a tomar, y por qu. Estas opiniones pueden informar
asesoramiento sobre las prioridades futuras de las actividades dentro de los programas relacionados.
________________________________________
Pgina 53
Programas
53
3.16 Cmo podemos discutir sobre "Mejora de diseo de la poltica '?
El papel ms ambicioso para la evaluacin es contribuir a la combinacin de polticas
que son ejercidas sobre la mejora de la innovacin. Esta es una funcin
que por lo general va a requerir ms de un estudio de evaluacin, aunque ni un solo
estudio puede proporcionar informacin valiosa.
Aqu, el objetivo de las evaluaciones es aprender las lecciones ms profundas sobre cmo y
por qu los programas han logrado su patrn particular de resultados -
la comprensin de cmo las actividades del programa han operado en e impactado
en los elementos particulares del sistema nacional de innovacin. Ello, las evaluaciones utilizan
Los programas de innovacin como una forma de "investigacin-accin" en la innovacin
sistema, utilizando los programas para determinar caractersticas de este sistema.
Las evaluaciones, a travs de programas de innovacin por lo tanto plantean preguntas tales como dnde
son los puntos dbiles, en qu reas pueden aprovechar obtenerse, por qu es
que algunas intervenciones parecen ser mucho ms eficaces que otros, y as sucesivamente?
De ah que las evaluaciones estn integrados en un proceso de aprendizaje poltico, en el que
los tomadores de decisiones a evaluar la combinacin de polticas que estn poniendo en su lugar. Como
resultado de la acumulacin de una comprensin ms profunda de cmo el sistema de innovacin es
funcionan los polticos son capaces de disear nuevas polticas y cambiar la
el nfasis dado a los tipos especficos de la poltica. Uno de los principales beneficios de tal
enfoque de la evaluacin es que puede ayudar a identificar a los que las polticas no logran
complementan entre s, e incluso cuando existen desajustes graves. Para
polticas de ejemplo, de educacin o de competencia pueden operar de manera que tienden a
militar contra las polticas para, digamos, pequea innovacin empresarial.
Esta lgica requiere buenas evaluaciones, por supuesto, pero ms significativamente se
implica que una cultura sistemtica de la evaluacin se est construyendo. Mltiple
Las evaluaciones se llevan a cabo, y los resultados de las evaluaciones estn siendo
ampliamente examinado y utilizado. Los usuarios son capaces de evaluar estos resultados, y
integrar los resultados de diferentes evaluaciones. Puede haber un cambio hacia
complementar las evaluaciones de los programas individuales (que seguir siendo
necesario, sobre todo cuando los nuevos tipos de programas estn involucrados), a ms
de un "enfoque integral" (parcela, 1998), que se propone examinar y dibujar
conclusiones de una serie de programas. La implicacin es tambin que una serie
de los mtodos se deben aplicar porque esto es necesario para establecer el rango
de conocimiento sobre el sistema de innovacin. En particular, puede ser necesario
para investigar elementos "ms blandos" de este sistema, tales como las redes que existen
entre sus actores constituyentes.
________________________________________
Pgina 54
Programas
54
3.17 Qu otros argumentos existen para la evaluacin?
Puede haber varias razones adicionales para llevar a cabo una evaluacin, para
instituir prcticas de evaluacin y la construccin de una cultura de evaluacin ms
en general.
Una evaluacin individual puede desempear varias funciones, adems de las identificadas
en las razones discutidas anteriormente. Se puede:
Documento del programa y sus logros en formas que son tiles para
una mayor difusin de los resultados. El informe de evaluacin se puede publicar
por el programa en s o por los patrocinadores del programa como un registro de la
actividades y resultados. La evaluacin puede incluso participar en
"Difusin" como un subproducto de las actividades de evaluacin - por ejemplo,
pidiendo las partes interesadas sobre los efectos de las actividades puede requerir informar
acerca de toda la gama de actividades que forman parte del programa.
Ayuda en la promocin de los objetivos fundamentales del programa. La
evaluacin debe proporcionar una oportunidad para volver a examinar el programa
razn de ser y objetivos, reiterando estos en funcin de la experiencia y
pruebas concretas. Esto puede ser una entrada oportuna para debatir sobre el futuro
los objetivos del programa. Las evaluaciones no son lo mismo que "historia de xito"
enfoques (ver ms abajo), que estn diseados de forma explcita con la promocin de
el programa y sus objetivos, y la difusin de algunos de los
programa de resultados a un pblico ms amplio - aunque pueden ayudar en la
identificacin de ejemplos y casos de "buenas prcticas". El relato de la
programa desde la perspectiva de otro fabricante que ofrece una evaluacin
puede ser un producto til en su propio derecho para estimular la discusin de la
las intervenciones que se realizaron.
Promover la evaluacin misma. El estudio puede ayudar a construir una cultura de la evaluacin,
mediante la exposicin de las distintas partes de las prcticas y los resultados de la evaluacin en
este mbito de actuacin.
Beneficio posteriores evaluaciones, proporcionando un buen ejemplo de lo que puede ser
hecho, mediante el desarrollo de plantillas para las entrevistas y cuestionarios, por
el establecimiento de un registro de los logros y las condiciones que se pueden utilizar como
una lnea de base en el trabajo futuro.
En trminos ms generales, los esfuerzos para construir una cultura institucionalizada de evaluacin tienen
se discute en trminos de los aportes que esto puede hacer a la mejora de
la poltica de innovacin. Puede tambin:
Ayudar a tomar el caso de la formulacin de polticas basadas en la evidencia en otras esferas de la
gobierno, y dar lugar a una mejor apreciacin de las competencias y los procedimientos
que sean necesarios para apoyar esta
Ayuda a estimular la evaluacin y las actividades conexas entre las partes interesadas y
actores del sistema de innovacin de manera ms general, es de esperar que ayuda a
________________________________________
Pgina 55
Programas
55
desplazarse a ms puntos de vista y enfoques estratgicos en sus esfuerzos, y poniendo
la propia innovacin ms en el orden del da.
5
Estas diversas caractersticas son ms bien el carcter de daos incidentales y adicionales
beneficios que una justificacin completa para llevar a cabo una evaluacin. La mayora de estos
beneficios slo se pueden realizar si se lleva a cabo la evaluacin
transparente, con mtodos y resultados bien documentados; y el
enfoque adoptado y sus conclusiones deben hacerse pblicamente
disponible. necesitar El trabajo a realizarse y presentarse de tal manera
que - y su importancia - puede ser entendido por los numerosos grupos de inters
y las partes interesadas participen en el sistema.
5
Eiffinger (1997) describe cmo se cre deliberadamente el sistema de evaluacin de la investigacin holandesa
hasta alienta a los interesados, tales como las universidades para llevar a cabo sus propias evaluaciones.
________________________________________
Pgina 56
Programas
56
3.18 Cul es, entonces, es el caso en general para la evaluacin?
Las razones discutidas anteriormente cubren una amplia gama de objetivos para el
ejercicio de evaluacin. Los diversos objetivos son bastante complementarias - ejercido
un objetivo no tiene por qu descartar la bsqueda de otros. Pero, en cualquier evaluacin en particular,
no est obligado a ser un poco de nfasis en uno u otro enfoque. De hecho, es
probable que el rgimen de evaluacin de una institucin tiende a orientarse hacia una
justificacin especfica, en lugar de permitir que cada evaluacin para tomar una completamente
diferente forma. Discutimos ms adelante algunos de los principales tipos de cultura de la evaluacin
que se pueden encontrar.
Cualesquiera que sean las circunstancias especficas, varios puntos generales surgen de la
anterior discusin. En primer lugar, hay casos fuertes para la evaluacin sea un
elemento regular y rutinaria de los Programas de Innovacin. El ms que este es
una parte aceptada del diseo del programa, ms que el diseo puede facilitar
actividades de evaluacin por ya especificando, por ejemplo, los datos que se generen
en el curso de las actividades del programa, los objetivos y las metas en contra
que la evaluacin puede llevarse a cabo, etc
En segundo lugar, existen beneficios potenciales de la evaluacin que van mucho ms all de la
importante funcin de asegurar que los fondos pblicos estn siendo bien gastado. Evaluacin
puede contribuir a un proceso ms informado sobre el diseo del programa, y es posible
ser un elemento esencial de un proceso de aprendizaje de las polticas. En ltima instancia, las evaluaciones son un
camino para los polticos a tener un mejor entendimiento del sistema - en este caso,
el sistema de innovacin - que estn tratando de influir, y las formas en
que las intervenciones de los diferentes tipos, en diferentes momentos, pueden efectuar este sistema.
Ninguno de estos argumentos tratan de elevar la evaluacin a un papel primordial en la
proceso poltico. Es un elemento vital de este proceso, sino un elemento entre
otros. No es un fin en s mismo. No puede haber demasiadas evaluaciones que se
asimilado a fondo. No puede haber nfasis en la evaluacin a expensas
de las actividades que en realidad estn siendo evaluados. No puede haber ms de elaborada
esfuerzos para entender la gama "completa" de los resultados de un programa en el
expensas de proporcionar informacin oportuna para la (an los ms relevantes o)
la formulacin de polticas. Sobre todo si se lleva a cabo de una manera rgida, con estricto apego
a un conjunto limitado de metas e indicadores, el proceso de evaluacin puede llegar a
limitar la realizacin de programas. Los argumentos en contra de la evaluacin discutidos
antes plantear cuestiones serias que deben ser abordados de manera adecuada en persona
estudios de evaluacin y en la construccin de sistemas de evaluacin institucionales y una
cultura general de evaluacin. Hay trampas de demasiado y demasiado rgida
evaluacin, y hay limitaciones inherentes al enfoque de evaluacin (es decir
los riesgos de evaluacin demasiado ambicioso). Reconociendo esto no disminuye
el caso para la evaluacin. Simplemente nos dice ms acerca de cmo debemos enmarcar
y llevar a cabo las evaluaciones.
________________________________________
Pgina 57
Programas
57
________________________________________
Pgina 58
Programas
58
Captulo 4 ENFOQUES DE EVALUACIN
4.1 Cmo se diferencian de Evaluacin de Seguimiento?
Monitoreo es un proceso de suministro de informacin de gestin a travs de la vida
de un programa. Puede ser asistido por la gestin de proyectos y herramientas similares.
Se compone de los sistemas de obtencin de seales en cuanto a si las actividades estn tomando
colocar de acuerdo a lo programado, se cumplen si los hitos, si los fondos son
que se utiliza para los fines previstos, y similares. El enfoque tiende a estar en
insumos y actividades, y menos en los productos y los resultados, aunque inmediata
salidas como informes de proyectos y otras prestaciones son abarcados.
El monitoreo se lleva a cabo habitualmente por el equipo de gestin del programa, que
reaccionar a cualquier informacin que las cosas no van segn lo previsto. Las evaluaciones son
generalmente realizada por partes independientes, que tratan de extraer lecciones ms amplias
desde el programa.
Sin embargo, el monitoreo puede constituir un elemento importante dentro de una evaluacin y
en el diseo del programa / poltica global y el ciclo de implementacin. Como tiene
ha sealado, los evaluadores, en particular los de fuera del programa, a menudo
tienen que familiarizarse con las caractersticas de funcionamiento de la
programa. Por otra parte, con frecuencia desean obtener lo que puede ser visto como
informacin mundana en los insumos del programa (por ejemplo, los recursos asignados por
participante) y salidas, tales como publicaciones, informes, patentes, etc Tal
necesidades de informacin deben preverse en la fase de diseo del programa
y mecanismos adecuados ponen en marcha para garantizar su captura por la rutina
administracin del programa. Si tal informacin es entonces disponible en el inicio de
una evaluacin, tiempo y recursos valiosos pueden salvarse que de otro modo
se habra gastado en la captura de estos datos. Adems, existe el peligro
que si los directores de programas no captan esta informacin o si los participantes
no son conscientes de la necesidad de recopilar esta informacin, se puede perder, ya sea
parcial o totalmente. A lo sumo, los participantes tendrn que gastar sus recursos en
la bsqueda de dicha informacin en respuesta a las preguntas de los evaluadores. La
recursos as ahorrados pueden entonces ser canalizados en ms lneas luminosas de
investigacin.
Por esta razn, los procedimientos de control tambin deben tenerse en cuenta al
el diseo de los elementos de evaluacin de un programa. Por supuesto, tambin hay una
trade off que debe hacerse entre el tipo y la cantidad de informacin recogida
durante el proceso de seguimiento y el esfuerzo requerido. El monitoreo debe tener
una carga administrativa bajo y el valor potencial de la informacin seleccionada
(Para el proceso de evaluacin) debe ser considerado cuidadosamente.
________________________________________
Pgina 59
Programas
59
4.2 Cmo se diferencian de Auditora de Evaluacin?
Auditora es un proceso de la comprobacin de que un proyecto se ha gestionado como
planificadas, sobre todo de que los recursos se han asignado y gastado correctamente,
que las actividades se han llevado a cabo segn lo previsto, que los resultados han sido
prxima. Por lo general, realiza una comprobacin de estas cosas despus de programa
terminacin y se lleva a cabo por terceros ajenos a los directores de programas.
Puede haber procesos anuales o de mitad de perodo de auditora, sin embargo, y
a veces estos sern requeridos para que el resto de los fondos para ser
proporcionado. La auditora es menos centrado en la explicacin y el anlisis del sistema
de la innovacin (en este mbito poltico) que son las evaluaciones. Auditora tiende a ser
ms centrado en los insumos que el monitoreo.
________________________________________
Pgina 60
Programas
60
4.3 Cmo se diferencian de Evaluacin Anlisis de Historias de xito?
Historias de xito pueden ser ms o menos estrechamente relacionados con los estudios de evaluacin.
El documento se centra en la identificacin de casos de actividades particularmente exitosas,
proyectos o participantes en un programa, y explicar el curso de los acontecimientos
que llev a este xito. Cuando la historia de xito es simplemente una demostracin de
las virtudes de un programa o de la importancia de sus objetivos, que es susceptible de
ser ms descriptivo. Cuando se incluye ms anlisis de cmo fue que la
caso fue tan exitoso, cules fueron las condiciones para ello, y as sucesivamente, se
se mueve ms cerca de la evaluacin. Pero a diferencia de la evaluacin no intenta una
visin general y sistemtica de todo el programa, ni va a explicar lo que pas
mal, y por qu, en los casos fallidos - evaluacin tambin nos ayuda a aprender
de los errores o fracasos. El enfoque se asemeja a la historia de xito
enfoque de muchos estudios de gestin en el sector privado, que
hacer hincapi en la identificacin de las mejores prcticas y aprender de la excelencia.
La evaluacin tiene ms en comn con los enfoques de las ciencias sociales convencionales,
de salir a conseguir el cuadro general en el que los casos individuales pueden ser
entendido. Los enfoques pueden ser complementarios - Las evaluaciones pueden
sugerir casos para elaborar en historias de xito (y algn elemento de xito
la narracin se puede construir en una evaluacin); el enfoque de historia de xito puede
sugerir variables clave para la evaluacin de examinar. No es inherente
conflicto entre los enfoques, ya que sirven ligeramente diferentes propsitos.
Sin embargo, no deben confundirse con la otra.
________________________________________
Pgina 61
Programas
61
4.4 Cules son los principales tipos de Evaluacin del Programa de Innovacin?
Las evaluaciones difieren en todo tipo de formas - en los mtodos utilizados, en su escala,
su mbito de aplicacin, y en la medida en que los resultados se difunden y utilizan. Pero
existen tres tipos fundamentales de evaluacin, que difieren en cuanto a su
de temporizacin, y que es particularmente importante para diferenciar:
Evaluacin ex-ante , realizada antes de la ejecucin de un programa,
y se centra en cules son sus objetivos y cmo (y cunto) que deberan
pueden lograrse.
Evaluacin Intermedia , la revisin de los avances del programa, o su
logros en algn momento en el programa - por lo general reservadas para
programas de larga duracin.
evaluacin en tiempo real, siguiendo el programa en detalle a travs de su
operacin.
La evaluacin ex-post , el examen de los resultados del programa despus de que se tiene
ha completado (y posiblemente ms de una vez).
________________________________________
Pgina 62
INNOVACIN INTELIGENTE - Apoyo al Monitoreo y Evaluacin de Programas de Innovacin
62
Figura 4.1 Tipos de evaluacin
Perodo
antes
programa
Duracin del programa
Perodo programa despus de ...
Programa:
Formulacin
Etapa 1
Etapa 2
Etapa 3
Conclusin
Seguimiento
Ex Ante
Evaluacin
Ex Post
Evaluacin
Interino
Evaluaciones
Tipos de
evaluacin
Evaluacin en tiempo real
________________________________________
Pgina 63
4.5 Qu es ex ante La evaluacin?
Existen algunas dudas acerca de si ex ante las evaluaciones deben ser realmente
referido como evaluaciones, en lugar de ser descrito por algunos plazo, tales como
"Evaluacin". Esto, sin duda, reducir las posibilidades de confusin.
6
Pero ya que
se ha establecido la prctica de referirse a estas actividades como evaluaciones, que debern
continuar hacindolo aqu - aunque toma nota de que el tiempo real y ex post
evaluaciones que se describen a continuacin son capaces de proporcionar ms evidencia basada en
experiencia real del programa en s.
Como la frase indica, ex ante Las evaluaciones se llevan a cabo antes de la
programa es implementado. De hecho, por lo general informan al Programa
Informacin general y cualquier declaracin Roame que se ha preparado. En trminos de la
objetivos del programa, la ex ante de evaluacin rene la evidencia
y argumentos sobre las probables consecuencias del programa
actividades. Dado que esto implicar un proceso de adecuacin de las actividades con
objetivos, esta evaluacin podr impugnar la claridad con la que el
los objetivos del programa se han establecido, as como la credibilidad de la
propios objetivos. Esto puede incluso extenderse a examinar si el
objetivos son realistas y si representan contribuciones adecuadas para
los grandes objetivos polticos que sustentan el programa. EPEC (2005) seala,
sin embargo, que ex ante evaluaciones tendan a tener mayor influencia sobre los detalles de
el diseo del programa, y por las consecuencias sean las ms incrementales.
La realizacin de este tipo de evaluaciones es una parte clave de la incorporacin de la evaluacin
procesos en el diseo del programa. Es un elemento importante de una evaluacin
la cultura de otra manera, tambin. priori evaluacin proporciona una valiosa aportacin a la
ms tarde - en tiempo real y ex post - evaluaciones. Debe haber creado un
base de conocimientos ("referencia virtual") contra el que estas evaluaciones pueden
llevarse a cabo. A menudo se dice que la buena previas evaluaciones son importantes
contribuciones tambin el logro de buenos ex post evaluaciones.
6
Reducira la confusin sobre lo que significa la "evaluacin", pero "la evaluacin" lleva su propio conjunto
de significados. ex ante de evaluacin puede ser confundida con la "evaluacin de proyectos", por ejemplo, que
es la dosis usual para referirse especficamente al proceso de seleccin a travs de una gama de diferentes
proyectos que se estn considerando.
________________________________________
Pgina 64
Programas
64
4.6 Cmo puede el Ex Ante Trabajo de Evaluacin?
En ausencia de cualquier resultados reales de las actividades del programa (que,
Obviamente, an no se han llevado a cabo), ex ante evaluaciones deben trabajar a travs de
la justificacin del programa, objetivos y actividades, y explicar los casos
primero, por la intervencin pblica en trminos de mercado y / o fallas del sistema son
se enfrentan, y en segundo lugar, por los objetivos y actividades especficas en materia de
los beneficios previstos que deben ser alcanzados por el programa. Esto puede
involucrar a dos componentes:
Modelizacin: Se trata de un enfoque formal para la estimacin de la probabilidad
magnitud de los impactos y muy posiblemente la cuantificacin de estos en trminos de
beneficios econmicos. Por ejemplo, los modelos pueden ser utilizados en la construccin
cuentas sobre el nmero de empresas que pueden ser alcanzados por un programa
y la cantidad o el tipo de cambio en su comportamiento que podra ser
esperado. Ellos se pueden utilizar para examinar la aguas arriba y aguas abajo
implicaciones de estos cambios de comportamiento en los proveedores y clientes
de las empresas dirigidas (estos son a menudo ms importantes que los impactos sobre
las mismas, en trminos de creacin de empleo, por ejemplo.) las empresas Los modelos pueden ser
muy simple o altamente sofisticado. En el caso de los programas operados
por una agencia u organismo que lleva a cabo una serie de programas en cualquier
una vez, es muy posible que hay modelos establecidos (por ejemplo, sobre la base de
costo-beneficio, de entrada-salida o enfoques economtricos) que se puede utilizar.
Anlisis de escenarios: Esto puede tener dos funciones. La primera es para contrastar la
probables impactos del programa con la situacin "hipottica" donde
el programa no sucede. Esto constituye parte de la justificacin
para el programa y puede proporcionar una base para la estimacin de la
programas de "adicionalidad". La segunda es considerar alternativas
ambientes que puedan surgir durante el transcurso del programa de
operacin, y que podran influir en sus resultados (o incluso afectar a la necesidad de
intervencin). Esto contribuye a la planificacin de contingencia y para el desarrollo de
procedimientos para hacer frente a problemas inesperados. Tambin puede dar lugar a algunas
reevaluacin de las expectativas de costo-beneficio, con base en el reconocimiento de que la
Escenario "ms probable" puede no ser todo lo que es probable, y que los elementos de otra
escenarios tambin son posibles caractersticas del futuro del programa.
Se discuten los mtodos para ex ante Evaluacin con ms detalle en el captulo 6, a continuacin.
Ex ante evaluacin implica un grado de previsin, y por lo general est obligado a
conseguir algunas cosas mal. Esto es parte del proceso de aprendizaje, por supuesto. Podemos
llegar a entender por qu y cmo las expectativas lejanos eran los realistas,
procedimientos necesarios no eran considerados de antemano, y as sucesivamente. Esta lata
ayudar a informar el diseo de programas que le sucedan. Sin embargo, sirve para
cuestionar la razn de ser y desarrollar una comprensin ms profunda de la posible
implicaciones de un programa que se pueden obtener a travs de la
comparativamente ms simple proceso de formulacin de una respuesta poltica directa a una
problema especfico.
________________________________________
Pgina 65
Programas
65
4.7 Cules son interino, peridica y en Tiempo Real evaluaciones?
Se trata de dos trminos que a veces se confunden. Por "interino" o
evaluaciones "intermedios" nos referimos a las evaluaciones que se llevan a cabo algunas
camino en un programa, en un punto donde los primeros resultados deben ser
aparente. Este tipo de evaluacin se llev a cabo con ms frecuencia cuando un programa
se ha establecido para ejecutarse en un perodo de varios aos - cuatro o cinco o
incluso ms tiempo - y cuando hay una sucesin de actividades del programa o
fases distintas. La evaluacin puede informar a la aplicacin de las etapas posteriores
del programa, la seleccin de actividades y sub-actividades, y as sucesivamente. Lo
puede desempear un papel poltico importante en la prestacin de la legitimidad de curso largo
financiacin a largo plazo. evaluaciones "peridicas" normalmente se planifican como una serie de
evaluaciones que se llevan a cabo en puntos especficos en el tiempo de vida del programa.
Pueden llevarse a cabo de forma regular (por ejemplo, cada cinco aos) o
coincidiendo con los acontecimientos en el ciclo de polticas ms amplio (por ejemplo, a gran
escalar revisiones de financiacin, los ciclos presupuestarios, etc.) Comparten muchas de las
caractersticas de ex post evaluaciones en cuanto a las metodologas empleadas y
siendo esencialmente retrgrado y se centr en la evidencia histrica,
aunque el programa an est en curso.
Evaluacin "en tiempo real" se refiere a algo bastante diferente y ms raro. Esta es una
proceso de evaluacin que se construye en y junto a la rodadura de la
programa. Aqu, los evaluadores son tpicamente interactuando con el programa
los participantes a medida que se estn llevando a cabo las actividades, a la que asisten
eventos del programa, y son capaces de observar lo que est sucediendo (en lugar de
necesidad de reconstruirlo posteriormente a partir de registros y recuerdos).
El proceso de evaluacin en tiempo real es extenso - por lo general se trata de una
proceso que contina a travs de la vida del programa. Es en consecuencia
mano de obra intensiva y potencialmente bastante costoso. Por lo tanto, tiende a ser empleado
slo cuando hay programas muy grandes en marcha - y la asocian
riesgos de fracaso son mayores. Los evaluadores pueden ser vistos como agentes de
gestin o de las fuerzas polticas externas, y su presencia se resentan por
los participantes del programa. Por otra parte, un peligro con tales evaluaciones es
que los evaluadores pueden ellos mismos llegan a ser demasiado estrecha para el programa,
para ser "capturado" y as encontrar difcil hacer una valoracin independiente.
Sin embargo, en los grandes programas por lo general hay suficientes puntos en competencia de
ver que esto es un problema menor.
La principal ventaja de la evaluacin en tiempo real (compartido en cierta medida con
evaluaciones intermedias) es que puede proporcionar alertas tempranas y oportunas
informacin que puede alertar e informar a los directores de programas de la necesidad de
accin. Yendo ms all de la vigilancia rutinaria que puede, por ejemplo, destacar dnde
participantes estn experimentando
dificultades, indican
donde
futuro
podra esperarse bajo rendimiento, iluminar consecuencias inesperadas
de actividades, identificar dnde existen deficiencias en la comunicacin o
desafos a la moral, y as sucesivamente.
Los tres de los enfoques anteriores son bastante diferente de la otra en tiempo real
proceso de monitoreo que debe llevarse a cabo de forma rutinaria durante la
________________________________________
Pgina 66
Programas
66
curso de un programa. El seguimiento es ms cercano a un proceso de gestin de
la comprobacin de que los fondos se estn gastando, actividades realizadas en funcin del tiempo
y que la informacin sobre ciertos resultados inmediatos o salidas est siendo
capturado. Mientras que su principal preocupacin es la eficiencia, no obstante, forma un
elemento importante de la evaluacin, sobre todo ex post evaluacin. Evaluaciones
direccin, con mayor profundidad, los temas de los impactos y resultados, y buscan ganar
visin ms clara de lo que est ocurriendo. Sus preocupaciones van ms all de la eficiencia de
incluir efectividad, eficacia, y la explicacin, pero todava pueden beneficiarse de
prcticas de supervisin bien formulados.
Se discuten los mtodos de tiempo real y las evaluaciones intermedias en el captulo 6, a continuacin.
________________________________________
Pgina 67
Programas
67
4.8
Qu es ex post evaluacin?
Ex post evaluaciones se llevan a cabo despus de que se ha completado un programa, o al
menos lo suficientemente cerca para el final del programa que la mayora de las actividades pueden ser
examinados y los resultados ms inmediatos evaluados. Puede ser que el
evaluacin se inicia antes de que el programa se completa formalmente, pero sigue
durante algn tiempo despus de que otras actividades se enrollan. A veces la evaluacin
es, junto con la informacin sobre el programa, la ltima actividad en el
horario de programa.
Ex post evaluacin constituye probablemente la mayor parte de los trabajos de evaluacin que es
llevado a cabo hoy en da. Permite las intenciones de un programa que se va
confrontado con la realidad de que las actividades del programa se han enfrentado
y para las preguntas sobre la eficacia, la eficiencia y la eficacia de la
programa que debe abordarse.
Se discuten los mtodos para ex post evaluacin en el captulo 6, a continuacin.
La
ventajas metodolgicas de ex post evaluacin son evidentes: slo despus de un
se completa el programa (o por lo menos en sus ltimas etapas) es posible hacer una
contabilidad razonablemente exhaustiva de sus impactos y resultados. Sin embargo, hay
algunas desventajas de este enfoque:
En primer lugar, la inteligencia que se produjo se obtiene demasiado tarde para ser utilizado para
informar a la direccin o administracin de programa en s, para ser utilizado
para hacer cambios que podran hacer el programa ms eficaz.
En segundo lugar, existen problemas similares en cuanto a su posible contribucin a la
programas que le sucedan. El tiempo necesario para completar la evaluacin puede ser
problemtico en trminos del ciclo poltico, donde un programa puede ser
espera que siga otra inmediatamente. Tambin puede ser problemtico en trminos
de la necesidad de mantener actividades, energizar las redes, y similares, cuando
un programa es aceptado para ser slo uno de una serie de necesariamente
sucesivas iniciativas.
7
Resultados de la evaluacin o bien puede llegar demasiado lentamente para
informar completamente el diseo del prximo programa, o puede haber una brecha
establecido antes de realizar este diseo de los programas, lo que para un
hiato en las actividades.
Por estas razones, algunos evaluacin en tiempo real a menudo se dan la bienvenida como un medio de
obtencin de alerta temprana sobre las principales lecciones y conclusiones de programa
evaluacin. Por tanto, es necesario asegurarse de que el diseo de la en tiempo real y
ex post evaluaciones est bien integrados, por lo que la recogida de datos y otros
trabajo del antiguo puede ser utilizado por este ltimo - y no se interpone en su camino (por ejemplo,
mediante la creacin de la "fatiga de evaluacin" entre los participantes del programa). Un papel similar
puede ser interpretado por las prcticas eficientes de control en el que la recopilacin de datos puede, a
En cierta medida, se har un procedimiento de rutina y una carga menor en
los participantes del programa.
7
A veces una evaluacin concluir que existe una urgente necesidad de seguir trabajando para
construir rpidamente sobre los logros de un programa. Por ejemplo, se puede determinar que
nuevas redes se han establecido que son muy prometedores, pero que estn expuestos a caer
aparte y necesitan reconstruir desde cero, si no hay entrada rpida de ms recursos para
motivar a continuar la actividad conjunta.
________________________________________
Pgina 68
Programas
68
4.9 Qu significa para la evaluacin es una parte integral de la poltica
hacer?
La innovacin ha sido reconocida como un fenmeno que va ms all del
adopcin de innovaciones individuales por parte de empresas individuales, y va ms all del
capacidad de innovacin de las empresas individuales para abarcar las cosas tales como los sistemas de
y las redes en que se enmarcan estas empresas. Por lo tanto el alcance de
evaluacin de programas ha crecido. Los programas de innovacin son los intentos de
afectar a estos sistemas, y para permitir una mejor distribucin y el intercambio de
conocimiento. Hay ahora ms rpida conciencia de las posibilidades innovadoras y
cmo se relacionan con demandas de los usuarios, y as sucesivamente. A medida que la capacidad de penetracin de
la innovacin y el alcance de los sistemas de innovacin se han ampliado, la
oportunidades para la intervencin de la poltica se han incrementado y una serie de innovaciones
programas son posibles. La evaluacin de estas diversas intervenciones de este modo
se convierte en una manera de averiguar acerca del sistema de innovacin, as como sobre
el efecto de que el programa tiene en el sistema. Por lo tanto, las evaluaciones
debe proporcionar el conocimiento acumulado, y no slo puntos de vista de una sola vez en
programas especficos. Este conocimiento debe estar disponible no slo para
formuladores de polticas - aunque ciertamente debera informar a la poltica - pero ms generalmente
dentro del sistema de innovacin.
Una implicacin de este enfoque de sistemas es la necesidad de mltiples enfoques
a la evaluacin. Cada evaluacin es susceptible de tener caractersticas diferentes, que reflejan la
especificidades de los programas que se evalan. Adems, cualquiera
Evaluacin es responsable de utilizar ms de un mtodo y fuente de datos. La
gama de impactos que se busca en la mayora de los programas de innovacin suele ser
lo suficientemente diversa como para requerir varias herramientas metodolgicas; y a menudo un
nico objetivo ser necesario "triangulacin" a travs de varios indicadores, ya que
indicadores, por su naturaleza slo proporcionan la inteligencia parcial sobre los temas de
inters,
Las evaluaciones temticas tambin son relevantes aqu. Estos son evaluaciones donde
muchos programas (o todos los llevados a cabo durante un perodo de tiempo) son
evaluado al mismo tiempo. Puede haber un enfoque en un tema - para
ejemplo de cmo los programas ayudaron a las empresas a encontrar socios internacionales para
mejorar la innovacin - o en un amplio espectro de impactos de los programas.
Las evaluaciones temticas estn creciendo en nmero en cultivos avanzados de evaluacin.
________________________________________
Pgina 69
Programas
69
4.10 Cmo se diferencia la evaluacin del programa de Innovacin de Investigacin
Evaluacin del Programa?
Como se ha sealado antes, los programas de investigacin tienen como objetivo la promocin de la investigacin (y
) las actividades de desarrollo, en general, de una manera bastante directa a travs de
la prestacin de apoyo financiero, ya sea por las propias actividades, la
instalaciones e instrumentacin necesaria para la investigacin, o para el personal de investigacin
o su movilidad. Los resultados esperados de los programas de investigacin son
generalmente cuantificables y fcilmente caracterizado (publicaciones, calificaciones,
personal capacitado, etc.)
Por el contrario, los programas de innovacin tienen que ver con una gama ms amplia de
actores, lugares y condiciones marco que afectan la innovacin
formas de I + D, pero un elemento limitado (pero importante): proceso
dentro del sistema de innovacin y su papel en la innovacin est sujeta a una diversidad
de factores tales como la transferencia de tecnologa y conocimiento flujos, la capacidad de
actores para generar y absorber estos flujos, las condiciones que influyen en la
el comportamiento de los responsables de la generacin de conocimiento y la aceptacin, etc
En consecuencia, al tratar de influir en estos factores, los resultados de
programas de innovacin son inherentemente ms complejo y sus efectos y
impactos pueden ser ms sutiles o intangibles, pueden tardar ms en manifestarse
s mismos y se difunda a travs del sistema de innovacin. En resumen,
programas de innovacin tienen que ver con los impactos y efectos en lugar de
salidas. La Figura 4.2 ilustra la diferencia en la madurez de la evaluacin
entre los programas de investigacin e innovacin.
Es el reto de la evaluacin de impacto que realmente diferencia a la innovacin
programa de evaluacin de los programas de investigacin. Este tema se tratar con
ms adelante, en el captulo 7.
________________________________________
Pgina 70
Programas
70
Figura 4.1 Vistas de expertos sobre dos declaraciones sobre el estado de
Los estudios de evaluacin en este campo
Nota: como parte de SMEIP, ms de 150 expertos en la investigacin y la innovacin
evaluacin de programas completaron una encuesta sobre los distintos problemas que surgen.
El cuadro anterior indica que la opinin mayoritaria no est de acuerdo con la idea de que
esta es un rea madura de trabajo, y est de acuerdo con la idea de que la poltica de innovacin
evaluacin es desarrollado menos que el de los programas de investigacin.
0
5
10
15
20
25
30
35
40
45
50
Porcentaje o
F
R
e
sp
ond
en
ts
1
2
3
4
5
6
Respuesta a la Declaracin
(1 = totalmente en desacuerdo, 5 = totalmente de acuerdo, 3 = neutral)
Innovacin
poltica
evaluacin es un
rea madura de
trabajar a travs
Europa (media
respuesta =
2,45)
Innovacin
poltica
evaluacin es
mucho menos
desarrollado
que es la
Evaluacin de
investigacin
programas
(Media
respuesta =
3,64)
________________________________________
Pgina 71
Programas
71
4.11 Hasta dnde podemos utilizar los mtodos y mensajes de Investigacin
Evaluacin del Programa de Evaluacin del Programa de Innovacin?
Hay una extensa literatura sobre la evaluacin de la investigacin - el campo par
tiene su propia revista! Ha habido una gran discusin de prctica y
cuestiones tcnicas, y un poco de atencin a los polticos y de gestin. La
parte importante de esto es relevante para la evaluacin de programas de innovacin, incluso
aunque el tipo de instrumento y los impactos que participan en los programas de investigacin
son bastante ms sencillo (aunque pueden ser bastante complejo!). Muchos
de los temas y conceptos clave de esta gua - el tema de la adicionalidad, por
ejemplo - se plante por primera vez en la evaluacin de la investigacin.
Lecciones ms generales tambin se derivan de la experiencia de evaluacin de la investigacin.
Citemos dos aqu. La primera es que el proceso de evaluacin es ms
eficiente y eficaz si ha sido diseado en el programa de la
comenzar - por lo que los objetivos son bien especificado, los datos se generan y se capturaron
de una manera que puede alimentar el proceso de evaluacin, una estrategia para el uso de
informes de evaluacin est en su lugar, y as sucesivamente.
En segundo lugar, la importancia de contar con patrocinadores y usuarios bien informados de
evaluaciones es crtica. Incluso los programas de investigacin pueden tener complejos y
mltiples objetivos, y los usuarios deben estar preparados para comprometerse con el
cuestiona que ello crea para el diseo de polticas - y para su evaluacin. Evaluaciones
son susceptibles de tener que lidiar con diferentes objetivos utilizando diferentes fuentes de datos
y metodologas, y es muy probable que tenga que explicar claramente los resultados en
el contexto de un complejo conjunto de circunstancias en lugar de contar una sencilla negro-
and-white historia. De hecho, la historia es susceptible de ir ms all de la contabilidad para la
programa en s mismo, y tendrn que explicar varias caractersticas de la investigacin
o sistema de innovacin de la que es un componente. Los usuarios tendrn que tener en cuenta
que tendrn que participar en el entendimiento de estos sistemas que el
evaluacin les proporciona. Tal comprensin es un insumo vital para la poltica
formacin y es ms exigente que simplemente evaluar si una determinada
parte de un programa ha sido eficaz en un grado en particular. No hay
"Bala mgica", es decir, una metodologa nica que es aplicable a todos los programas,
y que produce informacin sobre el desempeo del programa, sin necesidad de
(Y seguramente a) acerca del sistema ms amplio en el que la
intervencin opera. Tales expectativas falsa podr limitar el alcance y la utilidad de
Evaluacin en programas de innovacin, en mayor medida que en el caso de
los programas de investigacin.
________________________________________
Pgina 72
Programas
72
Captulo 5 ALCANCE DE LA EVALUACIN DE LA INNOVACIN
PROGRAMAS
5.1 Qu es la evaluacin de?
Como se ha dicho anteriormente, las evaluaciones pueden llevarse a cabo para una variedad de propsitos,
bajo una variedad de razones. Pero puede ser til tener en cuenta que,
Cuantas fines especficos son parte superior de la agenda de cualquier evaluacin debe primero
y ante todo ser una herramienta de aprendizaje. Se lleva a cabo con el fin de generar lecciones
para la prctica futura, por lo que las cosas se pueden hacer mejor en el futuro.
VINNOVA ha sugerido una manera fructfera de pensar acerca de los diferentes tipos de
contribucin al aprendizaje que puede efectuarse. El proceso de evaluacin puede
de ese modo ayudar al aprendizaje de tres maneras principales:
aprendizaje operativo: En este caso, la evaluacin se utiliza como una gestin
herramienta de retroalimentacin para mejorar la eficacia, la eficiencia y la calidad de la poltica
la intervencin de la organizacin responsable de la aplicacin de la
programa. En esencia, la evaluacin proporciona lecciones sobre cmo las organizaciones
(ministerios, agencias, etc) se pueden hacer las cosas mejor, en trminos de diseo,
gestin y ejecucin de los programas. Lecciones tambin pueden ser aprendidas
de la propia evaluacin con el fin de mejorar la evaluacin de futuro
programas.
retroalimentacin Poltica: Aqu evaluacin se utiliza en su sentido "tradicional"
determinar el resultado y los impactos de las medidas y programas de poltica.
Este tipo de uso est dirigido a comprobar si, y en qu medida,
programas han alcanzado sus objetivos. Adems de contribuir a
el diseo de futuros programas, la evaluacin en este contexto tambin ofrece un
mtodo para los responsables polticos a evaluar si los supuestos que hicieron
acerca de los cuellos de botella y de mercado identificadas o fallos del sistema que
llevado a la intervencin de la poltica en el primer lugar fueron, de hecho precisa.
impacto del sistema: En este nivel, las evaluaciones sirven para mejorar la eficiencia
y la eficacia de los sistemas nacionales de innovacin a travs de la gua
diseo y la formulacin de polticas y programas de intervencin.
Las evaluaciones se utilizan para proporcionar respuestas a las preguntas de nivel ms amplias
sobre el sistema de innovacin, como cuando ciertas intervenciones son
apropiada, que se deben utilizar programas complementarios y
cundo, qu es la combinacin adecuada de polticas necesario para lograr el deseado
efectos, y as sucesivamente.
(Fuente: adaptado de VINNOVA, 2004)
Si se ve de una manera muy simplista, estos tres niveles de enfoque
encapsular la evolucin de una cultura de la evaluacin, de la restriccin
vista de la gestin de la administracin del programa orientado, a travs de la evaluacin
como un proceso de justificacin a un medio para obtener una visin holstica y sistmica de
intervencin poltica de innovacin.
________________________________________
Pgina 73
Programas
73
Recuadro 5.1 Visin Estratgica de VINNOVA
o En el nivel de polticas: Hacer evaluaciones y estudios de impacto de una integral
parte del proceso de planificacin y ejecucin de polticas estratgicas.
o En el nivel del programa: Incluir los planes de evaluacin e impacto
evaluaciones en el diseo, planificacin e implementacin de la innovacin
programas.
o En el nivel del proyecto: Incluya las colecciones de datos relevantes que implica la
niveles de polticas y programas a fin de que los requisitos de supervisin,
evaluaciones de evaluacin y de impacto se cumplen.
Fuente: VINNOVA 2004
________________________________________
Pgina 74
Programas
74
5.2 Cul es el alcance de una evaluacin?
En el contexto de la evaluacin "tradicional", el alcance se refiere a una variedad de parmetros
tales como el tipo de programa a ser evaluado, el nivel de la evaluacin
y el marco de tiempo para ser considerado. Cuando se trata de la evaluacin de
programas de apoyo a la innovacin, el carcter sistmico de la innovacin agrega un
mayor nivel de complejidad al proceso de toma de decisiones por parte del evaluador.
Nuestro objetivo final es alejarse de la realizacin de las evaluaciones como aislado
eventos, hacia el establecimiento de su uso como un mecanismo de retroalimentacin en un amplio
proceso de aprendizaje de las polticas. Por lo tanto, las preguntas que debemos hacernos no son simplemente "tiene
el programa funcion ", sino" cmo ha contribuido este programa a nuestra
objetivos socio-econmicos ms amplios ". Si queremos evaluar los impactos sistmicos de
programas de apoyo a la innovacin, esto exige que el alcance de la
evaluacin debe ser extendido para incluir una gama ms amplia de partes interesadas, a
examinar los impactos y efectos ms amplios, y que debemos tener en cuenta mltiples
metodologas de evaluacin, etc
Sin embargo, mientras un alcance amplio, es deseable que los responsables polticos, pragmtico
consideraciones, como el momento de la evaluacin en el ciclo de las polticas, la
los recursos disponibles para la evaluacin y la existencia de adecuada
metodologas tender a limitar el alcance de un conjunto ms restringido de
objetivos prioritarios. Idealmente, uno debe buscar para equilibrar el coste de la
evaluacin contra el valor de la informacin que recopila. En general, tendemos
encontrar una ley de los rendimientos decrecientes; ms all de un umbral mnimo de
informacin esencial, a medida que ms recursos se ponen en una evaluacin, la utilidad
de la informacin adquirida tiende a disminuir. Consideramos los costos de evaluacin
en la siguiente subseccin. En cuanto a la utilidad de la informacin que se genera,
hay varias maneras en que esto puede ser el aumento de:
Lo ideal sera que las evaluaciones deben generar datos que tengan relacin con la
amplio programa de innovacin y el proceso de diseo de polticas, en lugar de datos
que es altamente especfico del contexto.
Las metodologas deben ser seleccionados que generan informacin y datos
que son fciles de interpretar y comprender. Idealmente, estos resultados deberan
tambin ser fcilmente traducible en las respuestas polticas.
A veces la falta de un programa es obvio y no necesita un
evaluacin extensa. Sin embargo, el fracaso puede ser igualmente informativo
xito. Aprender acerca de las razones del fracaso puede ayudar en el diseo de
programas exitosos en el futuro. Por otra parte, es importante
distinguir entre las causas del fracaso: es decir, era todo debido a la calidad o
nivel de los insumos, el proceso, los resultados o a lagunas o mal identificados
cuellos de botella en el sistema de innovacin o incluso a suposiciones errneas
acerca de la naturaleza o el comportamiento del sistema de innovacin?
Si los programas comparten un objetivo comn, sino adoptar una poltica diferente
enfoques, a continuacin, una serie de evaluaciones contribuirn ms a la
comprensin de la combinacin de polticas y posibles lagunas, complementariedades y
desajustes.
________________________________________
Pgina 75
Programas
75
Garantizar la difusin de la informacin se maximiza con el fin de que todos
actores del sistema de innovacin en beneficio de los resultados de la evaluacin.
En contexto similar, la estructura institucional o el diseo del programa debe
ser tal que la capacidad de hacer un uso eficaz de los resultados de la
evaluacin se maximiza y que los resultados de la evaluacin pueden ser alimentados fcilmente
en el proceso de formulacin de polticas.
________________________________________
Pgina 76
Programas
76
5.3 Qu se debe hacer antes de realizar una evaluacin?
Un paso clave en el desarrollo de una cultura de evaluacin es pasar de la vista
de las evaluaciones como nico o eventos aislados y reconocerlos como parte de un
proceso cclico de diseo de la poltica - la aplicacin de polticas - el aprendizaje poltico.
Esto implica un cambio en los recursos disponibles para la evaluacin, lejos de un
nfasis nicamente en ex post evaluacin, y hacia una ms equilibrada
distribucin de los esfuerzos a travs de ex ante planificacin y el diseo, el seguimiento y la ex
Publicacin de la evaluacin.
Un til, si no esencial, el ejercicio en esta etapa es el diseo de un Programa de
Informacin general - tambin conocida como modelo del programa. Una definicin de un
modelo del programa es "una descripcin consecuente del diseo de un
programa, as como el impacto esperado sobre la eficacia de la
sistema de innovacin "(IKED / VINNOVA 2004).
Existen varias formas de modelo de programa, que van desde los marcos lgicos para
Declaraciones Roame (ver abajo) y "cuadros de mando". Todo efectiva
tratar de mapear las conexiones sistemticas entre el problema de la poltica (amplio
AIMS), los objetivos del programa, las actividades o procesos necesarios para cumplir
los objetivos y los resultados esperados, los resultados, los efectos y de ms largo plazo
impactos, junto con las disposiciones necesarias para el seguimiento, evaluacin y
retroalimentacin en el proceso de formulacin de polticas.
Figura 5.1 modelo de programa estilizada
Fuente: IKED / VINNOVA 2004
________________________________________
Pgina 77
Programas
77
5.4 Por qu es un general del Programa es importante?
Una visin del Programa de algn tipo normalmente se han desarrollado cuando
un programa se formul y present para su financiacin inicial. Lo har en una
mnimo especifica qu instrumentos del programa est utilizando, que tipo de
actores van a participar, y lo que los objetivos son que debe ser
logrado. En la prctica, vistas generales del programa puede variar de ser extremadamente
concisa (a pocos prrafos o pginas) a ser muy largo (que puede ser
una cuestin de la inclusin de detalles considerables acerca de los requisitos legales, o la profundidad en
explicar los propsitos y principios que sustentan el programa). La
lgica subyacente de un programa puede ser bastante confuso - quizs es
piensa que es tan evidente que no necesita detallar, o tal vez no
Ha habido poca reflexin sobre los grandes objetivos polticos implicados - que alguien est
convencido de que se requieren polticas en esta rea, tal vez despus de haber sido
persuadido por la experiencia en el extranjero o por grupos de presin influyentes en lugar de
travs de la argumentacin articulada y razonada. Tener un programa adecuado
Informacin general y un asociado ex ante de evaluacin, deben inculcar mayor rigor
en este proceso, y la seleccin de los programas en general.
Asimismo, es comn para los objetivos incorporados en un programa que se establezcan
cabo slo en trminos muy generales, con poca cuantificacin de los objetivos (por lo que
se hace difcil juzgar si lo que estaba destinado a y lo que ha sido
logrado eran razonables y realistas). El concepto de objetivos verificables
se ha introducido para indicar que la fijacin de objetivos debe estar en
trminos que permiten a los juicios que se hagan sobre el alcance de los logros.
Mientras que la estimacin de la magnitud de los logros de antemano, por supuesto, difcil
(Y debemos evitar los esfuerzos de precisin espuria), la participacin en este puede ser un
proceso de aprendizaje importante. (No menos importante, podemos aprender que diferentes partidos son
hablando de cosas muy diferentes cuando se estn especificando un "realista"
aumento de la innovacin, un crecimiento "considerable" en el empleo, por ejemplo). La
ilustracin en la pgina opuesta representa una forma de pensar acerca de la tecla
objetivos.
Se enumeran los objetivos tambin debe informar el caso para el programa
global - por qu se cree que una intervencin poltica para que sea necesario en esta rea. Lo
Tambin deben indicar cmo diversos componentes del programa son
supone que contribuir a la totalidad, a los objetivos de poltica general. Una clara
Resea del programa de este tipo hace que el proceso de evaluacin considerablemente
ms fcil - en la prctica, ha habido demasiadas ocasiones en las que
evaluadores han tenido que construir retroactivamente lo que el general del Programa
debera haber sido, con el fin de proceder con la evaluacin.
Mientras Programa Contornos puede prepararse y presentarse de varias formas,
un enfoque formal que ha recibido una gran atencin es el Roame
marco, ampliamente utilizado por el Departamento de Comercio e Industria del Reino Unido.
Dado que esta captura los principales elementos que deben estar en una adecuada
Programa general bastante concisa, vamos a explicar brevemente cmo funciona esto
en un poco ms detalle a continuacin.
________________________________________
Pgina 78
Programas
78
Recuadro 5.2 El enfoque inteligente para la mejor salida, Resultado y indicadora
Declaraciones
Trate de enmarcar estas declaraciones en trminos que son:
S
Especfico
M
Medibles (cantidad, velocidad, cambio, euros), y con sentido
(Que tienen "validez aparente", obviamente relacionada con observable
fenmenos)
La
Agresivo, pero alcanzable
R
Relevante (relacionado con lo que usted est tratando de medir)
T
Tiempo atado (se espera objetivo a alcanzar en un determinado
cantidad de tiempo)
Fuente: basado en, y desarrollado a partir de, Smith (1999)
Una explicacin ms detallada de esto se da en la seccin 5.10
________________________________________
Pgina 79
Programas
79
5.5 Qu es una declaracin Roame?
Roame es el acrnimo de un enfoque desarrollado por el Departamento del Reino Unido
de Comercio e Industria (DTI) en la dcada de 1980, como resultado de los requisitos del Tesoro
para mejorar la gestin de los programas. Desde su creacin, ha sido
utilizado ampliamente en los diferentes departamentos del gobierno (Bradbury y Davies,
1996). Una declaracin es que se elaborar al principio - o incluso antes de la
adopcin - de un programa (no necesariamente un programa para la innovacin, la
mtodo es ampliamente utilizado para programas de investigacin). La declaracin debe
comprender los siguientes elementos:
Justificacin
Esto justifica el programa, que fijar el objetivo (s) poltica
a las que se pretende contribuir, y explicar por qu el
programa es necesario (en trminos de mercado o sistema
fracasos).
Objetivos
Esto establece objetivos especficos (e idealmente medibles) que
debe lograrse - una declaracin "operacionalizada" de
contribuciones al objetivo general de la poltica. La declaracin de
objetivos deben incluir la especificacin de rendimiento
indicadores que proporcionan informacin sobre el xito de la
programa.
Evaluacin
Esto determina la eleccin de las actividades que se han seleccionado en
Para alcanzar los objetivos del programa, explicando por qu
estas actividades particulares se eligieron y justificando su
seleccin.
Monitoreo
Esta explicates los procedimientos que se utilizan habitualmente en
el curso del programa para comprobar que su progreso es
proceder segn lo planeado. La vigilancia requiere flujos de
informacin relacionada con la gestin (como las actividades ahora son
que tendr lugar como estaba previsto) y los resultados (lo que es el progreso en
la consecucin de los objetivos, por ejemplo, tal como se especifica por el
indicadores de desempeo).
Evaluacin
Como se discuti en esta Gua, se trata de examinar la
eficiencia con la que el programa se ha llevado a cabo,
y su eficacia en trminos de lograr la intencin
objetivos. Un intento se hace tambin para tener en cuenta (positivo
y) ms amplios efectos negativos de la poltica o de los efectos secundarios que los
No se haba previsto inicialmente. Podr tambin examinar cuestiones que
ver con la justificacin del programa y los objetivos, y con la
consecuencias inesperadas de, y las lecciones aprendidas durante,
el programa.
A veces el acrnimo se ha extendido a Roame-F, con la adicional
carta que connota:
Feedback
Esta es una declaracin de cmo los resultados de la evaluacin son
destinada a informar a la estrategia y el diseo de la posterior
programas: por ejemplo, los procedimientos para la publicacin,
difusin, y la obtencin de respuestas a la evaluacin.
________________________________________
Pgina 80
Programas
80
5.6 Cuando se debe utilizar Roame?
Los procedimientos como Roame tienen la considerable virtud de hacer
los diseadores de programas sean muy explcitos acerca de lo que estn haciendo, y el establecimiento de
por qu esta lnea de accin se justifica y se ha seleccionado contra
alternativas. Al hacer que los objetivos generales del programa claro y concreto,
hacen que la tarea de evaluacin cognisably ms fcil, ya que el actual
logros del programa pueden ser comparadas con las que estaban
previsto. La especificacin de los indicadores de rendimiento debe significar que gran parte
informacin que es muy relevante para la evaluacin se han generado
en el transcurso del programa (y capturado a travs de un eficiente monitoreo
sistema). As, es importante menos requisitos para los nuevos datos sean
generado, y ms posibilidades de que la informacin que de otro modo podra haber sido
perdido en el curso de los proyectos se han mantenido (aunque el
los evaluadores pueden querer definir indicadores adicionales, si la experiencia de la
programa indicado para su impresin de que los primeros indicadores de desempeo
son insuficientes en una u otra forma).
Roame establece diversos elementos que, si se especifica en el principio de un
programa, permitir una mayor claridad acerca de lo que est destinado el programa
hacer; definir muchos de los procedimientos que se utilizarn en el curso de la
programa; y har que la tarea de evaluacin mucho ms simple. Ser
evidente que siguiendo un enfoque de tipo Roame implica que ex ante
evaluacin se llevar a cabo antes del inicio real de un programa
(Durante su diseo, de hecho), y que las instrucciones sern al exponer su lugar (en
trminos generales) la forma ex-post evaluacin se va a emplear en el extremo de un
programa. Por lo tanto, la evaluacin se basa en el diseo del programa. Esto facilita
la evaluacin de fin de programa, y hace que sea ms probable que ser
exitosa en trminos de lograr una alta calidad e impacto.
Pero Roame como un enfoque de gestin hace ms que contribuir a
evaluacin. Se debe impulsar a los tomadores de decisiones a pensar sistemticamente
lo que estn haciendo cuando lanzan un programa, y para el instituto
procedimientos que pueden mejorar la gestin del programa. Antes de que haya cualquier
retroalimentacin de los resultados de evaluacin, no debera haber votaciones de informacin sobre
cmo las actividades del programa estn avanzando. Esto permitir que las acciones correctivas
a realizar si surgen problemas - de hecho, se debe tener en cuenta la mayor
la deteccin rpida de problemas. Tambin permite una mejor comunicacin con la
partes interesadas que participan en el programa - la declaracin proporcionar clara
informacin a todas las partes acerca de lo que el programa est destinado a hacer, cmo
actividades especficas estn contribuyendo a esto, y los procedimientos de gestin de lo
se pondrn en marcha para su aplicacin.
________________________________________
Pgina 81
Programas
81
5.7 Cul es el enfoque "caso de negocio"?
Muy recientemente el uso de Roame-F en el Departamento de Comercio del Reino Unido y
La industria ha sido reemplazado por el uso de los "documentos del caso de negocio". Cualquier
propuestas (internas) para las medidas de innovacin y de apoyo a las empresas y
programas (y que cuestan ms de 10.000.000 / 14 M ) son
con el apoyo de un caso de negocio. Casos de negocios deben ser aprobados por el
Comit de Inversiones, y el Secretario de Estado de Comercio e Industria,
antes de liberar los fondos para su realizacin. Al igual que en RAOME-F, durante
el tiempo de vida de un producto o programa, que ser objeto de un seguimiento continuo
y el anlisis y la evaluacin de impacto peridica.
Los documentos del caso de negocios toman el lugar de las declaraciones "Roame". Ellos
seguir exponerse las razones y objetivos para un nuevo producto, con
especial atencin a la evidencia de apoyo, y tambin proporcionan una
descripcin de la forma propuesta de intervencin y cmo va a ser entregado.
Sin embargo, los casos de negocios tambin incluyen una serie de nuevas caractersticas que
proporcionar informacin til para los evaluadores y ayudar a apoyar la mejora
monitoreo y evaluacin:
Opcin de evaluacin y el costo beneficio analiza: Se proporciona un registro de
las polticas alternativas que se han considerado, y tambin de llave
supuestos sobre los costes previstos y los beneficios asociados con
la opcin propuesta;
Modelo lgico: Este describe los insumos y las actividades, y su
productos y resultados previstos. El modelo lgico tiene un papel clave
en la identificacin de medidas e indicadores de seguimiento y evaluacin;
Cuadro de mando integral: El cuadro de mando integral traduce la
modelo lgico de producto en un resumen de un conjunto de objetivos y
medidas de control asociados que se utilizarn para el seguimiento
el progreso en contra de estos objetivos. El cuadro de mandos se centra en
medidas para las que se pueden obtener datos de monitoreo significativas
dentro de los perodos de presentacin de informes trimestrales y anuales, y tiene en cuenta
el perodo de tiempo durante el cual se espera que el producto para generar
resultados econmicos.
(Malik, K y Cunningham, P, 2005)
Adems de informar cuadro de mando integral, el DTI tambin hace uso de
encuestas de seguimiento de los usuarios de negocios, intermediarios y socios de entrega,
-linking de datos y los estudios economtricos y evaluacin de impacto.
________________________________________
Pgina 82
Programas
82
5.8 Cul es el papel de la general del programa?
Desde la perspectiva de la evaluacin, explicando la lgica de un programa es un
componente clave del diseo de la poltica - que alienta a los participantes a definir
metas y objetivos claros desde el principio del proceso de polticas. Del mismo modo, por
mapear el sistema de innovacin en el que la poltica se introdujo un
comprensin ms profunda se obtiene del proceso de innovacin y de la deseada
y los resultados potenciales, efectos, resultados e impactos de la poltica misma.
Este es un importante paso de distancia de la llamada perspectiva de "recuadro negro" en
que las evaluaciones tratan de establecer correlaciones entre los insumos (recursos,
polticas, etc) y salidas hacia una comprensin ms transparente de la
consecuencias reales de la aplicacin de una poltica.
La construccin de un modelo de programa es en s mismo un ejercicio de gran valor
ya que obliga a los directores de programas y los responsables polticos para formar un enfoque holstico
visin general del programa u otra intervencin poltica y para cuestionar la
aspectos sistmicos ms amplios de su introduccin, por ejemplo a travs de la vinculacin
proceso y la accin sobre los motivos, y mediante la identificacin de toda la gama de
grupos de inters. Una vez que las partes interesadas se han identificado, es igualmente
importante tratar de involucrarlos en el proceso de diseo de la evaluacin. La
VINNOVA manual sugiere que una manera de involucrar a los actores de la
la planificacin del proceso de evaluacin es hacer que la formulacin de un programa de
modelar una parte obligatoria de todas las solicitudes de subvenciones pblicas. Esto es similar a la
enfoque adoptado por el Departamento de Comercio y de negocios de la industria del Reino Unido
casos modelo (vase la discusin anterior seccin 5.7).
La construccin de un modelo de programa obliga a los actores que establecen claramente la
objetivos del programa y para identificar las relaciones causales entre las actividades y los
efectos esperados. Este enfoque en las metas y los objetivos le pide al
examen de preguntas de evaluacin al comienzo de la elaboracin de polticas
proceso. La participacin temprana de los actores tambin aumenta su influencia en el
la seleccin de indicadores y mtodos apropiados para medir el impacto. A su vez,
esto cambia la relacin entre los evaluadores y los que estn siendo
evaluado y aumenta el abandono de la evaluacin como un control
medir hacia el reconocimiento de la evaluacin como un proceso de aprendizaje. En
algunos casos, los evaluadores pueden actuar como consultores de proceso, con lo que la energa
y se centran en el proceso del programa. (Esto puede ser particularmente cierto para los bienes-
evaluacin del tiempo.)
Por ltimo, la construccin de un modelo de programa tambin sirve para presentar una
concisa, una o dos pginas de visualizacin del proceso de polticas a otra poltica
decisiones, los polticos, los accionistas y otras partes interesadas.
________________________________________
Pgina 83
Programas
83
5.9 Cul es el cuadro de mando integral?
Departamento de Comercio e Industria del Reino Unido (DTI) han tenido una cultura de hacer
Evaluacin de la dcada de 1980 y que ha evolucionado y la ltima etapa en el
la evolucin es que para los productos de apoyo empresarial del DTI estn utilizando la
Enfoque 'Balanced Scorecard'. El cuadro de mando integral se introdujo en
1992 por Robert Kaplan y David Norton, como un conjunto de medidas que permitan
una visin holstica e integrada de los resultados empresariales. El cuadro de mando era
Originalmente creado como complemento a las "medidas financieras tradicionales con criterios
que el rendimiento medido desde tres perspectivas adicionales - los de
clientes, procesos internos de negocios, y el aprendizaje y el crecimiento "(ver
Kaplan y Norton 1996).
Clave para considerar el uso de una metodologa de cuadro de mando integral para cualquier
tipos de programa de innovacin son los pasos que enlazan los objetivos ms amplios de la
programa a problemas ms especficos que tienen que ser resuelto, decisiones sean
hecho, y de recursos de asignacin de opciones que se presentan. Mientras que el
cuadro de mando integral no puede garantizar una receta para las decisiones correctas, se
ofrece una perspectiva integrada sobre los objetivos, las metas y las medidas de
progreso. Se une la informacin de una variedad de perspectivas para que
compensaciones pueden ser pesados.
________________________________________
Pgina 84
Programas
84
Recuadro 5.3 El cuadro de mando integral en el Reino Unido
El DTI (en el Reino Unido) han comenzado recientemente a utilizar el cuadro de mando integral
enfoque. Un lder del equipo de evaluacin en el DTI, que fue entrevistado para este
proyecto resume este enfoque de la siguiente manera:
"El cuadro de mando integral es una metodologa que mira a una determinada
programa desde las cuatro perspectivas siguientes:
Rendimiento
Relacin dentro del programa entre los beneficiarios y los
intermediarios
Las personas que estn proporcionando apoyo
Los procesos utilizados
Para cada uno de estos 4 perspectivas, los conjuntos de mando integral
medidas, tanto en el medio y largo plazo, y puede
medir los insumos, los productos, los efectos y los resultados. La puntuacin
tarjeta est diseada para identificar decidida comprobable y mensurable
objetivos, con el objetivo de centrarse en relativamente pocos, pero clave
medidas. Los datos de estas medidas se reunieron regularmente - en
trimestralmente y tambin en un punto anual. Los datos son luego
alimentado en una herramienta de software que se basa la metodologa. Es
entonces
posible
a
interrogar al
base de datos, lo que permite
evaluadores / investigadores para producir informes y registrar puntos de vista, en
cmo un programa determinado est haciendo en un momento determinado ".
Experto en Evaluacin (UK)
________________________________________
Pgina 85
Programas
85
5.10 Cmo podemos hacer declaraciones de objetivos ms tiles para
evaluacin y seguimiento?
Una consideracin importante en la seleccin de los objetivos es que su logro debe
ser al menos verificable y, a ser posible, mensurables. Es decir, debe ser
claro que los objetivos seleccionados han o no han sido alcanzados y tambin
el grado en que se han alcanzado debe ser cuantificable o
determinable de una manera cualitativa robusta.
El establecimiento de objetivos verificables o cuantificables es una tarea til, ya que:
Aclara y hace explcito el vnculo entre el programa o actividad-
objetivos de nivel y los objetivos de poltica de alto nivel y objetivos.
Crea un vnculo directo entre el problema a abordar y la
anlisis de lo que hay que hacer.
Puede ayudar a proporcionar un entendimiento comn de lo que son los importantes
objetivos y las actividades que pueden contribuir a la aplicacin de la
programa.
Proporciona una base clara para la definicin de indicadores que pueden ser
utilizado para medir el progreso y evaluar los logros.
Establece la base para la evaluacin del programa y ayuda al
evaluadores para determinar el grado de xito del programa tiene
alcanzado.
Un conjunto de propiedades deseables para los objetivos es proporcionado por la Comisin Europea
Comisin (2002). Esta recomienda que, si los objetivos han de ser til que
debe ser:
Especficos : Los objetivos deben ser lo suficientemente precisas y concretas para evitar
estar abierto a diversas interpretaciones.
mensurables : Los objetivos deben referirse a un estado futuro deseado (como
en comparacin con la situacin inicial). As que es posible en algn ms tarde
fecha para ver si el objetivo se ha logrado o no.
Aceptado : Si los objetivos y los niveles objetivo se pretende que la influencia
comportamiento, que debe ser aceptado, entendido e interpretado de manera similar
por todos los que deben asumir la responsabilidad de lograr
ellos.
Realista : Objetivos y niveles objetivos deben ser ambiciosos - el establecimiento de un
objetivo que slo refleja el nivel actual de logro no es til
- Pero tambin deben ser realistas para que los responsables verlos
como algo significativo.
________________________________________
Pgina 86
Programas
86
En funcin del tiempo : Objetivos y niveles objetivo siguen siendo vagos si son
no relacionada con una fecha fija o periodo de tiempo. En este contexto, el ajuste de
hitos para el logro parcial de los objetivos es til.
8
Otras consideraciones para el establecimiento de objetivos son que deben ser
limitadas en nmero y debera ocuparse nicamente de los elementos clave del programa.
Es probable que cuando se est hablando de un gran nmero de objetivos sobre, la
las actividades del programa no han sido debidamente aclarado, el programa
sigue siendo demasiado fuera de foco (y que muy posiblemente contribuir mnimamente a muchos
metas, ms que sustancialmente a cualquiera de ellos). Del mismo modo, un gran nmero de
objetivos requerirn la identificacin de una amplia gama de indicadores y
ser difcil de medir sus logros con eficacia, sobre todo si el tiempo,
el personal y los recursos financieros son limitados.
8
Comisin Europea (2002) Manual para la Evaluacin del Impacto en la Comisin: Cmo
hacer una evaluacin de impacto.
________________________________________
Pgina 87
Programas
87
5.11 Qu criterios deben utilizarse para la evaluacin?
Los criterios para la evaluacin de una medida de apoyo a la innovacin depende
de la naturaleza especfica de la intervencin. Sin embargo, en trminos generales
programas de innovacin son propensos a exhibir un nmero de caractersticas en el
efectos estn diseadas para tener. Estos pueden abarcar:

Efectos sobre la firma u otro participante

Efectos sobre la industria de la manera ms amplia

Efectos de Colaboracin

Efectos sobre la cartera ms amplia de apoyo a la innovacin
proyectos / programas

Las sinergias

La coherencia y la sostenibilidad efectos
IKED / VINNOVA 2005
Cualesquiera que sean los detalles de un enfoque de evaluacin, el objetivo final es
medir la eficacia de la intervencin en el contexto de sus efectos reales.
Por lo tanto, las medidas de apoyo a la innovacin deben ser evaluados sobre la base de un conjunto
criterios de integrales. Estos pueden incluir:

Adecuacin: abordan los programas de un objetivo que
pueden ser claramente relacionados con la base de la poltica en trminos de mercado,
fracaso de la poltica, el sistema o el gobierno?

Superioridad: Los programas ms efectivos que otros conjuntos
de instrumentos que podran haber alcanzado los mismos objetivos?

Eficacia sistmica: Cmo interacta la poltica con otros
polticas? Existe la eficiencia o la sub-optimalidad en el conjunto ms amplio-
arriba?

Eficiencia: Los programas costo-efectivos para lograr su
objetivos especficos?

Eficacia de adaptacin: En qu medida los resultados de la
evaluaciones utilizarn en la elaboracin y aplicacin de polticas?
El diseo de polticas de asegurar un grado suficiente de flexibilidad
lo que le permite responder a la necesidad de cambio?
IKED / VINNOVA 2005
________________________________________
Pgina 88
Programas
88
5.12 Qu pasa con los costos financieros de la evaluacin?
Los costos de una evaluacin, obviamente, no deben ser desproporcionadas con la
costos del programa se pretende evaluar. Una regla emprica tiene
sido que los costos de evaluacin son el 1-5% de los costos totales del programa. Es
terico, ya que algunos de los trabajos de evaluacin deben ser embebido en
las rutinas del programa, por ejemplo los datos que se producen para
monitoreo de rutina.
Hay varias formas en las que los costes de las evaluaciones se pueden reducir,
entre ellos:
Tener una clara jerarqua de las necesidades de informacin a fin de que el
recogida de datos se prioriza en estricta conformidad con su utilidad.
Desarrollo de conjuntos de indicadores comunes, que pueden ser recogidos de forma rutinaria
por los participantes en una serie de programas relacionados o similares. Este proceso
tambin prueba la viabilidad del uso de indicadores particulares y aumenta la
eficacia de su uso. La posibilidad de utilizar conjuntos de indicadores a
comparar los programas relacionados con la forma otro beneficio.
Indicadores, claramente vinculado con los objetivos del programa, deben ser definidos antes
a la iniciacin de programas y debe ser recogido, donde
apropiarse, desde el inicio de un programa. Esto no slo permite en curso
seguimiento y mejora la gestin de los programas, sino que tambin construye un
base de datos de indicadores coherentes que pueden ser utilizados por los evaluadores (ya sea
interno o externo) sin tener que recurrir a un costoso post hoc de datos
ejercicio de recopilacin.
Dar prioridad a la utilizacin de metodologas que tienen un impacto mnimo sobre los
evaluado y maximizar la tasa de retorno de informacin (encuestas telefnicas
durante las entrevistas cara a cara, encuestas por correo electrnico en lugar de las encuestas por correo).
Ganar la confianza y el cumplimiento de todos los interesados, a travs de
demostracin de la utilidad del proceso de evaluacin, a fin de minimizar
resistencia implcita o explcita al proceso de evaluacin.
Asegurarse de que los evaluadores tengan las competencias requeridas y muestran una
un seguimiento de registro en la gama de metodologas necesarios para la evaluacin.
Si la evaluacin se reconoce explcitamente como parte de un proceso de aprendizaje,
a continuacin, algunos de los costos de la evaluacin puede ser visto como los costes de formacin, y para
la medida en que reducen los costes de formacin propiamente dicho en el
organizacin, algunos fondos pueden ser adquiridos a partir de esta fuente.
________________________________________
Pgina 89
Programas
89
5.13 Cul debera ser el momento de una evaluacin ex ante?
Como ya se ha comentado, una evaluacin puede tener lugar a tres posibles
casos - antes de que se puso en marcha el programa ( ex ante de evaluacin), mientras que
est en curso (en tiempo real, la evaluacin continua o un control) o despus de la
la finalizacin del programa ( a posteriori ). Al llevar a cabo una evaluacin tiene
siempre ha sido un tema importante para los administradores de programas - demasiado temprano y la
los resultados pueden no ser evidentes, mientras que los impactos y efectos a largo plazo se
Ciertamente que no. Por otra parte, los productores de programas y polticas deben
informacin sobre el xito o fracaso de un programa tan pronto como sea posible
con el fin de maximizar su eficacia y eficiencia.
Es evidente que sera imposible evaluar los resultados reales y los impactos de una
programa de apoyo a la innovacin antes de su lanzamiento. Sin embargo, ya que estamos
defendiendo que la evaluacin debe ser un componente integrado de
gestin del programa y el proceso de formulacin de polticas, la esperada
efectos y resultados del programa ya deben entenderse claramente
ya que proporcionan la justificacin para el programa en s. De hecho, el diseo de
una medida de la poltica de innovacin o programa no (y no deberan) tener
otro sin una minuciosa ex ante de evaluacin en la que el (mercado o sistema)
fracasos son claramente identificados y los medios para hacer frente a estas fallas son
formulado. Sin embargo, esto no quiere decir que un programa puede no ser
evaluado con anterioridad a su iniciacin. Hay dos opciones disponibles:
Los resultados esperados y el impacto del programa previsto puede ser
modelado , en el contexto del conjunto de supuestos implcitos sobre la
sistema de innovacin en el que est destinado a intervenir. Aunque relativamente
sofisticado, este enfoque puede contribuir a la construccin de los fundamentos de la
programa y, a partir de una comparacin del resultado esperado con la real
los resultados, pueden proporcionar informacin til sobre la validez del subyacente
suposiciones sobre el sistema de innovacin, y tambin ayudan a identificar cualquier
involuntaria efectos indirectos y externalidades.
El programa podr ponerse en marcha, a escala reducida, como un piloto que
pueden estar sujetos a una evaluacin antes de despliegue de una versin a gran escala. La
resultados de la evaluacin pueden entonces ser utilizados para informar a cualquier necesario
modificacin al programa a gran escala, reduciendo as el riesgo de
fracaso o el uso ineficiente de los recursos.
________________________________________
Pgina 90
Programas
90
5.14 Cul debera ser el momento de una evaluacin en tiempo real?
Es a menudo deseable, particularmente con programas que no se espera que
generar resultados e impactos durante un perodo considerable de tiempo, para medir, en
menos en parte, algunos aspectos de su desempeo. Hay varias razones
para esto: los programas mal desempeo pueden ser modificados o incluso terminados,
las condiciones marco o entorno pueden alterar significativamente de la
que existan cuando se inici el programa, o la inversin en el largo
programas a largo plazo exige que continuaron justificacin para su prolongacin
existe.
El seguimiento y la evaluacin en tiempo real ofrecen dos mtodos para evaluar la
desempeo de los programas, mientras que todava estn operando. En sentido estricto,
monitoreo representa un proceso que consume muchos recursos relativamente de bajo nivel, baja de
recopilacin de datos y la informacin que permite la gestin de programas de
hacer evaluaciones peridicas de los avances. El proceso requiere la definicin
de un nmero de tipos claramente especificadas de informacin, datos o indicadores que
pueden ser capturados de forma rutinaria, sin esfuerzo intensivo y estudiada en un
base de datos de programa. Tal como se desprende de la recopilacin de un conjunto til de
informacin bsica sobre los procesos y resultados de los programas, la supervisin
tiene la ventaja adicional de que puede reducir la carga de la recopilacin de datos a menudo
implicado en mayor escala, evaluaciones 'one-off'.
Evaluacin en tiempo real es un trmino que se utiliza para distinguir a posteriori evaluaciones de
las llevadas a cabo mientras el programa todava est en funcionamiento. Se diferencia de la
monitoreo, ya que trata de proporcionar una comprensin ms profunda de los resultados
y los resultados de un programa y mira ms all recogidos de manera sistemtica,
seguimiento, informacin (aunque esto puede alimentar a la evaluacin en tiempo real)
a otros tipos de indicadores. Tambin se basa en una gama ms amplia de metodologas
y puede incluir un conjunto ms amplio de interesados. El objetivo de tiempo real
evaluacin es proporcionar un aporte a la gestin del programa
a travs de la obtencin de una visin ms amplia del desempeo del programa. Se puede
ser utilizados para influir en la toma de decisiones sobre la continuacin del programa
y sobre las modificaciones y ajustes necesarios.
________________________________________
Pgina 91
Programas
91
5.15 Cul debera ser el calendario de evaluaciones peridicas?
Las evaluaciones peridicas a menudo se utilizan para evaluar el desempeo de largo plazo
programas de apoyo a la innovacin. Por lo general se han previsto una serie de pre-
evaluaciones determinado - es decir, se sabe que cada uno de ellos se llevar a cabo despus de
un perodo de tiempo especfico. Pueden llevarse a cabo de forma regular (por
ejemplo, cada cinco aos) o coincidiendo con los acontecimientos en la poltica ms amplia
ciclo (por ejemplo, las revisiones de financiacin a gran escala, los ciclos presupuestarios, etc.) Ellos
comparten muchas de las caractersticas de ex post evaluaciones en trminos de la
metodologas empleadas y el hecho de que son esencialmente hacia atrs
buscando y se centr en la evidencia histrica, aunque el programa an est
en curso. Evaluaciones peridicas ofrecen una serie de ventajas:
A travs de la utilizacin de indicadores estandarizados, o indicadores utilizados en el anterior
evaluaciones de los programas, que producen un valioso tiempo de la serie comparable
datos sobre el rendimiento a largo plazo del programa que puede proporcionar
ideas contra el contexto de variaciones en el sistema de innovacin ms amplio
marco y las condiciones econmicas.
Por otra parte, cada evaluacin puede centrarse en diferentes aspectos de la
rendimiento del programa, quizs a travs de la utilizacin de diferentes
metodologas, con el fin de proporcionar una visin ms amplia del programa de
resultados e impactos. Los resultados de las evaluaciones peridicas anteriores tambin pueden
generar lneas adicionales o imprevistos de investigacin de inters para la formulacin de polticas
los responsables que pueden ser seguidas por las evaluaciones posteriores.
A menos que el programa est diseado para responder a un problema a corto plazo,
hueco o cuello de botella, es probable que un programa de ayuda a la innovacin
tienen una vida til sustancial, en particular si se forma un componente de una mezcla de
polticas. En este caso, la informacin para ayudar a la gestin de programas y
informacin para la toma de decisiones polticas de alto nivel ser requerida antes
que tarde. Como se ha sealado en el punto anterior, adaptar el enfoque de la
evaluaciones peridicas, de las cuestiones de proceso en la vida temprana de la
programa para la medicin de los resultados y los impactos en el
etapas posteriores de la vida del programa pueden ser una prctica til.
________________________________________
Pgina 92
Programas
92
5.16 Cul debera ser el momento de una evaluacin ex post?
Como su nombre sugiere, estas evaluaciones se llevan a cabo despus de un "plazo fijo"
programa se ha completado, o se ha alcanzado una fase especfica de su
curso de la vida. En general, a posteriori evaluaciones tienden a ser de una sola vez en la naturaleza y
proporcionar informacin sobre el grado de xito que un programa ha logrado.
Por supuesto, a pesar del hecho de que el programa puede ser una poltica de "una sola vez"
intervencin, al igual que en todas las evaluaciones es fundamental que los resultados y las lecciones
de la evaluacin aportar material para la elaboracin de polticas y la formulacin
y el diseo de programas futuros potencialmente similares.
La cuestin de la oportunidad es tal vez en su forma ms sensible en el contexto de ex post
evaluaciones, aunque se conocen casos en que una inmediata ex post
evaluacin se ha centrado en el proceso y los resultados relacionados con temas-, y una ms tarde
evaluacin se ha centrado en los efectos e impactos a ms largo plazo. Por supuesto, una
nmero de evaluaciones de diferentes tipos tambin puede llevarse a cabo en un
programa; un ejemplo es el de la "Evaluacin de Noruega de usuario
amigable Investigacin en Noruega "(vase el recuadro 5.4).
________________________________________
Pgina 93
Programas
93
Recuadro 5.4 El sistema de evaluacin econmica modular
Evaluaciones
Tiempo de evaluacin
Evaluacin ex-post
A corto plazo econmico y
efectos externos
Justo despus del programa
terminacin
Evaluacin a largo plazo
Impactos econmicos y
efectos externos
Unos diez aos despus
proyecto de puesta en marcha
Infraestructura
evaluacin
Red y externa
efectos
Justo despus, y luego de diez
aos ms tarde
Economtrico
evaluacin
Anlisis de series temporales
empresa combinando y
informacin del proyecto a
tasa de rendimiento de estimar
Series de tiempo
Evaluacin ex-ante
Expectativas de puesta en marcha de
econmica y externa
efectos
Ao despus del arranque
Fuente: "Evaluacin de la Investigacin de fcil uso en Noruega"
________________________________________
Pgina 94
Programas
94
5.17 Cmo se puede especificar los objetivos de las evaluaciones individuales?
Una de las "reglas de oro" en la evaluacin es definir claramente los objetivos de la poltica
que han de ser abordados por el programa. Esto es por qu tanto estrs tiene
hayan sido incluidos en el Programa general en la discusin anterior.
En el pasado, la cuestin, planteada por los evaluadores, "cules eran los objetivos de
el programa? "a menudo no ha recibido ninguna respuesta o en el mejor de un conjunto vago de
apunta. En el desarrollo de una cultura de la evaluacin, es conveniente que los objetivos son
establecido durante el proceso de formulacin de los programas; de hecho, el vnculo entre la
polticas, objetivos y logros del programa es un elemento clave de la
programa de lgica de diseo. Los objetivos se definen mejor como el esperado o
efectos deseados del programa sobre la situacin que se ha diseado para
influencia. Como tales, encarnan una idea de un cambio de una situacin de partida
y estn claramente vinculados al problema, obstculo o hueco que va a ser
abordada por el programa. Obviamente, los objetivos de una vez han sido
especificada, es posible definir indicadores que pueden utilizarse para medir o
seguimiento de los resultados del programa.
Sin embargo, antes de mirar a los objetivos especficos de una innovacin
programa, alguna discusin sobre el nivel real de los objetivos es
necesario. Es claro que un programa bien diseado debera afectar una
nmero de niveles de poltica; por ejemplo, una voluntad poltica de aumentar el empleo
en industrias de alta tecnologa se puede lograr a travs de un programa dirigido a la
creacin de empresas basadas en nueva tecnologa - por lo tanto, una serie de objetivos puede
Tambin pueden anticipar. Estos se pueden clasificar como:
Programa o los objetivos operativos: el conjunto de los productos o deseados
entregables de la ejecucin del programa. Generalmente, la
consecucin de dichos objetivos se puede verificar fcilmente.
objetivos polticos ms amplios del mercado: cuenta con objetivos como el aumento de
el empleo, el crecimiento econmico, el crecimiento regional, la promocin de exportaciones,
mejora de la competitividad, etc El logro del programa
objetivos deben influir en esos objetivos ms amplios, al menos parcialmente.
Impacto en las condiciones marco: programas de apoyo a la innovacin pueden
(Y cada vez lo hacen) tener efectos indirectos sobre los componentes de la
ambiente para la innovacin, como el sistema de impuestos, los marcos regulatorios,
polticas de competencia, los sistemas de propiedad intelectual, etc.)
La justificacin para el programa de innovacin o intervencin debe indicar claramente
delinear los distintos objetivos que se desean.
________________________________________
Pgina 95
Programas
95
5.18 Qu tipos de indicadores deben seleccionarse?
Los indicadores son los resultados medibles que muestren si el programa
se estn logrando los objetivos.
Directrices generales para la seleccin de los indicadores son que deben ser:
Relevante: Debe haber un vnculo intuitiva clara entre el indicador y
el objetivo que se quiere alcanzar. Los interesados obtendrn una mejor imagen
de rendimiento del programa si los indicadores reflejan la salida o
extremo impacto del espectro en lugar de ser de entrada orientada. Salida
indicadores tambin se pueden combinar con indicadores de entrada para proporcionar una
evaluacin del desempeo relativo del programa, por ejemplo,
con respecto a otros programas.
Limitado e integral: La informacin facilitada por el
indicadores deben centrarse en un pequeo nmero de los ms significativos
indicadores y tambin debe ser integral, es decir, este conjunto de seleccionados
indicadores deben abarcar todos los principales aspectos de la ejecucin de los programas.
aceptadas: Los indicadores deben ser discutidos con todos los programas
interesados y las partes interesadas para garantizar que ese acuerdo tiene
alcanzado sobre su interpretacin y aceptacin.
Creble: Son los indicadores fciles de interpretar? Son crebles para
la elaboracin de informes? Son inequvoca a una variedad de grupos de inters?
Fcil: Los datos son accesibles y fcilmente obtenidos. Pueden ser fcilmente
medido sin un esfuerzo excesivo o desproporcionado (es decir, hace que su valor
como informacin de justificar los costos de su captura?). Idealmente, indicadores debe
ser capturados fcilmente y eficientemente a travs de la monitorizacin durante la vida de la
programa en lugar de a travs de ms caros post hoc ejercicios. En
Adems, los indicadores tambin deben ser capaces de verificacin independiente.
Fiable y robusto: La informacin debe mostrar un nivel adecuado de
precisin y fiabilidad contra los fines para los que ha sido
recogido. Son la prueba de indicadores contra la manipulacin por los
responsables de su produccin? Podra establecer dichos indicadores conducir
a la distorsin no deseada del comportamiento de los responsables?
consistente y comparable: En una situacin ideal, los indicadores deben ser
constante de un ao a pesar de que tambin deben ser refinados y
modificada cuando sea necesario para reflejar importantes cambios contextuales. Donde
posible, los indicadores tambin deben ser comparables por lo que al igual que puede ser
en comparacin con igual, ya sea dentro o entre programas.
9,10
9
Comisin Europea (2002) Manual para la Evaluacin del Impacto en la Comisin: Cmo
hacer una evaluacin de impacto.
10
Oficina Nacional de Auditora, Fsica de Partculas y Astronoma del Consejo de Investigacin: Performance
Medicin , documento de debate, NAO diciembre de 1995.
________________________________________
Pgina 96
Programas
96
5.19 Cules son las ventajas de un enfoque cuantitativo?
Alguna medida de cuantificacin es necesaria en la planificacin de programas y
evaluacin, aunque slo sea porque los fondos se asignan, y el dinero es intrnsecamente
una cuantificacin de los esfuerzos y recursos especficos.
Los indicadores cuantitativos tienen varias ventajas:
La comparabilidad entre los proyectos: permiten establecer una comparacin con
los resultados de varios proyectos o programas que comparten el mismo
atribuye amplio.
La comparabilidad a travs del tiempo: Del mismo modo, permiten la comparacin entre
distintos marcos temporales y permiten anlisis longitudinales.
Son fcilmente presentan en una variedad de formatos y por lo tanto son ms
fcil de interpretar por las audiencias internas y externas.
Son intrnsecamente atractivo para los encargados de formular polticas y los polticos, ya que son
(Aparentemente) sin datos contextuales y advertencias asociadas acerca de su
utilizar. Esta prdida de contexto y detalle explicativo lamentablemente los abre
a la posibilidad de una mala interpretacin.
________________________________________
Pgina 97
Programas
97
5.20 Cules son las ventajas y desventajas de una cuantitativa
centrarse?
Alguna medida de cuantificacin es necesaria en la planificacin de programas y
evaluacin, aunque slo sea porque los fondos se asignan, y el dinero es intrnsecamente
una cuantificacin de los esfuerzos y recursos especficos. Las preguntas empiezan a surgir
donde llegamos a la cuantificacin de los (previstos o logrados) los resultados de
evaluaciones.
11
Aqu nos encontramos con varios tipos de problemas:
problemas prcticos - algunos temas son inherentemente difciles de cuantificar. Incluso
cuando esto no es evidentemente el caso, algunos temas se han tenido cuantitativa
indicadores (incluso estadsticas regulares) establecido para ellos, mientras que otros lo harn
no se han abordado de esta manera (y por lo tanto los evaluadores pueden tener que
construir nuevos indicadores).
Los problemas psicolgicos - es evidente que los datos cuantitativos son
particularmente atractivo, sobre todo para las personas con ciertos estilos cognitivos.
A menudo son las tablas en un informe que las personas de origen en el, en lugar del texto
que acompaa a la mesa. Varios problemas surgen. (1) hacer excesivo hincapi en
aquellas cosas que pueden ser o han sido cuantificadas, y dejar de lado o incluso
desestimando (por ejemplo, como "no cientfica") los que estn mejor expresadas
cualitativamente. (2) No reconocer que incluso el mejor cuantitativa
indicadores sern los parciales - como todos los indicadores que captan slo
algunas dimensiones de la cuestin que estamos tratando de iluminar - y ligero
variaciones en el diseo indicador puede significar que estamos capturando bastante
diferentes caractersticas de algo, a pesar de que esto no sea inmediatamente
aparente (y el indicador todava se puede denominar con el mismo nombre). (3)
Ms prosaicamente, dejando de lado las calificaciones que a menudo acompaan
datos cuantitativos, por ejemplo, sobre los problemas de inferencias
a partir de muestras de un tamao determinado, sobre los posibles mrgenes de error para
estimaciones, sobre los casos de datos faltantes, y similares.
problemas culturales - parece que hay variaciones en la medida en que los
enfoques cuantitativos estn estresados o no confiaban en diferentes entornos.
Esto puede tener algo que ver con los sistemas educativos de los diferentes
pases (o los procesos de contratacin de los funcionarios pblicos), pero lo hace
significa que en la prctica no siempre podemos esperar para copiar directamente un conjunto de
procedimientos desarrollados en un entorno, en otro. Algunos
ambientes son muy receptivos a la informacin cuantitativa, de alguna
casos en la medida en que hay una aceptacin de la "precisin espuria". Algunos
entornos son mucho menos, con los participantes lo que sugiere que los nmeros
se puede hacer que decir nada, y las narrativas e historias como un exigente
manera de aprehender la situacin subyacente en profundidad. (Del mismo modo, el uso de
figuras e ilustraciones es algo que funciona mucho mejor en algunos
circunstancias que en otras.)
Sin embargo, no son virtudes muy claras en el uso de datos cuantitativos donde estos
estn disponibles y el ms adecuado para el problema en cuestin. Tales datos pueden
proporcionar una base para un rico anlisis cualitativo; que pueden ser ms fcilmente
11
Vase OCDE (1997b) para una discusin de estos temas.
________________________________________
Pgina 98
Programas
98
y transparente procesado (resumido, en promedio, tabulacin cruzada, etc) y
transformado en visualizaciones, como los grficos. Es posible aplicar estadstica
herramientas para poner a prueba para la significacin,
12
para el control de los efectos de diferentes variables
(Por ejemplo, si los impactos del programa varan entre las empresas de diferentes tamaos, en
diferentes sectores).
12
Pero tenga en cuenta que los textos de significacin se utilizan ampliamente en los que no estn tcnicamente
justificadas -
que fueron diseados para proporcionar pruebas sobre la generalizacin de los resultados de las muestras a un
ms amplio universo de los casos, y tienen estrictos supuestos acerca de la naturaleza de la muestra, la
propiedades paramtricas de los datos, y as sucesivamente. A menudo, las pruebas son, en la prctica se utiliza con
poca
preocupacin por estos supuestos, y sin ningn esfuerzo real para especificar qu universo los resultados
podra generalizar a - el texto se utiliza como un significante de la "importancia estadstica" de la
resultados. (Lo cual no es lo mismo que importancia prctica.) Esta prctica puede ser defendible, pero
que tiene que ser entendido que esto es lo que se est haciendo, no slo aceptado como no problemtica
prctica.
________________________________________
Pgina 99
Programas
99
________________________________________
Pgina 100
Programas
100
Captulo 6 Seleccin y uso de metodologas para
EVALUACIN
6.1 Por qu es importante metodologa?
Evaluacin mtodos son herramientas y tcnicas que se aplican con el fin de
obtener respuestas a preguntas especficas.
Los mtodos utilizados en la evaluacin
la investigacin se encuentran en las principales que se utilizan ampliamente en otra social y
investigacin de las empresas - a pocos enfoques (como el anlisis de costo-beneficio y
evaluacin de impacto) son realmente distintivo.
Metodologa implica la comprensin de los principios en los que determinada
mtodos se basan, y por lo tanto ser capaz de comprender la relevancia de
diversos mtodos para responder a las preguntas que tenemos. A menudo nos encontraremos
que cualquier mtodo dado nos dar slo una respuesta parcial a las principales preguntas
que tenemos. Esto se debe a que nuestras preguntas son tpicamente bastante complicado
queridos, que no se pueden contestar de ninguna forma sencilla.
En los estudios de evaluacin, vamos a utilizar tpicamente un nmero de mtodos especficos. Para
ejemplo, es comn para un estudio para incluir algunas entrevistas junto a un
encuesta ms amplia, y un poco de uso de los datos existentes (secundario). Junto a este
puede haber casos de estudio de empresas o proyectos particulares, y una gama de otros
enfoques. Ha habido cuentas de las evaluaciones "mtodo mixto", como si
stas eran bastante novedosa, pero en el campo de la evaluacin del programa de innovacin, en
menos, son la norma.
Este captulo se centra en los mtodos utilizados en la evaluacin, y proporciona una
amplia introduccin a la metodologa y mtodos, relacionarlos con diferentes
tipos de evaluacin y pregunta de evaluacin. Se inicia con la discusin de cmo
metodologa se refiere a la finalidad de la evaluacin.
________________________________________
Pgina 101
Programas
101
Recuadro 6.1 Una seleccin de las guas pertinentes para la Evaluacin e Investigacin
Metodologa
William M. Trochim (2002, revisada en 2005) Mtodos de investigacin en Knowledge Base, disponible
en lnea en: http://www.socialresearchmethods.net/kb/
Esta es una gua de hipertexto muy legible a mtodos de investigacin social, que abarca una amplia gama de
los temas de manera lcida. Sus secciones sobre la fiabilidad y la validez de los indicadores son particularmente
recomendada. Una copia en papel y versin ampliada tambin est disponible, desde Atomic Dog
La publicacin en http://www.atomicdog.com/trochim
Carter McNamara (nd) Mtodos bsicos de investigacin de negocios, disponible en lnea en:
http://www.managementhelp.org/research/research.htm
Amplia revisin de los mtodos de investigacin, con buenos consejos sobre la planificacin de un estudio.
Rosalie Ruegg y Irwin Feller (eds.) (2003) un juego de herramientas para la evaluacin de la I + D pblica
Inversin: Modelos, mtodos y hallazgos de Primera Dcada del ATP de Washington, EE.UU.
Departamento de Comercio, Administracin de Tecnologa, informan no. NIST GCR 03-857,
disponible en lnea en:
http://www.atp.nist.gov/eao/gcr03-857/contents.htm
Informe detallado de la amplia gama de mtodos utilizados en la evaluacin del programa de investigacin de EE.UU.,
con un poco de resumen y sntesis relativo a las lecciones para la investigacin de evaluacin ms
en general.
Comisin Europea (2002), RTD Evaluacin Toolbox - Evaluacin de la Socio-
Impacto econmico de la RTD-Polticas , IPTS Serie de Informes Tcnicos, EUR 20382 EN,
. publicado agosto 2002 Disponible en: http://epub.jrc.es/docs/EUR-20382-EN.pdf
Este es el "ePUB RTD Evaluacin Toolbox" preparado por la Investigacin Joanneum
Instituto de Tecnologa y Poltica Regional (Viena) y el Instituto de Prospectiva
Estudios de Tecnologa (Sevilla), con contribuciones de muchos equipos de evaluacin. As como
la introduccin de la gama de tcnicas en uso, este informe examina algunas de las cuestiones ms amplias
en torno al uso de la evaluacin en la formulacin de polticas. Una versin abreviada nosotros disponibles como
INTEREG
Research Report 02-2002 del Instituto Joanneum.
Alegra Frechtling y Laure de Sharp (1997) User-Friendly Handbook for mtodo mixto
Evaluaciones
Direccin de Educacin y Recursos Humanos, Divisin de Investigacin,
La evaluacin y la Fundacin Nacional de Ciencias de la Comunicacin est disponible en:
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm
Visin general til de los temas en los estudios de evaluacin, en especial los relacionados con la necesidad de
utilizar tanto cualitativa y mtodos cuantitativos en el curso de un estudio.
Americorps (nd) Gua del usuario para los Programas de Servicios Nacionales
Burlingame,
California: Corporacin para el Servicio Nacional, Proyecto STAR, disponible en:
http://www.projectstar.org/star/Library/toolkit.html
Aunque el tipo de programa que se evala aqu estn lejos de los programas de innovacin,
esta es una muy clara introduccin a la variedad de mtodos utilizados en la prctica de la evaluacin, con
especial nfasis en el uso de la evaluacin para el empoderamiento de las personas que participan en los programas.
Las actividades se presentan en trminos de secuencias lgicas de pasos, de manera que puedan ser de
emulado en la evaluacin de programas de innovacin. El sitio web indica que "el empoderamiento
enfoques de evaluacin "se estn minimizados en AmeriCorps.
D'Arcy Davis Case (1990) Herramientas para la comunidad: conceptos, mtodos y herramientas para
evaluacin participativa, el seguimiento y la evaluacin en la silvicultura comunitaria, la FAO
Comunidad Campo Forestal Organizacin de los Estados Manual 2, Roma, Agricultura y la Alimentacin
Naciones, disponible en:
http://www.fao.org/documents/show_cdr.asp?url_file=/docrep/x5307e/x5307e00.htm
A pesar de los programas para los que se prepar esta caja de herramientas son muy lejos de la innovacin
programas, esto es a la vez una gua de lectura para practicar y una buena introduccin a la
filosofa de la supervisin y la evaluacin participativa.
Direccin General de la CE para el Presupuesto (julio de 2004) Evaluacin de las actividades de la UE: una prctica
gua para los servicios de la Comisin
http://europa.eu.int/comm/budget/evaluation/pdf/pub_eval_activities_full_en.PDF
Esta gua debera ayudar a los profesionales de la evaluacin de la Comisin de la UE, que necesitan para planificar,
coordinar, llevar a cabo, o utilizar las evaluaciones. Tambin ayudar a los que tienen la responsabilidad de
la organizacin de la estructura de evaluacin dentro de los servicios
________________________________________
Pgina 102
Programas
102
6.2 Cmo la misin de evaluacin se relacionan con la metodologa?
La cuestin clave para la metodologa es: Cmo podemos acceder y utilizar pruebas
que va por lo menos de alguna manera a responder a la pregunta de que somos
posando? Hay varios puntos planteados por esto.
En primer lugar , " mejor ". La pregunta no es acerca de la inteligencia perfecta: que nunca puede haber
alcanzado. El " mejor "las pruebas ser la prueba ms adecuada que puede
ser obtenido dentro de los lmites de los recursos disponibles - incluyendo el tiempo
restricciones (conocimiento imperfecto cuando se necesita puede ser mucho mejor
que el conocimiento ms completo que llega demasiado tarde). A menudo tenemos que utilizar
ms de un mtodo para proporcionar una respuesta adecuada a nuestra partida
cuestin. Triangulacin es el trmino utilizado para describir la aplicacin de varios
mtodos y observaciones para hacer frente a la misma pregunta - si los resultados
coinciden, esto les valida, si difieren, entonces demuestra que tenemos
ms trabajo por hacer para llevar a cabo para entender esta divergencia.
En segundo lugar , " el acceso ". La evidencia puede estar ya disponible - hablamos de
secundaria de datos cuando estamos haciendo uso de, por ejemplo, las estadsticas ya
producido para un propsito diferente. Alternativamente, es posible que tengamos que salir a
generar nuestras propias primarias de datos.
En tercer lugar , " por lo menos de alguna manera a responder ". Esto refleja la realidad de que
a menudo la respuesta completa va a ser difcil de determinar. En el caso de la evaluacin de la
la eficacia de un nuevo medicamento o tratamiento mdico puede ser relativamente fcil
evaluar los impactos sobre la condicin de que se tiene la intencin de tratar (aunque los efectos secundarios
puede ser ms difcil de determinar). En el caso de los programas de innovacin, muchos de los
los efectos sern a largo plazo, y las formas que tenemos de saber si el
efectos estn teniendo lugar puede ser parcial y limitada. Es por esto que es tan
importante ser explcito acerca de lo que pregunta que nos planteamos . La siguiente
seccin se ocupa de la cuestin fundamental de las definiciones operacionales.
La literatura sobre la metodologa de evaluacin nos proporciona mucha informacin sobre
la aplicabilidad de los diferentes mtodos, y nos basamos en este (as como en la
experiencia de las personas que hemos entrevistado y encuestados) en el resto
de este captulo.
________________________________________
Pgina 103
Programas
103
6.3 Cul es el significado de las definiciones operacionales?
El lenguaje cotidiano utiliza muchos trminos en formas ms bien flojos. Si bien esto significa
que no estamos comprometidos para siempre en los debates pedantes o tcnicas,
son inconvenientes. A menudo, no estamos del todo seguro de lo que cada uno de nosotros se hace referencia a
cuando hablamos de cosas como "inteligencia", "competitividad", o "econmica
rendimiento ". Esto incluso - algunos diran sobre todo - se aplica a los polticos
debatir. Se convierte en un verdadero problema cuando hablamos de polticas especficas,
Sin embargo, donde puede haber malentendidos que pueden tener gran
consecuencias para el mundo real.
Una "definicin operativa" est destinado a aadir precisin, proporcionando un
definicin de (elementos de) un concepto en trminos de cmo los estamos midiendo.
Las ventajas de las definiciones operacionales son sencillos:
Se aseguran de que estamos hablando de la misma cosa
Se especifican los mtodos utilizados para evaluar los elementos del concepto de que son
en estudio, y esto permite que el debate sobre el contenido del concepto
Se refieren a que el trabajo debe ser replicable, ya que es posible seguir
los mismos mtodos para obtener nuevos resultados - tal vez para comprobar el original
estudiar, tal vez para actualizar la informacin
Los principales inconvenientes de las definiciones operacionales son una cuestin de cmo se
se utilizan:
A menudo hay una tendencia a asumir que las caractersticas de fcil medicin
de un concepto son los ms importantes, o incluso los nicos, las caractersticas de la
concepto. (Por lo tanto, como es sabido, la "inteligencia" se convierte en lo que los tests de inteligencia
medir, no el uso diario ms rico de la palabra.)
A menudo existe demasiado nfasis en los datos que fcilmente se pueden mostrar en un
forma cuantitativa (que permiten a muchas definiciones operativas), en contraposicin a
resultados ms cualitativos.
________________________________________
Pgina 104
Programas
104
6.4 Por qu no hay una metodologa nica para la evaluacin?
Por lo general, la medicin slo nos dir acerca de ciertos aspectos de la cuestin en
cuestin. Por ejemplo, puede parecer una cuestin sencilla para determinar si una
automvil o computadora es relacin calidad-precio. Pero consideran que el nmero de aspectos que hay
para el rendimiento de un coche o un ordenador (dejar solos aspectos tales como el diseo
y la "sensacin" del producto). Del mismo modo, las autoridades pueden pedir a un simple sonido
pero complicada pregunta como "cules son los beneficios econmicos de esta
inversin ". Los evaluadores tendrn que especificar una pregunta investigable en
trminos de medidas operativas, tales como "cmo este programa de influencia
el rendimiento de X [un determinado conjunto de actores econmicos] en trminos de Y [a
conjunto particular de parmetros de actividad y salidas]? "
En los estudios de evaluacin, el impacto y los resultados de las intervenciones son por lo general
muy complicado, con diferentes tipos de destino que sufren los impactos sobre
varias dimensiones. Algunos de los impactos pueden ser capturados en las estadsticas oficiales,
informes de la compaa, y otros documentos; algunos pueden requerir directa
investigacin. Algunos de ellos pueden ser una cuestin de contar observables
fenmenos, algunos pueden ser ms una cuestin de juicio subjetivo. Algunos pueden
ser una cuestin de la experiencia individual, algunos de comportamiento organizacional, y
algunos pueden incluso cruzar fronteras organizacionales (por ejemplo, redes).
La diversidad de los mtodos disponibles para la realizacin de una evaluacin es un
reconocimiento de las mltiples dimensiones en las que los impactos de la poltica
intervencin podra manifestarse. Por esta razn, ningn mejor
existe metodologa de evaluacin, a todos los efectos y estudios. Cada
metodologa ser ms adecuado para el anlisis de las dimensiones particulares de los
impactos. En general, un estudio de evaluacin se requerir una combinacin de varios
mtodos de evaluacin. As, por ejemplo, diferentes mtodos se pueden utilizar en
diferentes niveles de agregacin de datos, o para capturar inmediato ya ms largo plazo
impactos. El uso de ms de un mtodo tiene ventajas ya que permite
por contraste de la solidez de las conclusiones acerca de los efectos observados
de la intervencin - es decir, que permite la triangulacin.
________________________________________
Pgina 105
Programas
105
6.5 Cules son los principales mtodos utilizados en la evaluacin?
Si bien los efectos precisos abordados pueden ser diferentes, en general
mtodos aplicados en los estudios de evaluacin de la investigacin suelen ser aplicables a
evaluaciones de los programas de innovacin. Como ya se mencion, la mayora de estos
mtodos tambin se comparten con una gran cantidad de otros asuntos sociales y
investigacin.
Algunos "mtodos" son tcnicas muy especficas, mientras que otros son ms generales
enfoques para responder a las preguntas. Encuestas As cuestionario son especficos
tcnicas (y dentro de stas hay otras tcnicas especficas que son
empleado, por ejemplo, en el muestreo, en el diseo de las escalas de medicin y
preguntas, etc.) Los estudios de casos, por el contrario, para ms de un enfoque de la
el desarrollo de las pruebas y argumentos, que pueden utilizar diferentes tipos de
tcnica dentro de ellos - encuestas, entrevistas, talleres, etc.
En este captulo nos centraremos en algunas de las tcnicas y mtodos especficos que
se utilizan ampliamente, agrupndolos segn las funciones que desempean, la
informacin especfica que contribuyen:
Mtodos para el acceso y la generacin de datos - Tcnicas de datos
produccin que se utilizan en la investigacin primaria y secundaria. Aqu, la
tipo de indicador de que somos capaces de usar es una cuestin importante.
Los mtodos para la estructuracin y las intervenciones que exploran - que van desde
enfoques "tradicionales" que utilizan los experimentos y los grupos de control a ms
accin y enfoques participativos.
Mtodos para el anlisis de los datos - formas de procesamiento y dibujo
conclusiones de las estadsticas y material cualitativo, y ms elaborado
modelado y simulacin enfoques.
Los mtodos para extraer conclusiones, incluidas las evaluaciones de impacto y la
similares.
Adems de ofrecer una vista panormica de las diferentes tcnicas utilizadas aqu,
tambin vamos a discutir algunos enfoques temticos - el uso de mltiples
mtodos, el estudio de casos, la previsin, y similares.
Hay varias guas a la metodologa de la investigacin social, a la evaluacin
metodologa, y para la investigacin la metodologa de evaluacin, que podemos dibujar
a aqu. La zona ms cercana a la que tratan en esta gua es el de I + D (o
Fuentes RTD) de evaluacin, y por lo tanto, como la Evaluacin ePUB RTD
Caja de herramientas (2002) son particularmente tiles - vase la ilustracin.
________________________________________
Pgina 106
Programas
106
Recuadro 6.2 La "ePUB RTD Evaluacin Toolbox" (2002)
Esta "caja de herramientas" de los mtodos de evaluacin proporciona un buen punto de partida para encontrar
conocer los principales instrumentos aplicados en la poltica de ciencia y tecnologa
evaluacin y los mtodos y las prcticas actuales utilizadas en la evaluacin de
las polticas de IDT pblicas. Sobre la base de los esfuerzos de una red de expertos en evaluacin,
se analizan algunas de las cuestiones polticas relacionadas con las metodologas, as como
los ms prcticos.
La mayora de los mtodos ePUB Toolbox se centran en la captura de datos correspondiente a la IDT
programas. En el nivel micro-economtrico, esto incluye mtodos para
la evaluacin de la existencia de un efecto de adicionalidad en el apoyo del pblico en privado
I + D y la estimacin de la tasa de retorno privada en I + D. Ms macroeconmica
mtodos son ms aptos para captar los efectos indirectos de I + D generados ya ms largo
plazo y los efectos ms amplios de la poltica de intervencin en la productividad y econmica
bienestar. Herramientas especficas discutidas incluyen anlisis coste-beneficio, la red
anlisis, estudios de caso, y similares. Los grupos ePUB Herramientas mtodos
de acuerdo a su uso en ex ante , en tiempo real y post hoc evaluaciones. Mtodos
empleado en la evaluacin ex ante de los programas y las polticas son:
Los estudios de prospectiva
Modelado y simulacin
tcnicas de costo-eficiencia
tcnicas de costo-beneficio
Mtodos cuantitativos empleados en Seguimiento y evaluacin ex post incluyen:
anlisis de datos estadsticos: Encuestas de Innovacin y Benchmarking
metodologas de modelado: modelado y simulacin macroeconmica
enfoques ; modelado microeconomtricas ; Anlisis de productividad ; y
Enfoques del grupo de control
Metodologas cualitativas y semi-cuantitativos empleados en Seguimiento y
evaluacin ex-post son:
Las entrevistas y estudios de caso
El anlisis de costo-beneficio
Revisin Paneles de Expertos / Peer
Anlisis de Redes
Prospectiva / Tecnologa
________________________________________
Pgina 107
Programas
107
6.6 Qu tipo de medida estamos viendo en la Innovacin
Evaluacin del Programa?
La ltima razn de un programa de innovacin es probable que sea una cuestin de
contribuir a objetivos como el aumento de la competitividad de una regin,
un conglomerado industrial, o una economa nacional; la creacin de ms (o mejores) puestos de trabajo y
oportunidades de empleo; ayudar a la industria a moverse de una manera ms ambientalmente
direccin sostenible, y as sucesivamente. Como se seal anteriormente, la bsqueda de operaciones
las definiciones de algunos de estos trminos, que pueden traducirse en medible
indicadores, pueden ser nada fcil. Conceptos como la "competitividad" y
"Sostenibilidad" son los contenciosos, por ejemplo.
Cuando tenemos un concepto bastante indiscutible, la bsqueda de indicadores apropiados
puede no ser difcil. Aunque puede haber debates acerca de cmo hacer frente a
empleo a tiempo parcial y los empleos temporales, por ejemplo, el empleo es bastante
fcilmente evaluados y los niveles de empleo son efectivamente capturadas en muchas rutina
Consultar estadsticas. Incluso en este caso, puede ser til para proporcionar datos sobre completa-
y el empleo a tiempo parcial - o ser clara cuando los indicadores "de tiempo completo equivalentes"
siendo utilizado. Dnde se estn abordando conceptos polmicos, es mucho
ms importante la utilizacin de mltiples indicadores. Cada uno es nico responsable para hacer frente a parte
del tema en cuestin, y los diferentes indicadores pueden ser ms relevantes para diferentes
formulaciones del concepto.
Mltiples indicadores tambin permiten ms
"Triangulacin" de las pruebas, en la que podemos examinar cmo las tendencias ahora son
similares a travs de diferentes aspectos de la cuestin que nos ocupa.
Adems, (a) muchos de los acontecimientos que nos preocupan en la innovacin
programas son inherentemente los de largo plazo - el impacto puede no ser totalmente
visible durante aos. Por otra parte, (b) estamos ms preocupados con duracin
impactos - no con una mejora de corta duracin en el rendimiento.
La primera consideracin (a) significa que a menudo ser necesario trabajar con
indicadores de "impactos intermedios", que razonablemente cabe presumir que
indican que las cosas se estn moviendo en la direccin del cambio a largo plazo. Esta voluntad
a menudo el caso, por ejemplo, para el desempeo econmico de las empresas o industrias.
Es frecuente que los beneficios de la introduccin de una innovacin son lentos
a aparecer - el producto necesita tiempo para obtener un mercado considerable, hay un
periodo de aprendizaje necesario para el nuevo proceso a implementar ms
efectivamente.
(I + D puede tardar ms tiempo para tener visibles sobornos.) Incluso despus de
un programa de innovacin se ha llegado a la conclusin, puede ser necesario recurrir a
estimaciones de los efectos probables de una innovacin que ha introducido. (Esta
a efectos de elaborar inferencias a partir de innovaciones anteriores de estadstica
modelado, de examinar la experiencia de los innovadores de vanguardia, desde
agrimensura participantes del programa en cuanto a sus expectativas - todos los cuales las formas
de pruebas y argumentos tienen sus inconvenientes.) Los indicadores en los que nos
puede tener ms confianza - la difusin y captacin de los niveles observados de la
la innovacin, por ejemplo - son todava bastante retirado de los impactos finales
con la que nos ocupa.
Lo mismo es cierto en relacin con la letra (b). Cunto "adicionalidad comportamental"
(Vase el Captulo 7 para ms informacin sobre este trmino) realmente se ha logrado es una de las principales
________________________________________
Pgina 108
Programas
108
cuestin. Por ejemplo, el programa slo como resultado la adopcin de un
particular, la innovacin, o ha dado lugar a un cambio de orientacin entre los
los participantes? Un solo cambio en, digamos, CO
2
las emisiones, puede ser una valiosa
logro, pero son las organizaciones siguen realizando mejoras en
su ao de emisiones en el ao? Han acaba de aprobar una innovacin y
supone que esto era suficiente para la competitividad, la sostenibilidad, o
cualquier otro objetivo est dirigido a? Para determinar dicha duracin, a ms largo plazo
impactos, que tpicamente ser necesario examinar los cambios en las capacidades de los
las organizaciones - ya sea que estn dedicando recursos para explorar ms a fondo
innovaciones, por ejemplo.
Captulo 7 ofertas en ms detalle con cuestiones de evaluacin del impacto y
adicionalidad.
________________________________________
Pgina 109
Programas
109
6.7 Cules son los tipos de datos secundarios que se puede acceder?
Algunos datos pueden estar disponibles a partir de fuentes existentes: los datos secundarios que pueden
ser utilizados para fines de evaluacin. Por ejemplo, las estadsticas oficiales de rutina llevan
una gran cantidad de material sobre la actividad econmica - el volumen de negocios, el empleo,
la productividad, y similares. Estos a menudo proporcionan informacin bsica por la
la cual podemos evaluar cambios, o un fondo estadstico general para el
estudiar su uso. Idealmente, dicho material ser ya montado en el principio de
un programa de innovacin, pero el tiempo se queda involucrado en la preparacin y
publicacin de estadsticas que significa que a menudo los que estn disponibles en cualquier momento reflejan
circunstancias de varios aos anteriores.
Adems de los datos presentados en el Panorama general del Programa, podemos esperar que los datos de
ser producido en el curso de la supervisin del programa. Algunos de estos
debe ser de datos sobre los proyectos, los gastos y las actividades; algunos pueden cubrir
impactos inmediatos del programa. Puede haber informacin cuantitativa,
o ms de las actividades de documentacin de archivo (listas de nombres, por ejemplo).
Los proyectos individuales tambin son susceptibles de generar datos que pueden ser tiles para
fines de evaluacin, que a su vez pueden ser ms o menos discursiva o
cuantitativa. En la medida en que este material se ha organizado y
ya procesada, puede ser de datos secundarios para el estudio de evaluacin. Si tiene
a codificar, clasificar, o muy reelaborado, puede ser mejor vista como principal
datos.
Los datos pueden ser producidos por fuentes externas que pueden ser tiles para la evaluacin
de los impactos del programa, aunque esto no suele ser lo suficientemente oportuna o en sintona con
temas del programa para tener una gran relevancia. No es imposible que un
industria o grupo de estudio se llevar a cabo que nos diga algo de
importancia para el programa, sin embargo. En el Reino Unido a mediados de la dcada de 1990, por
ejemplo, una encuesta de innovacin llevado a cabo por la Confederacin de British
Industria pregunt sobre el grado de conocimiento y la participacin en el
Tecnologa Programa Foresight que estaba entonces en marcha. Esto proporcion
la informacin que nos permiti evaluar hasta qu punto estaba comprometido el Programa
con diferentes sectores de la industria. (Los resultados sugirieron que era encontrar
menor respuesta de los sectores de servicios de la economa - ver Miles, 1999) En
Alemania, ms recientemente, la Encuesta sobre la innovacin comunitaria se utiliz para
determinar hasta qu punto se produjo un impacto de la financiacin de I + D del gobierno y en
la I + D.
Un problema que puede enfrentar a los usuarios de datos secundaria est ganando acceso a
material en una forma que es til para la evaluacin. Las estadsticas pueden ser
se presenta en una forma muy agregada - es posible que tengamos datos desglosados por
industria, tamao de la empresa, y as sucesivamente. Los datos pueden ser retenidos por motivos de
confidencialidad - con estadsticas pueden existir normas que prohben el acceso a
informacin que concebiblemente podra permitir respuestas individuales a ser identificados,
y con material de archivo que puede haber problemas para hacer con denominacin de
individuos, off-the-record comentarios, y similares. Los consultores pueden ser
dispuestos a compartir los datos que han producido, para una variedad de razones.
(Por ejemplo: estos datos se consideran como econmicamente valiosa; mtodos sospechosos de
de elaborar los datos estn siendo ocultados; existe la preocupacin de que los analistas pueden
dibujar resultados distintos de los que le ofreca por el consultor; etc)
________________________________________
Pgina 110
Programas
110
6.8 Cules son los mtodos para generar datos a travs de la investigacin primaria?
Los datos secundarios se han producido como datos primarios por alguna otra
partido: en los estudios de evaluacin tambin estamos por lo general en el negocio de producir
algunos datos primarios, tambin. Diferentes tcnicas se caracterizan por producir diferentes tipos
de los datos, pero no hay una asignacin uno a uno. Cuestionarios son
normalmente se utiliza para crear datos cuantitativos a gran escala, pero tambin se puede llevar
a cabo utilizando bastante pequeas muestras, y puede ser utilizado para provocar abierta,
insumos cualitativos. Las entrevistas dan generalmente una gran cantidad de datos cualitativos,
pero al menos algunos de los materiales pueden tomar una forma cuantitativa (y cualitativa
cuentas pueden ser codificados en medidas cuantitativas).
En la discusin siguiente, cuando hablamos de "nuevos datos", nos referimos a los materiales
generados por fenmenos de observacin en el mundo material - estos fenmenos
puede ser una conducta que podemos ver a travs de la observacin participante de las reuniones, para
ejemplo, o de la existencia de registros en archivadores o electrnica
almacenamiento. Pueden ser declaraciones (de opinin, creencia, etc) suscit desde
entrevistados, encuestados, los participantes del taller. Esta bastante obvio
punto se trabaj con el fin de distinguir tales datos de la informacin
que puede ser generada a partir de, por ejemplo, modelos de simulacin de eventos. La
estado de la informacin sobre el comportamiento real de las personas o de sus opiniones declarados
es bastante diferente de la de la informacin acerca de lo que dice un modelo de computadora.
Esto ltimo nos est diciendo acerca de cmo los procesa datos modelo (que ha sido
derivada de la investigacin emprica o dictamen de expertos). Consideramos esto un
forma de anlisis de datos y elaboracin de conclusiones, en lugar de la generacin de
nuevos datos con fines de evaluacin.
Entre las principales herramientas para la generacin de nuevos datos, entonces, son:
Encuestas Cuestionario
Entrevistas
Talleres y Grupos de Enfoque
Observacin
Anlisis de Archivo.
La ilustracin describe una evaluacin de las ventajas y los desafos globales
de cada tcnica. Proporcionamos un poco ms de detalle en cada uno a continuacin. Sin embargo, dos
puntos generales se pueden hacer de inmediato. En primer lugar, es prcticamente siempre es vital para
participar en algn piloto de trabajo antes de lanzarse a la generacin de datos a gran escala.
Hay muchas historias tristes de estudios de encuestas en ruinas por errores en el cuestionario
programas de diseo, o entrevistar a los arrojados por el (normalmente) la falta de direccin
cuestiones clave de forma adecuada. Talleres necesitan una cuidadosa preparacin, e incluso si un
"En seco" no se puede lograr, algunos juegos de rol puede dar una idea de lo que va a
y no va a trabajar con eficacia. Es una buena idea observar algunos eventos en un proceso abierto-
manera de mente antes de salir a grabar y actividades especficas de cdigo.
Del mismo modo, el anlisis de archivos normalmente requiere un poco de experimentacin con
clasificaciones y categoras antes de lanzarnos a una codificacin masiva
ejercicio.
________________________________________
Pgina 111
Programas
111
En segundo lugar, el problema de la toma de muestras se elev muy a menudo. A menudo, no podemos esperar a
hablar con todo el mundo que era un participante o de las partes interesadas en un proyecto, o estudiar
todos los documentos que se produjo en el transcurso de la obra. La cuestin
a continuacin, se convierte en uno de saber hasta qu punto los datos que utilizamos son representativos
- Representativa de toda la poblacin o de algn subconjunto con el que estamos
particularmente preocupado. Por lo tanto necesitaremos una estrategia para decidir dnde nos
tendr que ir a por los datos que queremos, y esta estrategia tendr que ser
justificable en trminos de las preguntas de evaluacin que estamos pidiendo.
________________________________________
Pgina 112
Programas
112
Cuadro 6.1 Comparacin sucinta de los mtodos de generacin de datos
Mtodo
Propsito general
Ventajas
Desafos
Cuestionarios,
Encuestas,
Las listas de verificacin
Cuando tenga que rpidamente
y conseguir fcilmente una gran cantidad de
Informacin
personas en un no
forma amenazante
Puede completar
de forma annima,
barata de
administrar, fcil
comparar y analizar,
administrar a muchos
personas, pueden obtener gran cantidad de
de datos, muchos muestra
cuestionarios ya
existir
No puede ser que consiga cuidado
retroalimentacin, redaccin puede
las respuestas del cliente sesgo,
son impersonales
encuestas, puede ser necesario
muestreo, experto
no conseguir la historia completa
Entrevistas
Cuando desee totalmente
entender que hay alguien
impresiones o
experiencias, o aprender
ms acerca de su
respuestas a
cuestionarios
Obtn toda la gama y
profundidad de la informacin
desarrolla la relacin
con el cliente, puede ser
flexibles con el cliente
Puede tomar mucho tiempo,
puede ser difcil de analizar
y comparar, puede ser
costoso, entrevistador puede
las respuestas del cliente sesgo
Documentacin
Revisin
Cuando quiera una
impresin de cmo
programa opera
sin interrumpir el
programa; es de un
examen de las solicitudes,
finanzas, memos,
acta
Obtenga integral
e histrico
informacin, no
programa de interrupcin o
la rutina del cliente en
programa, informacin
ya existe, pocos
prejuicios sobre
informacin
A menudo toma mucho
tiempo, informacin puede ser
incompleta, que tenga que ser
claro acerca de lo
buscando, no una
forma flexible para obtener
de datos, los datos restringido a los
lo que ya existe
Observacin
Rena exacta
informacin acerca de cmo
un programa en realidad
opera, en particular
acerca de los procesos
Ver operaciones de un
programa, ya que son
en realidad ocurre lata
adaptarse a los acontecimientos a medida que
ocurrir
Puede ser difcil de
interpretar, visto
comportamientos pueden ser
complejo de categorizar,
Las observaciones pueden
comportamientos de influencia de
participantes del programa,
puede ser costoso
Los grupos de enfoque
Explora un tema en
profundidad a travs del grupo
discusin, por ejemplo, acerca
reacciones a una
experiencia o
sugerencia,
comprensin
quejas comunes,
etc, tiles en
evaluacin y
mercadeo
Rpido y fiable, obtener
impresiones comunes,
puede ser manera eficiente de
obtener una amplia gama y
profundidad de la informacin en
un corto perodo de tiempo, puede
transmitir informacin clave
acerca de los programas
Puede ser difcil de analizar
respuestas, necesitan una buena
facilitador para la seguridad y
cierre, difcil
programar 6-8 personas
juntos
Estudios de caso
Para entender completamente o
representar clientes de
experiencias en un
programa, y la conducta
exhaustivo
examen a travs
comparacin transversal de
casos
Totalmente representa clientes de
experiencia en el programa
insumos, procesos y
resultados, de gran alcance
significa para retratar
programa a los forasteros
Por lo general, bastante tiempo
consumir para recopilar,
organizar y describir;
representa la profundidad de
informacin, en lugar de
amplitud
Fuente: Carter McNamara (nd) Mtodos Bsicos de Investigacin de Empresas
________________________________________
Pgina 113
Programas
113
6.9 Cul es el uso de los mtodos basados en la entrevista para la generacin de datos en
Las evaluaciones?
Las entrevistas han sido descritos como "conversaciones estructuradas". Son la cara-
a cara o por va telefnica, se encuentra, en la que el evaluador hace una serie
de preguntas. Por lo general hay un informante, pero puede haber ms de una
persona contribuyendo de esta manera. (Esto puede ser especialmente til cuando el
entrevistados tienen informacin complementaria a presentar; donde hay
razones para evitar la presentacin de la misma orientacin Observaciones preliminares sobre
ms veces que sea absolutamente necesario; donde hay ventajas en
facilitar el aprendizaje de los entrevistados de la otra en el transcurso de la
entrevista. La desventaja correspondiente es que los entrevistados pueden ser menos
dispuesto a dar respuestas completas y abiertas en presencia de los otros entrevistados -
esto puede ser particularmente el caso de que existan diferencias de estatus, para
. ejemplo) Por lo general hay un entrevistado principal - a veces una pareja toma
notas, a veces los entrevistadores se especializan en determinadas lneas de cuestionamiento.
Las entrevistas pueden ser ms o menos estructurado: ms comn en la evaluacin
investigacin es la entrevista semi-estructurada. Aqu hay una lista de preguntas de ajuste
que se plantea, pero existe una considerable flexibilidad para cambiar la secuencia de
preguntas si (como sucede a menudo) el entrevistado se mueve en el curso de
responder a una pregunta, a la provisin de insumos que influyen en una pregunta posterior. Es
ms importante para mantener el flujo conversacional que seguir un
fin preordenado de temas. Tambin hay flexibilidad en la forma de ser capaz
para introducir nuevas lneas de investigacin si surgen problemas imprevistos interesantes - y
dejar caer las lneas de investigacin que estn dando unos rendimientos.
Entrevistas no estructuradas Completamente son raras, pero las entrevistas donde hay
slo una estructura flexible se utiliza con mayor frecuencia en el inicio de un estudio, en el que el
evaluador est tratando de obtener un panorama general de cmo el programa es
estructurado y operativo.
Esto puede ser especialmente relevante en el que el
Programa general est ausente o es insuficiente.
Entrevistas altamente estructuradas son esencialmente cuestionario encuestas realizadas
verbalmente, con el entrevistado relevado de la tarea de escribir las respuestas.
La ventaja aqu es que a menudo los informantes no estn dispuestos a consagrarse
tiempo y energa por escrito los comentarios de lo que estn dispuestos a dar en una cara
a cara encuentro. La mayora de la gente a encontrar el habla menos gravar de escribir (y,
ya que es menos formal, les resulta menos categrica y definitiva).
Las entrevistas son ms valiosos cuando se estn utilizando para generar detallada
cuentas cualitativas. Es posible incluir preguntas en una entrevista que
pedir a la gente para proporcionar estimaciones cuantitativas, para hacer juicios sobre Likert-
escalas, y similares. Entrevistas telefnicas a gran escala se utiliza a menudo en este
manera, con encuesta de opinin profesional o personal de investigacin de mercado la administracin de un
cuestionario sobre cuyo contenido y tema que conocen poco. Pero el
compromiso de recursos evaluador a las entrevistas, sobre todo cara a cara
queridos, significa que tales entrevistas son ms eficaces cuando la captura de la
amplitud y profundidad del material cualitativo que las encuestas se perder gran parte.
________________________________________
Pgina 114
Programas
114
La entrevista se obtiene ms de un conjunto de puntos de datos que slo puede ser relacionada
junto estadsticamente. Se puede obtener la cuenta del entrevistado del programa,
un proyecto, o al menos la parte del programa o proyecto con el que l / ella
estuvo involucrado.
As como los procesos que describen y los resultados, la
entrevistado nos puede ofrecer una comprensin de por qu los procesos y resultados
estaban relacionados juntos en formas particulares; lo que explica las anomalas y
regularidades; lo que el valor de los indicadores especficos puede ser; dnde ir para
una prueba ms; y as sucesivamente.
La gente es naturalmente cuentistas, construyendo
relatos de sus experiencias. Un informe de evaluacin ser una narrativa de
tipo, s. Las entrevistas son una tcnica excelente para descubrir lo que el
narrativas de los participantes y las partes interesadas son.
El gran reto que esto plantea para los evaluadores es menos una de darle sentido
de los datos - los relatos son ricos en significado. El desafo es uno de
la validacin y la integracin de estas narraciones, y la informacin cualitativa detallada
que est articulado dentro de ellos. Esto se discutir ms adelante en el
preguntas sobre el anlisis de los datos que se tratarn ms adelante en este captulo.
________________________________________
Pgina 115
Programas
115
6.10 Cmo y cundo debera centrarse Grupos y Talleres se utilizarn para
la generacin de datos?
Los estudios de evaluacin ms amplio y de mayor duracin suelen tener una direccin
Comit que ayuda en la especificacin del estudio de evaluacin, los comentarios
el diseo y los resultados provisionales, se hacen sugerencias en cuanto a presentacin de informes, y as
sucesivamente.
El Comit de Direccin es probable que se compone de las partes interesadas y
representantes sobre todo de los usuarios finales, administradores de programas, la gente de la
comunidad de evaluacin, y as sucesivamente. Sin embargo, es posible y algunas veces as
que vale la pena para crear grupos de trabajo de dibujo principal o exclusivamente en los participantes
y tal vez algn otro altamente involucrados interesados. Estos grupos se
por lo general slo satisfacer en una ocasin (aunque, en principio, podran satisfacer ms
a menudo).
Se pueden utilizar temprano en el curso de una evaluacin, donde se pueden probar
utilidad para plantear cuestiones sobre el programa que la evaluacin tendr que
tratar, donde los participantes pueden comentar (por ejemplo) propuesto
indicadores de impacto, y as sucesivamente. El principal problema con la creacin de estos grupos
temprano en el curso de la evaluacin es que los evaluadores pueden tener poco
la informacin de su cuenta para compartir con los participantes del programa, puede ser
difcil de definir exactamente cmo el taller debe operar, y puede haber
tanto menos para atraer la participacin de los informantes deseados. Ms tarde
en el curso de una evaluacin, un taller puede ser un escenario ideal en el que
presentar y poner a prueba los resultados y conclusiones preliminares. Tambin puede proporcionar
oportunidades para explorar los desacuerdos aparentes y cuentas divergentes.
Hay circunstancias en las que los informantes se proceder a mucha mayor profundidad
en el curso de un dilogo con los dems de lo que son propensos a hacer en caso de
escenario de la entrevista. Los talleres pueden generar intercambios entre los participantes
que les presione para justificar y explicar sus puntos de vista en detalle. Taller
enfoques, por ltimo, suelen ser tiles cuando los enfoques ms participativos
a la evaluacin se estn intentando, y son un elemento bsico en la previsin
estudios (ver ms abajo).
Existen numerosas variantes de grupo focal y el taller, a partir de un
gama de tcnicas especficas (incluyendo la lluvia de ideas, juegos de rol, simulacin
juegos, anlisis de escenarios, y varias tcnicas de creatividad). Mientras que el
herramientas tradicionales fueron rotafolios y pizarras, estamos viendo el aumento de
uso de soporte informtico dentro de las reuniones cara a cara. (Estos ltimos tienen la
ventaja de "capturar" una gran cantidad de informacin por va electrnica, y
permitiendo que varios de los participantes en las vistas de entrada al mismo tiempo.) En cualquier caso,
la cuestin fundamental es planificar el proceso del taller con mucha antelacin, y hacer
Asegrese de que facilitador (s) son capaces de mantener el proceso en movimiento a lo largo, el regreso
discusin para el tema en cuestin, si se desva fuera de tema, la resolucin de conflictos, ya que
Levntate y mantener el inters y la participacin de los participantes. Material
generada en el taller debe ser grabada y transcrita como fondo
posible - aunque esto no significa que en lugar de una gran cantidad de datos cualitativos puede
requerir procesamiento posteriormente.
________________________________________
Pgina 116
Programas
116
Cuadro 6.2 Factores a considerar en la eleccin entre los grupos de discusin y
entrevistas en profundidad
Factores a tener en cuenta
Utilice los grupos de enfoque
cuando ...
Utilice la entrevista en profundidad
cuando ...
La interaccin del grupo
la interaccin de los encuestados puede
estimular una respuesta ms rico o
nuevo y valioso pensamiento.
la interaccin del grupo es probable que sea
limitada o no productiva.
Grupo / presin de los compaeros
/ grupo de presin de los compaeros ser
valiosa en impugnar la
pensando en los encuestados y
iluminando opiniones encontradas.
la presin del grupo / pares hara
inhibir las respuestas y enturbiar el
significado de los resultados. Color
Sensibilidad de sujetos
materia
tema no es tan
sensibles que los encuestados se
moderar las respuestas o retener
informacin.
tema es tan sensible
que los encuestados estaran
dispuestos a hablar abiertamente en un
grupo.
Profundidad del individuo
respuestas
el tema es tal que la mayora
encuestados pueden decir todo lo que es
pertinente o todo lo que saben en
menos de 10 minutos.
el tema es tal que un mayor
profundidad de la respuesta por
individuo es deseable, como con
materia y tema complejo
muy bien informado
encuestados.
Fatiga colector de datos
es deseable tener uno
la conducta individual de los datos
recoleccin; algunos grupos no lo har
crear fatiga o aburrimiento para
una sola persona.
es posible utilizar numerosos
individuos en el proyecto; uno
entrevistador se convertira
cansado o aburrido realizacin de todo
entrevistas.
Alcance de las cuestiones que
cubierto
el volumen de asuntos a cubrir es
no muy abundante.
un mayor volumen de cuestiones
deben ser cubiertos.
La continuidad de la informacin
un solo tema est siendo
examinado en profundidad y cuerdas
de comportamientos son menos relevantes.
es necesario entender
cmo las actitudes y comportamientos
vincular de forma individual
base.
La experimentacin con
gua de entrevista
se sabe lo suficiente para establecer un
gua de temas significativos.
puede ser necesario desarrollar
la gua de entrevista mediante la alteracin que
despus de cada una de la primera
entrevistas.
Observacin por
las partes interesadas
es deseable que las partes interesadas
para escuchar lo que los participantes tienen
para decir.
Los interesados no necesitan
escuchar de primera mano las opiniones de los
participantes.
Logstica
geogrficamente una aceptables
nmero de encuestados de destino
se puede montar en una
ubicacin.
encuestados se dispersan o
sin ensamblar fcilmente para otros
razones.
Costo y la formacin
respuesta rpida es crtica, y
los fondos son limitados.
respuesta rpida no es crtica,
y el presupuesto permitir mayor
costo.
Disponibilidad de personal cualificado
personal
facilitadores de los grupos de enfoque deben
ser capaz de controlar y gestionar
grupos
entrevistadores necesitan estar
oyentes y de apoyo especializados.
Nota:
"entrevistas en profundidad" en el texto original se refiere a las entrevistas de un-o semi-estructuradas.
Fuente: Anexo 7 del captulo 3 en Alegra Frechtling y Laure de Sharp (1997) por el usuario
Manual friendly para Mezclado Mtodo Evaluaciones Washington, National Science
Fundacin.
________________________________________
Pgina 117
Programas
117
6.11 Cmo y cundo debera mtodos observacionales pueden utilizar para
la generacin de datos?
Las observaciones se emplean a menudo en el curso de evaluaciones en tiempo real, y
a veces en las evaluaciones intermedias y evaluaciones ex post donde hay una
oportunidad de participar en actividades que estn siguiendo desde la
programa. Las formas tpicas en las que los evaluadores sean aptos para ser dedicadas a la
evaluaciones implican la participacin en las actividades del programa, tales como reuniones,
conferencias, eventos de difusin, o actividades similares en las que los programas de
pueden haber incidido, como ferias o eventos de la industria.
(De esta manera el
la observacin de programas de innovacin es probable que difiera de la de, digamos,
programas educativos - en este ltimo caso los evaluadores pueden encontrarse
sentado en aulas o salas comunes de los profesores. Hay una mayor
problemas de los observadores que influyen en lo que se est evaluando en estos casos;
pero proporcionalmente se estarn examinando de manera ms directa el trabajo que se est
influenciado por el programa. No es desconocido para los evaluadores que deben tomarse en
un recorrido por las fbricas, las oficinas o talleres, o para dar una demostracin de
software o la oportunidad de escuchar en la lnea de ayuda a las llamadas telefnicas, sin embargo.
Por lo general, a menos que haya problemas ticos involucrados, esas oportunidades son
bien vale la pena tomar el - que pueden proporcionar informacin muy valiosa sobre lo que el programa
se est tratando de lograr, y lo que ha ocurrido en el curso
de eventos.)
La investigacin por observacin proporciona al evaluador la oportunidad de ver cmo
el programa est en funcionamiento y / o que se responde, en la vida real
circunstancias. Normalmente, estos ajustes sern bastante naturalista, con limitada
influencia en el comportamiento de los participantes de la presencia de los evaluadores.
En reuniones ms pequeas, es posible observar una proporcin bastante alta de lo que es
sucediendo. El reto puede ser una de la grabacin de este, cuando muchas personas
estn presentes e interactuar. En reuniones ms grandes, ser necesario ser
altamente selectivo sobre lo que observan y registran, y las decisiones tendrn que
hacerse acerca de cmo asignar el tiempo a travs de diferentes partes del medio ambiente.
(Por ejemplo, un evaluador que est cumpliendo con la asistencia a un conjunto particular de
puestos de venta en una feria no podrn entrevistar a la vez a los transentes
por, o visitar otros puestos para ver si muestran alguna influencia de la
programa.)
Es importante esforzarse para validar el impresionista
conclusiones que se pueden sacar de ms observacin casual - por ejemplo,
un recuento del nmero de personas que asisten a una reunin o de prdida es mucho ms til
de la opinin de que "no muchas" personas estaban en pruebas. El tipo de cosa que uno
es tratar de observar, y el tipo de datos que sern necesarios, requieren
atencin en una etapa temprana.
Enfoques observacionales pueden ser de gran valor como fuente de
informacin de referencia para los evaluadores, incluso si la informacin que se genera hace
no formar los datos que se pueden extraer directamente en y citan. La participacin en eventos
puede dar una buena impresin de lo que estn llevando a cabo actividades y de cmo son
estn llevando a cabo y recibidos, y tambin, quizs, cmo encajan en el ms amplio
escena de la innovacin.
Informacin sistemtica puede ser desarrollado a partir de
la observacin de eventos. La observacin informal de un evento puede dar una idea
en cuanto a las cuestiones clave y posibles indicadores para elaborar en los acontecimientos futuros.
________________________________________
Pgina 118
Programas
118
6.12 Cmo y cundo se deben usar encuestas para generar datos?
Cuestionarios permiten una amplia muestra de informantes a alcanzar en
una manera relativamente rentable.
Mientras que las entrevistas cualitativas tpicamente
proporcionar informacin en profundidad sobre unos pocos casos, las encuestas cuantitativas tpicamente
proporcionar informacin estructurada ms bsica acerca de un nmero relativamente grande de
casos. (Al igual que con la mayora de las declaraciones acerca de los mtodos, hay muchas excepciones
a estas reglas.)
Las encuestas para estudios de evaluacin fueron hasta hace poco llev a cabo principalmente por postal
significa: informantes destinados se les envi una copia de un cuestionario por correo y
invitados o instrucciones para completarlo. Este mtodo se encuentra con el problema de la baja
las tasas de respuesta, a menos que existan fuertes incentivos para dar respuestas;
Una forma de aumentar las tasas de respuesta ha sido la de dar seguimiento a la inicial
cuestionario con recordatorios frecuentes, incluidas las llamadas telefnicas. Telefnicos -
entrevistas basadas ha convertido en una profesin por derecho propio, y personal capacitado
utilizando sistemas informticos de apoyo se emplea a menudo en las entrevistas
informantes industriales y de formulacin de polticas. (Estas capacidades son ahora a menudo
proporcionado por empresas especializadas de investigacin de la encuesta.)
Las encuestas son tambin a menudo
realizado utilizando correo electrnico cuestionarios y en lnea cuestionarios. Estos
tienen la ventaja de ser fcil de distribuir a un gran nmero de destino
informantes, y el suministro de material en formato electrnico que est inmediatamente lista
para procesar. Sin embargo, los problemas de la baja tasa de respuesta se aplican a estos como a
cuestionarios postales.
Por lo general, un cuestionario de un estudio de evaluacin se abordarn temas tales como:
las caractersticas del informante y la organizacin a la que representan; la
la implicacin de la organizacin en el programa en cuestin (y en cualquier otro
programas pertinentes); lo que el rendimiento de la organizacin ha sido
y si se cree que son los impactos de diversa ndole relacionados con
el programa (especialmente los que sugieren adicionalidad conductual);
si existen puntos de vista en cuanto a los impactos ms amplios del programa (por ejemplo, en
redes que pertenecen a).
El diseo de los cuestionarios se ha discutido en profundidad en muchos
textos metodolgicos, y este no es el lugar para discutir, por ejemplo,
diferentes tipos de escala, o incluso las reglas generales para la formulacin de preguntas
que tales textos explican. El diseo de un cuestionario nos obliga a confrontar la
pregunta de qu indicadores estamos empleando de manera muy cruda. Para
mantener el cuestionario a un plazo razonable, las decisiones difciles pueden necesitar
hacerse para determinar cul de los diferentes lneas de investigacin tienen que ser perseguido.
El otro gran problema al que nos enfrentamos en la investigacin de la encuesta es el de
de muestreo . Puede ser posible enviar una encuesta o abordar un telfono
entrevista a cada participante en un programa pequeo, pero con mayor
programas de los nmeros de los participantes y los interesados pueden ser
inmanejable. El muestreo al azar no siempre es el mejor mtodo para
tomar, ya que es posible que necesitemos para estratificar la muestra con el fin de estar seguros de capturar
las experiencias de algunos tipos clave de participante que se representan en los pequeos
nmeros. Las estrategias de muestreo se discuten exhaustivamente en muchos de los
guas y textos que hemos mencionado anteriormente.
________________________________________
Pgina 119
Programas
119
Figura 6.1 Aspectos clave en el muestreo
Trmino clave
Definicin
Significado
"Universo",
Teortico
Poblacin
Todo el conjunto de casos
(stos son susceptibles de ser
organizaciones o
individuos) a los que el
los resultados son para ser
generalizada.
En gran parte de la investigacin social
investigacin se intenta
hacer una generalizacin en cuanto a
lo que el valor de un parmetro
o la fuerza de una relacin
podra ser. En la evaluacin
la investigacin, estamos ms a menudo
pidiendo lo que el efecto de un
intervencin fue en especfico
casos - pero a menudo somos
interesado en saber si tales
efectos pueden ser generalizados.
Estudio
Poblacin
El conjunto de casos de
que los investigadores en
principio podra tener
acceso.
Una lista de programa
los participantes sern normalmente
disponibles, aunque algunos
individuos, organizaciones y
direcciones ya no
operar. La gama de personas
probable que sea indirectamente
influenciado por un programa
puede ser mucho ms difcil de
establecer, y puede ser
hay que ir a un directorio
de negocios o otra
organizaciones.
Muestreo
Marco
El conjunto de casos que
los investigadores intentan
acceder.
Este marco se basa en
decisiones de los investigadores
tomar en cuntas
miembros de la estudio
poblacin para intentar
contacto, y sobre qu base
(Por ejemplo, aleatorio o estratificado
muestra) estos sern seleccionados.
Muestra
Los casos en los que el
investigador es en realidad
capaz de generar til
datos.
Los datos pueden ser ms o menos
completar para diferentes casos.
Se requieren decisiones en cuanto a
lo completa una respuesta es
requerida para el caso de ser
considerado como un eficaz
miembro de la muestra, en lugar
que una falta de respuesta?
Fuente: Inspirado por Trochim (2005).
________________________________________
Pgina 120
Programas
120
6.13 Cules son los mtodos para la estructuracin e intervenciones que exploran en
el curso de la generacin de datos?
En las ciencias naturales y de algunos tipos de investigacin social (como la psicologa),
el "estndar de oro" en la produccin de datos se controla experimentos. Para una
programa de innovacin, esto significara que acta en el diseo de la
programa en s mismo, no slo en la evaluacin. El diseo debe al azar
decidir quin debe y quin no debe participar en el programa, y
a continuacin, los evaluadores pudieron comparar las experiencias de los dos grupos con el fin de
evaluar el impacto del programa sobre ellos. Ah, y no debe haber
necesitara la comunicacin entre los dos grupos, y los esfuerzos a realizar
para asegurar que no haba influencias indirectas que tienen lugar a travs de redes
o las cadenas de suministro .... Est claro que el ideal (izado) experimentos controlados se
no ser un lugar comn en el diseo y evaluacin de programas de innovacin.
Produccin y anlisis de datos en los estudios de evaluacin pueden tener oportunidades para
hacer algunos tipos de comparaciones, sin embargo. Las encuestas, por ejemplo, puede
construyen deliberadamente en los grupos de comparacin. Los grupos de comparacin no son ciertas
grupos de control , en los que un experimentador ha seleccionado quin y quin debe
No caigas en el grupo que recibi el tratamiento. Son grupos que no tienen
estado directamente involucrado en el programa que estamos evaluando, y que son tan
ms cerca posible de los que estuvieron involucrados en el programa. No puede
ser un proceso de formacin de "pares" que corresponden a las diferentes
participantes de la muestra para la atencin, o la creacin de un grupo de comparacin en la
base del tratamiento estadstico de una gran base de datos de las organizaciones en las cuales
se dispone de datos pertinentes. En la fabricacin de los Servicios de Extensin de la de Estados Unidos '
Tales encuestas grupo de comparacin Programa se utilizaron en las evaluaciones de (inter
otras cosas) la importancia del programa en comparacin con otros fondos para la investigacin
programas, y algunos de los principales impactos del Programa. Shapira y
Kuhlmann (2003) informan que se utilizaron cuando las encuestas del grupo de comparacin, el
resultados fueron ms mixtos que cuando se utilizaron las encuestas de los participantes solamente.
Mtodos estadsticos - Anlisis multivariante - permiten el tratamiento de datos
en muestras de los cuerpos que difieren en muchas caractersticas, "control" para el
efectos de los parmetros (por lo que la suya es posible dado el tamao de la muestra y
correlacin entre los parmetros). Un mtodo ms ad hoc a menudo empleado por
investigadores es establecer "pares" para comparar, los casos que son tan parecidos
como sea posible excepto en trminos de la variable crtica de inters (y su
correlatos o consecuencias - tales como los efectos de un programa
intervencin).
En el curso de la investigacin y los enfoques participativos de accin, la
intervenciones realizadas son bastante diferentes, lo que refleja los investigadores '
acoplamiento con los objetos de estudio.
________________________________________
Pgina 121
Programas
121
Recuadro 6.3 El Programa de Servicios de Extensin de Manufactura
El Manufacturing Extension Partnership (MEP) proporciona la fabricacin
servicios para fabricantes de pequeas y medianas empresas, al hacerlo, tiene como objetivo
mejorar el rendimiento y la competitividad de estas empresas. Los tipos de
servicios ofrecidos incluyen la difusin de informacin, la evaluacin, la solucin de
resolucin, remisin, y la formacin. El MEP es una iniciativa de colaboracin entre
los gobiernos federal y estatales de Estados Unidos, que tambin involucra sin nimo de lucro
organizaciones, instituciones acadmicas y grupos de la industria. Federal del MEP
patrocinador es el Instituto Nacional de Estndares y Tecnologa (NIST), en el plazo
el Departamento de Comercio de EE.UU.. Mientras el patrocinador federal, NIST, realiza
una funcin de financiacin y de coordinacin en curso, los estados son tambin importantes proveedores de fondos
de la fabricacin de los servicios de extensin. Una de las caractersticas interesantes de los EE.UU.
sistema de extensin de fabricacin es el considerable esfuerzo puesto en
la medicin del desempeo y la evaluacin.
Los resultados de los estudios de evaluacin MEP
Alrededor de 30 estudios de evaluacin del programa han sido producidos por una variedad
de los autores de los ltimos cinco aos ms o menos. Una variedad de mtodos se han utilizado
en estos estudios, con algunos utilizando ms de un mtodo. Mientras que la mayora
mtodo comn consisti en encuestar a los clientes, vale la pena sealar que la prxima
mtodo ms comn fue una encuesta que tambin utiliz un grupo de comparacin .
Los estudios de caso fueron el tercer mtodo ms utilizado. Cuando el control
encuestas de grupos se implementan, los resultados que se desprenden de la cartera de
estos estudios muestran resultados ms variados que las encuestas sin comparacin
grupos.
Perspectivas de evaluacin de MEP
El caso MEP ilustra que la evaluacin implica mucho ms que 'la recogida de
informacin ". Los recursos deben ser asignados para analizar los datos de manera que
son tiles para los administradores de programas, personal, patrocinadores y las partes interesadas externas.
Resultados (ya sea bueno o malo) es necesario explorar para comprender lo que
causada qu y por qu y cunto es atribuible al programa. Bueno
estudios de casos son a menudo vale la pena aqu. El caso MEP subraya que
la evaluacin debe ser la tarea no slo de justificar el programa de financiacin
patrocinadores, sino tambin con la promocin del aprendizaje y la mejora del programa . Si este
es para tener xito, tambin es importante que una comunidad de evaluacin puede estimular
y con el apoyo (a travs de capacitacin, talleres y la interaccin electrnica) para
permitir el desarrollo de la capacidad de evaluacin, la aplicacin de robusta y
mtodos innovadores y la difusin activa de los resultados. Esta comunidad
tener oportunidades y requisitos para participar en el dilogo sobre
resultados, las necesidades y las implicaciones con directores de programas, patrocinadores, la industria
representantes y legisladores.
Fuente: "Evaluacin de Manufactura Servicios de Extensin en Estados Unidos:
Experiencias y Perspectivas " , por Philip Shapira en P. Shapira y S, Kuhlmann (eds.
2003)
________________________________________
Pgina 122
Programas
122
6.14 Cules son los mtodos para el anlisis de datos?
El anlisis de datos debe planificarse en una etapa temprana, porque las ideas acerca
qu tipo de anlisis deben llevarse a cabo son muy importantes en
dicindole al investigador qu tipo de datos para generar y cmo codificar y
procesarla. Muchas personas se han establecido para amasar enormes volmenes de datos con
sin pensar en la precisin con que se puede utilizar, y luego se vieron
tener que subir una empinada curva de aprendizaje con el fin de extraer el sentido de la misma. Hay
son tambin a menudo muchos remordimientos sobre cmo fue diseado el cuestionario, el
los datos fueron codificados, cmo el material fue o no introduce en un ordenador
sistema. Pensando en el anlisis de datos en una temprana etapa de la obra puede ayudar a
(A) asegurarse de que usted est haciendo las preguntas correctas, con el derecho
instrumentos y (b) asegurarse de que est capturando la informacin de una manera
que se puede utilizar de manera eficiente.
Anlisis de datos cuantitativos es una cuestin de mtodos estadsticos y los medios para
la visualizacin de datos. Hay muchas guas tiles aqu, y un nmero de bien-
programas informticos conocidos para la generacin de resultados usando rutinas que van desde
lo ms bsico hasta el ms sofisticado. Lo que estos programas no hacen
as es para advertir al usuario acerca de los errores bsicos que se pueden hacer - como el uso
de las pruebas de significacin en circunstancias inapropiadas (muy comn en aplicada
investigacin social).
Anlisis de Datos Cualitativos es otra cosa - hasta hace muy poco no haba
numerosas guas sobre cmo llevar a cabo las entrevistas, pero muy poco acerca de cmo utilizar
las masas de texto que puede ser generado a partir de ellos. Saber si el
conclusiones extradas de un conjunto de entrevistas son los slidos fue en gran medida un
cuestin de la fe en el investigador. Ms recientemente se han convertido en disponibles
paquetes de software para la codificacin y el anlisis de la entrevista y otra basada en texto
datos, y varios textos de gran utilidad revisar la gama de mtodos y
buenas prcticas aqu.
Tcnicas tales como "meta-anlisis" son cada vez ms ampliamente utilizado como formas
de extraer conclusiones a partir de una serie de estudios individuales. (Por ejemplo,
Kingsley y Klein (1998) utilizaron una metodologa de meta-anlisis para analizar 123
estudios de caso de las redes industriales, concluyendo que la membresa de la red puede
se construir con el patrocinio de las organizaciones de padres y con financiacin pblica -
pero las redes que generan nuevos negocios estn asociados con la privada
el liderazgo del sector y por lo menos algn tipo de financiacin del sector privado.)
Un buen lugar para comenzar a las herramientas de anlisis de datos es examinar los distintos
manuales que estn disponibles - muchos publicada por las publicaciones de Sage, que tiene
sido muy sistemtica en la zona. Un sitio web til en la evaluacin de muchos
enlaces a anlisis de datos y otras cuestiones metodolgicas se localiza en:
http://www.edc.org/hec/eval/links.html
________________________________________
Pgina 123
Programas
123
Las fuentes para el anlisis de datos cuantitativos :
Gua til canadiense
a presentar
y el anlisis de las estadsticas:
http://www.statcan.ca/english/edu/power/toc/contents.htm
La versin en lnea de una gua de introduccin (de la GAO EE.UU., que tambin ofrece
otros recursos de evaluacin correspondiente):
http://www.gao.gov/special.pubs/pe10111.pdf
Las fuentes para el anlisis de datos cualitativos:
Un diario en lnea se encuentra en: http://www.qualitative-research.net/
Las fuentes de software: http://www.uwm.edu/People/brodg/CQDAbib.html
La gua clsica para el tema es: Miles, MB, y Huberman, AM (1994).
El anlisis de datos cualitativos: Un libro de expansin (2 ed.) London: Sage
Patton, MQ (1990) Evaluacin Cualitativa y Mtodos de Investigacin (2 ed.)
Beverly Hills, Sage,
________________________________________
Pgina 124
Programas
124
6.15 Cules son las ventajas de combinar cualitativa y cuantitativa
enfoques?
Los datos cuantitativos son poderosos medios de expresar el alcance y la escala de
problemas e impactos, y se convierten ms fcilmente en los valores monetarios como
requerido en el anlisis de costo-beneficio y esfuerzos para calcular las tasas de retorno sobre
inversiones. Los datos cualitativos pueden proporcionar una idea de los procesos, ya que tienen
han experimentado. Algunos polticos exigen resultados cuantificados, prefiriendo
cifras y grficos; otros prefieren narrativas y estudios de caso. Uno de nuestra
entrevistados, con sede en Suiza, sealaron que:
"Hay una cierta tensin entre los evaluadores prefieren un
cualitativa enfoque y los que prefieren una cuantitativa uno.
Esta tensin lleva a una incertidumbre para los responsables polticos como a la
estrategia de evaluacin adecuado que debe seguir. Una ms
intenso debate entre los diferentes "escuelas" de la evaluacin
pensamiento ayudara a que todos los involucrados se dan cuenta de que los mtodos podran
ser utilizado complementariamente entre s ".
En algunos casos, existen fuertes presiones institucionales en favor de uno u
otro enfoque. Por lo tanto, la necesidad en los EE.UU., el papel de la evaluacin es muy
mucho ms orientada a la justificacin del gasto pblico y de utilizar la evaluacin como
proporcionar evidencia de la repercusin de los programas. En los EE.UU. esto ha llevado a
nfasis en una ms cuantitativa enfoque de medicin del desempeo en
trminos de objetivos: la Ley de Desempeo del Gobierno EE.UU. se describe a continuacin tiene
impuesto esta en las agencias en cada mbito de actuacin, por ejemplo. (Ver Cuadro 6.3)
Anlisis puramente cuantitativo no es apropiado para algunos tipos de innovacin
programa, sin embargo. Por ejemplo, la promocin de la formacin de agrupaciones es una
importante objetivo poltico en muchos pases. Con el fin de evaluar cualquier cambio
en el volumen y la calidad de los vnculos entre las partes interesadas en un clster,
evaluadores pueden necesitar para examinar las interacciones con una mezcla de enfoques
(Incluyendo encuestas, entrevistas y algunos intentos de mapeo de red).
Frechtling y Sharpe (1997) se centraron en los "mtodos mixtos", en referencia a un
combinacin de mtodos cualitativos y cuantitativos en los estudios de evaluacin.
13
A la revisin de los argumentos a favor y en contra de cada enfoque, y consideran que la
argumentos a favor de la combinacin de los dos, como ser:
Mejora de la triangulacin de los resultados, ya que los diferentes tipos de tcnica
se estn utilizando para obtener una visin de los mismos fenmenos (o diferente
aspectos de un mismo fenmeno), proporcionando as mejores perspectivas sobre la
situacin compleja.
13
El manual se refiere a la evaluacin de los programas de enseanza y la educacin, pero gran parte de
la discusin es ms genrico.
________________________________________
Pgina 125
Programas
125
Mejora de la medicin y los indicadores (por ejemplo, mediante el uso de enfoque
grupos para identificar las posibles preguntas para una encuesta, o hacer comentarios sobre los borradores
de tales preguntas).
Identificar los puntos donde puede ser necesario el marco de evaluacin para ser
extendida - temas que deben ser cubiertos, inconsistencias en los resultados que
deben ser abordados, y similares.
A estos agregaramos:
Capacidad de combinar una visin en profundidad y la comprensin de los procesos con un sentido
del amplio paisaje y la medida en que los casos individuales pueden ser
generalizada.
Capacidad de generar diferentes tipos de cuenta de tal manera que diferentes
las audiencias se pueden abordar.
________________________________________
Pgina 126
Programas
126
Recuadro 6.4 El Desempeo y Resultados del Gobierno Act (GPRA)
En 1993, el gobierno federal de EE.UU. aprob el desempeo del gobierno
and Results Act (GPRA). Esta Ley se inspira en la legislacin similar ya
en su lugar en los estados, y en varios otros pases. La ley requiere que cada
agencia para hacer un plan estratgico cada tres aos; traducirla en especfico
rendimiento de los planes anuales de objetivos cuantificados sobre los indicadores de desempeo;
e informar cada ao sobre si se cumplieron los objetivos.
Debido a que los programas de IDT orientadas a la industria ya estaban fuertemente evaluados,
la mayora de las agencias federales han sido capaces de utilizar indicadores de rendimiento existentes
para responder a los requisitos de GPRA. NIST, por ejemplo, se ha basado en la
Caso ATP estudia en su informe sobre la ejecucin. La necesidad de rendimiento
indicadores a nivel federal ha dado forma tambin lo que sucede en los estados.
Programa de extensin de la fabricacin del NIST ha dado forma a la lista de los datos de seguimiento
e indicadores de desempeo utilizados en muchos programas de extensin del estado.
Siguiendo el patrn en el sistema de los EE.UU. en general, sin embargo, ha sido GPRA
implementado altamente desigual. Muchos de los programas enumerados anteriormente son demasiado
pequea para que aparezca en su cuenta en GPRA planes estratgicos o informes de rendimiento.
Incluso los programas federales en esta categora pasan por diferentes sectores de la
El presidente de la Oficina de Administracin y Presupuesto, ya travs de diferentes
Los comits del Congreso. Cada una de estas oficinas y comits ha tendido
para desarrollar sus propias expectativas, que varan considerablemente. Elementos de la industria
esquemas orientados IDT que no toman la forma de programas con presupuestos
(por ejemplo, crditos fiscales) no estn sujetos a examen GPRA en absoluto. En trminos de
impacto, la evidencia hasta la fecha no indica que el rendimiento GPRA
medida est teniendo un impacto significativo en la asignacin de recursos por
legislaturas. A nivel estatal, los indicadores de rendimiento parecen ser reportados en lugar
superficialmente, y ancdotas de xito tienen ms efecto. A nivel federal, un
nuevo informe sobre la aplicacin GPRA identifica la falta de uso de los indicadores como
un factor de-motivador para muchos organismos. La falta de conexin a los recursos
asignacin no quiere decir que la Ley en su conjunto no est teniendo un impacto.
Muchos observadores sealan que la planificacin y el desempeo estratgico de evaluacin es
agencias obligando a pensar a travs de sus misiones con mayor cuidado y asegurarse de que
lo que estn haciendo en una base da a da apoya esas misiones. As
los cambios en la asignacin de recursos internos puede ser un mejor indicador del impacto de
la ley de los cambios en el Congreso. Asimismo, el desarrollo de indicador
los sistemas, en lugar de los niveles reales de los propios indicadores, pueden tener
el mayor impacto en las operaciones de la agencia.
Fuente: Una revisin internacional de los mtodos para medir la eficacia relativa
de los instrumentos de poltica tecnolgica (julio de 2001), Informe de Tecnpolis
(Pases Bajos), el Instituto de Tecnologa de Georgia (EE.UU.) y la Universidad de
Sydney (Australia).
________________________________________
Pgina 127
Programas
127
Recuadro 6.5 Mixed-Mtodo de evaluacin: el caso de EUREKA
La primera evaluacin de la EUREKA iniciativa (Ormala et al., 1993) proporciona un
til ejemplo de la combinacin metodolgica cualitativa y cuantitativa
enfoques. Creado como una iniciativa intergubernamental en 1985, EUREKA
tiene como objetivo mejorar la competitividad europea a travs de su apoyo a los
empresas, centros de investigacin y universidades que llevan a cabo paneuropeo
proyectos para el desarrollo de productos innovadores, procesos y servicios. EUREKA
ofrece a los socios del proyecto un acceso rpido a una gran cantidad de conocimientos, habilidades y
experiencia en toda Europa. A travs de un proyecto EUREKA, los socios desarrollan nueva
tecnologas para las que estn de acuerdo los Derechos de Propiedad Intelectual y construyen
asociaciones para penetrar en nuevos mercados.
El anlisis de la evaluacin se basa en tres niveles de informacin que utilizan
diferentes tanto cualitativos como cuantitativos enfoques metodolgicos.
Nivel 1 fue la compilacin de datos sobre las caractersticas bsicas de los proyectos
y los participantes, realizadas a travs de una recopilacin de datos en poder de nacionales
administraciones y otras fuentes documentales.
Anlisis de Nivel 2 consisti en la identificacin de directa e indirecta econmica
efectos de los proyectos. Esto implic el envo de cuestionarios distintos a los consumidores industriales
y los participantes no industriales en el marco de la muestra. Las tasas de respuesta parecen
muy bueno, con un promedio de alrededor del 57%.
Nivel 3 informacin se recogi a travs de un anlisis en profundidad de un
muestra representativa de los proyectos. Una muestra representativa de 73 proyectos
(17,5% del total) fue seleccionado para ser entrevistado en profundidad de los cuales 70 eran
finalmente completado. Estos problemas slo pueden abordarse a travs de la
combinacin de ambos enfoques cualitativos y cuantitativos, como se indica
anteriormente.
________________________________________
Pgina 128
Programas
128
6.16 Qu es el Anlisis Costo-Beneficio?
El anlisis de costo-beneficio (ACB) se basa en la simple idea de que un proyecto o
programa puede ser evaluado en trminos de las clases de beneficios y costos
que estn asociadas con ella. Estos beneficios y costos se ponen en una comn
marco contable mediante la asignacin de valores monetarios a los mismos. Entonces el
mritos relativos de los diferentes proyectos o programas, o la eficiencia global del
una sola opcin, se puede evaluar aritmticamente. Esta simple idea requiere un
nmero de bastante complejas - y con frecuencia polmicos - pasos para ponerlo
en prctica:
(Ex post) de medicin o (ex ante) la estimacin de los costos y beneficios -
este se encuentra con el conocido problema de limitaciones en ser capaz de cuenta
para el rango completo de costos y beneficios (incluyendo inesperado
resultados).
Asignacin de valores monetarios a estos - en particular controversia ha surgido
alrededor de (a) la valoracin de la salud humana y la vida (adjuntando un valor monetario a
una vida individual puede causar un profundo malestar) y (b) la valoracin de
sitios ambientales y artefactos histricos (donde puede haber
modificacin o destruccin de bienes cuyo valor a futuro irremediablemente
generaciones es impredecible).
Decidir cmo hacer frente a las incertidumbres - los anlisis de costo-beneficio a menudo han
se llev a cabo en el supuesto de que un futuro "ms probable" es el nico
futuro que podemos o debemos planificar.
Decidir cmo hacer frente a las cuestiones de la equidad y la distribucin desigual de los costos
y beneficios que son susceptibles de surgir - ha habido controversias en cuanto a
el trato desigual de personas diferentes, por ejemplo en el supuesto
anlisis de costo-beneficio de los programas de transporte que el tiempo de los ejecutivos
se debe asignar un valor mayor que el de las amas de casa. Generalmente,
CBA no trata de evaluar los impactos en los diferentes grupos, en el supuesto
que las valoraciones del mercado proporcionarn informacin suficiente para abarcar
impacto en la sociedad en general. Podra, sin embargo, que permitan evaluar el
impactos diferenciales integradas, aunque otros enfoques son ms a menudo
aplicado a tales cuestiones.
Determinar la forma de descontar los costos y beneficios futuros - , mientras que el estndar
las tasas de descuento econmicos se pueden aplicar, estas pueden conducir a muy pequea
importancia que se adjunta a los costos o beneficios a largo plazo .
Costo-beneficio se acerca las necesidades de toma de decisiones de ajuste y rutinas tan bien que
estn profundamente arraigados en la prctica institucional. Con tal de que no son
visto como la respuesta completa (ms bien son uno de un nmero de enfoques
para evaluacin), y siempre y cuando no es un reconocimiento apropiado de
incertidumbres y
discutible
supuestos
(Especialmente
como
saludos
monetizacin), pueden ser tiles en la evaluacin. La cuestin principal es
si podemos y de hecho debemos tratar de reducir los objetivos de poltica y
decisiones en los parmetros monetarios.
________________________________________
Pgina 129
Programas
129
Tabla 6.3 Tipos de costos y beneficios privados y sociales
Individual
Partners
Programa
Patrocinador
(Gobierno)
Sociedad
Beneficios
En utilidad neta
Lucro
Adicional
Los beneficios de la
Traslados
no econmicos
Beneficios
Costo de oportunidad
de Participacin
Los ingresos tributarios
Disminucin de la
Otras subvenciones
Costos de Impuestos
Aumento de la
Ingreso Nacional
(Efecto directo)
efectos indirectos
(Efecto indirecto)
Oportunidad
Costos (Cruz
Ganancias del
Otro Potencial
Programas)
Costos
Directo
Participacin
Costo
Prdida de
Las subvenciones del
Otro
Programas
Project &
Administracin
Costos
Programa
Costos
Fuente: Cuadro 12, en Wolfgang parcela y Birgit Woitech "Costo Beneficio
Anlisis "de la seccin 4.7 del informe ePUB (Comisin Europea, 2002).
Se recomienda utilizar esta fuente para una evaluacin detallada y prudente de ACB como
aplicado a los programas de investigacin, con una bibliografa til de los enfoques de
CBA.
________________________________________
Pgina 130
Programas
130
6.17 Cmo puede el anlisis coste-beneficio se utiliza?
De parcela y Woitech (2002, p.144) resumen tilmente los pasos de costo-beneficio
Anlisis de la siguiente manera:
" Paso 1: Identificacin y separacin de los costos y beneficios pertinentes
[...] los costos y los beneficios pueden ser directos o indirectos, materiales o inmateriales,
interno o externo. Los problemas pueden surgir de los costos o beneficios que no son
asignado a un determinado proyecto o programa.
Paso 2: Estimacin del valor monetario de los costos y beneficios
Todos los costos y beneficios pertinentes deben ser cuantificados en trminos monetarios. Donde
existen mercados suficientemente perfectos precios de mercado pueden ser utilizados para determinar la
impactos. Las dificultades surgen cuando los precios de mercado no reflejan el verdadero
costos o beneficios marginales. Esto es a menudo el caso de los intangibles y externa
efecto. Como se describe en la seccin I SOMBRA precios deben calcularse al valor de
estos efectos.
Paso 3: Descontando
Dado que los costos y beneficios que ocurren en diferentes momentos que deben ser descontados a
una tasa apropiada para hacerlos comparables. La eleccin de la tasa de descuento adecuada es
una tarea importante. Por lo tanto, los anlisis de sensibilidad se recomiendan con el fin de
variar sistemticamente parmetros inciertos para ver qu efecto tienen sobre la
resultados.
Paso 4: La agregacin
Despus de descontar los diversos efectos de un proyecto o de valores presentes netos del programa,
relaciones beneficio-costo o tasa interna de retorno se pueden calcular ".
En trminos de contribucin a la evaluacin de manera ms amplia, ex ante CBA debe ser un
herramienta til para el desarrollo de polticas y programas exitosos. Es
ms importante que la precisin con la que se prev a posteriori los costes y
beneficios. Del mismo modo, a posteriori CBA no es principalmente una cuestin de la evaluacin de la
la precisin de las estimaciones ex ante, sino una fuente de conocimiento para la poltica futura.
La realizacin de un ACB no es slo una cuestin de rutina de la creacin de una hoja de clculo para
informarnos sobre el "resultado final"; puede ayudar a las organizaciones a entender la clave
fuentes de incertidumbre, qu riesgos existen, y as sucesivamente.
NERA (2004), la revisin de las lecciones aprendidas sobre el enfoque en un gran riesgo
configuracin de directiva propensos
14
, Concluy que: "donde existe una incertidumbre significativa,
anlisis de escenarios debe ser utilizado para probar la poltica bajo una gama de posibles
resultados; y en la publicacin de la ACB, [patrocinador] debera identificar cualquier
importantes reas de incertidumbre o riesgos para el xito de la poltica, incluyendo
algn ejemplo de la gama y las probabilidades inform ... "(p21). Ex post CBA
debe llevarse a cabo cuando: "haba una incertidumbre significativa sobre el
impacto de una poltica antes de la aplicacin; Se proponen intervenciones similares en
otras reas; y costes en curso son altos en relacin con los costos hundidos ". NERA
recomienda "que el ex foco puesto CBA en investigar los impactos de polticas especficas
en lugar de intentar necesariamente una evaluacin del impacto neto total (es decir,
intentando reproducir un ante CBA ex en forma ex post) "(p24-25).
Aunque estas conclusiones provienen de una arena poltica diferente, que parecen
ampliamente aplicable a la evaluacin de programas de innovacin.
14
El estudio de evaluacin del impacto normativo ocupa principalmente en relacin con las normas alimentarias,
aunque se prest atencin a los ejemplos de otras circunstancias.
________________________________________
Pgina 131
Programas
131
Recuadro 6.6 El anlisis de costo-beneficio social para la evaluacin de la I + D
programas: un ejemplo de Australia
"La metodologa bsica es uno de un marco de costo-beneficio social, basndose en la
importante (pero descuidado) obra de Flster (1991). Gran parte de la utilidad de la
marco se deriva de la forma en la que se obliga al evaluador que ser especfico acerca de dnde
y cmo es probable que se manifiesta, as como la enumeracin de los beneficios o los costos, aunque
bastante crudamente, las probables magnitudes.
El marco de costo-beneficio da una apariencia de precisin y una base cientfica
que es slo de forma incompleta fundada. Muchos de los parmetros esenciales para la realidad
la enumeracin de los beneficios de los subsidios de innovacin no estn disponibles con una gran precisin, si
en absoluto. Esto implica que un cierto grado de anlisis de sensibilidad debe ser parte de cualquier
evaluacin, y, en el apartado de "resultados de costo / beneficio", se explora cmo los resultados varan
como cambiamos los parmetros "
NSB MARGEN PROPAGACIN DE FUGAS MEB ADMIN CUMPLIMIENTO RENTSEEK
=
+
-
-
-
-
-
, En donde
MARGEN
PB
PB
i ER r
r
subsidio
mercado
subsidio
mercado
=
-
=
-
(
)
(
)
es la diferencia (si los hay) entre
la tasa privada subsidio puesto de retorno (r
subsidio
) En I + D (inducido
yo
ER

) En comparacin con
usos alternativos de esos recursos (r
mercado
). ER es elegible de I + D e i es el incentivo
tasa (igual a 0 si no hay ningn aliciente y en 1 si la totalidad de la I + D llevada a cabo por una empresa de
que es nuevo);
PROPAGACIN = i ER son beneficios indirectos de R + D inducida (a una velocidad de por
dlar de I + D inducida). Retornos indirectos son aquellos beneficios derivados de la I + D el gasto
que no son capturados por el inversor privado;
MEB ms ER m R
=

=.
es la carga excesiva marginal de impuestos, es decir, los costos sociales
asociado con aumento de los impuestos con el fin de financiar reducciones en ingresos debido a los negocios
el gasto en I + D. elegibles MEB es igual a mR donde m es el exceso marginal
carga por cada dlar de los ingresos fiscales sacrificados y R es la condonacin de ingresos fiscales.
FUGA es la fuga de los beneficios fiscales a los accionistas extranjeros. Tales fugas ocurren solamente en
el elemento de transferencia de la I + D. ADMIN son los costos administrativos del Gobierno de la
programa, incluyendo los gastos puramente administrativos de la crianza de los ingresos fiscales (que son
no incluido en el MEB). CUMPLIMIENTO mide los costos de cumplimiento empresarial
asociado con el programa. Por ltimo, RENTSEEK representa los recursos gastados por
las empresas y sus representantes en el cabildeo para disposiciones ms generosas o en tratar de
resistir la erosin de los beneficios ".
Fuente: Tomado de Lattimore 1998
________________________________________
Pgina 132
Programas
132
6.18 Los mtodos que utilizamos varan segn el tipo de evaluacin?
Principios metodolgicos siguen siendo de la misma cualquier clase de evaluacin
estamos adoptando, aunque surgen algunas cuestiones especficas cuando, por ejemplo, estamos
la adopcin de enfoques ms participativos. (Por ejemplo, puede haber algunos
trade-off entre el rigor y la participacin, aunque este conflicto aparente es
probablemente algo exagerada.) La atencin tambin debe ser abordado a
si nos dedicamos a la ex ante, en tiempo real, o la evaluacin ex post, ya que el
diferentes circunstancias involucradas en estos diferentes puntos de tiempo son susceptibles de
afectamos a qu tipo de datos podemos emplear y qu mtodos son, por tanto,
disponible.
Vamos a considerar estos tres tipos de evaluacin a su vez, a continuacin, pero puede
ya compararlas y contrastarlas en trminos generales:
evaluacin ex ante no puede tener datos sobre el impacto real de trabajar, a menos que
se basar en los resultados de los estudios piloto.
evaluacin en tiempo real se puede utilizar observaciones y examinar los procesos como
que se estn desarrollando.
Evaluacin intermedia puede ser capaz de hacer algunas de estas cosas que en tiempo real
evaluacin puede,
Evaluacin Ex Post puede examinar los impactos, aunque estos por lo general tienden a
ser a corto plazo y los inmediatos.
Muchos de los mismos mtodos pueden ser aplicados en los diferentes tipos de evaluacin,
en la medida en que tipos similares de datos estn disponibles.
________________________________________
Pgina 133
Programas
133
6.19 Qu mtodos son tiles para ex ante La evaluacin?
Tpicamente, ex ante las evaluaciones se utilizan para proporcionar respuestas a las preguntas de
incertidumbre y riesgo - Cules son los posibles efectos e impactos de esta poltica
intervencin? Qu hay para esta inversin del programa - es que vale la pena en
trminos de valor por dinero, en trminos de lograr la deseada (social,
resultados ambientales, econmicos)? En el momento de una evaluacin ex ante, que
no tenemos datos sobre los impactos - que es una de las razones por los autores de este
Gua a regaadientes el uso del trmino "evaluacin" para estas actividades - a menos
se han realizado ensayos piloto para aprovechar, o el programa es muy de cerca
sobre la base de un programa anterior. Incluso si hay datos como de piloto
ensayos o programas anteriores, es poco probable que los resultados pueden ser simplemente
generalizado al caso actual. (Pilotos, en particular, a menudo dan lugar a una alta
Las expectativas de que posteriormente se deprimen: parece que la energa inicial y
entusiasmo rinde dividendos, pero que esto es difcil de mantener en el transcurso
de un programa ms grande. Adems, a menudo los reclutas a los pilotos - y esto tambin puede
aplicar a precursor programas - son los "fruta madura", los casos en los que
xito es ms probable.)
Dada la falta de datos sobre el impacto del programa en s, evaluaciones ex ante se
suelen implicar algn ms o menos sofisticado enfoque de modelado. En
la prctica, esto ha sido a veces una cuestin de la aplicacin de la relacin costo-beneficio
anlisis y tcnicas afines, como el intento de estimar los efectos directos e
impactos indirectos de un programa a travs de las tablas input-output. Ms a menudo,
mtodos bastante menos formales (y restrictivas) se utilizan a menudo. La innovacin
proceso es conocido por ser un complejo, con diferentes innovaciones siguiente
patrones que varan considerablemente en detalle, aunque podemos emplear con frecuencia S-
curvas para representar las velocidades de difusin, y as sucesivamente. Si bien gran parte de anlisis de polticas
se basa implcitamente en un modelo lineal de innovacin, que ha sido ampliamente
descontado por los investigadores en el campo, ms complejo anlisis de la innovacin
sistemas y clusters industriales estn informando el desarrollo del programa - y
anlisis ex ante - en las instituciones con una cultura ms avanzada de
evaluacin. A menudo, la complejidad de las relaciones siendo examinado - y
intervenido en - es tal que los mtodos de juicio de expertos se emplean, por ejemplo,
el uso de paneles y grupos de trabajo en los estudios de prospectiva.
________________________________________
Pgina 134
Programas
134
Recuadro 6.7 Los mtodos utilizados en la evaluacin ex ante
El ex ante evaluacin de programas y polticas puede emplear una serie de
metodologas, que incluyen:
Los estudios de prospectiva: Estos utilizan una bsqueda de consenso estructurado
metodologa basada en los juicios de expertos. En pocas palabras,
proporcionar una visin ms social, evidente, econmico y
oportunidades y los resultados disponibles para desarrollo tecnolgico
planificadores de polticas.
Modelizacin y simulacin: Estos utilizan modelos cuantitativos
enfoques para derivar una nica o una serie de escenarios posibles
(A travs de la modificacin de variables clave) a fin de estimar la
impactos socio-econmicos de las intervenciones polticas.
tcnicas de costo-eficiencia: Una vez ms, stos utilizan cuantitativa o semi-
enfoques cuantitativos para evaluar los costos y beneficios
asociado con la intervencin de la poltica.
tcnicas de costo-beneficio: Como indica su nombre, este enfoque es
utiliza para comparar, en trminos monetarios, la gama de social y privado
costos y beneficios de un programa a fin de comprobar que la
equilibrio entre los costos y beneficios es positiva. La
tcnica tambin se puede adaptar para incorporar incertidumbre y el riesgo.
Fuente: parcela y Rojo, 2002 - RTD Evaluacin Herramientas
________________________________________
Pgina 135
Programas
135
6.20 Qu mtodos son tiles en la supervisin?
En esta Gua, tomamos "seguimiento" a ser el proceso del programa de examen
actividades durante el transcurso del programa. Es ms de una rutina
actividad de gestin de una evaluacin en tiempo real. Esencialmente, se trata
el examen de las actividades y gastos para determinar si stos son
proceder de acuerdo al plan, si se tropieza con problemas, y
as sucesivamente. En algunos casos, el monitoreo puede tomar los amplios objetivos y actividades
del programa por sentado, y no se ocupa de sondear el
efectos e impactos del programa, excepto la medida en que estn afectando
progreso previsto. Sin embargo, el monitoreo ofrece una valiosa oportunidad para
captura, de forma rutinaria y cerca del momento en que se genera, informacin de
relevancia a las salidas, los objetivos, el rendimiento y el progreso de la
programa. De esta manera se evita o, al menos, facilita la frecuencia de recursos-
intenso proceso de recopilacin de datos necesaria por muchos ex post evaluaciones.
Como tal, el monitoreo puede emplear una variedad de cualitativo, cuantitativo y
mtodos economtricos, similares a las empleadas en ex post evaluacin, a
la consecucin de sus objetivos primarios de recogida de informacin. Por ejemplo, aparte
desde la recogida sistemtica de informacin de salida de la rutina y los datos de actividad
(Por ejemplo, publicaciones, proyectos realizados, la utilizacin de los recursos, la formacin
de las conexiones de red, etc), las tareas ms analticas se pueden realizar, tales
como entrevistas o encuestas a los participantes del programa para revisar no identificado
los resultados del proceso, las encuestas de los beneficiarios del programa para comprobar el
beneficios no anticipados, etc
________________________________________
Pgina 136
Programas
136
Recuadro 6.8 Mtodos para el Monitoreo
El kit de herramientas de AmeriCorps (2003) hizo la siguiente evaluacin de
ventajas y limitaciones de algunos de la monitorizacin ms frecuente
mtodos:
Mtodo
Caractersticas
Ventajas
Restricciones
"Entrevistas"
Se recogen datos
por va oral. El entrevistador
pide claramente definido,
preguntas sistemticas.
Por lo general, las preguntas son
predeterminado y
limitada a una determinada
tema. A veces
existen adicional
preguntas formuladas a
provocar una ms detallada
respuesta.
Los datos
demostrar especfica
ejemplos de la
resultado observado de
los programas.
Entrevistas permiten
flexibilidad.
El entrevistador debe
ser experto en el
proceso de
entrevistas y
llevar a cabo la
entrevistas en un
de manera sistemtica para
garantizar imparcial
resultados.
encuestas
Se recogen los datos
en un formato escrito.
Cada encuestado
proporciona datos sobre un conjunto
de claramente definido
preguntas.
Los datos pueden ser utilizados
para demostrar
ejemplos especficos de
el observado
resultado de
programas.
Es difcil
equilibrar especfico y
preguntas generales
y asegurarse de que
grande o inesperado
cuestiones que no son
fallado. Estudio
instrumentos deben estar
terminado
constantemente para evitar
resultados sesgados.
'Enfoque
Grupos '
Un moderador gua una
discusin en grupo
participacin de seis a diez
personas
en representacin especfica
grupos de inters.
Los grupos focales proporcionan
especfica, pertinente
datos. Grupo
interaccin puede
producir ms
informacin de la que
entrevistas individuales.
Un conjunto especfico de habilidades
se requiere de la
grupo de enfoque
moderador. Los datos son
difcil resumir
sucinta.
________________________________________
Pgina 137
Programas
137
6.21 Qu mtodos son tiles en tiempo real y evaluaciones intermedias?
En esencia, la evaluacin en tiempo real se extiende el nivel y detalle de la evaluacin
ms all de la acumulacin de ms rutinizada de los datos y la informacin inherente a
monitoreo (vase ms arriba). Un tratamiento detallado de evaluacin en tiempo real es
presentada en el captulo 4.
Evaluacin en tiempo real se puede utilizar muchos de los mtodos utilizados en ex post
evaluaciones (vase ms adelante), aunque es, por supuesto, no puede utilizar datos que pueden
slo se genere despus de la terminacin del programa.
En tiempo real
evaluaciones tienen la gran ventaja, sin embargo, de ser capaz de utilizar
tcnicas de observacin. Los evaluadores pueden participar en una amplia gama de
las actividades del programa, la grabacin y actividades que documentan, conseguir un control sobre
los procesos que estn en marcha. El proceso de participacin es susceptible de
hacer de la evaluacin un pedazo de la investigacin-accin , en la que los evaluadores
s puede intervenir en los procesos. Normalmente los trminos de referencia
se les da, ser necesario que lo hacen, a pesar de que es posible especificar que
se adopta una posicin ms independiente (al menos por un periodo de tiempo). Tpicamente,
los evaluadores informarn sobre sus conclusiones, ya que se alcanzan, y
esto se utiliza para mejorar el rendimiento del programa de una manera continua.
El principal peligro con tal postura es que los evaluadores se convertirn en
"Capturado" por el programa, sintiendo como la lealtad a ella que no son capaces de
hacer juicios objetivos. La exposicin de sus puntos de vista y la base de pruebas para
externos pueden ayudar a evitar esto. El peligro de haber "separado" y
evaluadores uncommunicative mirando un programa de innovacin es que
los participantes pueden llegar a ser cada vez ms sospechoso de las ideas e intenciones
observadores de silenciosos.
Las evaluaciones intermedias generalmente se encargaron donde se encuentran algunos
impactos que pueden ser evaluados, y por lo tanto tendrn ms de las cualidades de la ex
Publicacin de las evaluaciones.
________________________________________
Pgina 138
Programas
138
6.22 Qu mtodos son tiles para Ex Post de Evaluacin?
El ePUB RTD Evaluacin Toolbox ofrece un panorama til de la gama de
mtodos y enfoques que pueden emplearse para ex post y en tiempo real
evaluacin de los programas. (Vea la ilustracin de abajo, Recuadro 6.7.) Abarcan la
toda la gama de mtodos discutidos ms arriba, aunque la terminologa empleada
es bastante diferente de la utilizada aqu.
La caracterstica principal de ex post evaluacin es que podemos esperar para detectar y
evaluar el impacto del programa, aunque a veces puede que tengamos que
examinar intermedia en lugar de impactos a largo plazo.
________________________________________
Pgina 139
Programas
139
Recuadro 6.9 Los mtodos empleados en el ex-post evaluacin
Mtodos Cuantitativos
anlisis de los datos estadsticos
o Encuestas de Innovacin : proporcionan datos bsicos para describir el proceso de innovacin,
que se resumen utilizando estadstica descriptiva.
o Evaluacin comparativa de los estudios: Estas comparaciones de permisos entre los conjuntos de entidades,
basado en un conjunto relevante de indicadores y acompaado de una razonada
explicacin de sus valores.
enfoques de modelado
o Modelizacin macroeconmica y simulacin de enfoques : Se utilizan para proporcionar
una evaluacin del impacto socio-econmico ms amplio de intervenciones polticas.
O modelado microeconomtricas : Estos rangos de enfoques permiten el estudio de la
efecto de la intervencin poltica en una variedad de niveles (particulares, institutos, empresas,
etc.) Mecanismos permiten el control de los acontecimientos hipotticos, a travs de la
especificacin de modelos que permiten la estimacin de los efectos sobre el resultado de
los participantes tuvieron el programa no hubiera tenido lugar.
o Anlisis de productividad se acerca : Estos permiten evaluar el impacto de
De I + D sobre el crecimiento de la productividad en los diferentes niveles de agregacin de datos. Este conjunto de
enfoques es particularmente relevante para el anlisis de los efectos ms amplios de la I + D
en la economa.
o grupo de control se acerca : Estos evaluadores de permisos para capturar el efecto de
programas en los diferentes participantes (y, en ciertos casos, los no participantes)
utilizando tcnicas estadsticamente sofisticados.
Los mtodos cualitativos y semi-cuantitativos:

Las entrevistas y estudios de caso : Estos enfoques se basan en la observacin directa de
eventos de origen natural, generalmente desde la perspectiva de programa
participantes y las partes interesadas, para investigar las conductas, estimulados por el
programa de innovacin, en su entorno social indgena.

El anlisis de costo-beneficio : A travs de la evaluacin de todos los aspectos econmicos y sociales
efectos de un programa, estos planteamientos permiten a los evaluadores a verificar si las
un programa (o proyecto) es econmicamente eficiente

Paneles de Expertos / Peer Review : Este tipo de enfoque se utiliza frecuentemente para medir
produccin cientfica, en el que confan en los cientficos tienen la percepcin de la comunidad cientfica
contribuciones de otros compaeros. Como tal, la revisin por pares es el ms ampliamente utilizado
mtodo para la evaluacin de la salida de la investigacin cientfica. Sin embargo, la
enfoque tambin se ha usado para la evaluacin de la colaboracin en I + D
programas, tales como Eureka.

Anlisis de Redes : Acercamientos de este tipo permiten el anlisis de la estructura de co-
las relaciones de explotacin y las consecuencias de las decisiones de los participantes sobre
acciones. Proporcionan explicaciones de los comportamientos observados mediante el anlisis de
sus conexiones sociales en redes.

Foresight Evaluacin / Tecnologa : aunque ms tpicamente utilizado para ex ante
evaluacin, estos enfoques pueden ser utilizados para identificar posibles desajustes en el
eficacia estratgica de los proyectos y programas.
Fuente: parcela y Rojo, 2002 - RTD Evaluacin Herramientas
________________________________________
Pgina 140
Programas
140
Recuadro 6.10 Mtodos en El Programa de Tecnologa Avanzada
La ATP tiene, desde 1990, a condicin de financiacin de I + D a las empresas estadounidenses que han hecho
propuestas para proseguir las tecnologas innovadoras, en respuesta al anuncio de un concurso
para su financiacin. Las propuestas son evaluadas en trminos tcnicos y econmicos, con la seleccin de ATP
tecnologas que pueden ser tanto de alto riesgo y alta rentabilidad, para muchas industrias y
aplicaciones. ATP ha utilizado una variedad de mtodos de evaluacin para medir contra la misin, como
se representa a continuacin.
Mtodo
Breve Descripcin
Ejemplo de Uso
Analtica /
Conceptual
Modelado
La investigacin de los conceptos subyacentes
y el desarrollo de modelos para una mejor
entender un programa, proyecto o
fenmeno
Para describir conceptualmente el
caminos por los que desbordamiento
Pueden aparecer efectos
Estudio
Preguntando a varias partes de un uniforme
un conjunto de preguntas para estadstica
anlisis
Para averiguar cmo muchas empresas
han licenciado sus recin
La tecnologa desarrollada para los dems
Estudio de caso -
descriptivo
La investigacin en profundidad un programa,
proyecto, la tecnologa, o la instalacin
Para contar cmo una empresa particular,
se form en participacin, como el
colaboracin funcion, y las razones
para el xito - o falta de ella.
Estudio de caso -
econmico
estimacin
Adicin de la cuantificacin de los derechos econmicos
efectos a un estudio de caso descriptivo,
utilizando, por ejemplo, de costo-beneficio
anlisis
Para estimar si, y en qu
tanto, los beneficios de un proyecto superan
su coste
Econmico y
estadstico
anlisis
El uso de la estadstica y la econometra
para analizar los vnculos entre
econmico y social
fenmeno, y prever
efectos econmicos
Para determinar la financiacin pblica
afecta a la financiacin privada de la investigacin
Sociomtrico y
red social
anlisis
La identificacin y el estudio de la
estructura de las relaciones de
aumentar la comprensin de los sociales /
comportamiento organizacional y
resultados econmicos relacionados
Para saber cmo pueden ser los proyectos
estructurado de manera que la difusin de
conocimiento resultante puede ser
aumentado
Bibliometra
Seguimiento de la cantidad de la investigacin
resultados y la evaluacin de la
frecuencia con la que otros citan
publicaciones o patentes y tomando nota
quien est haciendo la cita.
Para encontrar el nmero de publicaciones por
dlar de investigacin de un programa
generada y para aprender medida y
tendencia de la propagacin de un
publicaciones y patentes de los proyectos.
Rastreo histrico Seguimiento prospectivo de la investigacin a un
resultado futuro, o hacia atrs desde
un resultado de contribuir
desarrollos
Para identificar los vnculos entre un
proyecto de investigacin pblica y
acontecimientos posteriores significativos
El juicio de expertos Usando juicios informados a
hacer evaluaciones
Para plantear la hiptesis ms probable es la primera
uso de una nueva tecnologa
Fuente: Ruegg y Feller (2003)
________________________________________
Pgina 141
Programas
141
6.23 Cul es el enfoque Estudio de caso?
Un estudio de caso es un examen ms o menos detallado de un caso particular
del fenmeno que estamos investigando. A menudo, esto significa examinar cmo
un programa ha afectado a una empresa u organizacin en particular. (Ms de las veces,
habra varios casos de estudio, la exploracin de varios tipos diferentes de
participante, o el destino de, el programa.) Si un programa tiene muchas especfica
proyectos o lneas de actividad, el estudio de caso puede ser uno de estos.
Los estudios de casos se realizan normalmente para proporcionar un anlisis en profundidad de la
procesos y resultados. Encuestas y otras consultas a travs de un gran nmero
de los casos son buenos para el establecimiento de la amplia distribucin de los impactos y la
correlaciones estadsticas que puedan existir entre las variables (por ejemplo, tamao de la empresa o
tipo de proyecto, por una parte, y el grado de impacto en el otro). Pero estamos
no se da informacin directa sobre los procesos que dan lugar a estos patrones,
y una virtud del estudio de casos es que puede ayudarnos a examinar los procesos.
A menudo se trata de reconstruir lo que sucedi en el tiempo en el
organizacin y su entorno, y mirando cules eran las decisiones estratgicas
tomada. (Estas decisiones suelen ser fundamentales para el alcance del impacto que
la participacin en un programa de rendimiento.)
Esta metodologa se utiliza en la evaluacin de programas de innovacin para proporcionar in-
investigacin a fondo de un aspecto particular del programa de innovacin y su
razones del xito o el fracaso. Aqu hay que sealar que estudio de caso basado
evaluaciones implican mucho ms de una actividad que slo la recopilacin y el anlisis
de la informacin de los casos. Los recursos deben ser asignados para analizar los datos
e informar de ello de manera que sean tiles para los directores de programas, personal, patrocinadores
y cualesquiera partes interesadas externas. Los resultados deben ser explorados para comprender
qu caus qu y por qu y cunto es atribuible al programa.
Los resultados deben ser discutidos y puestos a disposicin fuera del programa, a
organismos polticos, los consejos de la industria y los grupos de asesoramiento. La revisin por pares, incluyendo
publicacin en revistas tambin podra alentar a una mayor difusin
propsitos. Trabajo de estudio de casos es a menudo una cuestin de la evaluacin participativa.
Con el enfoque de estudio de casos hay una cierta evidencia de un fuerte nfasis
en el aspecto de "aprendizaje" de la evaluacin de los programas de innovacin (es decir, lecciones
dibujado, formacin y cuestiones de intercambio de conocimientos). Consulte la ilustracin que
acompaa a esta seccin.
________________________________________
Pgina 142
Programas
142
Recuadro 6.11 en estudios de casos
Varios de nuestros entrevistados proyecto comentado en este aspecto con respecto
al uso de un enfoque de estudio de caso que inicie el usuario del grupo ya que estos son
a menudo las personas con ms probabilidades de hacer un uso limitado o prolongado de la
resultados de la evaluacin. Este aspecto se refleja en los siguientes dos comentarios de
Entrevistados con sede en Europa:
"La mejor manera de ver el trabajo de evaluacin es mediante la interaccin con los
eso sera utilizar los resultados de un proyecto de innovacin en beneficio de su
organizaciones. Esto puede dar lugar a algunas observaciones muy claras. En una
manera personal, probablemente la habilidad (si esa es la palabra correcta) ms
necesaria en la evaluacin es la capacidad de escuchar bien y ver puntos de
ver a la opinin diferente y divergente ".
"Las evaluaciones deben ser comisionados a los grupos que llevan a cabo
el trabajo de la ejecucin de un programa de innovacin. En mi opinin trayendo
junto a un panel de expertos para llevar a cabo la evaluacin no es siempre
la herramienta adecuada para las actividades de evaluacin, ya que no tiene en-
vistas en profundidad acerca de los programas y la situacin general de la
programas han estado operando bajo ". Por lo tanto, debe haber
ms margen para las evaluaciones en caso de profundidad tipo de anlisis del estudio de
programas de innovacin ".
________________________________________
Pgina 143
Programas
143
6.24 Qu tipo de enfoques son Monitoreo Participativo y
Evaluacin?
"Participativa" aqu se refiere a la participacin de aquellos que son los participantes en
un programa, en el seguimiento y la evaluacin del programa en s.
Prcticamente todas las evaluaciones son susceptibles de implicar una cierta participacin de
participantes, por supuesto, como informantes, que proporcionan informacin sobre el
funcionamiento del programa. Tambin es una buena prctica de evaluacin de buscar
los comentarios de los participantes sobre las conclusiones que se desprenden de la evaluacin.
Mediante el intercambio de informacin y estimular el dilogo, la evaluacin puede contribuir
con la mejora continua - no slo en la gestin de programas de arriba hacia abajo,
sino ms ampliamente en la comunidad de interesados. Es posible involucrar
participantes mucho ms completa que es comn en la evaluacin y el seguimiento.
Los enfoques participativos se adaptan a las necesidades de informacin de la
participantes en los programas, y los utiliza como principales recursos para determinar
la eficacia del programa.
Los enfoques participativos han llegado a
protagonismo especialmente en circunstancias en que el empoderamiento de la comunidad es de
importancia - sobre todo en los programas de desarrollo y las destinadas a
las comunidades desfavorecidas.
Aqu la situacin ha sido por lo general uno de
programas que se impongan por los forasteros mal informados, y por no
lograr beneficios duraderos.
A veces, las metas del programa han sido
inadecuada a las condiciones locales; a menudo las actividades se han esfumado de distancia una vez
se retira la financiacin inicial.
Los enfoques participativos deben permitir
programas para estar ms estrechamente relacionados con las circunstancias empricas, a
involucrar a las comunidades de destino con ms detalle, y disponer que la comunidad con
una mejor informacin sobre la cual la gente puede basar sus decisiones.
El principal problema con estos enfoques en el entorno de la innovacin es
que los participantes en los programas de innovacin suelen estar recibiendo
insumos sustanciales de recursos financieros, de consultora o de otro tipo. Ellos pueden estar
inclinado a minimizar los problemas y fallas en los programas si sienten que
para ello es amenazar el futuro generosidad.
Pueden ver participativa
enfoques como ofrecer la oportunidad de promover sus propias agendas especficas - a
conseguir sus visiones de las tecnologas del futuro y las actividades industriales priorizados. Es
consideran a menudo que los enfoques participativos son susceptibles de poner en peligro la
la objetividad del proceso de evaluacin. Esto no ha impedido que los investigadores y
planificadores de programas de desarrollo de formas de desarrollo de manera simultnea
involucrar a los participantes en el programa de diseo, monitoreo y evaluacin,
mientras que la bsqueda de hacer uso de indicadores verificables y evaluaciones.
Es
probable que algunos tipos de programa de innovacin podran beneficiarse de un mayor uso
de los enfoques participativos.
________________________________________
Pgina 144
Programas
144
Recuadro 6.12 sobre Evaluacin Participativa
Aunque los enfoques de evaluacin participativa plena soplado se usan muy poco en innovacin
la evaluacin del programa, hay una cierta conciencia de los beneficios de la participacin en
el campo. As, uno de los entrevistados en este estudio coment que:
"El argumento ms convincente para el uso de programa de innovacin
evaluacin es que si usted hace un proceso participativo, entonces debera
conseguir un aprendizaje ms en todo el sistema, en lugar de lo que se limita a la
patrocinadores inmediatos. Todas las partes interesadas deben tener alguna participacin si
es posible " (De la entrevista con el Reino Unido de Expertos).
El principio de la "evaluacin participativa" puede distinguirse de la ms
convencional, "tradicional" enfoques de evaluacin, ya que tiene un mayor nfasis en
participacin de los interesados. Puede haber mltiples grupos de inters que estn o deberan estar
los participantes en la evaluacin, ya que estn directa o indirectamente involucrados en la decisin de lo que
un proyecto o programa debe lograr y cmo debe lograrse. Pueden
incluir a los beneficiarios, el proyecto o el personal y la gestin de programas, investigadores,
agencias gubernamentales y cualquier otro donante financieros. Segn Estrella y
Gaventa (1998), hay dos formas principales para caracterizar la participacin en el monitoreo
y evaluacin: por quien se inici y llev a cabo, y cuyas perspectivas son
particularmente enfatizado. Los primeros distingue entre el seguimiento y la evaluacin
que es dirigido externamente, condujo internamente, o LED conjunta. La segunda distincin entre
que se enfatizan las partes interesadas - los principales interesados, beneficiarios o
grupos marginados. El concepto de aprendizaje es un principio clave de
evaluacin participativa. Se hace hincapi en el aprendizaje o el 'orientado a la accin' "prctico".
Por ejemplo, la evaluacin participativa tambin puede caracterizarse como un proceso de
aprendizaje individual y colectivo, como una experiencia educativa para los distintos
partes involucradas en el desarrollo del programa. Las personas se vuelven ms conscientes
y consciente de sus fortalezas y debilidades, sus realidades sociales ms amplias, y
sus visiones y perspectivas de los resultados del programa. Es este proceso de aprendizaje
que crea las condiciones propicias para cambiar y la accin (Estrella y Gaventa,
1998).
Algunos de los recursos en lnea tiles sobre mtodos de participacin son:
Americorps (nd) Gua del usuario para los Programas de Servicio Nacional de Burlingame,
California: Corporacin para el Servicio Nacional, Proyecto STAR, disponible en:
D'Arcy Davis Case (1990) Herramientas para la comunidad: La idea, mtodos y
herramientas para la evaluacin participativa, el seguimiento y la evaluacin en la comunidad
la silvicultura, la Comunidad FAO Campo Forestal Manual 2, Roma, Agricultura y la Alimentacin
Organizacin de las Naciones Unidas, disponible en
http://www.fao.org/documents/show_cdr.asp?url_file=/docrep/x5307e/x5307e00.htm
(1996) Donna Denham y Joan Gillespie, A: Gua para la Evaluacin de Proyectos
Enfoque Participativo, Ottawa: Direccin de Salud de la Poblacin, Health Canada
________________________________________
Pgina 145
Programas
145
disponible en:
http://www.phac-aspc.gc.ca/ncfv-cnivf/familyviolence/html/fvprojevaluation_e.html
Instituto de Estudios del Desarrollo, Universidad de Sussex, cuenta con varios recursos en
participativa
enfoques en los sitios web
http://www.ids.ac.uk/ids/particip
y
http://www.ids.ac.uk/ids/eldis, incluyendo el panorama til por Marisol Estrella y
Jihn Gaventa (1998)
Quin cuenta la realidad?
Monitoreo Participativo y
Evaluacin: Una Revisin de la Literatura (Documento de trabajo IDS no 70) - contiene un
bibliografa de otras guas de recursos y manuales.
________________________________________
Pgina 146
Programas
146
6.25 Podemos evaluar mltiples programas? El papel de la corte de la Cruz
evaluaciones
Prctica de la evaluacin en las culturas de evaluacin ms avanzadas parece ser
moviendo menos hacia un enfoque en las evaluaciones individuales de examinar individuo
programas, y ms preocupacin por la imagen que se puede derivar de una
serie de evaluaciones, o incluso de las evaluaciones de una serie de programas.
Esto est empezando a ser documentado en el estudio de los "sistemas de evaluacin".
No hemos podido encontrar mucha evidencia documental, sin embargo,
relativa a las evaluaciones transversales, la comparacin de la eficacia relativa de los
polticas. Una excepcin a esto es el ejemplo de la Oficina Nacional de Auditora
(Reino Unido). Al otro lado de la poltica de innovacin de manera ms general, la Oficina Nacional de Auditora del
Reino Unido
y el Departamento de Comercio e Industria ha desarrollado una metodologa para
la comparacin de la rentabilidad comparativa de la innovacin del Departamento
esquemas en la entrega de su objetivo de estimular la innovacin industrial y
el aumento de la competitividad de la industria del Reino Unido (NAO, 1995).
"Grounded en teora de la decisin, la base de este enfoque fue el de
identifican 14 indicadores que representan los efectos sobre la innovacin y la
competitividad y cinco costos que representan. Estos eran una mezcla
de indicadores de proceso (por ejemplo, el procesamiento promedio de aplicaciones
tiempo) y salida de los indicadores (por ejemplo, nmero de licencias
adquirida). Los valores en cada indicador se transformaron en
'escalas de preferencia ", que anotaron cada sistema en una escala de 100 a 0
en trminos relativos, es el mejor esquema de rendimiento en ese
indicador se le asign una puntuacin de 100 y el menor rendimiento
cero, con el resto interpolada. El proceso se repiti
para los indicadores s mismos, para producir preferencia finalmente ponderada
puntajes basados en la igualdad de pesos en concepto de gastos y objetivos. Por este
metodologa, el programa Teaching Company Scheme (una tecnologa
esquema de transferencia basada en la supervisin conjunta de los jvenes titulados
por la academia y la industria) emergieron como el esquema ms preferido,
y el programa D ENLACE colaboracin de I + los menos preferidos.
Claramente, los resultados son sensibles a los indicadores seleccionados y
las ponderaciones asignadas a los mismos. La puntuacin baja de ENLACE fue
fuertemente influenciado por los malos resultados en administrativo
indicadores " (Georghiou, 1998).
________________________________________
Pgina 147
Programas
147
________________________________________
Pgina 148
Programas
148
Captulo 7 IMPACTOS EVALUACIN
7.1 Qu es la Evaluacin de Impacto?
La demanda de evaluacin de impacto se puede considerar como uno de los elementos de la mudanza
a una sociedad basada en el conocimiento. Los polticos tienen que saber lo que los resultados de
sus polticas anteriores han sido, y para tener una mejor idea de lo que el probable
resultados de las polticas futuras sern. La idea de la evaluacin de impacto es una obvia
respuesta a esta demanda.
Figura 7.1 Mejora de los mtodos de evaluacin de impacto es vital para la
el xito de la evaluacin de programas de innovacin
0
10
20
30
40
50
60
70
80
90
1
2
3
4
5
1 = en desacuerdo completamente, 5 = totalmente de acuerdo, 3 = neutral
Nu
mbre o
F
Resp
en
guarida
t
s
Fuente: Apoyo al Monitoreo y Evaluacin de Programas de Innovacin datos de la encuesta
Hay muchos tipos de evaluacin de impacto, con varias formas de ex ante
evaluacin que se utiliza mucho - de hecho haber adquirido carcter obligatorio en
muchas instituciones, el ms destacado a nivel mundial, al parecer, es el medio ambiente
evaluacin de impacto, por lo que muchas de las decisiones de planificacin estn sujetas a revisin
a la luz de sus posibles efectos sobre, por ejemplo, la biodiversidad, amenazada
especies, las emisiones de carbono, y as sucesivamente.
15
Evaluacin del impacto normativo es
comn en las instituciones de la Unin Europea y los Estados miembros, en los que la
se est haciendo un esfuerzo para revisar las polticas antes y despus de la implementacin - no
menos de limitar la carga de las regulaciones (especialmente en las empresas).
16
15
La Asociacin Internacional para la Evaluacin del Impacto - http://www.iaia.org - Actualmente es
particularmente buen punto de partida para el trabajo sobre la evaluacin de impacto ambiental, y tambin cubre
algunos trabajan en la evaluacin del impacto social.
16
La Comunicacin de la Comisin de Evaluacin de Impacto Bruselas, 5.6.2002 COM
(2002) describe el proceso de evaluacin de impacto que se aplicar en la Comisin para la
todas las grandes iniciativas. Esto seala que la evaluacin de impacto es impulsado polticas, centrndose en
examinando "si el impacto de las principales propuestas polticas es sostenible y se ajusta a la
principios de legislar mejor ".
________________________________________
Pgina 149
Programas
149
Hay muchas tradiciones diferentes de evaluacin de impacto, con la innovacin
la evaluacin del programa es slo uno de stos. Mientras que algunos temas pueden ser
abordado de una manera bastante experimental - por ejemplo, la salud y la educacin
intervenciones pueden ser pilotados en una muestra de hospitales o escuelas, respectivamente -
muchos no pueden. Una serie de retos tienen que enfrentarse, y por debajo de nosotros
discutir los siguientes desafos principales para la evaluacin del impacto en la innovacin
programas:
Complejidad y Causalidad: la dificultad de acercarse cientfica estndar y
prctica de la ingeniera en relacin causas y efectos y la aplicacin de
mtodos experimentales.
retrasos de tiempo: el largo tiempo que puede ser requerida antes de que los impactos deseados
puede ser aparente.
Efectos indirectos: la probabilidad de que los impactos sern multiplicativo (pero
ms difciles de identificar) a medida que avanzamos desde los directamente involucrados en un
programa para aquellos que estn en una u otra manera afectados por la
el comportamiento de los participantes.
objetivos mltiples y complejos: est considerando la gama de impactos
puede ser una amplia uno, con muchos de los objetivos de ser difusa y difcil de
especifique.
________________________________________
Pgina 150
Programas
150
Recuadro 7.1 Acta de la evaluacin preliminar de las consecuencias para el Europeo
Iniciativas
"La evaluacin preliminar aporta una primera visin general del problema detectado,
posibles opciones y los sectores afectados. Servir como un filtro para ayudar a identificar ...
las propuestas que se sometern a una evaluacin de impacto ampliada "
1. IDENTIFICACIN DE LOS PROBLEMAS
Describir el problema que prev la poltica / propuesta para hacer frente a:
Indicar las tendencias potencialmente insostenibles asociadas con el problema,
- Econmicamente:
- Socialmente:
- El medio ambiente:
Indicar las incoherencias potenciales entre estas tres dimensiones o con
otras polticas
2. OBJETIVO DE LA PROPUESTA
Cul es el objetivo de poltica general en trminos de impacto previsto?
3. OPCIONES POLTICAS
Cul es el planteamiento bsico sugerido para alcanzar el objetivo?
Qu instrumentos de poltica se han considerado?
De qu manera las opciones identificadas respetan la filial y
principios de proporcionalidad?
Opciones que pueden ser excluidas en esta primera etapa?
. 4 IMPACTOS - POSITIVO Y NEGATIVO
Sobre una base preliminar indique el positivo esperado y negativos
impactos de las opciones seleccionadas, en particular en trminos de desarrollo econmico, social
y consecuencias ambientales
Por favor, indique a quin afecta y los posibles impactos graves para un
determinado grupo social, un sector econmico o regin (dentro o fuera del
UE), a corto plazo; en el mediano y largo plazo
5. SEGUIMIENTO
Qu pasos preparatorios ya han sido realizadas (consultas, estudios)?
Se recomienda una evaluacin ampliada? S / No
Est prevista una consulta? S / No
Fuente: Comisin de las Comunidades Europeas (2002), Comunicacin
de la Comisin de Evaluacin de Impacto Bruselas, 5.6.2002 COM (2002)
276 final
________________________________________
Pgina 151
Programas
151
7.2 Qu desafos enfrenta la Evaluacin de Impacto en trminos de
Los problemas de la complejidad y la causalidad?
Asuntos sociales de cualquier tipo son susceptibles de ser complejo, y los efectos de
intervenciones difciles de evaluar. Vamos a considerar aqu una serie de facetas de
complejidad, incluyendo la causalidad mltiple, rezagos de tiempo, los impactos indirectos y
mltiples objetivos.
Rara vez es posible llevar a cabo experimentos verdaderos, o para controlar todos los principales
Variables - incluso si estos son bien entendidos. En algunos campos en los que hay
muchos individuos cuyas experiencias se pueden comparar, y donde los resultados
son relativamente fciles de contraste, los problemas pueden ser menos. El campo de la salud
evaluacin de la tecnologa es un ejemplo donde puede ser posible establecer robusta
conclusiones acerca de la eficacia relativa de los diferentes tratamientos, e incluso a
estimar el valor-precio relativo (si podemos poner un valor monetario a tratamiento
resultados). Pero los programas de innovacin tratan con empresas y otros
organizaciones, y no slo con los individuos. Varan en maneras que los individuos hacen
no, y el nmero de casos involucrados pueden ser mucho ms bajo.
En cualquier caso, es bastante raro para nosotros para ser confrontados con la innovacin
programas que ofrecen los grupos de control de confianza, que nos permitan igualaremos
casos de organizaciones que estaban o no estaban involucrados en el programa en el
conocimiento de que fueron asignados de forma aleatoria. Ms generalmente, los
que son o no estn asociados con un programa diferir de alguna manera - que
puede ser auto-seleccionados (tal vez ms interesados en temas de innovacin) o mejor-
en red y por lo tanto ms al tanto del programa (tal vez ms conscientes de
perspectivas innovadoras en general), y as sucesivamente. Las comparaciones entre
tendr que ser hecho con los participantes del programa y no participantes
advertencia - por ejemplo, emparejarlos en tantas variables como sea posible.
As que es difcil emplear tcnicas estadsticas slidas para evaluar
los impactos del programa. Pero hay otras dificultades, tambin. Uno de ellos es el problema de la
"Sobredeterminacin". Con esto queremos decir que los cambios que observamos en
resultados de la innovacin no puede, o no slo, estar relacionado con el programa
en s. Pueden ser parte de un complejo ms amplio de cambios - dicen que un creciente enfoque
en aspectos particulares de la innovacin - que ha ayudado a engendrar la
programa y que habran dado lugar a algunos de los resultados que
podra interpretar como los impactos del programa. Adems, un programa rara vez es una
completamente aislado fenmeno: hay polticas a menudo complementarias y
las intervenciones de la misma parte del gobierno y de otras instituciones.
La conclusin ms importante es que este conjunto de problemas tiene que ser
reconocidos como lo que es: no hay soluciones completas y evaluacin
resultados tendrn que ser interpretados con esto en mente. Podemos hacer cosas como
pide a los informantes que estimar lo que podra haber sucedido si un programa era
no instituido, o qu efecto el programa podra haber tenido sin
cambios complementarios. Podemos preguntar cmo lleg a tener los efectos que
lo hicieron. Podemos desarrollar hiptesis acerca de la causalidad de algunos estudios de caso, y
prueba de ellos en cuanto a los dems casos. Podemos ver hasta dnde llegaron las cuentas
en la evaluacin de un solo programa son consistentes con los alcanzados por
________________________________________
Pgina 152
Programas
152
otros tipos de la investigacin social (por ejemplo, anlisis independientes de la innovacin
sistema, la evaluacin de otros programas
17
). Estos son todos los estndares
enfoques en la investigacin social en general, que a menudo tiene que luchar
los retos de la sobredeterminacin.
Finalmente, como con los otros problemas discutidos aqu, el reto es tambin un
oportunidad. Por lo que los problemas no nos est obligan a examinar ms de cerca
Qu se entiende por innovacin y cules son los objetivos previstos de
Los programas de innovacin; y para comprender mejor el sistema de innovacin
dentro del cual se estn realizando las intervenciones. Esta comprensin es vital para
la construccin de una lgica basada en el conocimiento de las intervenciones.
17
Puede ser particularmente til para ver si hay una doble contabilidad de los impactos, es decir, si
los mismos cambios se atribuyen a ms de una intervencin.
________________________________________
Pgina 153
Programas
153
7.3 Qu desafos enfrenta la Evaluacin de Impacto en trminos de tiempo
Retrasos?
Otra cuestin se refiere a la problemtica de largo desfases que pueda ser necesaria
por los impactos que se manifiestan. Los objetivos de la poltica de innovacin son a largo plazo
queridos, los sobornos econmicos de las innovaciones individuales suelen requerir la
desarrollo de los mercados y slo acumular lentamente ingresos considerables (tal vez
sobre tanto como 10-15 aos). Y, por supuesto, muchas innovaciones no lo hacen
xito, no siempre es porque estn juzgaron mal - a veces inesperado
productos, normas, prcticas de otros sectores tienen un impacto negativo.
A menudo, no podemos evaluar la gama completa de los impactos en el corto y mediano
plazo - de hecho, esto rara vez va a ser el caso, a causa de los impactos indirectos
(Ver ms abajo).
Por lo tanto, lo mejor que se puede esperar en una evaluacin ser examinar
algunos indicadores adelantados, o algunos de los impactos tempranos y posiblemente intermedios que
sugieren que los impactos a largo plazo son ms y no menos probable. Para
ejemplo, la intencin ltima puede ser la creacin de una innovacin ms eficaz
sistema, en el que los socios comparten el conocimiento y la colaboracin amplia y
rutinariamente para generar innovaciones exitosas. Este logro a largo plazo es
claramente ms probable que surja si el programa actual ha logrado
conseguir las partes a trabajar juntos y establecer vnculos permanentes que son
previsible que persista ms all de la vida del programa. Este tipo de producto intermedio
logro tanto, es importante examinar.
Impactos intermedios suelen ser las que ms claramente atribuible a un
programa en particular, por lo que en cualquier caso, es importante recopilar evidencia sobre
estos si es a ms largo plazo y ms indirectos "impactos" son para ser verosmil en relacin con
las actividades del programa.
________________________________________
Pgina 154
Programas
154
7.4 Qu desafos enfrenta la Evaluacin de Impacto en trminos de Indirectos
Efectos?
Los efectos indirectos plantean un problema relacionado. Con frecuencia real de una innovacin
importancia no es para los productores iniciales, pero para sus usuarios: el econmico
logros obtenidos por el productor por la venta de un nuevo producto son una fraccin de los
que los usuarios hacen en el empleo de este producto para mejorar la eficiencia del proceso o de la
la calidad de sus propios productos. Hay efectos aguas arriba y aguas abajo de
innovacin: una empresa puede exigir cambios en la cantidad y la calidad de su
proveedores; puede abrir nuevos mercados; o puede cambiar las prcticas en su
clientes. Estos cambios pueden a su vez prontas otras partes con las que stos
proveedores y clientes interactan para modificar sus actividades y comportamiento.
Rastreo tales impactos puede ser muy difcil.
La respuesta ms comn es el uso de modelos economtricos o de entrada-salida,
que permitir cierta estimacin de la ronda sobre los efectos del cambio en uno
punto de un sistema, y en donde los conceptos de "encarnada en I + D", por ejemplo, puede
ser empleado. Tales modelos a menudo muestran, por ejemplo, que los efectos generales de los
innovaciones, por ejemplo, el empleo, son muy diferentes de las registradas en
el nivel de los adoptantes individuales de una innovacin. Las empresas individuales pueden arrojar
trabajos a medida que se vuelven ms eficientes. Pero la expansin del mercado en general puede resultar
en una creacin neta de puestos de trabajo, en este caso. Estos modelos son herramientas de gran alcance, pero son
normalmente restringido slo a los flujos bastante simples de los productos y los cambios en
rendimientos alcanzados en trminos financieros. Mejora de la colaboracin y la
la creacin de redes, los cambios en las prcticas innovadoras, etc son ms difciles de evaluar en estos
maneras, aunque el modelado puede ser empujado hacia adelante para tener ms en cuenta
factores menos tangibles.
Tambin es posible rastrear los impactos a travs de un sistema por medios empricos - para
ejemplo, mirando a la difusin de una innovacin especfica o la prctica a travs
tcnicas de encuesta, preguntando informantes en lugares especficos de su
conocimientos y prcticas. Una cuestin que se plantea aqu es que las personas son a menudo
muy mal informados acerca de (y, a menudo, no preocupa en particular) la
fuentes ltimas de una idea innovadora. As, mientras que muchas de las innovaciones tienen
sus races en la investigacin bsica, pocas empresas consideran instituciones que desempean bsica
la investigacin para ser de mucho inters para ellos. Si bien este caso especfico es ms de un
problema en el contexto de la evaluacin de programas de I + D que en la innovacin ms amplia
La evaluacin del programa, el punto es una similar. Preguntar directamente a la gente sobre
si un programa ha influido en su comportamiento puede ser una mala gua para
la comprensin de los efectos indirectos de un programa, porque la gente es ms
consciente de las influencias directas sobre su propia prctica. El programa puede ser
mediada a travs de varios pasos antes de que afecte una organizacin en particular, y
rastreo de estos pasos es un proceso laborioso, uno que es sin duda vale la pena
examinar, pero que est fuera del alcance de muchos estudios de evaluacin.
________________________________________
Pgina 155
Programas
155
7.5 Qu desafos enfrenta la Evaluacin de Impacto en trminos de mltiple
Objetivos y complejos?
Los mltiples objetivos que caracterizan a la mayora de los programas de innovacin -
especialmente en lo que nos fijamos en toda la gama de actividades que comprenden - Tambin planteamos
un desafo para la evaluacin de impacto. De alguna manera esto es "simplemente" una prctica
emisin - los ms impactos que se han buscado, mayor ser el nmero de
indicadores que sern requeridos. As, puede haber problemas de evaluacin
fatiga (si se espera que los mismos informantes para proporcionar informacin sobre
numerosos indicadores), de la sobrecarga de informacin (si los datos no pueden ser fcilmente
sintetizado y agregados para formar una cuenta sin complicaciones), y de
carga de trabajo por parte de los evaluadores.
Las soluciones a estos problemas son una cuestin tctica. Entre los enfoques
que pueden ser adoptados son:
la determinacin de los impactos clave en los que centrar;
determinar si algunos de los impactos se pueden evaluar en algunos casos
y otros en evaluaciones separadas, ya sea ms tarde en el tiempo o de similares
programas;
determinar si es posible examinar ciertos indicadores de profundidad en
una muestra limitada de casos, y de forma ms indirecta o parcialmente en otros;
preparan informes sobre diferentes subprogramas o en clases particulares de
impacto.
Los objetivos tambin pueden ser complejos , en el sentido de que mientras que puede ser fcil de
indicar cul es la meta, cuando se examina en detalle, el logro especfico
deseado es ms difcil de dilucidar. Tambin puede haber desacuerdo acerca de lo que
trminos y conceptos clave en realidad significan. Esto es de esperar cuando objetivos
tales como "la mejora de la calidad de vida" se refiere, pero tambin se aplica a los objetivos como
"Competitividad". En la literatura de gestin y economa existen
diferentes ideas de lo que significa este trmino, en la prctica, y qu factores sustentan
ella. Estos puntos de vista diferentes son susceptibles de implicar una divergencia de puntos de vista con
respecto a los indicadores de impacto y la medicin del desempeo. El evaluador
debe ser claro acerca de cmo se estn utilizando los conceptos, qu enfoques son
estn elaborando sobre - y cmo stas pueden diferir de los utilizados por
patrocinadores y usuarios! En ltima instancia, esto se deriva del hecho de que estamos
inevitablemente el uso de uno u otro conjunto de teoras al tratar de estudiar - y para
influencia - algo as como otro sistema de innovacin. Mejorado
comprensin del sistema y puede requerir confrontar diferentes conceptos
de justo lo que constituye un sistema eficaz.
________________________________________
Pgina 156
Programas
156
7.6 Qu tipo de impactos se pueden evaluar, en qu medida?
Dado que la gama de programas de innovacin se ha ampliado - por ejemplo, en trminos
tanto de los tipos de intervencin cubiertos (fiscal, la transferencia de conocimientos, la red
construccin, desarrollo del marco, los regmenes de derechos de propiedad intelectual) y de los objetivos de este tipo
de
programas (PYME, empresas de nueva creacin, los establecimientos de educacin superior del sector pblico
institutos de investigacin, etc) - por lo que el rango de impactos que podran ser evaluada tiene
crecido. Prcticamente cualquier cosa que se pueda expresar con claridad y medir o
verificado, se puede convertir en un indicador de funcionamiento - el problema es que
la obtencin de informacin sobre algunos indicadores puede ser muy laborioso, y
que algunos indicadores son necesariamente altamente parcial (es decir, slo proporcionando evidencia
en una parte del fenmeno que se investiga - al igual que las pruebas de inteligencia
slo medir ciertos aspectos de lo que se entiende como "inteligencia" en
discurso cotidiano).
Un ejemplo de las formas en que un objetivo general se puede traducir en
impactos que se pueden examinar con mayor precisin es proporcionado por un estudio que establece
salir a explorar los impactos del programa ESPRIT en la competitividad de
empresas participantes (IFO et al , 2000). La evaluacin puso los activos intangibles al
el ncleo de la competitividad. El estudio utiliz encuestas a los participantes a
examinar cmo la participacin en el programa afect a las formas en que
participantes crearon dichos activos intangibles como el conocimiento, las patentes, marcas
nombres, la reputacin, las redes y las rutinas de innovacin. Los evaluadores
considerada como la participacin en el programa afect a las formas en que
participantes utilizaron recursos crticos intangibles tales como la inversin en I + D,
adquisicin de tecnologa. Examinaron los impactos en los procesos de negocio:
si las nuevas formas de organizacin estaban surgiendo en torno a las innovaciones en
cuestin. Por ltimo, los aspectos ms tradicionales de la competitividad fueron
considerado, en trminos de las dimensiones "reveladas" de las salidas en trminos de
desarrollo de productos y servicios competitivos.
Existe la necesidad de ejercer un juicio cuidadoso en trminos de los impactos que son
seleccionado como parte del proceso de evaluacin. Un nmero de criterios puede ser
aplicada con el fin de ayudar a priorizar la seleccin de estos impactos. Estos son:
Cules son los impactos de mayor relevancia a los fines y objetivos de
el programa?
Qu impactos del programa son de mayor importancia para la poltica general
cartera?
Estn impactos similares deseadas en otros programas en los que pueden ser ms
indicaciones parciales fcilmente medidos o donde de sus logros pueden ser
combinado con los resultados de la evaluacin actual?
Cules son los costos relativos de la evaluacin de los diversos impactos deseados - son
algunas ms fciles de evaluar que otros en trminos de recursos o
complejidad metodolgica?
Pueden algunos impactos pueden sustituir por indicadores indirectos o impactos parciales?
________________________________________
Pgina 157
Programas
157
Recuadro 7.2 La evaluacin socio-econmica de los impactos de EUREKA
Este estudio utiliza una amplia gama de indicadores para evaluar los impactos potenciales de EUREKA
sobre la competitividad de los participantes. Citamos aqu para sugerir el tipo de impacto
que puedan ser evaluados. Aunque el programa fue principalmente un programa de investigacin,
estaba destinada a tener impactos industriales, y por lo tanto las medidas desarrolladas relevante a
programas de innovacin ms amplia. Se pregunt a los participantes sobre cuestiones
impactos directos e indirectos, como se indica en el siguiente cuadro, donde las cifras se refieren a
la proporcin de participantes que informaron de un "moderado" o "grande" / "muy significativo"
impacto.
Los efectos directos
% De informes moderada o
gran efecto
- La calidad del producto
46
- Cooperacin con otras empresas
45
- Las ventas de productos
42
- Cuota de mercado
38
- La internacionalizacin de los mercados
32
- Cooperacin con las organizaciones del sector pblico de I + D
32
- Las ventas de Know how o licencias
22
- Nmero de empleados
12
- Los costes de produccin
26
- Puesta en marcha de nuevas empresas
3
Los efectos indirectos
% De informes moderada o
efecto muy significativo
- Mejora de la base de conocimientos de la empresa
76
- La fuga del Conocimiento a colaboradores
24
- Fortalecimiento al personal
59
- Reclutamiento de Personal
23
- Know-how en la gestin de la colaboracin
53
- Una mejor integracin entre la I + D y otras funciones
36
Fuente: Ormala (et al) (1993).
________________________________________
Pgina 158
Programas
158
Recuadro 7.3 La creacin de empresas desde las universidades como un impacto a ser evaluado
La creacin de empresas de nueva creacin de la universidad es un tipo particular de
objetivo del programa de innovacin . Aqu los indicadores de metodologa de evaluacin
de inters es probable que sean parmetros tales como el nmero de nuevas empresas
y de puestos de trabajo creados. Alemania ofrece un ejemplo til de una de esas
programa de innovacin, existe, financiado por el Ministerio Federal de Educacin
e Investigacin desde 1997.
EXIST tiene la intencin de mejorar el clima para las empresas de nueva creacin en las universidades, lo que aumenta
el nmero de empresas de nueva creacin de instituciones acadmicas y mejorar la transferencia
de conocimiento y tecnologa desde las universidades. Modelos para motivar, capacitar
y de apoyo a las personalidades empresariales se han creado en la regin
redes en las que las universidades trabajan junto con los socios externos,
(Extra-universitario) instituciones de investigacin, las empresas, los donantes de capital, la tecnologa
y los centros de nueva creacin, empresas de consultora de gestin, cmaras de comercio,
asociaciones y autoridades locales. Juntos desarrollan una oferta acordada para
estudiantes, empleados y graduados.
Los resultados clave
Ha habido un gran nmero de actividades en las redes regionales como
concursos de planes de negocio, concursos de ideas, seminarios, conferencias, eventos,
de evaluacin de los centros, incubadoras, escuelas de verano, talleres internacionales
etc Con EXIST 1.076 nuevas empresas fueron apoyados y ms de 2.600 puestos de trabajo
creado.
Evaluacin del programa
El programa EXIST es supervisada por el Instituto Fraunhofer de Sistemas
Investigacin y la Innovacin (Fraunhofer ISI). El objetivo es apoyar el patrocinador
y las iniciativas individuales al aplicar EXISTEN. El apoyo a los proyectos
comprende en la actualidad tres estrechamente relacionados entre s (trabajo) focos:
Supervisin y asistencia del 5 EXIST y 10 EXIST-T ransfer
iniciativas
apoyarlas en cuestiones generales, as como en el intercambio de
experiencias
los trabajos preparatorios para el patrocinador (BMBF) y el organismo responsable del proyecto Jlich como
as como el anlisis de otros aspectos de la labor de las iniciativas.
La asistencia cientfica se basa en un proceso de intercambio mutuo y
aprendizaje y se lleva a cabo en estrecha colaboracin entre Fraunhofer ISI, la
Ministerio Federal Alemn de Educacin e Investigacin (BMBF), el proyecto
agencia de Jlich y las iniciativas individuales. Fraunhofer ISI considera que su papel
observador, asesor y socio de discusin.
Fuente: Sitio web Fraunhofer ISI (2005), EXISTE Programa.
http://www.isi.fraunhofer.de/r/pb_html/exist-e.htm
________________________________________
Pgina 159
Programas
159
7.7 Qu es la adicionalidad?
Como prctica de la evaluacin se ha desarrollado, y se preocupan ms con
resultados e impactos de los programas y no slo con los insumos que implican,
por lo que el concepto de adicionalidad se ha elevado a un primer plano. La adicionalidad es un
idea aparentemente simple. Se refiere al cambio que se puede atribuir a la
existencia del programa - lo que el efecto adicional del programa es,
en comparacin con lo que habra ocurrido en ausencia de la
programa ..
18
Las tecnologas se han difundido de todos modos, sera la
Se han adoptado las prcticas de gestin de innovacin, eran Universidades y
empresas que ya estn en el camino hacia el establecimiento de vnculos ms estrechos? Hay una
tendencia comprensible para los defensores de un programa para reclamar el crdito por
cambios positivos que son parte de un cambio ms general, en lugar de directamente
que fluye de las intervenciones.
Un problema adicional surge del hecho de que, debido a la naturaleza sistmica de
la innovacin y el deseo de tener intervenciones que tienen complementaria
efectos, los efectos medidos como parte de una evaluacin de un programa puede de hecho
ser atribuible, en parte o en su totalidad, en paralelo programas. An ms difcil de
de control son los efectos generales a nivel de los cambios macroeconmicos y econmica
ciclos que, por ejemplo, puede, en caso de una recesin econmica,
militar contra inversiones de las empresas en I + D, o reducir las tasas de empleo
al mismo tiempo, se est ejecutando un programa para inducir una mayor industriales
inversin en I + D o la creacin de empleo a travs de la estimulacin de la creacin de empresas
ups. En este ltimo caso, sin embargo, tales efectos macro-econmicos son a menudo
manifiestan claramente y los indicadores e impactos alternativos pueden buscarse a
proporcionar evidencia de la adicionalidad del programa.
El problema general con demostrar la adicionalidad es que, a diferencia de en la vida social o
experimentacin cientfica a menudo es difcil o incluso imposible de operar un
conjunto independiente de las condiciones de control de la que los efectos de la intervencin
son aislados y comparar posteriormente los dos resultados.
Al igual que con otros aspectos de la evaluacin, hay enfoques de adicionalidad que
se conciben ms o menos estricta. Podemos tratar de cuantificar el valor aadido
del programa en trminos de indicadores tales como los niveles de adopcin de tecnologa
y los impactos econmicos como el aumento de las ventas y el empleo, un mayor
parte de los beneficios procedentes de nuevos productos, la reduccin de costes de proceso o
veces, y as sucesivamente. Tales efectos relacionados con el mercado forman una justificacin tradicional para
programas, y por lo tanto estn muy presentes en las evaluaciones. Los programas con mayor
adicionalidad son ms propensos a estar contribuyendo a los objetivos de poltica (aunque es
sealado por parcela (1998?) de que esto no es suficiente - la adicionalidad en el sentido
de rendimientos positivos para las empresas como resultado de los programas pueden ser una condicin previa
para el xito, pero la rentabilidad privada no son suficientes: los beneficios sociales netos de un
programa debe ser positivo).
18
Ver Buisseret, Cameron y Georghiou (1995) para una discusin relevante. Ver Georghiou de
captulo de la OCDE (1997b) para una cuenta detallada de los temas de la adicionalidad del comportamiento,
que sacamos de aqu.
________________________________________
Pgina 160
Programas
160
7.8 Qu es la adicionalidad conductual?
Una de las lecciones de los estudios de evaluacin de la investigacin es que los impactos a largo plazo son
mucho ms que un aumento inmediato en las ventas de un nuevo producto o
los recursos dedicados a la I + D o de proteccin de los DPI. La cuestin en juego no es slo una
cuestin de ms o menos actividad en un punto en el tiempo. Las actividades han sido
reformado, ha habido un proceso de aprendizaje en los individuos y
organizaciones interesadas. La verdadera cuestin es si un programa ha efectuado
un cambio duradero en las prcticas de innovacin?
En otras palabras, no es que la innovacin no se habra producido de todos modos,
aunque en menor medida. Es esa la forma en que el proceso de innovacin es
que tiene lugar se han transformado que son ms significativas. Las innovaciones
estn llegando ms rpidamente. Ellos se basan ms, por ejemplo, en la inteligencia
acerca de las tecnologas emergentes y / o las necesidades del mercado, y no slo
siendo una elaboracin gradual de lo que las empresas que ya estaban haciendo. Ellos
implicar el trabajo ms colaborativo y relacionarse juntos ms miembros de una
cluster industrial. Noticias habilidades han sido adquiridas, nuevos procedimientos y
las normas estn en su lugar.
El trmino "adicionalidad comportamental" ha entrado en uso para describir el -
esperemos duraderos - cambios en las prcticas que la participacin en la innovacin
Programas ha inducido. Los estudios de evaluacin tienen que ser capaces de abordar
adicionalidad conductual si van a examinar cmo los programas de ahora son
contribuir a una reforma del sistema de innovacin.
Aunque hemos sealado anteriormente que a menudo no es posible proporcionar un control
ejemplos contra los que los efectos de los programas de innovacin pueden ser
evaluados, existen algunas oportunidades limitadas. Estos incluyen:
El uso de los no participantes en un programa como grupo de control. El cuidado debe
ejercerse aqu para asegurar que prevalezcan condiciones idnticas para el control
y el grupo participante - es decir, que el grupo de control no se compone de fallido
los solicitantes, o que eligen no participar por razones que sera
efectuar su comportamiento vis a vis los objetivos deseados del programa.
En el caso de los programas de innovacin que estn restringidos geogrficamente o
sectorialmente, grupos de comparacin se pueden extraer de regiones similares o
sectores. Una vez ms se debe tener cuidado para asegurarse de que los dos grupos comparten
caractersticas similares y que los efectos indirectos del programa hacen
no producirse.
________________________________________
Pgina 161
Programas
161
Recuadro 7.4 Algunos ejemplos de adicionalidad comportamental
Georghiou y Claryss (2005) han elaborado recientemente un documento de trabajo de la OCDE. Este
presenta una introduccin preliminar y sntesis del trabajo realizado hasta la fecha en el marco del
auspicios del Grupo de Trabajo de la OCDE sobre Poltica de Innovacin y Tecnologa (TIP) para desarrollar
enfoques eficaces para medir la adicionalidad comportamental . Los autores revisan la evidencia
sobre este tema, que ha surgido a partir de una serie de estudios nacionales llevados a cabo en el contexto de
TIP grupo de trabajo durante 2004-05.
"Adicionalidad del comportamiento general ha sido ignorada por los estudios economtricos de
los efectos del apoyo de I + D que se centran en la adicionalidad de entrada, donde las estimaciones
se hacen de los gastos o la salida de I + D adicionalidad adicional, mediante el cual la empresa
rendimiento se compara entre los receptores y no receptores de pblico
apoyo. Estas son dos preguntas interesantes, pero en ninguno de los casos es la causalidad
examin, ni existe un modelo explcito o implcito de cmo la empresa utiliza pblica
apoyo. Este modelo es parte integral del concepto de adicionalidad comportamental.
Adicionalidad del comportamiento est directamente relacionado con una visin en profundidad sobre la dinmica
capacidades que hacen que una empresa diferente de sus competidores ".
(Georghiou y Claryss, 2005, p.9)
Estudios austriacos e irlandeses son ejemplos de mtodos de adicionalidad de comportamiento:
Austria: Austria ha combinado un enfoque basado en encuestas con un anlisis economtrico para
cuantificar los cambios de comportamiento inducidos por la financiacin de la FFF (Federal I + D de Austria
rgimen de ayuda, su mayor programa de financiacin de la I + D). La encuesta incluy
beneficiarios y no beneficiarios de los premios de la FFF y respuestas en comparacin con respecto a
escenarios hipotticos (por ejemplo, se le han cancelado el proyecto si no lo hubieras recibido FFF
apoyo? ) con los de los escenarios reales (p. ej . qu usted cancela el proyecto despus de no recibir una
premio? ). El anlisis economtrico, incluyendo alrededor de 1.100 actores de I + D en el periodo de tiempo
1995-2002, estima la medida en que las acciones de I + D del personal se vio afectada por pblico
dinero para I + D (Falk, 2002). Los datos del estudio revelaron que FFF-financiacin estaba generando
diversas dimensiones de la adicionalidad del comportamiento:
Alrededor del 80-85% de las empresas de la muestra experiment cierto grado de adicionalidad del proyecto, es decir,
un
adicional del proyecto se llev a cabo debido a la subvencin.
Adicionalidades Aceleracin surgieron de dos de cada tres empresas, es decir, el proyecto fue llevado a
conclusin ms rpido debido a los recursos adicionales que le han presentado.
La proporcin de empresas que aprecian adicionalidades escala oscil entre 60-74%.
Irlanda: En evaluaciones Irlanda de dos programas, los "I + D Capacidad de Subvenciones y de la
"Esquemas de IDTI Competitivas 'incorporaron preguntas sobre la adicionalidad comportamental. La
enfoque era crear una base de datos de informacin de la compaa, los archivos, y las formas que cubre 700
empresas. Entrevistas a la encuesta experiencia de la empresa y las vistas se llevaron a cabo con 70
empresas, entre ellas 10 no participantes en los esquemas. Las entrevistas fueron a nivel de CEO
y Director de I + D. En cuanto a la adicionalidad, el 82% inform de que el proyecto tendra
posible sin el apoyo (aunque slo el 22% lo habra hecho en su totalidad, mientras que el 40% tendra
progresado a un ritmo ms lento y el 14% en una escala ms pequea. Un nuevo tema en trminos de
adicionalidad que fue explorado en este estudio en cuestin las decisiones de localizacin , especficamente
si la empresa ha permitido localizar o mantener instalaciones de I + D en Irlanda. Las dos terceras partes
(65%) estuvo de acuerdo con esta proposicin. Las empresas coincidieron en que fueron capaces de reclutar ms alto
personal calificado y para desarrollar habilidades del personal existente. Tambin acordaron que haban tomado en
mayor inversin en I + D y el riesgo en torno a la mitad opina que los proyectos haban hecho a cambiar su
estrategia de negocio o de su largo plazo de fabricacin y procesos de negocio.
________________________________________
Pgina 162
Programas
162
7.9 Cmo puede la evaluacin dan una idea de un proceso sistmico?
Los "sistemas de innovacin" concepto ha ganado rpidamente la moneda, tanto en el
campo acadmico y en la formulacin de polticas crculos. Histricamente, sin embargo, la evaluacin
ha tendido a operar en un programa de base por programa, en el aislamiento a
la cartera de la poltica de innovacin ms amplio. Es importante reconocer que, por
intentar modificar una parte del sistema de innovacin, polticas de intervencin
iniciar los cambios en otras partes del sistema, que puede ser beneficioso o
perjudicial, pero rara vez neutrales en los impactos a largo plazo. Por lo tanto, la innovacin
programas pueden servir para mover an ms la innovacin "cuello de botella" identificado
aguas abajo en el proceso de innovacin, o perturbar el comportamiento de los actores en
el sistema de innovacin, o incluso crear nuevos cuellos de botella.
No hay respuestas duras y rpidas a esta pregunta.
El VINNOVA
Manual identifica una serie de desafos que enfrentan al tratar de
evaluar los efectos sistmicos de la aplicacin de las polticas: (IKED / VINNOVA, p.
42-42)
Poltica de desajuste y de poltica sinergias : aqu la cuestin se centra en
las externalidades de la parte del sistema que est siendo evaluado. Qu otros
las partes interesadas, los factores conductuales y estructurales entran en juego, ya sea
positiva o negativamente? Igualmente, cmo pueden los beneficios procedentes de la
programa puede mejorar mediante la ampliacin de su mbito de aplicacin o mediante el fortalecimiento
ciertos elementos? Se necesitan metodologas para estimar el impacto de
otros actores e instituciones para aumentar la eficacia general de la
sistema de innovacin.
Nivel de agregacin: Es importante tener en cuenta que el impacto de una
programa de innovacin puede ocurrir en varios niveles a travs de la
sistema de innovacin. Por lo tanto, si la evaluacin es capturar estos impactos, la
eleccin del nivel de agregacin para la evaluacin (o, de hecho,
evaluaciones) se convierte en crtico. De hecho, puede ser el caso que el mayor
impacto no es sentida por los participantes en el programa. Del mismo modo,
los impactos del programa se pueden sentir en varias partes de una cadena de valor fuera de
la industria destine efectivamente, debido a las formas de la competencia o de otro tipo
interaccin. Tales adicionalidades deben ser capturados y esto se puede hacer
a travs de la agregacin de los anlisis y mediante la investigacin de un nmero mayor de
actores o partes adicionales de la cadena de valor, o mediante la combinacin de una serie de
evaluaciones complementarias.
Riesgo: El riesgo inherente asociado con las actividades de innovacin significa que
algunos de los proyectos apoyados por el programa son altamente propensos a fallar.
Ciertamente, el nivel de xito vara entre los participantes al igual que su
expectativas del programa. Por esta razn, un gran nmero de
los proyectos deben ser revisados como parte de una cartera y las tasas generales de
el xito y el impacto examinados. Aqu es esencial que la composicin de
los proyectos examinados es apropiada para los objetivos especificados.
Efectos dinmicos: Como ya se ha dicho el carcter sistmico de la innovacin
implica que una intervencin en una parte va a causar reacciones en otras partes de
el sistema. No slo estas reacciones pueden separar estructuralmente, como
en otras partes de la cadena de valor, sino que tambin pueden variar en el tiempo que
________________________________________
Pgina 163
Programas
163
llevar a ocurrir. Algunos sern a corto plazo, mientras que otros tardarn ms tiempo en
hecho evidente (por ejemplo, los cambios en los regmenes fiscales y regulatorios).
La poltica de innovacin Mucho tiene como objetivo lograr cambios a largo plazo en la innovacin
sistemas. Sin embargo, los responsables polticos se enfrentan a la presin para determinar el impacto de la
sus polticas en el corto plazo, lo que induce una demanda para desarrollar a corto
indicadores coyunturales de los efectos a ms largo plazo.
________________________________________
Pgina 164
Programas
164
7.10 Qu hemos aprendido acerca de la evaluacin de programas de innovacin y
la cultura de la evaluacin?
Esta Gua, y la investigacin en el proyecto SMIEP, han sugerido que
evaluacin de los programas de innovacin es un campo importante y dinmico de
actividad, pero que todava est poco desarrollada en gran parte de la UE y otros
pases.
Figura 7.1 Pocos pases tienen una cultura bien establecida de evaluacin
en el campo de la poltica de innovacin
0
10
20
30
40
50
60
1
2
3
4
5
1 = en desacuerdo completamente, 5 = totalmente de acuerdo, 3 = neutral
Nu
mbre o
F
Resp
en
guarida
t
s
Fuente: Apoyo al Monitoreo y Evaluacin de Programas de Innovacin datos de la encuesta
Han demostrado que la evaluacin de programas de innovacin no es sencillo
la materia, sino que puede aprender de la experiencia de otros tipos de evaluacin.
No hay una "bala mgica", sino que es necesario extraer de una gama de
mtodos para obtener una comprensin de los fenmenos necesariamente complicado.
Una cuestin importante que se ha planteado en varias ocasiones es la necesidad de superar la
vista de la evaluacin como una actividad puramente crtico, ms que como un
oportunidad para el aprendizaje. El punto de vista que ha surgido a travs de esta Gua
refleja los principios de la cultura de evaluacin avanzados:
programas estn diseados dentro de un conjunto de supuestos - evaluaciones pueden
probar estos.
Planificacin para la evaluacin ayuda a mejorar la comprensin general de la
problemas, los resultados esperados y las posibles soluciones, y marcas
evaluacin en s ms eficiente y eficaz.
________________________________________
Pgina 165
Programas
165
programas siempre se pueden mejorar (y la evaluacin es una de las fuentes de
visin de los directores de programas sobre cmo lograr esto).
"fracaso" contiene importantes lecciones - evaluacin deber proporcionar estos
lecciones en lugar de simplemente poner de relieve deficiencias.
igualmente, el "xito" no se puede demostrar de forma fiable sin una evaluacin.
modos alternativos de intervencin pueden estar disponibles y posiblemente deseable -
evaluaciones pueden identificar estos, y tambin identificar dnde existen
contradicciones y desajustes entre los diferentes instrumentos de poltica.
Se requiere apoyo arriba hacia abajo para su evaluacin y aceptacin de los resultados -
lo que significa que los usuarios informados en los niveles superiores.
Evaluacin proporciona transparencia en el funcionamiento de los programas a un
ms amplia audiencia y puede ayudar a atraer a los interesados.
evaluacin ofrece una oportunidad a los programas de referencia en contra de cada
s y sus precursores / sucesores, y puede permitir el aprendizaje de polticas
a travs de diferentes organismos y gobiernos.
________________________________________
Pgina 166
Programas
166
Captulo 8 DE NOTIFICACIN DE RESULTADOS DE LA EVALUACIN
8.1 Por qu es importante pensar en la presentacin de informes?
Referencia podr ser el ltimo paso en una evaluacin - antes de que se actuaron sus resultados
upon - pero ciertamente no es el menor paso. De hecho, la calidad de los informes
pueden tener una influencia considerable en lo lejos que se presta atencin a los resultados.
Y los informes pueden ser necesarios durante el proceso de evaluacin, no slo en
el final del proceso. Por ltimo, es importante subrayar que la preparacin del informe
no debe ser dejado para el final de la evaluacin (vea la ilustracin).
Informes presenta los resultados del estudio de evaluacin, junto con la
informacin necesaria para que los lectores evaluar la validez y la importancia de
estos resultados - que tpicamente involucrarn material descriptivo sobre la
programa y su contexto, y la explicacin de los mtodos empleados. Claramente
estas discusiones pueden ir desde la escueta y mnima a lo discursivo y
larga. El punto exacto para apuntar a entre estos extremos depender de la
audiencia y el propsito de la informe en particular. Algunos tipos diferentes de
informes que podemos tener en cuenta son:
Informes al patrocinador de la evaluacin
Los informes provisionales durante el transcurso de la evaluacin - tpicas en el caso
de las evaluaciones extensas.
informes finales por escrito al final del proceso de evaluacin - prcticamente
todos los estudios de evaluacin dar lugar a dicho informe. Esto ser a menudo
a disposicin del pblico despus de un proceso de consulta (por ejemplo,
los participantes del programa se les da la oportunidad de corregir los errores)
informes y presentaciones para acompaar lo anterior escrito verbales
informes. Es comn para proporcionar una presentacin sucinta sobre la final
informe; a menudo habr sesiones informativas sobre la marcha de la evaluacin
para acompaar a los informes provisionales
Informes a otros grupos de inters
Los informes escritos para un pblico ms amplio - a veces una versin abreviada es
requerida cuando el informe final completo es visto como demasiado largo o complejo para
amplia distribucin.
Los informes y presentaciones a los participantes del programa - a menudo todo un
cuestin de presentaciones adaptadas basadas en el informe final.
Los informes y presentaciones a los otros partidos - por ejemplo, para
formuladores de polticas y los polticos, a otros investigadores de la evaluacin, a
investigadores de innovacin.
Los evaluadores pueden preparar comunicados de prensa ready made que proceda
las partes interesadas pueden dar a los medios de comunicacin.
________________________________________
Pgina 167
Programas
167
El contenido del informe - cules son los elementos de la evaluacin se centran en,
lo que el estilo de presentacin es - debe basarse en los intereses y
capacidades de la audiencia. Sus intereses pueden implicar, por ejemplo, el
preocupaciones de un pblico especfico con tipos especficos de proyecto u objetivo, o
con determinados sectores industriales, universidades, etc Sus capacidades tienen que
debe tenerse en cuenta - por ejemplo, la familiaridad del pblico con la jerga y
tcnicas, si el programa ya ha recibido una gran cantidad de exposicin o
si el pblico debe ser informado al respecto a partir de cero.
________________________________________
Pgina 168
Programas
168
Recuadro 8.1 NSF Orientacin sobre Buenas Informes de Evaluaciones
"Comience temprano. Aunque generalmente pensamos en la redaccin del informe como el paso final en el
la evaluacin, una buena parte de la obra se puede (ya menudo lo hace) llevar a cabo antes de
se recogen los datos. Por ejemplo, una seccin de fondo puede ser a menudo
desarrollado utilizando materiales de la propuesta original. Si bien algunos aspectos de
la metodologa puede desviarse de la propuesta original como el estudio
progresa, la mayor parte de la informacin de fondo (por ejemplo, la naturaleza del problema,
las metas del proyecto) seguirn siendo los mismos a lo largo de la evaluacin. Adems, la
seccin de preguntas de estudio de evaluacin a menudo se puede escribir utilizando material que
fue desarrollado para el diseo de la evaluacin. Los resultados de la evaluacin,
conclusiones y recomendaciones en general tienen que esperar a que el fin de la
evaluacin.
Debido al volumen de datos escritos que se recogen en el hotel, por lo general
una buena idea para organizar notas de estudio tan pronto despus de una visita sobre el terreno o la entrevista como
posible. Estas notas se suele servir como punto de partida para cualquier individuo
estudios de casos que se podran incluir en el informe. Adems ... preparar
texto escrito poco despus de la actividad de recoleccin de datos ayudar a clasificar y
mostrar los datos y reducir el volumen general de los datos narrativa que se
eventualmente necesitar ser resumida y reportada al final del estudio.
Por ltimo, las secciones de preparacin del captulo de conclusiones durante la recoleccin de datos
fase permite a los investigadores generar conclusiones preliminares o identificar
posibles tendencias que pueden ser confirmadas o refutadas por la recoleccin de datos adicionales
actividades. "
Fuente: captulo 7 "Informe de los Resultados de las Evaluaciones de mtodo mixto" por
Gary Silverstein y Laure agudo en Frechtling y Sharp (1997)
________________________________________
Pgina 169
Programas
169
8.2 Cmo debe decidirse requisitos de informacin?
La informacin necesaria para la evaluacin debe determinarse desde el principio en la
proceso. De hecho, los principios de este bien se pueden establecer en el
Declaracin Roame u otro Programa General. En este punto debe ser
acept que la evaluacin no es slo el control de un cuadro de decir que el
programa se llev a cabo correctamente, pero se lleva a cabo para asegurar que las lecciones
del programa se pueden identificar y difundido. Planes de difusin
debe ser parte de la licitacin y la contratacin de la evaluacin.
Sobre esta base, podemos esperar que el patrocinador de la evaluacin tendr un
Se requerir un considerable papel en la determinacin de qu tipo de informacin
- Si se debe exigir un informe provisional, o, simplemente, un informe al final de la
evaluacin; ya sea para pedir verbal, as como presentaciones por escrito; si
pedir informes especializados o resumen para pblicos especficos; y as sucesivamente.
El patrocinador tambin puede de alguna manera a la especificacin de la estructura del informe (s) -
por ejemplo, las cuestiones que deben tenerse en cuenta, los datos que se debe proporcionar. Qu
el patrocinador no puede hacer es especificar lo que las conclusiones deben ser!
Bien puede haber margen para la negociacin entre el patrocinador y el evaluador
con respecto a lo de informes precisa que hay que hacer, y / o qu informes se
ser similar. Si el estudio de evaluacin ha sido sacada a licitacin entre los que compiten
evaluadores, se les puede pedir que presente propuestas sobre la forma de presentacin de informes,
por ejemplo.
Siempre debe haber una expectativa mnima de lo que sern los informes
siempre, y cmo stos deben ser estructurados. Dos asuntos ms difciles
pueda surgir. En primer lugar, puede ponerse de manifiesto que la informacin adicional debe ser
inters, por ejemplo, poltica o los medios de comunicacin en un programa o el: comprometido
cuestiones que aborda pueden haber crecido rpidamente. En tal caso, habr la
que considerar quin paga los gastos de produccin y difusin
informes, organizar o asistir a las reuniones. Es razonable esperar que el
evaluadores para llevar a cabo una gran cantidad de actividad exclusivamente con cargo a los fondos de comercio (o en
el
esperanza de obtener una buena publicidad de sus servicios). Fondos de contingencia puede
necesario movilizar, posiblemente del presupuesto asignado a la promocin de la
programa en s.
En segundo lugar, el evaluador podra formular resultados - u otros aspectos de la
estudiar, tales como la metodologa - ms disponible que el patrocinador
originalmente previ. Mayor difusin de informacin sobre los mtodos y resultados
es generalmente beneficiosa. Los principales problemas que pueden surgir son: el mantenimiento de la
anonimato de los informantes (vase ms adelante); tratar con selectiva e incluso
atencin de los medios maliciosos; y asegurar que las distintas partes en el
programa han tenido la oportunidad de corregir los errores y responder a especficas
crticas. En general, las evaluaciones deben ser comisionados y realizaron
con la expectativa de que los resultados se harn pblicos.
________________________________________
Pgina 170
Programas
170
8.3 Cmo podemos presentar los resultados de una evaluacin a un particular,
audiencia?
Mientras que un informe de evaluacin puede ser dirigida principalmente a un pblico, es muy probable
para ser ledo por un grupo ms amplio.
El tipo de pblico va a influir en la cantidad que ya se sabe acerca de la
programa y su contexto, cmo los resultados de la evaluacin se van a utilizar,
y la cantidad de esfuerzo que el lector es capaz de poner en la asimilacin de la informacin.
Algunos puntos generales a tener en cuenta son:
El patrocinador de la evaluacin y / o fuente de financiamiento para el programa se
quiero informacin acerca de temas como la relacin calidad-precio y programa
eficiencia y eficacia. Problemas similares tambin pueden ser de primaria
preocupacin a otros legisladores y polticos.
Los financiadores y patrocinadores estarn ms familiarizados con el programa
estructura y objetivos, y esto puede necesitar menos reiteracin por ellos.
Sin embargo, pueden estar ms interesados en una comparacin de la
eficacia de este programa con otros, y con el dibujo hacia fuera
de lecciones acerca de los futuros programas.
Los participantes en el programa, y los que podran participar en el futuro
programas, pueden ser los ms interesados en los beneficios reportados por
personas y organizaciones similares a ellos.
Incluso los que participan en el programa pueden no estar familiarizados con el
jerga especializada usada por los directores de programas o en algunas otras partes
del programa.
Los ejemplos, estudios de casos y ancdotas pueden ser particularmente eficaz en
comunicando con el pblico laicos - pero en general son de gran utilidad
herramientas.
Grficos y tablas son tambin formas convincentes de presentar la informacin,
siempre y cuando no hay tantos de ellos, o son de forma individual para
compleja, ya que se sobrecargue el lector.
Slo los otros evaluadores suelen estar interesados en los detalles tcnicos
del informe de evaluacin, que no sea para evaluar la validez general de la
resultados. Los detalles completos de los mtodos se pueden presentar en un anexo.
A menudo ser til preparar un informe completo de evaluacin para los patrocinadores
de la evaluacin, y para proporcionar mucho ms cortos informes para otros usuarios.
De hecho, una estrategia de difusin de resultados de la evaluacin es parte y
parcela de asegurar que se utilizarn los resultados. Sin embargo, la
los evaluadores debern ponerse de acuerdo esto con los patrocinadores de la evaluacin,
y el acuerdo en principio (y por escrito) sobre una estrategia a muy
etapa temprana es deseable.
________________________________________
Pgina 171
Programas
171
8.4 Qu contiene un informe?
Un breve informe puede centrarse casi exclusivamente en los resultados de la evaluacin,
proporcionar indicaciones acerca de dnde los antecedentes del estudio puede ser
examinado. Los elementos tpicos de un informe ms extenso son:
Resumen Ejecutivo - que, como el breve informe se ha mencionado anteriormente,
tpicamente se centran en conclusiones bsicas, relacionndolas con relevante
secciones del texto principal.
Introduccin : la puesta en escena de la evaluacin (por lo general esto implica
explicando quien encarg y llev a cabo la evaluacin, cundo y
por qu).
Antecedentes para el programa que se est evaluando, descripcin del
justificacin, objetivos y actividades estn evaluando.
Las preguntas de evaluacin - es decir, los tipos de impactos a ser
investigados, y los problemas que estos vomitar.
Breve resea de la metodologa - la informacin que se gener, por
qu tcnicas.
Principales resultados - por lo general ilustrada con grficos y tablas.
Conclusiones - Resumen de los principales resultados y las implicaciones que
deriven de las mismas; recomendaciones para futuros programas y polticas
(y evaluaciones).
Anexos : notas ms detalladas sobre la metodologa y los resultados.
Si bien estos elementos sern parte de casi todos los informes de evaluacin, pueden ser
dispuestos en diferentes maneras. Los informes pueden ser organizados a lo largo de diferentes lneas.
Por ejemplo, un informe puede ser organizada temticamente, en trminos de diferentes
elementos del programa - o incluso en cuanto a los temas especficos que se estn
abordado. Por ejemplo, la evaluacin de un programa de apoyo a la investigacin
colaboracin (COST) llev a cabo a finales de 1990 tena por objeto informar a
las decisiones sobre el futuro del programa, incluyendo cmo sera
supervisar y evaluar de forma continua.
Despus introductoria
explicacin, el informe de evaluacin se estructura en torno a cinco temas especificados
por un grupo director de evaluacin (calidad, estructuras, mecanismos y
procedimientos; cuestiones relacionadas con la ampliacin del marco de la incorporacin de
los pases de Europa central y oriental; el programa como un catalizador para
a largo plazo la colaboracin internacional; y la evaluacin de la inversin en el
las actividades de los participantes), y luego discutieron una serie de cuestiones relativas a
el seguimiento y la evaluacin.
(Aqu,
Se hicieron recomendaciones
relativa a una mejor documentacin para propsitos de monitoreo; mejora de los vnculos
entre los diferentes niveles del programa; mejoras en la seleccin de propuestas
proceso; procedimientos para los perodos de puesta a punto y las evaluaciones intermedias; para
prrroga y terminacin de las acciones; para los comits, y para regular de
auditora independiente de las finanzas de costes, etc) Por ltimo, un conjunto de escenarios eran
construido, explicando los efectos probables de los diferentes grados de cambio en
estructuras de los programas. (PREST et al, 1997)
________________________________________
Pgina 172
Programas
172
Recuadro 8.2 Presentacin de los Resultados de la Evaluacin: La discusin de la mejor
Prcticas del Programa de Tecnologas Avanzadas EE.UU.
"La presentacin de Estratgicamente Resultados.
Resultados tienen ms efecto si se presentan de modo que una persona no tcnica
puede entender la ciencia y la comercializacin. Los resultados se presentan en
mltiples maneras-un breve resumen que permite a alguien para captar rpidamente la tecla
hallazgos, un resumen ejecutivo para alguien que quiere una visin general de la llave
pone de relieve, y el informe completo. Resultados cuantitativos se presentan en forma de tabla
formar, con los grficos, y con el acompaamiento de los anlisis cualitativos. Liberamos
muchos de nuestros hallazgos en las hojas de datos y ponerlos a disposicin en el ATP de
sitio web. Tambin hemos publicado tres folletos de temas especiales que resaltan
proyectos en los sectores de atencin de la salud, la energa, y de fabricacin ...
Otra forma en que se resumen los resultados y datos es un "resumen estadstico, 'un
idea de que la tomamos prestada de Estadstica de la Oficina del Censo de EE.UU. del anual
Resumen. Hay planes para publicar el resumen estadstico ATP cada dos aos-
el primero fue lanzado en septiembre de 2004, en un informe titulado Midiendo ATP
Impacto, 2004 Informe sobre Progreso Econmico. El informe describe la ATP
utilizacin de los resultados y datos de los informes y las estadsticas recientes. Tambin proporciona
resmenes de los estudios recientes y diez cuadros estadsticos detallados que ofrecen
datos sobre el nmero y tipos de premios, las reas de tecnologa, regiones geogrficas,
participacin de las universidades, el nmero de patentes, comercializacin y post-premio
atraccin de fondos externos. Los datos se presentan para todos los proyectos y por
caracterstica del proyecto, por:

Tamao del lder del proyecto,

Tipo de proyecto (empresa individual o negocio conjunto),

Tipo de proyecto,

rea de Tecnologa,

rea de Tecnologa por tipo de proyecto.
... "
Fuente: Shipp et al (2005)
disponible en:
http://www.atp.nist.gov/eao/ir05-7174/nistir05-7174.pdf
________________________________________
Pgina 173
Programas
173
8.5 Cmo se puede presentar resultados?
Un informe tiene que encontrar el equilibrio adecuado entre la precisin y la
legibilidad. Tiene que ser preciso y detallado, sin ser demasiado largo o
tcnica. Es importante para atraer y mantener la atencin del lector.
Algunos de
las cuestiones fundamentales que se plantean son:
La concisin. estudios Evaluaciones suelen generar grandes volmenes de
notas de la entrevista, las declaraciones de la encuesta, las tabulaciones, y similares. Es necesario
ser muy selectivo en el uso de este material (sobre todo en el informe principal:
ms detalle se puede presentar en los anexos.) El resultado final es que
deber incluir la informacin que se dirige directamente a la evaluacin
preguntas, y que contribuya a establecer los argumentos generales y
conclusiones alcanzadas. (Esto incluye pruebas que no admite estas
conclusiones: esas pruebas ha de ser tratados y contabilizados, no
suprimida.)
La legibilidad . Los informes son a menudo asuntos secos y tcnicos. El uso de
citas y narraciones de estudios de caso pueden hacer la cuenta ms legible
y memorable. Existe el peligro de un exceso de la narrativa y la cita:
la regla clave aqu es que los utilicen para ilustrar los puntos (por ejemplo, poniendo un
cotizacin relevante en un cuadro de texto junto a un argumento que se est realizando.
Listas de puntos de bala son igualmente buenas formas de cristalizacin de los puntos importantes y
rompiendo anlisis densos: una y otra vez que pueden ser usado en exceso, dejando
lectores con una larga serie de puntos pobremente conectados a poner de alguna manera
juntos.
Ilustraciones . Estos por lo general sern tablas, grficos y tablas de derivadas de
los resultados de encuestas o anlisis de archivo. (Incluso la informacin cualitativa
a menudo se pueden presentar en forma de tabla. Temas como "los casos en que
informantes reportaron que un determinado resultado se logr "; "vistas
informantes en cuanto a qu resultados se lograron con mayor facilidad ", y similares,
prestan a la enumeracin o cita de ejemplos.) Una vez ms, hay una
peligro de sobrecargar el texto con ilustraciones: siempre hay un lmite
las tablas y grficos que pueden ser absorbidos por los lectores, por lo que las decisiones deben
debe ser tomada como a los que son casos ms relevantes. Otras ilustraciones
Tambin pueden emplearse - diagramas para representar la estructura organizativa o
flujo de tareas, posiblemente, las fotografas de personas en el trabajo en la configuracin del programa
o de los tipos de tecnologa estn abordando, etc El uso de ilustraciones
tiene que ser adecuada a la audiencia: el lector no deber sentir hablado
a, pero el diseo visual puede ser muy importante en el fomento
nmero de lectores
________________________________________
Pgina 174
Programas
174
8.6 Qu se debe hacer por medio de consultas y comentarios?
Es una prctica comn para un primer borrador de un informe de evaluacin que se distribuir a
informantes y los que participan en el programa - que puede recibir un proyecto de
todo el informe o (a menudo ms til) slo aquellas partes que se ocupan de su
propios campos de actividad, retroalimentacin de dichos lectores es til para corregir
errores de hecho y errores de interpretacin. Aquellos cuyas opiniones han sido
citado, o que han contado relatos que se estn elaborando en adelante, puede ser
capaz de sealar y ayudar a superar los malentendidos y las omisiones en la
cuenta. (Tambin pueden sealar si sienten que su anonimato est siendo
comprometida.) Las personas que pueden sentir que su rendimiento no ha sido
adecuadamente representados se les da una oportunidad de responder a las implcitas y explcitas
crticas.
Si bien siempre es posible que una mayor retroalimentacin se enviar en breve despus de la
informe aparece, es probable que permita a los evaluadores a la consulta previa
determinar donde hay descontento con el informe, y tomar medidas para hacer frente
con este.
El principal peligro es que los resultados de la evaluacin se "filtre" en
esta primera etapa, y que las conclusiones de un proyecto se pueden representar como la
ltima palabra. Por lo tanto, cuando se hace circular un borrador de informe, esto se debe hacer en
confianza, con los que la reciben se pide no distribuir an ms.
________________________________________
Pgina 175
Programas
175
8.7 Qu se debe hacer sobre la confidencialidad?
Mantener la confidencialidad es susceptible de ser un problema importante. Es comn
practicar para obtener puntos de vista y comentarios de personas que han sido
entrevistados y encuestados de forma annima. Esto les permite hablar
de una manera directa, sin preocuparse que sus comentarios a los evaluadores
dar lugar a su ser en el extremo receptor de las llamadas telefnicas airadas (o peor).
Por supuesto, el anonimato no debe ser un pretexto para rumores y verdades a medias para
entrar en la evaluacin. Afirmaciones de hecho deben ser verificados en cuanto a
posibles, y presentados como se presenta por una (o ms) si informantes
que no se pueden determinar. Las opiniones y las creencias pueden declararse como tales.
La cuestin es, hasta qu stos tienen que estar vinculados a determinadas personas?
A veces, la gente estar feliz de tener sus entradas que se les atribuyen. Pero
a veces van a querer que las cosas especficas que decir en el anonimato, y
a veces esto ser la condicin de una entrevista. Puesto que es difcil
negociar los niveles de confidencialidad en el caso de las encuestas, estos son a menudo
llevaron a cabo en rgimen de todo-o-nada, y ms a menudo los encuestados son
inform que las respuestas sern annimas.
Por lo general, la tarea se convierte entonces en uno de (a) el reconocimiento de la ayuda proporcionada por
informantes; (B) que representa con exactitud la informacin que tienen
suministrado, que a menudo requiere alguna indicacin de qu tipo de encuestado
involucrada era (porque esto puede afectar la manera en que un lector interpretar
la entrada); y (c) por lo que es difcil de asociar una cita en particular o
juicio con un informante llamado especfico. Puede ser que el informante tiene
mostr dispuesta a renunciar anonimato (punto (c)), pero esto no siempre ser el
caso, y los investigadores tienen que tener cuidado para evitar romper cualquier anterior
compromisos. (Por supuesto, esto implica que los evaluadores tendrn que ser muy
muy consciente de los compromisos que se han hecho en el primer lugar.) Es
menudo posible preservar un cierto grado de anonimato, al atribuir las entradas a un
encuestado de un fondo en el trabajo o de organizacin en particular, sino
donde hay muy pocas personas de este tipo, esto puede ser muy problemtica tambin.
Si las personas reconocidas como haber colaborado en la evaluacin slo contiene
a un individuo de un fondo, el anonimato como se ve comprometida.
Un problema relacionado surge de "off the record" o "en confianza", comenta.
Estos a veces son proporcionados por los informantes en el entendimiento de que
no se informarn directamente, sino con el fin de proporcionar al evaluador
es necesario comprender el fondo de algo que se discute. (A menudo
esto va a ser una cuestin de crtica de una persona o institucin determinada.) Tal
la informacin puede ser muy valiosa, y por lo general no necesitan ser reportados en
de manera directa con el fin de ser utilizado para informar del informe de evaluacin. Si ms
uso explcito necesita ser hecho, puede ser posible anonimizar el objetivo de
la crtica o la instancia especfica de la prctica que se est discutiendo. Si esto no es
el caso, el evaluador puede tener que negociar con el informante en relacin con
cmo se puede representar la informacin.
________________________________________
Pgina 176
Programas
176
Captulo 9 HACIENDO EL PAPEL DE LA EVALUACIN
9.1 Cmo podemos lidiar con argumentos en contra de la evaluacin?
Captulo 3 examina una serie de argumentos montados comnmente contra
evaluacin, y sugirieron cmo podran ser contrarrestadas intelectualmente, y
a travs de medidas prcticas que aborden los problemas que se plantean. Nosotros
Tambin expuso los argumentos a favor de la evaluacin, y han procedido a discutir
cmo deben ser gestionados y aplicado efectivamente las evaluaciones.
En ltima instancia, nada es tan convincente como ejemplos de buenas prcticas de evaluacin,
y de los resultados de los estudios de evaluacin que hacen una diferencia real en la poltica
prctica.
Sin embargo, esto es slo parte de la historia. Es una cosa que ensayar argumentos
y documentar las experiencias, y otra cosa es que la gente los escucha. Hay
son pocos o ninguno los atajos aqu. Va a ser muy valiosa para ganar el odo de una persona mayor
toma de decisiones, que pueden influir en sus colegas y subordinados.
(Incluso entonces, puede haber un acuse de recibo de contadores de la evaluacin de estos
partes, sin ningn compromiso serio con las cuestiones planteadas. La
terminologa puede ser adoptado y aplicado incorrectamente, elevando el peligro de que un
nocin empobrecida de la evaluacin se convierte en actual.)
La exposicin de los principios de evaluacin y demostracin de su utilidad es muy
importante - sobre todo en circunstancias en las que los polticos influyentes son
presente. Ellos pueden demostrar su aprobacin, y los subordinados de alerta deberan
ser capaz de sacar sus propias conclusiones a partir de esto. Influencia de los amigos es tambin una
disparador importante para el desarrollo de actitudes favorables - las cuentas de
lo que se est haciendo en otros pases, por lo tanto puede tener un efecto considerable.
Sin embargo, de nuevo, no puede haber problemas. Uno de los - por lo general sin especificar -
fuentes de oposicin a la evaluacin de los enfoques - especialmente especfico
tcnicas - es el "no inventado aqu" fenmeno. Si una determinada poltica
enfoque se considera que est estrechamente vinculada con un pas en particular,
la filosofa poltica, o incluso uno de los lados de un argumento poltico local, puede ser
rechazada nicamente por razones de asociacin, sin consideracin seria de su
fundamentos y potencial utilidad en otros contextos. Igualmente, como se
discute ms adelante, hay peligros en copiar acrticamente enfoques
desarrollado en un contexto de toma de decisiones en un contexto muy diferente -
cundo permanecer fiel a los principios que sustentan el enfoque hara realidad
necesitar ser modificada para adaptarse a la nueva contexto. Esto se discute en ms detalle
a continuacin.
________________________________________
Pgina 177
Programas
177
9.2 Quin tiene que ser convencido? (1) campeones
Dos de las conclusiones ms sobresalientes y duraderos de la innovacin
investigacin son:
. 1 Las innovaciones necesitan campeones de productos - figuras importantes que lucharn por
recursos que se dedican a la innovacin, incluso si todava est en las primeras etapas
y una manera de mostrar ningn buenos rendimientos, y especialmente cuando el
organizacin se enfrenta a problemas que llevan otras figuras de alto nivel para sugerir
que slo las actividades inmediatas deben ser priorizadas.
. 2 Las innovaciones exitosas estn ntimamente ligados a los requerimientos del usuario: la
innovador tiene cierta forma de entender estos requisitos (tal vez
de ser un usuario primordial de l o ella, tal vez por el continuo
implicacin con las comunidades de usuarios - incluso a travs de la investigacin de mercado en
ocasin).
Problemas bastante similares surgen cuando lo que tenemos que hacer frente a una poltica
la innovacin, tales como la introduccin de la evaluacin en un marco institucional, o
la introduccin de una nueva forma de papel o para las actividades de evaluacin.
Un campen se requiere que presentar el caso a los altos directivos y
los responsables polticos, y lucha contra la esquina de la evaluacin cuando se enfrenta a
oposicin. El campen, por lo general un alto directivo o figura poltica, voluntad
necesita ser armado con los argumentos en apoyo de la evaluacin. Ayuda
considerablemente si l o ella tiene una apreciacin de las dificultades que las evaluaciones
puede encontrar, de la escala de tiempo involucrado en el establecimiento y utilizacin de los resultados, de
los desafos que enfrentan utilizando evaluaciones de manera eficaz. Un sensible
gerente de "vender" los principios de evaluacin de sus subordinados,
motivndolos a comprometerse plenamente con ellos, en lugar de emitir una
instrucciones para implementar el proceso. Implementacin satisfactoria es susceptible de
exigir comprensin y compromiso con el proceso de la lnea.
________________________________________
Pgina 178
Programas
178
9.3 Quin tiene que ser convencido? (2) las partes interesadas
El campen del producto se habr convertido en una de las partes interesadas, en el sentido de que su
o su reputacin puede estar vinculada con el proceso de evaluacin. Otro
los interesados tambin tienen que ser ganados para el proceso. Por grupos de inters que
referirse a todos aquellos que tienen un inters en la evaluacin. Esto puede incluir,
por ejemplo:
Los que estn siendo evaluados (los participantes y los directores de los programas), y
aquellos que podran esperar ser evaluada en futuros ejercicios.
Los posibles usuarios de estos resultados en relacin con la eficiencia y valor por dinero
- Por ejemplo, los auditores y los reguladores financieros.
Los posibles usuarios de los resultados relativos a las direcciones particulares para
gestin de la innovacin y la innovacin, por ejemplo la investigacin y
comunidades tecnolgicas que pueden ser influenciados por, la generacin y / o
utilizando las innovaciones en cuestin.
Los posibles usuarios de los resultados ms generales acerca de la innovacin - sus condiciones
y sus consecuencias - incluyendo gerentes en empresas que son o tienen la intencin de
participar activamente en la innovacin o en la financiacin de innovaciones.
Las figuras polticas y los polticos que buscan informarse sobre
la orientacin futura de la poltica y los programas de innovacin.
Los medios pueden convertirse en una de las partes interesadas (cuando las evaluaciones son relevantes para
historias en curso o campaas), y ser importante para proporcionar clara
exposicin de la naturaleza de las evaluaciones para limitar la medida en que resulta
puede ser tergiversado.
Al igual que en el caso de las innovaciones, la buena vinculacin con los usuarios no es slo una cuestin de
informar a los usuarios sobre los beneficios de la innovacin (en este caso la poltica
la innovacin en relacin con la evaluacin). Tambin consiste en escuchar a los usuarios y
escuchar lo que quieren. Esto no significa necesariamente que dan a los usuarios exactamente
lo que ellos creen que quieren. Los usuarios no siempre son muy buenos para ver cmo se
se podra emplear una innovacin que an no lo han encontrado, y
que pueden ser reacios a cambiar algunas o muchas de sus prcticas. Para
ejemplo, los auditores an tendrn que seguir realizando la auditora de base
funciones, aun cuando puedan ser persuadidos del valor de tomar una mirada ms amplia
las cosas. Pero s requiere tener en cuenta las capacidades de lo que el usuario de
resultados de la evaluacin de comprensin son, y cules son sus necesidades para este tipo de resultados
podra ser.
Por estas razones, las prcticas de evaluacin deben estar en un mnimo diseado de manera
que los resultados pueden ser presentados en trminos que son clara y concisa
explicable a los usuarios no expertos. En este contexto, algunos de vanguardia cuantitativa
los resultados pueden ser bastante ineficaz y si bien es importante seguir
experimentar con metodologas de evaluacin frescas, esto no debe ponerse en el camino
de presentar los resultados bsicos. Se debe tratar en lo posible de comprometerse con
los tipos de impactos de los programas con los que los usuarios clave tienen que ver - este
puede ser un foco en la competitividad de los clusters regionales, en materia de empleo
generacin, sobre los impactos ambientales, o una serie de otros temas. La
los objetivos del programa ya se especificarn los factores clave que el programa es
destinado a influir, pero estos tambin tienen que estar relacionados con la forma en la que
estas preocupaciones se entienden y expresan los usuarios clave.
________________________________________
Pgina 179
Programas
179
9.4 Cules son los principales retos que tienen que superar para ganar
Apoyo a la utilizacin de las evaluaciones?
Es evidente que el grado en que la entidad cuente con una cultura bien desarrollada de
evaluacin ser un determinante importante de la utilizacin, y probablemente la
calidad de las evaluaciones individuales. Pero hay factores que pueden hacer que un
evaluacin individual menos eficaz, incluso cuando est en una generalmente favorable
medio ambiente.
19
Entre los retos que tienen con mayor frecuencia que hay que superar son:
Problemas de sincronizacin
Los recursos asignados a la evaluacin
herramientas e instrumentos inapropiados
cuestiones de control de calidad
cuestiones de la Independencia
Las entrevistas de proyectos SMEIP indicaron que los dos primeros retos eran
ms comnmente experimentados. Las restricciones presupuestarias y las limitaciones de tiempo fueron
repetidamente citado (a veces dentro de la misma observacin, tal como un escocs
dicho entrevistado "En ltima instancia, nuestros presupuestos son limitados y la escala de tiempo
dentro de la cual las cosas tienen que hacerse conducir nuestras decisiones ").
Otros temas mencionados incluyen:
regulaciones excesivamente complicada para la puesta en marcha de la evaluacin (esta
afecta a las decisiones de los funcionarios pblicos acerca de cules seran los programas
evaluado).
La escasez de evaluadores competentes que sean capaces de llevar a cabo imparcial
evaluacin, trascender los modelos de negocio y el uso de nuevos enfoques. Este
se mencion incluso en pases con una cultura de evaluacin ms fuerte.
19
EPEC (2005) discute tilmente factores que fomentan o desalientan las evaluaciones y su uso
a nivel de las evaluaciones individuales, a nivel de la institucin de forma ms general, y en la poltica
procesos.
________________________________________
Pgina 180
Programas
180
9.5 Cmo podemos abordar los problemas de sincronizacin?
Tal vez el problema ms comn es que las evaluaciones no se ajustan bien a la
ciclo de las polticas. Se necesita tiempo para llevar a cabo una evaluacin adecuada, pero las decisiones
puede necesitar ser hecha rpidamente. De hecho, las decisiones sobre el sucesor
programas, o sobre la reestructuracin de todo el sistema de la poltica de innovacin, puede
deben tomarse antes de que un programa se ha completado. Esperemos que los resultados de
evaluaciones anteriores pueden informar a estas decisiones, pero puede haber presin para
compartir algunas conclusiones iniciales y provisionales de un estudio de evaluacin con el fin
para proporcionar la inteligencia especfica que est diseado para producir. A continuacin, ser el
la responsabilidad de los evaluadores para determinar qu conclusiones pueden ser
salir temprano, y cmo las calificaciones necesarias puedan ser adecuadamente
reflejada.
A menudo es difcil predecir qu momento surgirn problemas, porque el cambio de
circunstancias polticas pueden conducir a las demandas que surgen de los resultados de evaluacin a
momentos inesperados. Del mismo modo, pueden significar que el momento ha pasado a
resultados de la evaluacin que se podran utilizar ms eficazmente. Pueden surgir problemas,
por ejemplo, donde hay una reorganizacin del liderazgo poltico de alto nivel, cuando un
crisis de financiacin sucede, cuando hay conciencia repentina de la necesidad de
apoyar intensamente una tecnologa o grupo determinado, y as sucesivamente.
Sin embargo, los contornos generales del ciclo de polticas generalmente se pueden predecir con
precisin razonable. Rondas de financiamiento comienzan y terminan con cierta regularidad;
revisiones importantes de los mbitos polticos se anuncian con mucha antelacin (como lo son
elecciones); incluso es posible determinar los tiempos en los que los tomadores de decisiones son
obligado a preocuparse por otros asuntos urgentes (aunque es ms difcil de
predecir cundo van a tener unos momentos libres). Tales cuestiones de programacin, puede
deben tenerse en cuenta en el diseo y puesta en marcha de las evaluaciones. Ellos
puede significar, por ejemplo, que la evaluacin debe comenzar ms temprano
que tarde, que debera estar diseado para producir intermedio clave
resultados en una etapa temprana, que los evaluadores deben ser informados de la probabilidad
que se buscar su asesoramiento durante el transcurso de la evaluacin, que
mecanismos de seguimiento deben estar bien desarrollados y dirigidos a deseado
resultados previstos, o que en tiempo real o medio plazo las evaluaciones se llevan a cabo.
Igualmente, ser necesario que patrocinan esas evaluaciones para informar claramente su poltica
maestros en cuanto a qu es realista esperar y cundo. Es importante que no se
despertar falsas expectativas sobre lo que una evaluacin determinada puede contribuir en el
curso de un ciclo poltico en particular. Puede ser necesario aumentar la parcial
resultados de una evaluacin continua con la informacin, pruebas y conclusiones
extrada de evaluaciones anteriores, las actividades de vigilancia y otras fuentes.
Tambin debe tenerse en cuenta que, en un cultivo completamente desarrollado de la evaluacin, la
contribucin de cada evaluacin sucesiva programa debe agregar ms
evidencia que el panorama general del sistema nacional de innovacin en un
forma incremental. Por lo tanto, a nivel de poltica mayor (y polticos) una
comparativamente al da la evaluacin del entorno de la innovacin es siempre
________________________________________
Pgina 181
Programas
181
, disponibles proporcionadas programas se han puesto en marcha en etapas sucesivas
durante todo el ciclo de la poltica en general.
________________________________________
Pgina 182
Programas
182
9.6 Cmo podemos hacer frente a los problemas de los recursos?
Es comn encontrar declaraciones a lo largo de las lneas de "evaluaciones tpicamente
costar 1 a 5% de la cantidad consumida por el programa que se est evaluando ",
pero esto parece ser impresionista en vez de sobre la base de la encuesta sistemtica.
(No se corresponde con la experiencia de los autores, sin embargo.)
Las evaluaciones deben ser lo suficientemente bien financiado para llevar a cabo su misin.
Mientras que los evaluadores pueden estar motivadas por razones no financieras - como
curiosidad en relacin con la poltica, las tecnologas involucradas, la innovacin
redes en juego - stos no siempre ser principales factores, y hay
los costos inevitables de la produccin de datos, entrevistas, administracin, informe
preparacin y as sucesivamente.
Guy (1998) sugiri que los recursos son
encontrado como un problema en muchos estudios de evaluacin debido a que no tienen
mantenido a la par con el creciente alcance de dichos estudios. Aunque, en general, ms
los fondos se asignan actualmente a la evaluacin, los de los estudios de evaluacin individual
no han crecido; pero se espera que los estudios que lidiar con una amplia
y ms desafiante gama de temas, para proporcionar asesoramiento estratgico y no slo
rendicin de cuentas, etc Teniendo en cuenta que las evaluaciones pueden contribuir a la formacin del personal y
desarrollo, puede ser posible pensar en la financiacin de algunos elementos de la
trabajar desde esas fuentes poco ortodoxas.
Propios evaluadores pueden tener poco que decir sobre el nivel apropiado de
la financiacin de un estudio debe ser, pero tienen que ser realistas en la comunicacin
a los patrocinadores sobre lo que pueden lograr con los recursos disponibles, y
no debe prometer demasiado. De lo contrario, la calidad puede estar en peligro.
Diseadores de programas y los administradores deben tomar regularmente sondeos para
qu recursos pueden ser necesarios para llevar a cabo el tipo de evaluacin que
quieren, y no asumen que los costos estarn en lnea con los de antes
evaluaciones.
Al igual que con muchos otros tipos de estudio de polticas, estudios de evaluacin a menudo sufren de una
especie de "ampliacin de la misin", los evaluadores se espera que haga ms que antes
previsto, para proporcionar insumos y asesoramiento sobre una gama ms amplia de temas, y as sucesivamente.
Se requiere honestidad en el examen de las implicaciones financieras de la acumulacin de
demandas, y al decir slo lo que se puede y no se puede hacer de manera adecuada dentro
lmites de recursos especficos. Sin embargo, si un modelo de programa ha sido
construido, este debe definir los tipos de resultados que la evaluacin
debe investigar y tambin proporcionar una evaluacin del nivel adecuado de
recursos para hacer esto.
Claramente, hay un caso fuerte para establecer un buen nivel de dilogo entre
la gestin del programa y los evaluadores, si estos ltimos son
interno o externo a la institucin u organismo responsable del programa.
Una comprensin clara y compartida del foco principal de la evaluacin debe ser
logrados y de las expectativas relativas de todos los grupos de inters.
________________________________________
Pgina 183
Programas
183
9.7 Cmo podemos hacer frente a los problemas asociados con herramientas inadecuadas
y los instrumentos?
Varias cuestiones se plantean aqu. No puede ser un enfoque engaosa en particular,
clases de datos - por ejemplo, sobre tipos cuantificados financieros o de otro tipo
informacin, a la exclusin de otros. Mientras que esto puede aumentar la probabilidad
de algunos tomadores de decisin de aceptar el estudio de evaluacin y que relatan su
conclusiones, lo ms probable es que esto no va a generar una apreciacin del
los resultados completos y, a menudo complejas que el estudio proporciona. Las decisiones basadas
en una apreciacin parcial tales son susceptibles de enfatizar ciertos criterios bastante
que otros, por lo general la traduccin de un objetivo poltico amplio en estrecha y parcial
objetivos.
Otro problema se refiere a la copia no apropiado de las tcnicas de evaluacin
de un pas (o polticas) a otro. Si bien la evaluacin general de
principios pueden ser transferidos sensiblemente, la forma en que estos principios necesitan
llevarse a la prctica en diferentes contextos ser muy dependiente de la
especificidades de estos contextos. As como un programa para la innovacin originalmente
desarrollado para impulsar la innovacin entre una red de empresas y otros
organizaciones en un pas o sector econmico o clster no pueden ser
esperado para operar precisamente de la misma manera en los diferentes tipos de red
que se aplican en otro pas, sector o grupo, por lo que las herramientas de evaluacin y
instrumentos se puede esperar que variar.
Continuando con el ejemplo, un programa para la innovacin diseada para una
sistema de innovacin en los que existen vnculos dbiles entre los proveedores de tecnologa
y las empresas de otro tipo pueden tener que contener actividades diseadas explcitamente
para fomentar tales vnculos, mientras que otro programa podra esperar para llevarlos
por sentado y esperar que funcionen con el fin de difundir las prcticas
plasmado en el programa. Las evaluaciones en ambos casos pueden ser
se ocupa de los flujos de informacin y los cambios en el comportamiento mediadas
por las redes, pero en el primer caso es posible que el estudio de evaluacin de
abordar la cuestin de si los nuevos vnculos de la red se han forjado en
todo. Y en trminos prcticos, en el segundo caso, los evaluadores pueden encontrar que
los participantes del programa estn bien informados acerca de las redes dentro de la cual
funcionan, y pueden identificar fcilmente las fuentes y colaboradores de informacin, mientras que
el establecimiento de esta informacin de referencia podra ser mucho ms difcil en el primer caso.
La leccin es que los evaluadores no se puede esperar que simplemente copia anterior
estudios y toman sus herramientas y tcnicas fuera de la plataforma, por as decirlo. Esto puede
a veces puede ser posible - pero la presuncin cuando estamos tratando de aprender
a partir de experiencias de evaluacin en otros pases (especialmente, pero tambin de otras
sectores y clusters) es que gran rediseo de los mtodos de evaluacin ser
requerida.
________________________________________
Pgina 184
Programas
184
9.8 Cmo podemos hacer frente a los problemas de control de calidad?
No hace falta decir que las evaluaciones de buena calidad son ms susceptibles de ser
utilizado con eficacia que los de baja calidad. Pero en realidad, esto slo puede darse por
otorgada en cultivos bien desarrollados de evaluacin. En situaciones en las que
Evaluacin est menos establecida, puede haber una menor capacidad para evaluar
si la evaluacin se ha encargado de manera adecuada, diseado y
implementado, y si se estn utilizando eficazmente sus resultados.
Los directores de programas y otras personas que encargan evaluaciones deben ser
clientes informados. Esto significa que deben ellos mismos han recibido
ms informativa mnima sobre la utilidad y las demandas de la evaluacin
proceso. Lo ideal es que se han tenido algn tipo de formacin en la puesta en marcha e incluso
en las evaluaciones de empresa. De este modo, deben estar equipados no solo para especificar
caractersticas del proceso de evaluacin, sino tambin para actuar como clientes informados que pueden
evaluar la calidad y el significado de cualquier notificacin que reciban.
Tener evaluadores independientes (ver ms abajo), el uso de la competencia entre
evaluadores como una forma de evaluar la calidad de las propuestas de evaluacin, y
ser capaz de comparar los resultados de diferentes evaluaciones es importante.
Estimular el dilogo y la discusin sobre los enfoques de evaluacin (por
ejemplo a travs de seminarios y conferencias, a travs del intercambio de experiencias
entre los departamentos gubernamentales y con sus pares en otros pases) puede
contribuir en gran medida. La publicacin de las evaluaciones, a fin de que otras partes pueden
comentario sobre su enfoque y resultados es vital.
Recientemente se han realizado esfuerzos para desarrollar normas de calidad de las evaluaciones,
lo que significara que los evaluadores que tratan de seguir estas normas sera
ser proporcionar alguna medida de garanta de calidad para sus usuarios. Ejemplos de
tales enfoques se ilustran a continuacin. Aunque tal vez no sea necesario que
cualquier evaluador se comprometen a un enfoque particular a la calidad, la conciencia
de los problemas de calidad y compromiso con las normas profesionales por parte de
evaluadores, es claramente esencial.
________________________________________
Pgina 185
Programas
185
9.9 Existen normas para evaluadores de seguir?
Los evaluadores han sido muy conscientes de que su trabajo plantea muchas tico
preguntas. Los resultados de los estudios de evaluacin no siempre son del agrado de
todas las partes interesadas - las polticas, programas, proyectos individuales pueden ser
considerar que ha cumplido con las expectativas, por ejemplo. Los resultados de
Se espera que los estudios de evaluacin de influir en las decisiones futuras, por lo que
tener una importancia prctica mucho ms all de la de la mayora de la investigacin social. Se puede
ser tentador pretender demasiado de un estudio de evaluacin, o para calificar crtico
observaciones tan fuertemente que su importancia es oscurecida. Los evaluadores pueden encontrar
difcil permanecer desinteresada cuando su propia financiacin en el futuro est en cuestin,
cuando sean susceptibles de ser criticado por una u otra parte.
Por esta razn, ha habido mucho inters en el desarrollo de normas ticas
para el trabajo de evaluacin. La ilustracin representa a un conjunto muy elaborado de
directrices para los evaluadores, que figuran en los Estados Unidos. Algunos Europea
las normas de las sociedades de evaluacin 'estn disponibles en lnea, en los siguientes lugares:
Francia

Versin Ingls
http://www.sfe.asso.fr/pdf/Charter-English.pdf

Versin en francs
http://www.sfe.asso.fr/pdf/charte.pdf

Versin alemana
http://www.sfe.asso.fr/pdf/Charte-Allemand.pdf
Alemania

Versin Ingls
http://www.degeval.de/standards/Standards_engl.pdf

Versin alemana
http://www.degeval.de/standards/Standards.pdf

Versin rusa
http://www.degeval.de/standards/Standards_russisch.pdf
Italia

Versin italiana
http://www.valutazioneitaliana.it/deontologico.php
Suiza

Versin Ingls
http://www.seval.ch/en/documents/SEVAL_Standards_2000_en.pdf

Versin alemana
http://www.seval.ch/de/documents/seval_Standards_2001_dt.pdf

Versin en francs
http://www.seval.ch/en/documents/SEVAL_Standards_2000_fr.pdf
Reino Unido

Versin Ingls
http://www.evaluation.org.uk/Pub_library/PRO2907 - UKE. A5
Guideline.pdf
Fuente: Sociedad Europea de Evaluacin, en
http://www.europeanevaluation.org/library/evaluation_standards/national_and_region
al_evaluation_societies / europe / index.html
________________________________________
Pgina 186
Programas
186
Recuadro 9.1 PRINCIPIOS RECTORES de la Asociacin Americana de Evaluacin
PARA EVALUADORES, julio de 2004
A. sistemticas Encuesta: Los evaluadores llevan a cabo investigaciones sistemticas, basadas en datos.
1. A fin de garantizar la exactitud y la credibilidad de la informacin evaluativa que producen,
los evaluadores deben observar los ms altos estndares tcnicos adaptados a los mtodos
que utilizan.
2. Los evaluadores deberan explorar con el cliente las deficiencias y fortalezas tanto de la
varias preguntas de evaluacin y los diversos enfoques que podran ser utilizados para
responder a estas preguntas.
3. Los evaluadores deben comunicar sus mtodos y enfoques con precisin y en
suficiente detalle para permitir a otros a comprender, interpretar y criticar su trabajo. Ellos
debe dejar claro las limitaciones de una evaluacin y de sus resultados. Los evaluadores deberan
discutir de una forma apropiada para el contexto de esos valores, supuestos, teoras,
mtodos, resultados y anlisis afectar significativamente la interpretacin de la evaluacin
hallazgos. Estas declaraciones se aplican a todos los aspectos de la evaluacin, a partir de su inicial
conceptualizacin a la eventual utilizacin de los hallazgos.
B. Competencia: Los evaluadores proporcionan un rendimiento competente a los interesados.
1. Los evaluadores deben poseer (o asegurarse de que el equipo de evaluacin posee) la
educacin, habilidades, destrezas y experiencia adecuada para llevar a cabo las tareas propuestas
en la evaluacin.
2. Para garantizar el reconocimiento, la interpretacin precisa y respeto a la diversidad, los evaluadores
deben asegurarse de que los miembros del equipo de evaluacin demuestran colectivamente
competencia cultural. La competencia cultural se refleja en los evaluadores que buscan
conciencia de sus propios supuestos basados en la cultura, su comprensin de la
visiones del mundo de la cultura-los diferentes participantes y partes interesadas en la evaluacin, y
el uso de estrategias y tcnicas de evaluacin apropiadas para trabajar con la cultura diferente
grupos. La diversidad puede ser en trminos de raza, etnia, gnero, religin, socio-economa,
u otros factores pertinentes para el contexto de evaluacin.
3. Los evaluadores debe ejercer dentro de los lmites de su formacin profesional y
competencia, y debe abstenerse de realizar evaluaciones que no entran dentro
esos lmites. Cuando la disminucin de la comisin o la solicitud no es viable o adecuado,
los evaluadores deben dejar en claro la existencia de limitaciones significativas en la evaluacin que podra
resultado. Los evaluadores deben hacer todo lo posible para ganar la competencia directamente oa travs de
la ayuda de otras personas que posean la experiencia requerida.
4. Los evaluadores deben buscar continuamente para mantener y mejorar sus competencias, en
a fin de proporcionar el ms alto nivel de rendimiento en sus evaluaciones. Esta continua
desarrollo profesional puede incluir cursos y talleres formal, el auto-estudio,
evaluaciones de la propia prctica, y trabajar con otros evaluadores para aprender de su
habilidades y experiencia.
C. Integridad / Honestidad: Los evaluadores pantalla honestidad e integridad en su propio
comportamiento, y el intento de garantizar la honestidad y la integridad de toda la
proceso de evaluacin.
1.
Los evaluadores deben negociar honestamente con los clientes y las partes interesadas pertinentes
en relacin con los costos, las tareas que se realizarn, las limitaciones de la metodologa, el alcance de
resultados que puedan obtenerse, y los usos de los datos resultantes de una evaluacin especfica. Es
principalmente la responsabilidad del evaluador para iniciar la discusin y aclaracin de estos
las cosas, no del cliente.
2. Antes de aceptar una misin de evaluacin, los evaluadores deben revelar todas las funciones o
relaciones que tienen que pudieran representar un conflicto de intereses (o la apariencia de un
conflicto) con su rol como evaluador. Si se procede con la evaluacin, el
conflicto (s) debe estar claramente articulado en los informes de los resultados de la evaluacin.
/ Contador.
________________________________________
Pgina 187
Programas
187
Recuadro 9.1 contina
3. Los evaluadores deben registrar todos los cambios realizados en los planes del proyecto originalmente contratadas,
y las razones por las cuales se hicieron los cambios. Si esos cambios sera significativamente
afectar el alcance y posibles resultados de la evaluacin, el evaluador debe informar al
clientes y otras partes interesadas importantes en el momento oportuno (salvo una buena razn para la
contrario, antes de continuar con la labor futura) de los cambios y su probable impacto.
4. Los evaluadores debe ser explcito acerca de s mismos, a sus clientes ", y otros grupos de inters '
intereses y valores referentes a la realizacin y los resultados de una evaluacin.
5. Los evaluadores no deben tergiversar sus procedimientos, datos o conclusiones. Dentro
lmites razonables, deberan tratar de evitar o corregir el mal uso de su trabajo por
otros.
6. Si los evaluadores determinan que ciertos procedimientos o actividades son susceptibles de producir
informacin engaosa evaluativos o conclusiones, que tienen la responsabilidad de
comunicar sus preocupaciones y las razones de las mismas. Si las conversaciones con el cliente hacen
no resolver estas preocupaciones, el evaluador debe negarse a realizar la evaluacin. Si
disminucin de la asignacin es inviable o inadecuado, el evaluador debe consultar
compaeros de trabajo o los interesados directos pertinentes sobre otras formas adecuadas para proceder. (Opciones
podra incluir discusiones en un nivel ms alto, una carta de presentacin que disientan o apndice, o
negativa a firmar el documento final.)
7. Los evaluadores debe revelar todas las fuentes de apoyo financiero para la evaluacin y el
fuente de la solicitud de la evaluacin.
D. Respeto por las personas: Los evaluadores respetan la seguridad, la dignidad y la autoestima
de los encuestados, los participantes del programa, los clientes, y otra evaluacin
grupos de inters.
1. Los evaluadores deben buscar una cabal comprensin de la importancia del contexto
elementos de la evaluacin. Los factores contextuales que pueden influir en los resultados de un estudio
incluir la ubicacin geogrfica, el tiempo, el clima poltico y social, las condiciones econmicas,
y otras actividades pertinentes en curso al mismo tiempo.
2. Los evaluadores deben respetar la tica profesional, las normas actuales, y regulaciones
con respecto a los riesgos, los daos y las cargas que pudieron acontecer los que participan en la
evaluacin; En relacin con el consentimiento informado para la participacin en la evaluacin; y con respecto
informar a los participantes y clientes sobre el alcance y los lmites de la confidencialidad.
3. Porque negativa justificada o conclusiones crticas de la evaluacin deben ser
indique expresamente, las evaluaciones a veces producen resultados que daan cliente o grupos de inters
intereses. Bajo esta circunstancia, los evaluadores deben tratar de maximizar los beneficios y
reducir los daos innecesarios que pudieran ocurrir, siempre que ello no comprometa la
la integridad de los resultados de la evaluacin. Los evaluadores deben juzgar con cuidado cuando los beneficios
de hacer la evaluacin o en la realizacin de ciertos procedimientos de evaluacin deben ser
inevitable debido a los riesgos o daos. En la medida de lo posible, estas cuestiones deberan ser
anticipado durante la negociacin de la evaluacin.
4. Sabiendo que las evaluaciones pueden afectar negativamente a los intereses de algunos grupos de inters,
los evaluadores deben realizar la evaluacin y comunicar sus resultados de una manera que
respeta claramente la partes interesadas "dignidad y la autoestima.
5. Cuando sea posible, los evaluadores deben tratar de fomentar la equidad social en la evaluacin, por lo que
que los que dan a la evaluacin pueden beneficiarse a cambio. Por ejemplo, los evaluadores
deben tratar de asegurar que los que llevan las cargas de datos de contribuyentes y
ni peligros no tan buena voluntad, y que tienen pleno conocimiento de y la oportunidad
para obtener los beneficios de la evaluacin. Los participantes del programa deben ser informados de que
su elegibilidad para recibir servicios no depende de su participacin en la evaluacin.
6. Los evaluadores tienen la responsabilidad de entender y respetar las diferencias entre los
participantes, como las diferencias en su cultura, religin, gnero, discapacidad, edad, orientacin sexual
orientacin y el origen tnico, y para dar cuenta de las posibles consecuencias de estas diferencias
la hora de planificar, realizar, analizar y reportar las evaluaciones.
/ Contador.
________________________________________
Pgina 188
Programas
188
Recuadro 9.1 contina
E. Responsabilidades en General y Bienestar Pblico: Los evaluadores articulado y
tener en cuenta la diversidad de intereses y valores generales y pblicas que
puede estar relacionado con la evaluacin.
1.
Al planificar y reportar las evaluaciones, los evaluadores deben incluir relevante
perspectivas e intereses de toda la gama de partes interesadas.
2. Los evaluadores deben tener en cuenta no slo las operaciones inmediatas y resultados de
lo est siendo evaluado, sino tambin sus amplias suposiciones, implicaciones y potencial
efectos secundarios.
3. La libertad de informacin es esencial en una democracia. Los evaluadores deben permitir a todos
partes interesadas el acceso a la informacin evaluativa en formas que respeten la gente y
honrar la promesa de confidencialidad. Los evaluadores deben divulgar activamente informacin a
partes interesadas como los recursos lo permiten. Comunicaciones que se adaptan a un determinado
los interesados deben incluir todos los resultados que puedan estar vinculados con los intereses de las partes
interesadas y que
referirse a cualquier otra comunicacin a la medida a otros grupos de inters. En todos los casos,
evaluadores deben tratar de presentar los resultados de forma clara y simple para que los clientes y otros
los interesados pueden entender fcilmente el proceso de evaluacin y los resultados.
4. Los evaluadores deben mantener un equilibrio entre las necesidades de los clientes y otras necesidades.
Los evaluadores tienen necesariamente una relacin especial con el cliente que financia proyectos o las solicitudes
la evaluacin. En virtud de esa relacin, los evaluadores deben luchar por alcanzar legtima
necesidades de los clientes, siempre que sea factible y apropiado hacerlo. Sin embargo, esa relacin
Tambin puede colocar los evaluadores en dilemas difciles cuando los intereses del cliente en conflicto con otros
intereses, o cuando los intereses del cliente en conflicto con la obligacin de evaluadores para la sistemtica
investigacin, la competencia, la integridad y el respeto a las personas. En estos casos, los evaluadores
debe identificar de forma explcita y discutir los conflictos con el cliente y relevante
las partes interesadas, se resuelven cuando sea posible, determinar si el trabajo continuo en el
evaluacin es recomendable si los conflictos no se pueden resolver, y aclara cualquier
limitaciones importantes en la evaluacin que podra resultar si el conflicto no se resuelve.
5. Los evaluadores tienen obligaciones que abarcan el inters pblico y el bien. Estos
obligaciones son especialmente importantes cuando los evaluadores son apoyados por pblicos
fondos generados; pero las amenazas claras al bien pblico no debe ser ignorada en ningn
evaluacin. Debido a que el inters pblico y el buen rara vez son los mismos que los intereses de
cualquier grupo particular (incluidos los del cliente o proveedor de fondos), los evaluadores por lo general tienen
para ir ms all del anlisis de los intereses particulares de las partes interesadas y tener en cuenta el bienestar de los
la sociedad como un todo
.
Fuente: http://www.eval.org/Guiding% 20Principles.htm
________________________________________
Pgina 189
Programas
189
9.10 Cmo podemos abordar los problemas de la Independencia?
Hay dos facetas de este tema. En primer lugar, es importante que hay una piscina de
evaluadores independientes que se puede confiar para lograr alta calidad
evaluaciones de manera imparcial. En segundo lugar, es necesario encontrar un equilibrio
entre especificar qu tipo de evaluacin que los usuarios creen que de manera ptima
requerir, y el tipo de prctica metodolgica que los evaluadores pueden considerar
sobre todo vale la pena.
Los evaluadores independientes pueden venir de otra parte del patrocinador
departamento de ministerio o el sistema de gobierno, desde consultoras, desde
Universidades, y de otros pases en conjunto (que proporciona el lenguaje y
barreras culturales son superables, y no es demasiado empinada curva de aprendizaje
necesaria para apreciar las particularidades de los sistemas de innovacin). Evaluacin
habilidades son cada vez ms disponibles que los gobiernos cambian a ms pruebas-
polticas basadas, aunque no es necesariamente el caso de que los equipados
para hacer frente a la evaluacin en un mbito poltico apreciar la especfica
retos de la evaluacin en un campo diferente. Los gobiernos pueden desempear un papel en la
estimular el desarrollo de los recursos humanos adecuados, y para garantizar
que existe un dilogo entre los profesionales de evaluacin en diversos campos.
Otro peligro es que incluso los evaluadores institucionalmente independientes podrn,
particularmente si descansa en una base limitada de conocimientos (nacional), no ser realmente
independiente. Es posible que haya una presin inferida o implcita para entregar
resultados "positivos" en cuanto a la ejecucin de un programa con el fin de
mejorar o mantener las posibilidades de que se conservan los servicios de los evaluadores
en evaluaciones futuras. Aqu hay dos cuestiones. La primera se refiere a los
"Honestidad" de los directores de programas en relacin con la evaluacin como un verdadero
oportunidad para el aprendizaje - y esto constituye otro de los elementos de una verdadera cultura de la
evaluacin. La segunda es que la responsabilidad recae en los directores de los programas a
establece explcitamente que no hay tal cosa como un "negativo" o "positivo"
Evaluacin - simplemente una buena evaluacin que presenta una imagen clara de la
programa, sus resultados y los efectos y contiene valiosas lecciones para el futuro
formulacin de polticas.
La calidad de las evaluaciones depende en parte de cmo equipado el patrocinador es
para especificar lo que se esperaba de una evaluacin. Pero no puede haber una tendencia a que
patrocinadores para overspecify el enfoque que se debe tomar en una evaluacin.
Si bien no estn obligados a ser objetivos concretos e indicadores de desempeo
que son esenciales para tener en cuenta, ya que fue construido en el programa
desde el principio, tambin es importante no atar las manos de los evaluadores. Al
menos deberan ser capaces de sugerir temas e indicadores adicionales que
pueden necesitar ser tomado; a menudo la posibilidad de elegir entre los evaluadores ser cuestin
del grado en que sus propuestas, lo que sugiere la novela o interesante
enfoques o temas para su examen, un llamamiento a los patrocinadores. Los evaluadores pueden
desee utilizar metodologas particulares, a veces por razones pobres (por
instancia, esto slo pasa a ser el enfoque en el que se especializan y
no sienten la necesidad de desarrollar otras capacidades), a veces por otras mejores
________________________________________
Pgina 190
Programas
190
(Por ejemplo, desean poner a prueba nuevos mtodos que prometen dar una mejor idea
en el problema que nos ocupa).
La conclusin de esta discusin es que los evaluadores tienen que ser:
institucionalmente independiente de los evaluados (los directores de programas
y los participantes),
20
prcticamente independientes - por lo que la evaluacin puede llevarse a cabo
sin obstculos, una vez que se ha llegado a un acuerdo en cuanto a lo que la adecuada
enfoque debe ser.
20
En el caso de que una parte de una organizacin est evaluando las actividades realizadas por otro
parte de la misma organizacin, es necesario asegurarse de que "murallas chinas" se erigen
entre las partes involucradas, para evitar la influencia indebida que se ejerce sobre la evaluacin.
________________________________________
Pgina 191
Programas
191
9.11 Qu problemas pueden surgir en cuanto a las expectativas poco realistas de
evaluacin?
Un importante problema para los estudios de evaluacin (y de muchos otros anlisis de polticas)
es la necesidad de expectativas realistas, para aquellos patrocinio y compromiso
evaluaciones a "manejar las expectativas" de exactamente lo que va a ser alcanzado.
Como esta gua ha aclarado, lo que la evaluacin del programa de innovacin pueden
contribuir es a la vez ms y menos que a menudo se anticip por los usuarios finales.
Menos , en que las evaluaciones rara vez ser condensable a un solo indicador o
incluso un conjunto de indicadores, lo que da una respuesta a la cuestin del valor de un
programa en una sola figura o frase. Incluso cuando hay un
frase contundente desde el principio del informe de evaluacin sobre si el
programa estaba bien justificada o no, esto a menudo se elaborar y matizada
como leemos en! Menos, porque la evaluacin requerir la aplicacin de
conocimiento y juicio para su uso efectivo, incluso si lo hace satisfacen una
objetivo inmediato de tener una legitimacin de los gastos del programa con
que para hacer frente a los altos funcionarios. Las expectativas de lo que se lograr de este modo
debern gestionar con cuidado, si la evaluacin no debe ser descontado, por escrito
fuera como sobre-sofisticado, o simplemente no se utiliza tan eficazmente como sea posible.
Ms , debido a que una evaluacin seria y sistemtica debe proporcionar una
visin refrescante y ojal oportuna del campo en cuestin, poniendo el
programa en el contexto de la evolucin del sistema que se est tratando de
influencia. Se debe informar el diseo de futuros programas y polticas ms
en general, proporcionando explicaciones y descripciones. Estos
explicaciones, sobre todo, deben ser no nos dicen casi lo que ha trabajado o
No funcion en el pasado, pero por qu esto es as. Esto debera dar una visin de la
generalizacin de enfoques, sobre los posibles impactos de bastante nuevo
enfoques o combinaciones de los enfoques, y as sucesivamente.
________________________________________
Pgina 192
Programas
192
9.12 Cmo podemos contribuir a la construccin de una cultura de la evaluacin?
En una cultura de evaluacin avanzada, el proceso de evaluacin se aprecia como
una fuente importante de evidencia para informar las polticas. As, las evaluaciones
ellos mismos deben ser realizadas y presentadas de manera efectiva. Ellos pueden estar
enmarcado en trminos del objetivo de apoyar la mejora de los programas, y
el logro de una mayor relacin calidad-precio. (Al hacer esto, se necesita una mejor
la comprensin de la relacin entre las actividades, los resultados y los efectos.) Por
trazar los xitos y fracasos de los programas, programa de innovacin
evaluacin ayuda a crear una mejor comprensin de los problemas que
abordado y los medios para hacerles frente. Arroja luz sobre la naturaleza de
el sistema de innovacin, las formas en que los programas de innovacin son
intervenir en ella, y puede ayudar a construir la apreciacin realista de lo que tal
programas pueden lograr. Esa conciencia puede ser til no slo para
los responsables polticos, ya que tambin puede lograr una mayor transparencia de la innovacin
programas a todas las partes interesadas - y amplia comprensin de la
programas y el papel de la evaluacin es tambin parte de la construccin de una evaluacin
cultura.
Es importante llevar a cabo las evaluaciones y presentes de manera efectiva, y para explicar
por la que se estn realizando y cmo pueden ser utilizados. La evaluacin
la cultura es uno de los usuarios informados , y la comunidad de evaluacin tiene un papel que
desempear para ayudar a los usuarios que se informen. Para estar seguros, la evaluacin es ms de
un arte que una ciencia - pero no es un arte oculto que slo los sabios sabio puede
emprender. Esperamos que esta gua puede contribuir a la desmitificacin de la evaluacin,
y proporcionar a los usuarios con algunas de las herramientas con la que pueden informar
a s mismos.
En una cultura de evaluacin avanzada, los usuarios informados no son slo pasiva
destinatarios del informe de evaluacin. Se deben tomar las oportunidades para involucrar a
los usuarios en todas las fases de la actividad - desde el diseo del Programa y de la especificacin
el trabajo de evaluacin, para proporcionar informacin sobre el producto mismo de evaluacin.
A la vez que la tarea de evaluacin ms eficaces, lo que permitir por mucho
mayor aprendizaje y el impacto de las polticas.
________________________________________
Pgina 193
Programas
193
9.13 Tiene sentido para evaluar los programas de forma aislada, o
debera institucionalizarse una funcin de evaluacin?
Se gana mucho de tener un sistema para poner en funcionamiento, uso y visin general
evaluaciones individuales.
1.
Incluso en pases en los que las evaluaciones se llevan a cabo con regularidad, hay
muy a menudo una "brecha de implementacin" en la que los resultados de las evaluaciones no estn
tomado en absoluto o slo en una "forma localizada" (es decir, su aplicacin slo si
la institucin evaluada podra poner en prctica las recomendaciones sobre su propia).
Esta falta de mecanismo de retroalimentacin es probablemente el factor individual ms importante
limitando el valor de las evaluaciones. En muchos pases, hay una necesidad apremiante
para asegurar el seguimiento en el nivel apropiado de formulacin de polticas. Esto puede ser
conseguirse de varias formas. Algunos pases han establecido la obligacin formal de
los responsables de la formulacin de polticas para responder a los resultados de las evaluaciones (ver
Recuadro 6.6 para el ejemplo del Reino Unido Roame procedimiento (F)). Otros tienen un
poltica para exponer los resultados de las evaluaciones a un debate pblico. La
presuncin a favor de la publicacin de los informes de evaluacin - aunque demasiado
publicidad podra tener sus propios inconvenientes - es generalmente favorable tanto para la
desarrollo de una cultura de la evaluacin, as como para el fomento de polticas
aplicacin. La cuestin de la perspectiva tambin es til aqu - evaluaciones
de los programas de escala pequea rutina o probablemente no justifican demasiado
exposicin (que estara interesado?), mientras que los de la insignia nacional
programas se suscitan mayor inters (y estar abiertos a un mayor grado de
riesgo).
2.
Cuando se trata de cuestiones de la ejecucin material de las evaluaciones,
experiencias de varios pases muestran que las evaluaciones se disean mejor
junto con el programa o la poltica que han de evaluarse. Slo uno de los primeros tales
preparacin puede garantizar la obtencin y la difusin de los datos necesarios en el
curso de la evaluacin - especialmente cuando el uso de los datos a nivel micro es
esencial para la estimacin de los impactos. Ejemplos de mejores prcticas incluyen la
la acumulacin de bases de datos que se pueden utilizar para diversas evaluaciones de los programas
y las polticas que abordan el comportamiento innovador de un gran nmero de empresas como
en los Estados Unidos. Un "diseo concurrente 'Tal tanto de los programas y
procedimiento de evaluacin tambin se planteara la aceptacin comn de la
procedimientos y criterios entre las personas e instituciones involucradas.
3.
En lugar de ser llevado a cabo sobre una base ad-hoc, las evaluaciones deben ser
llevado a cabo con frecuencia. Hay efectos de aprendizaje sustanciales de frecuente
evaluaciones, tanto en el lado de la demanda de los responsables polticos, administradores de programas
y los proveedores, as como en el lado de la oferta de los profesionales que llevan a cabo
evaluaciones. El conocimiento acumulado de las evaluaciones podra ser una valiosa
fuente de la formulacin de polticas, como la prctica en los pases nrdicos ejemplifica.
Evaluaciones frecuentes tambin se demuestra que tienen un efecto duradero en el comportamiento
de las instituciones evaluadas y en muchos casos contribuyeron per se para la
mejora de las rutinas y el rendimiento.
________________________________________
Pgina 194
Programas
194
9.14 Cmo podemos afectar hasta qu punto los resultados del Programa para la Innovacin
Las evaluaciones se aplican?
Obtencin de los resultados de las evaluaciones aplicadas es ms que una cuestin de puesta a punto
programas.
La evaluacin puede ayudar a mejorar el aprendizaje dentro de la
entorno de polticas. Una serie de consecuencias fluyen de esto. Aunque
amplia difusin es importante (con tal de que no es demasiado intensivo en recursos),
es importante para obtener los (grandes) los resultados de la evaluacin para la gente que importa.
Los informes de evaluacin deben hacer recomendaciones especficas en cuanto a las acciones que
deben seguir el informe. Diseo de informes de manera que este se lleva a cabo en un
lcida, la moda fcil de leer, es vital. El establecimiento de una comprensin de la
el anlisis que sustenta las recomendaciones - es decir, precisamente, lo que se traduce que
se construye sobre - es tambin vital. Las recomendaciones tienen que ser defendido y
claramente sobre la base de las pruebas obtenidas, por lo que los usuarios pueden, a su vez argumentar a favor de
ellos (con gerentes de lnea, los responsables polticos, las autoridades financieras, los polticos,
etc), y no tener que simplemente llevarlos a la fe como derivada de expertos sabios.
Pero para garantizar el uso de las evaluaciones implica ms que slo escribir bien
informes, ayudando a difundirlos, y hacer presentaciones persuasivas,
importante, aunque todos estos son. Se trata de la preparacin antes de la presentacin de informes
etapa, y el seguimiento despus de ella.
Aquellos patrocinar la evaluacin debera haber establecido un calendario y establecer
de procedimientos para regir la presentacin de informes y la difusin de la evaluacin
resultados y un medio para evaluar el uso que se haga de ellas. Idealmente,
esto va a estar integrada en el Programa General: es fundamental en la solicitud de
propuestas de evaluacin.
Durante el proceso de evaluacin, cada oportunidad que se debe tomar para informar
los contactados sobre el alcance y los objetivos de la evaluacin, las formas en
que sus resultados finales podran ser utilizados por las distintas partes interesadas,
y cmo pueden hacerse con los informes. El inters en estos asuntos debe ser
grabada para que las partes ms comprometidas pueden ser invitados a la difusin
eventos, y tal vez hacer comentarios sobre los borradores de los informes. (Estas actividades pueden ser
caros, y los costes sern un factor limitante.)
Un plan de implementacin permite la comprobacin del progreso contra
recomendaciones. Incluso si ese plan no se ha elaborado formalmente,
debera ser posible determinar que las agencias deben ser responsables de
el seguimiento de las recomendaciones que, y qu partes (adems de la
director del programa y / o el patrocinador de la evaluacin) deben ser responsables
para comprobar el progreso. Si bien puede parecer oneroso para explicar estas cuestiones a cabo
en detalle, contar con un marco para examinar la implementacin es mucho ms de una
base para el progreso de lo que es simplemente "salir del paso". Por un lado, tal
marco puede identificar las acciones que no fueron claramente pensado antes, y
indicar dnde podran ser necesarias medidas ms temprano que tarde.
________________________________________
Pgina 195
Programas
195
________________________________________
Pgina 196
Programas
196
BIBLIOGRAFA
(Textos que son particularmente tiles, pero no se discuten en detalle en la principal
texto, se describen brevemente en las notas al pie.)
Buisseret Tim, Cameron Hugh y Georghiou Lucas (1995), "Qu diferencia
Qu ms da? La adicionalidad en el apoyo pblico a la I + D en las grandes empresas "
Revista Internacional de Gestin de la Tecnologa, vol.10 (nn. 4-6) pp.587-
600
Corporacin para el Servicio Nacional, (2002?) Gua del usuario para el Servicio Nacional
Programas (Proyecto STAR - Toolkit). 555 Airport Blvd., Suite 400, Burlingame,
CA 94010 disponible en
Bradbury, M y M Davies La evaluacin de los programas de apoyo: la
Ejemplo del Reino Unido, la OCDE STI Revisin N 21 1998
Davenport, Sally et al (1998) "La colaboracin de investigacin y del Comportamiento
Adicionalidad: Un estudio de caso de Nueva Zelanda "Anlisis Estratgico de Tecnologa y
Gestin, marzo de 1998, 55-67
Eiffinger MAM (1997) "Evaluacin de la Investigacin Cientfica En El
Pases Bajos "en el captulo 2 de la OCDE (1997b) op cit.
21
Comisin Europea (2002), Manual para la Evaluacin del Impacto en el
comisin: Cmo hacer una evaluacin de impacto disponible en
http://europa.eu.int/comm/secretariat_general/impact/key.htm
Comisin Europea (2002), RTD Evaluacin Toolbox - Evaluacin de la
Impacto Socio-Econmico de RTD-Polticas, IPTS Serie de Informes Tcnicos, EUR
20382 EN, publicada en agosto de 2002, el Sevilla, IPTS (Instituto de Prospectiva
Estudios Tecnolgicos) y de Viena, Instituto de Investigacin Joanneum de
Tecnologa y Poltica Regional.
Disponible en: http://epub.jrc.es/docs/EUR-20382-EN.pdf
Evaluacin Consorcio Europeo de Poltica (EPEC) de 2005, Estudio sobre el uso de
Resultados de la evaluacin de la Comisin Informe final Expediente n 1: Sntesis
informe y de los anexos EPEC 31 de mayo 2005 (Pars: Tecnpolis Francia, Bastiaan
de Laat (Director))
22
Frechtling, Alegra y Laure de Sharp (eds.) (1997) User-Friendly Manual para
Mtodo Mixto evaluaciones, Washington: Fundacin Nacional para la Ciencia
21
Esto describe cmo el gobierno holands decidi no realizar sus propias evaluaciones de
institutos y grupos de investigacin; sino que pretenda estimular estas organizaciones para llevar a cabo o
encargar sus propios "evaluaciones y que los utilicen para formular estrategias.
22
Esta revisin de la utilizacin de la evaluacin en las polticas y programas de la CE cubre una amplia gama de
mbitos de la poltica, y slo toca de paso en las polticas de innovacin. Sin embargo, lleva a una
gran cantidad de evidencia sobre el uso de las evaluaciones en el proceso poltico de la CE, y
dibuja valiosas lecciones - sobre la base de un estudio cuidadoso de los diversos usuarios de las evaluaciones - que son
relevante para el mbito de la poltica de innovacin.
________________________________________
Pgina 197
Programas
197
(Direccin de Educacin y Recursos Humanos, Divisin de Investigacin,
Evaluacin y Comunicacin), disponible en:
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm
Georghiou, L. (1998) ", suscita en la evaluacin de la innovacin y la tecnologa
poltica ", Evaluacin, vol. 4 (1), pp 37-51.
Guy, K. (1998) Opciones Estratgicas para la Evaluacin de la I + D Programas
de la Unin Europea Informe preparado para STOA por Ken El individuo con la
ayuda de John Clark, Katalin Balazs, James Stroyan, Erik Arnold;
Brighton: Tecnpolis
IFO, RCSCONSEIL, PREST (2000) Cmo ESPRIT contribuye a la construccin
Activos intangibles de volumen de la industria europea 1 INFORME FINAL Mnich
Instituto Ifo de Investigacin Econmica; informar a LA COMISIN EUROPEA
DG Sociedad de la Informacin (ESPRIT Tarea 09: Anlisis de posibles Socio-
Consecuencias Econmicas - Investigacin sobre Estrategias Competitivas, ESPRIT
Ventaja competitiva, ESPRITCOMP; 15 de junio 2000)
Kaplan, R. y Norton, D. (1996) ", utilizando el Cuadro de Mando Integral como
Sistema de Gestin Estratgica ", Harvard Business Review (enero -
Febrero): 75-85.
Kingsley, G. y Klein, H. (1998), "las colaboraciones entre empresas como una modernizacin
estrategia: Un estudio de casos prcticos ', Revista de la Transferencia de Tecnologa , 23 (1),
pp 65-74.
Luukkonen, Terttu (2000) "La adicionalidad en los Programas Marco de la UE"
Investigaciones sobre Polticas vol.29 711-724
Malik, K. y Cunningham, P. Tendencia europea Grfico de la Innovacin: Anual
Tendencias de la Innovacin y Poltica de Informe de evaluacin - Reino Unido (2004 -
2005), Comisin Europea, 2005
McNamara, C. (sf) Mtodos bsicos de investigacin de negocios, disponible en lnea en:
http://www.managementhelp.org/research/research.htm
Miles, Ian (1999) y "Servicios de Previsin" Industrias de Servicios Diario vol 19
hay 2 pp 1 a 27 abril
Miles, Matthew B. y Huberman, A Michael. El anlisis de datos cualitativos: Una
libro de consulta ampliado (2
nd
Edicin) London Sage 1994
, "Metodologa de evaluacin en tiempo real de Molina, Alfonso y Gregson, G. (2002)
como instrumento de aprendizaje en la alta tecnologa de redes de apoyo de las PYME ,
Revista Internacional de Emprendimiento e Innovacin , vol. 2
(1), pp 69-99.
________________________________________
Pgina 198
Programas
198
Oficina Nacional de Auditora (1995) Informe del Contralor y Auditor General,
El Apoyo del Departamento de Comercio e Industria para la Innovacin, HC715
. Sesin 1994-95 4 de agosto 1995 London: HMSO.
Oficina Nacional de Auditora, Fsica de Partculas y Astronoma del Consejo de Investigacin:
Medicin del Desempeo, documento de debate, NAO diciembre 1995
NERA (2004) Metodologa de la FSA para el Anlisis Costo-Beneficio de Londres:
NERA Consulting, Marsh & McLennan
OCDE (1997a), Evaluacin de Polticas de Innovacin y Tecnologa: Hacia
Mejores prcticas de Pars, Organizacin para la Cooperacin y el
Desarrollo
OCDE (1997b) La evaluacin de la investigacin cientfica: Experiencias Seleccionadas
Pars, Organizacin para la Cooperacin y el Desarrollo
Sin clasificacin OCDE / GD (97) 194
23
Ormala, H. et al. (1993), Evaluacin de EUREKA Industrial y Econmica
Efectos de la Secretara de EUREKA, Bruselas
Patton, M Q. Evaluacin Cualitativa y Mtodos de Investigacin (2
nd
ed) Beverly
Hill, Sage 1990
De parcela, W, Evaluacin de Tecnologa e Innovacin en miembro de la OCDE
Pases - Una introduccin, alemn Evaluacin de la Conferencia de la Sociedad, Colonia,
09 1998
PREST, CSIC / IESA,
ESSOR-Europe, ISI, y NUTEK / TEKPOL (1997),
COSTO informe de evaluacin al Gobierno sueco, Manchester: PREST
(Marzo de 1997)
Ruegg, Rosalie y Feller, Irwin (eds.) (2003) un juego de herramientas para la evaluacin pblica
Inversin en I + D - Modelos, mtodos y hallazgos de una dcada despus de la ATP
Washington: NIST; 07 2003 disponible en:
http://www.atp.nist.gov/eao/gcr03-857/contents.htm
Shapira, P. y Kuhlmann, S. (eds. 2003), Aprendiendo de Ciencia y
Technology Evaluation Poltica: Experiencias de los Estados Unidos y
Europa , Edward Elgar: Cheltenham, Reino Unido.
Stephanie Shipp, Connie Chang, y Lorel Wisniewski, (2005) Evaluacin Mejor
Prcticas y Resultados: El Programa de Tecnologa Avanzada, Econmicas
Oficina de Evaluacin (EAO), Programa de Tecnologa Avanzada (ATP), EE.UU.
Instituto Nacional de Estndares y Tecnologa informe NISTIR 05-7174, mayo
2005 disponible en lnea en:
23
Informe overviewing experiencias de los pases en la evaluacin de la investigacin bsica, pero que contiene
mucho conocimiento de las culturas de evaluacin en los diferentes pases, los problemas de cuantitativo y
enfoques cualitativos, y otros temas pertinentes.
________________________________________
Pgina 199
Programas
199
http://www.atp.nist.gov/eao/ir05-7174/nistir05-7174.pdf
Smith, Douglas K. (1999) Hacer un xito mensurable: A Mindbook-Workbook
para establecer metas y tomar accin de Nueva York: John Wiley and Sons, Inc.
TAFTIE (1997), ed Jari Directrices TAFTIE Romanainen sobre la ejecucin del
Indicadores para la Evaluacin y Seguimiento de la Red de Evaluacin TAFTIE
1997, publicado en la reunin anual 20 de Madrid

11 1997
Technopolis, Anlisis Vinnova VA 2004:03 - Impactos de la sueca
Programa de Centros de Competencia 1995-2003 Arnold E, J Clark, Bussellit S -
Informe publicado 2004
Tecnpolis, el Instituto de Tecnologa de Georgia y la Universidad de Sydney
(2001), una revisin internacional de los mtodos para medir la eficacia relativa
de los instrumentos de poltica tecnolgica , Informe publicado en julio de 2001.
Trochim, WM (2002, revisada en 2005), Mtodos de Investigacin de Knowledge Base ,
disponible en lnea en: http://www.socialresearchmethods.net/kb/
United Way of America (2002) Medicin Resultado: Qu y por qu? un
visin general disponible en
http://national.unitedway.org/outcomes/files/TPsOMWhatandWhy.pd

Innovacion Inteligente

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Innovacion Inteligente

Transféré par

Droits d'auteur :

Formats disponibles

Un estudio de la DG Empresa e Industria

Vous aimerez peut-être aussi