Martes 15 de junio, 18.

00 horas

Mster oficial en Comunicacin e industrias creativas Marzo, 30, 2012

Cmo elaborar y redactar un proyecto de investigacin (para que tenga xito)

Dr. Evaristo Jimnez-Contreras G. I. Evaluacin de la Ciencia y de la Comunicacin Cientfica - EC3 F. Comunicacin y Documentacin

El ciclo de la investigacin
Problema cientfico. Inters, relevancia y viabilidad Posibilidades de financiacin Elaboracin de una propuesta slida Realizacin y gestin de la investigacin Difusin y transferencia

Evaluacin de resultados

arrera acadmica

La importancia de los proyectos

Los proyectos de investigacin son cruciales porque Son la gasolina que alimenta la investigacin, especialmente en el caso de la Ciencias experimentales, no tanto en algunas sociales y bastante menos en Humanidades Son un sistema competitivo Aportan mritos al CV, alrededor de un

La importancia de los proyectos

Los proyectos permiten sufragar los gastos de investigacin, pero tambin Desplazamientos Organizar eventos Formar recursos humanas Transferir conocimiento

Los actores
Los investigadores - Solicitan - Ejecutan Los evaluadores - Valoran, proponen - Sugieren

El proyecto

Los gestores - Controlan el gasto y los plazos

Los evaluadores del PN - Fiscalizan econmicamente - Dan el visto bueno final y cierran el proyecto

Quien financia la investigacin en Espaa?

Agencias financiadoras

Convocatorias pblicas

PN, Proyectos de I+D+i, Desarrollo tecnolgico, Estmulo a la transferencia Sectoriales, Convocatorias especficas de diversos ministerios (especialmente Industria y MSPSI) Convocatorias de Comunidades Autnomas Autonomas Proyectos de cooperacin internacional integradas) Convocatorias de Universidades
Nacional de I+D+i

Sectorial es VI Plan (AECID, Acciones

Planes autonmi cos

Empresa privada, fundaciones

Internacio nales

Locales CEI

Agencias evaluadoras

VI Plan Nacional: LIA proyectos I+D+i

Cualquier tema

Temticas especificadas en las distintas convocatorias

La Agencia Nacional de Evaluacin y Prospectiva

La Agencia Nacional de Evaluacin y Prospectiva (ANEP) naci en el ao 1986 Es una unidad dependiente de la Direccin general de investigacin dentro de la Secretara de Estado de Investigacin, del Ministerio de Ciencia e Innovacin

Misiones:

Evaluar la calidad cientfico-tcnica de las propuestas que solicitan financiacin pblica, tanto entes pblicos como privados. Mejorar la capacidad del sistema pblico de CyT Contribuir a que las decisiones de asignacin de recursos para I+D+i se realicen sobre la base de criterios de excelencia y calidad cientfico-tcnica Evaluacin cientfico-tcnica -objetiva e independiente- de las unidades, equipos humanos y las propuestas de investigacin para participar en los programas y proyectos del Plan Nacional Estudios y anlisis prospectivos en materia de investigacin

Instituciones que solicitan evaluacin de la I+D+i a ANEP

Ministerio de Ciencia e Innovacin. Otros Ministerios: Industria, Agricultura, Fomento, Asuntos Sociales, Sanidad,Asuntos Exteriores, Medio Ambiente.

Comunidades Autnomas: Andaluca, Asturias, Canarias, Castilla Len,Castilla La Mancha, Extremadura, Galicia, Islas Baleares, Madrid, Murcia,Navarra, Pas Vasco, Rioja, Valencia.

Fundaciones pblicas y privadas: Fundacin Marqus de Valdecilla, InstitutoGeneral Gutirrez Mellado, Fundacin Genoma, Funcis, Fundaluce, Fundacin Hospital La Fe, Fundacin Renal T. Osma. Soc. Espaola de Nefrologa, Soc.Espaola de

Procedimiento
SO% C T"NTES

E&"%U"C 'N

NST TUC ONES CON&OC"NTES

M C NN CC"" UN &ERS !"!ES $UN!"C ONES M N STER OS EMPRES"S

"NEP
EXPERTOS

COMUN !"! C ENT#$ C"

PROYECTOS

Proceso de Seleccin y Financiacin

ANEP INSTITUCIN FINANCIADORA

EVALUACIN
CALIDAD CIENTFICA Y RELEVANCIA

PANEL DE SELECCIN

FINANCIACIN

CRITERIOS ESTRATGICOS

La ANEP es una agencia independiente de evaluacin (no financia)

Proceso de evaluacin de proyectos

ANEP 27 equipos de coordinacin 190 expertos/3 aos

Seleccin de expertos

Aplicacin Web de Evaluacin

Informes de expertos

Expertos peers

INFORME CIENTFICO

Investigadores Tcnicos Industria Gestores

Clasificacin por reas

Ciencias Bsicas
rea de Ciencias de la tierra (CT) rea de Fsica y ciencias del espacio (FI) rea de Matemticas (MTM) rea de Qumica (QMC)

Ciencias de la Vida y de la Salud

rea Biologa Fundamental y de Sistemas (BFS) rea de Biomedicina (BMED) rea de Medicina Clnica y Epidemiologa (MCLI) rea de Biologa Vegetal y Animal, Ecologa (BVAE) rea de Agricultura (AGR) rea de Ciencia y Tecnologa de Alimentos (TA) rea de Ganadera y pesca (GAN)

Ingenieras y Tecnologas

rea de ciencia y tecnologa de materiales (TM) rea de Ciencias de la computacin y tecnologa informtica (INF) rea de Ingeniera civil y arquitectura (ICI) rea de Ingeniera elctrica, electrnica y automtica (IEL) rea de Ingeniera mecnica, naval y aeronutica (IME) rea de Tecnologa Qumica (TQ) rea de Tecnologa electrnica y de las comunicaciones (COM)

Ciencias Sociales y Humanidades

rea de Ciencias de la Educacin (EDUC) rea de Ciencias sociales (CS) rea de Derecho (DER) rea de Economa (ECO) rea de Filologa y Filosofa (FFI) rea de Historia y arte (HA) rea de Psicologa (PS)

Transferencia de Conocimiento y Tecnologa

rea de Transferencia de Tecnologa (IND)

Clasificacin por reas, ejemplo

rea Ciencias de la Tierra (CT)

Mineraloga Petrologa Paleobiologa Tafonoma Geomorfologa Hidrologa Geodinmica Interna

Evaluaciones de ANEP 2009

Tipo de solicitudes Proyectos Becas y contratos Infraestructura Coop. Internac. Movilidad Otros

MICINN/ AGE 10658 7482 338 718 925 23 20144

CCAA Univ. 1156 128 12 496 16

Fundac. 416

Otros 96 251

280 4 1580

126 33 671 416 347

78%

reas de la ANEP y Distribucin

,-.
( O%)( OME!

11.

10.
+UM"N !"!ES

1/.
N*EN ER#"S

$UN!"MENT"%ES

BIOL FUND Y SIST.

"ISTORIA Y ARTE

MATEM%TICAS

ING. ELECTRICA ING. MECANICA

BIOMEDICINA

LITERATURA# LENGUA

FSICA Y C. DEL ESPACIO

MEDICINA

CIENCIAS SOCIALES

QUMICA

COMUNICACIONES

ALIMENTOS

ECONOMIA

CIENCIAS DE LA TIERRA

INFORMATICA MATERIALES

BIOL VEG. ANI. Y ECOL.

EDUCACION

AGRICULTURA

CIENCIAS $URDICAS

NG. CIVIL

GANADERA Y PESCA

PSICOLOGA

TECNOLOGA QUMICA

TRANSFERENCIA DE CONOCIMIENTO Y TECNOLOGA: 10 % 40% INGENIERAS 30% BIO BIOTEC BIOMED !0% FUNDAMENTAL 10% OTROS

La Metodologa
Las evaluaciones cientficas que aporta la Agencia deben ser realizadas por expertos annimos, basndose esencialmente en el sistema de "evaluacin por pares" (peer review) y son utilizadas por los organismos gestores para decidir mejor acerca de la financiacin de ayudas y subvenciones El otro elemento, un informe sobre la oportunidad de la financiacin y la adecuacin a los objetivos de poltica cientfica, es de la competencia de los organismos de financiacin

Proceso de Evaluacin y Seleccin

Cada propuesta se evala en un proceso de dos fases La primera fase es peer review, por expertos seleccionados por los coordinadores de la ANEP (27 equipos de coordinacin)

El informe de la ANEP lo redactan los coordinadores, basados en los informes de los expertos

La evaluacin se hace en una aplicacin web Se evala a los evaluadores (calidad del informe, disparidad, tiempo..) 15% de revisores internacionales La segunda es una comisin de evaluacin (ANEP+ Institucin) con

Tipos de evaluaciones

Informes individuales de cada proyecto (mnimo dos), a partir de los cuales el equipo de coordinacin elaborar un informe final. Paneles de expertos cuando las evaluaciones han de ser comparativas (homogenizar criterios) y se necesita hacer una priorizacin. Evaluacin mixta, en dos fases: evaluacin individual y posteriormente evaluacin en paneles. Evaluacin ad hoc. dependiendo de las caractersticas de la convocatoria (puede incluir visitas, entrevistas, etc)

Aplicacin de Evaluacin

Controles de calidad de procedimientos

Controles para evitar conflictos de inters
Los evaluadores certifican ausencia de conflictos de inters y confidencialidad los equipos de coordinacin intentan detectar y corregir sesgos, incompatibilidades y conflictos de inters Los investigadores pueden enviar cartas de recusacin Los conflictos de inters con los equipos de coordinacin se llevan a una Comisin Externa

Controles para evitar y corregir sesgos

Participacin de mujeres e investigadores jvenes Vigilancia de los criterios que orientan la evaluacin

Controles de calidad de la evaluacin y de evaluadores

Evaluacin de evaluadores en la aplicacin informtica Controles de calidad de la evaluacin en colaboracin con la ESF Vigilancia por la Comisin Asesora de la ANEP

Disparidad

Posibles aspectos negativos del sistema

Adaptacin de los investigadores a los indicadores (cantidad de
publicaciones versus calidad, figura del IP..)

Saturacin de evaluadores Discrepancias de evaluadores. Algunos muy tradicionales,

interdisciplinariedad? ideas sin experiencia? cambios de lnea?

Abuso incorrecto de indicadores Trayectoria (evaluacin por rendimiento) vs propuestas

novedosas

Doble evaluacin del Plan Nacional tiene inconvenientes pero

minimiza conflictos de inters y es garantista

Criterios de Evaluacin de Proyectos

Principales aspectos que se valorar en todas las convocatorias:

Objetivos cientfico-tcnicos de la propuesta, con nfasis en su relevancia y novedad. Es una buena idea? Viabilidad de la propuesta. El plan de trabajo presentado
permite alcanzar los objetivos con un riesgo razonable?

Calidad cientfico-tcnica y capacidad del IP y del equipo de investigacin. Tiene el grupo de investigacin experiencia? Est bien compensado? Posee los medios necesarios?
Adecuacin del presupuesto a las actividades.

Plantilla ANEP (instrucciones a evaluadores)

1. Mritos cientficos del investigador principal y del resto del equipo de investigacin.

1.1 - Valorar el historial cientfico del IP, especialmente en los ltimos 6 aos, y su capacidad de liderazgo dentro del grupo. 1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigacin. Mritos cientficos de cada uno de los participantes, valorando positivamente la participacin de investigadores en formacin

La calidad, no la cantidad Mejores y ms recientes publicaciones Deben evitarse las frmulas en las que todo cuenta y se van sumando puntos por mritos sin importancia Debe valorarse positivamente la disposicin del candidato para iniciar nuevas lneas de investigacin Es positivo, y no negativo, el que un investigador quiera hacer una estancia posdoctoral en un campo en el que no tiene experiencia

Plantilla ANEP (instrucciones a evaluadores)

2. Inters cientfico-tcnico del proyecto.

2.1 - Valorar el grado de novedad y relevancia del proyecto y el avance cientficotcnico que supone respecto del estado actual del tema. 2.2 - Valorar los resultados esperables de los objetivos propuestos, el conocimiento del estado actual del tema y la claridad de ideas en el desarrollo del proyecto

3. Viabilidad de la propuesta.

3.1 - Capacidad del equipo de investigacin para llevar a cabo los objetivos propuestos. No valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado.

Comentarios

Comentarios sobre la adecuacin del presupuesto, plan de difusin, formacin, otros. proyectos innovadores

Valoracin y Puntuaciones

Valoracin global del proyecto.

Debilidades y Fortalezas. Subjetiva, impresin general y opiniones (incluidas sugerencias) Deficiente: (0-15) Cuestionable: (16-24) Aceptable: (25-33) Bueno: (34-42) Excelente: (43-50)

Puntuacin total

Plantilla de evaluacin del MICINN

1.- Valoracin de los aspectos relativos al grupo de trabajo (mx.

puntos)

15

a) Adecuacin del tamao, composicin y dedicacin del equipo de investigacin. (mx. 6 puntos) Se estimar si la experiencia del Investigador Principal (IP), y, en su caso, del equipo investigador, es suficiente para garantizar la realizacin de las actividades propuestas. Se valorar la dedicacin al proyecto por parte de los otros miembros del equipo si los hubiese b) Resultados previos del equipo de investigacin. (mx. 6 puntos) Se trata de establecer el rendimiento cientfico-tcnico del grupo en funcin de todas aquellas actividades en las que haya participado. Se valorar de acuerdo con sus publicaciones u otros mritos en la temtica del proyecto o en temticas relevantes para el mismo; o a travs de resultados de proyectos que haya dirigido (aunque no sean del Plan Nacional) o de proyectos en los que el IP haya participado. c) Internacionalizacin de la actividad investigadora del equipo. (mx.

puntos)

Plantilla de evaluacin del MICINN 2

2.- Valoracin de los aspectos relativos al desarrollo cientifico-t cnico del proyecto (mx. 35 puntos)

a) Relevancia cientfico-tcnica del proyecto. (mx. 20 puntos) Se valorarn la oportunidad y la novedad de la propuesta dentro del rea temtica en la que se encuadre la propuesta de trabajo. Se analizar si el proyecto plantea una lnea de trabajo innovadora con respecto a la que haya realizado o est realizando el grupo del que procede el IP. Cuando sea posible, se valorar la propuesta en comparacin con propuestas similares en desarrollo en convocatorias anteriores o presentadas en esta convocatoria. Se trata de evitar que los grupos se disgreguen si no se justifica que ello comporta avances cient ficos o tecnolgicos significativos. b) Beneficios esperados del proyecto. (mx. 10 puntos) Se valorarn los beneficios cientficos (avance del conocimiento y formaci n de recursos humanos) y sociales (ambientales, sanitarios, industriales, etc.) esperados del proyecto. Se valorar positivamente la participacin de una EPO en el proyecto, a trav s de demostraciones de inters y/o de su participacin activa en el desarrollo del proyecto, incluso aportando financiacin, personal, servicios o cualquier otro medio que se considere oportuno. Se valorar la existencia de un plan adecuado y suficiente de difusi n y de transferencia de resultados del proyecto. c) Adecuacin y justificacin del presupuesto. (mx. 5 puntos) Se debe valorar si el presupuesto para los costes de ejecuci n est suficientemente detallado y justificado para garantizar la realizaci n del proyecto. Se emitirn opiniones cualitativas y cuantitativas que ayuden a ajustar mejor dicho presupuesto cuando as parezca oportuno. Si se

Proyectos de Investigacin Fundamental Plan Nacional I+D

Modalidad A: Jvenes Investigadores 1. Mritos cientficos del IP, 15 pts
Valorar historial cientfico del IP en los ltimos 5 aos: formacin, trayectoria y solvencia cientfica. No debe ser valorado negativamente que inicie una nueva lnea de investigacin si su potencial cientfico y capacidad de liderazgo son adecuados. En caso de que presente grupo de investigacin, valorar si la capacidad y composicin del mismo es adecuada.

Modalidad B: Grupos Consolidados 1. Mritos cientficos IP y grupo, 25 pts

1.1. Historial cientfico del IP, 15 pts. Especialmente en los ltimos 6 aos, y su capacidad de liderazgo dentro del grupo. 1.2. Mritos cientficos resto del equipo, 10 pts. CV de cada uno de los participantes, valorando positivamente la participacin de investigadores en formacin.

2. Inters cientfico-tcnico, 15 pts

Novedad y relevancia de la propuesta, su contribucin al avance cientfico-tcnico del estado actual del tema

2. Inters cientfico-tcnico, 25 pts

Novedad y relevancia, avance cientficotcnico sobre el estado actual del tema

3. Viabilidad de la propuesta, 10 pts

Capacidad del equipo. Metodologa propuesta, plan de trabajo y distribucin de tareas. Un cierto riesgo es meritorio en un proyecto bien fundamentado.

3. Viabilidad de la propuesta, 10 pts

Capacidad del equipo. Metodologa propuesta, plan de trabajo y distribucin de tareas. No se deben valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado.

Estructura de la solicitud de un proyecto

Estructura de la solicitud de un proyecto

Estructura de la solicitud de un proyecto

Estructura de la solicitud de un proyecto

Sugerencias concretas en la elaboracin de propuestas

Mensaje fluido: bien organizado y conceptos claros (para expertos y pseudo-expertos), propuesta debe ser interesante para el evaluador (figuras, diagramas, destacar conceptos importantes) Buena descripcin del estado del arte con una propuesta novedosa y ambiciosa pero creble (contenidos y plazos); anticipar crticas Objetivos coherentes entre si y alcanzables acorde al nmero de EDPs. Propuesta sincera. IP a dedicacin exclusiva? Metodologa al alcance del equipo proponente: bien repartido entre los integrantes, explicar su funcin colaboradores externos (sin EDP) no pueden ser responsables de tareas propuesta de trabajo de campo bien dimensionada Presupuesto bien justificado y realista (se favorece la contratacin de personal)

La vida diaria de un investigador/evaluador, ese que nos va a evaluar 2 h. de docencia (incluye tutoras)
1 h. contestando el correo

30m quitando spam, incluye el tiempo de recuperar el spam que no era spam 30m contestando mensajes

30m. caf 30/60 criticando al director de dpto., decano, rector 1h. explicando a los becarios como se hace un trabajo de investigacin 1h. calibrando mquinas, arreglando desperfectos del Windows, etc. 1h. adaptando el ttulo a Bolonia y convirtiendo la materia en crditos ECTS 30 m. preparando acreditaciones 30 m. investigacin

El ciclo de la investigacin
Solicitud Proyecto Resultados

Evaluacin ex-ante

Evaluacin on going Institucion propia

Evaluacin ex-post

ANEP

PN

No olvidar nunca

Cumplir los objetivos y realizar la actividad (poco importante) Cumplir los plazos establecidos para gastos y pagos (muy importante) Respetar el presupuesto previsto (muy importante) Justificar en los plazos establecidos (lo ms importante?) El incumplimiento puede significar la obligacin de devolver el importe total o parcial de la subvencin

Porcentaje de investigadores activos por reas y tasa de variacin

AGR AGRICULTURA BMC BIOLOGA FUNDAMENTAL Y DE SISTEMAS BMED BIOMEDICINA BVA BIOLOGA VEGETAL# ANIMAL Y ECOLOGA COM TECNOLOGA ELECTR&NICA Y DE LAS COMUNICACIONES CS CIENCIAS SOCIALES CT CIENCIAS DE LA TIERRA ECO ECONOMA EDU CIENCIAS DE LA EDUCACI&N FFA FISIOLOGA Y FARMACOLOGA FI FSICA Y CIENCIAS DEL ESPACIO GAN GANADERA Y PESCA ICI INGENIERA CIVIL Y ARQUITECTURA IEL INGENIERA EL'CTRICA# ELECTR&NICA Y AUTOM%TICA IME INGENIERA MEC%NICA# NAVAL Y AERON%UTICA INF CIENCIAS DE TECNOLOGA INFORM%TICA MCLI MEDICINA CLINICA Y EPIDEMIOLOGIA MTM MATEM%TICAS PS PSICOLOGA QMC QUMICA TA CIENCIA Y TECNOLOGA DE ALIMENTOS TM CIENCIA Y TECNOLOGA DE MATERIALES TQ TECNOLOGA QUMICA Total

96,21 98,77 99,19 97,56 94,24 29,45 92,20 71,98 34,45 99,31 98,89 95,83 65,57 97,67 93,41 94,08 96,08 99,24 80,47 99,58 98,44 97,66 94,34 89,27

24,39 0,64 16,13 25,00 40,00 35,71 17,44 157,14 112,50 10,53 1,31 34,43 33,33 36,17 60,00 45,68 11,43 5,38 56,86 9,00 9,38 17,74 31,75 19,94

Muchas gracias y suerte! evaristo@ugr.es

La Gestin

Misiones de los organismos de gestin:

Informar sobre oportunidades Asesorar en la elaboracin de propuestas Estudios y anlisis de reas deficitarias en proyectos
Apoyar la gestin econmico-administrativa de los Anticipar los fondos de los proyectos al inicio del proyecto Facilitar informacin actualizada sobre el estado de ejecucin econmica del proyecto. Justificar los proyectos desde los servicios administrativos

becas, etc.

proyectos

Los servicios de gesti nnde la investigaci nproyectos no realizan el control Especializar la gesti econ mica de los econmico

Un proyecto es algo especfico e independiente de la actividad general del grupo

RECURSOS +UM"NOS Y M"TER "%ES

ESPEC $ C"C ONES Y RE2U S TOS P"R" SU RE"% 3"C 'N

P%"3O P"R" RE"% 3"R%O NECES"R "MENTE CON $EC+" !E $ N

PROCEDIMIENTO DE CONCESIN DE PROYECTOS

CONVOCATORIA
PRESENTACION DE SOLICITUDES SUBSANACIN DE SOLICITUDES EVALUACIN PROPUESTA DE RESOLUCIN PROVISIONAL
NOTIFICACIN A INTERESADOS ALEGACIONES REFORMULACIN DE SOLICITUD PROPUESTA DE RESOLUCIN DEFINITIVA

NOTIFICACIN A INTERESADOS Y ACEPTACION RESOLUCIN DE CONCESIN

La gestin del proyecto esquema general

RESOLUCIN DEFINITIVA

RECONOCIMIENTO DE CRDITO

CREACIN DE CENTROS DE GASTO Y DISTRIBUCIN DEL PRESUPUESTO

EJECUCIN DEL GASTO

ALTERACIONES DEL PROYECTO

JUSTIFICACIONES ANUALES. INFORMES CIENTFICOS

JUSTIFICACIN FINAL

CERTIFICADO FINAL DE PROYECTO

CIERRE DEL CENTRO REINTEGRO DE REMANENTES

Choque de culturas

Los que conceden los fondos

Piensan que dado que dan sus fondos sin contraprestacin Que siendo fondos pblicos, los fondos se gastan con poco control, no se justifican con detalle, no se respetan los presupuestos, se abusa de la contratacin directa.

Quienes reciben los fondos (Los investigadores)

Que hacen un esfuerzo adicional en su trabajo docente en beneficio de la sociedad Que la burocracia ralentiza y entorpece su trabajo

Algunas precauciones

Ejecutar de acuerdo al presupuesto y la partidas que figuran en la resolucin de concesin Si hay desviaciones solicitar una alteracin del presupuesto

Los gastos, facturas y costes de personal deben corresponder con el periodo de vigencia Los gastos deben ser elegibles y directamente relacionados con el proyecto

Qu no es elegible: material de oficina, gastos de representacin, reparaciones y mantenimiento, telfono

Los fondos se ejecutarn a lo largo de toda su duracin. En general no hay limitaciones para realizar un gasto mnimo anual. Las anualidades de la concesin son un plan de pagos a la Universidad, no una obligacin temporal de ejecucin por parte del IP. La justificacin se remitir anualmente

Evaluaciones de ANEP 2007

Tipos de solicitudes

MEC Y AGE

CC.AA.

Universidades

Fundaciones

Otros

TOTAL

Proyectos !ecas y contratos $nfraestructura %oop. $nternacional &ovilidad 'tros (otal

8.683 8.363 6# 69 32 2 18.#"2

1.383 19" 130 #10 3 2.2#"

1.129

80 88

199 10

12.201 8. #2 19# 69 1.2"2

21 1.1#0 89#

2 333

8 23.1 "