PROGRAMA DE DOCTORADO EN ADMINISTRACION FACULTAD DE CIENCIAS ECONOMICAS UNIVERSIDAD DE BUENOS AIRES

Evaluacin de impacto en la capacitacin de recursos humanos

TESIS DOCTORAL

MARA GABRIELA RUTTY

Directora de Tesis

Dra. MONICA PINI

Director de Estudios y Director de Beca

Lic. NORBERTO H. GNGORA

Buenos Aires, Mayo del 2007

INDICE
A. LA EVALUACION DE IMPACTO DESDE EL ABORDAJE DE LAS CIENCIAS SOCIALES, LA ADMINISTRACION Y LA CAPACITACION_________________________ 7 1.- Definicin del problema y presentacin del trabajo: ____________________________ 7 2.-Preocupaciones en el campo terico y el campo prctico de la evaluacin__________10
2.1. El problema de la objetividad de los valores asociados a la evaluacin.......................................11 2.2. El valor poltico de la evaluacin, la responsabilidad de la evaluacin frente a sus pblicos y los usos espurios de la evaluacin............................................................................................................. 12 2.3.Los mtodos cuantitativos vs. los mtodos cualitativos. Una falsa dicotoma.............................. 13 2.4. La cultura de la evaluacin........................................................................................................... 14

3- Estado del arte: los distintos modelos de evaluacin de impacto__________________16

3.1. Los modelos provenientes de la evaluacin de proyectos sociales...............................................17 3.2. Los modelos del campo del Desarrollo de Recursos Humanos HRD. ........................................ 21

3.2.1. Produccin sobre evaluacin de impacto en habla hispana.......................22 3.2.1. Produccin sobre evaluacin de impacto en habla hispana.......................22 3.2.2. Trabajos de origen anglosajn...................................................................23 3.2.2. Trabajos de origen anglosajn...................................................................23
4.- Hiptesis de trabajo ______________________________________________________1 5 5.- Metodologa_____________________________________________________________ 3 5
5.1. Anlisis comparativo de experiencias de evaluacin de impacto.................................................55 5.2. Elaboracin de metodologa de evaluacin de impacto................................................................56

B.ANLISIS COMPARATIVO DE EXPERIENCIAS DE EVALUACIN DE IMPACTO__58 1.-Introduccin_____________________________________________________________ 8 5 2.- Descripcin general de las organizaciones____________________________________ 59
2.1.-Lugar.............................................................................................................................................59 2.2.- Sector de Actividad..................................................................................................................... 60 2.3 Tamao.......................................................................................................................................... 61

3.- Capacitacin____________________________________________________________ 63
3.1.- Clase de capacitacin segn la duracin..................................................................................... 63 3-2.-Tipos de capacitacin larga.......................................................................................................... 63 3.3.- Contenidos, duracin y modalidad de la capacitacin larga....................................................... 66 3.4.- Organizaciones que participan en la capacitacin.......................................................................67

4.-Evaluacin______________________________________________________________69
4.1.- Organizaciones que evalan su capacitacin de larga duracin..................................................69 4.2-Modalidad de evaluacin de la capacitacin................................................................................. 69

5. Las organizaciones que trabajan con evaluacin de la efectividad y evaluacin de impacto en sus actividades de larga duracin____________________________________ 3 7
5.1- Evaluacin de la efectividad de la capacitacin de larga duracin.............................................. 73 5.2..-Evaluacin del impacto de la capacitacin de larga duracin .................................................... 74

6.-Las condiciones estructurales de la evaluacin de impacto_______________________ 8 7 7.- Hacia la identificacin de modos de hacer a travs del anlisis comparativo_______83
7.1.-Aplicacin del anlisis comparativo a los casos, definicin de los atributos relevantes..............83 7.2.-Las similitudes .............................................................................................................................87 7.3.-Las diferencias..............................................................................................................................90 7.4.-Hacia la construccin de tipos...................................................................................................... 92

8.- Sntesis________________________________________________________________ 102

2

C.- ELABORACION DE METODOLOGA DE EVALUACION DE IMPACTO SOBRE LA REFORMULACIN DEL CASO DEL INTA______________________________________ 04 1 1.- Introduccin ___________________________________________________________ 04 1 2.- Caractersticas de la encuesta realizada ____________________________________ 106
2.1.- El programa de capacitacin......................................................................................................106 2.2- Caractersticas del proceso de evaluacin de impacto................................................................106 2.3.-Los objetivos de la evaluacin ...................................................................................................106 2.4.-Metodologa de evaluacin.........................................................................................................107 2.5.-Variables empleadas por la encuesta del INTA..........................................................................108 2.6.-Matriz de anclaje de la encuesta del INTA.................................................................................108

3.-Resultados obtenidos en la encuesta________________________________________111

3.1.- Nmero de encuestas respondidas.............................................................................................111 3.2.-Resultados de la Primer Encuesta. Datos generales de los encuestados.................................... 111 3.3.-Opinin sobre la formacin recibida.......................................................................................... 114 3.4.-Aprendizajes obtenidos en la capacitacin y Profundizacin de los conocimientos..................118 3.5.- Problemas ocurridos en el proceso de formacin......................................................................121 3.6.- Expectativas de Aplicacin....................................................................................................... 121 3.7.- Segunda encuesta, la aplicacin de lo aprendido 6 meses despus .......................................... 124 3.8.- Tercera encuesta, la aplicacin de lo aprendido 12 meses despus...........................................130 3.9.-Metodologa de transferencia de los conocimientos...................................................................132 3.10.-Cambios observados en la aplicacin.......................................................................................132 3.11.-La opinin del grupo de trabajo y jefes acerca de la aplicacin y transferencia de los conocimientos.................................................................................................................................... 135 3.12.-Sntesis .....................................................................................................................................136

4.-Reformulacin metodolgica y conceptual del instrumento_____________________ 139

4.1.-Anlisis de los aspectos metodolgicos de la encuesta.............................................................. 139 4.2. Anlisis de la lgica del proceso de evaluacin en relacin con los objetivos...........................141 4.3.-Reformulacin del concepto de impacto y dimensiones de anlisis.......................................... 141 4.4.-Nueva matriz de anclaje del instrumento de evaluacin de impacto de la capacitacin en el INTA.................................................................................................................................................. 143 4.5.- Estrategia metodolgica: parmetros de comparacin, instrumentos, procedimientos de recopilacin de informacin y anlisis.............................................................................................. 146

5.-Sntesis________________________________________________________________148 D. SINTESIS, CONTRIBUCIONES DE ESTE TRABAJO Y FREFLEXIONES FINALES_150 1.-Los marcos tericos disponibles____________________________________________ 52 1 2.-Las tensiones entre teora y prctica: _______________________________________ 153 3.-La institucionalizacin___________________________________________________154 4.-Los modelos ____________________________________________________________ 55 1 5.-Los supuestos de la evaluacin de impacto___________________________________ 156 APENDICE:________________________________________________________________160 Descripcin de los casos que evalan efectividad e impacto ___________________________ 60 1 A.-Experiencias de evaluacin de impacto_____________________________________160
Caso A ...............................................................................................................................................160 Caso B................................................................................................................................................162 Caso C................................................................................................................................................167 Caso D................................................................................................................................................170 ............................................................................................................................................................170 Caso E................................................................................................................................................ 174 Caso F................................................................................................................................................ 175 Caso G................................................................................................................................................177
3

Caso H................................................................................................................................................179 Caso I................................................................................................................................................. 183

B.-Experiencias de evaluacin de transferencia de los aprendizajes________________184

Caso J.- ..............................................................................................................................................184 Caso K................................................................................................................................................186

C.-Tablas de organizaciones consultadas______________________________________190

C. 1.-Tabla resumen de las organizaciones privadas consultadas segn sector y actividad..............190 C. 2.-Tabla resumen de las organizaciones pblicas consultadas que evalan sus actividades de capacitacin de larga duracin...........................................................................................................191

ANEXO I: Matriz de anclaje e instrumentos _______________________________________ 192

a.-Matriz de anclaje de la investigacin.............................................................................................192 b.- Formulario de Entrevista sobre evaluacin de impacto en actividades de formacin del personal de ms de 5 meses de duracin.......................................................................................................... 195

ANEXO II.-Formulario de Encuesta utilizado por el Instituto Nacional de Tecnologa Agropecuaria para evaluar el impacto de su programa de Capacitacin__________________197 Bibliografa _________________________________________________________________09 2

INDICE DE CUADROS
1.Organizaciones segn lugar y tipo_______________________________________________ 59 2.Organizaciones segn sector de actividad_________________________________________61 3.Cantidad de empleados por sector de actividad_____________________________________ 62 4.Organizaciones publicas y privadas segn tipo de capacitacin corta o larga_____________63 5.Modalidad de capacitacin en las organizaciones segn pblico privado:________________64 6.Contenidos de algunos de los cursos de larga duracin por sector pblico o privado________ 66 7.Destinatarios segn tipo de institucin pblico-privado______________________________67 8.Modalidad de capacitacin segn mbito pblico-privado____________________________ 7 6 9.Existencia de convenios con otras organizaciones para la formacin de larga duracin______ 8 6 10.Tipo de organizaciones que participan en la formacin______________________________ 8 6 11.Organizaciones publicas y privadas segn metodologa de evaluacin__________________ 9 6 12.Organizaciones que evalan impacto segn tipo de actividad y sector pblico /privado.____ 74 13.Organizaciones que evalan el impacto segn tamao y sector_______________________74 14.Tipo de cursos en el que se evala el impacto_____________________________________ 75 15.Caractersticas generales de las experiencias en las que se evala el impacto_____________6 7 16.Actividades de capacitacin que son evaluadas____________________________________ 79 17.Profundidad de la Evaluacin__________________________________________________9 7 18.Profundidad en el nivel de evaluacin segn tipo de institucin_______________________ 80 19.Amplitud y profundidad de las actividades de evaluacin____________________________ 0 8 20.Grado de institucionalizacin de las prcticas de evaluacin segn tipo de institucin pblica o privada.____________________________________________________________________ 81 21.Organizaciones que evalan impacto segn grado de institucionalizacin_______________ 81 22.Matriz de descripcin analtica de los casos segn los atributos seleccionados___________87 23.Organizaciones que evalan el impacto segn tamao______________________________88 24.Enfoque de la evaluacin de impacto____________________________________________ 8 8 25.Instrumentos de relevamiento de la informacin en la evaluacin de impacto____________ 89 26.Atributos ms significativos en la descripcin de los casos___________________________0 9 27.Periodicidad de la evaluacin de impacto________________________________________91 28.Numero de respondientes a la encuesta en 1,2 y 3 momento_______________________ 111 29.Distribucin de tcnicos por provincia__________________________________________11 1 30.Pas donde se capacit y grado obtenido________________________________________112 31.Centro de estudios por pas__________________________________________________112 32.Tema del programa de formacin por centro al que pertenece el tcnico_______________ 113 33.Calidad de los estudios segn centro de capacitacin______________________________114 34.Fundamentos de la calidad de los estudios_______________________________________15 1
5

35.Razones de la calidad de los profesores_________________________________________ 115 36.Razones del ajuste de los estudios_____________________________________________ 116 37.Por que recomienda la institucin por tema del programa y centro de formacin_________17 1 38.Que aprendi por tema del programa universidad y nombre_________________________ 119 39.Que desea profundizar por tema del programa y centro de estudios y becario___________120 40.Problemas con el INTA_____________________________________________________121 41.Razones por las que tiene expectativas de aplicacin______________________________122 42.Factores institucionales que favorecen la aplicacin_______________________________ 123 43.Factores institucionales que impiden la aplicacin________________________________124 44.Porcentaje de aplicacin de lo aprendido a sus tareas 6 meses despus________________125 45.Aplicacin de lo aprendido de acuerdo con las expectativas previas de aplicacin_______125 46.Transferencia y aplicacin de lo aprendido por centro regional______________________128 47.Aplicacin de lo aprendido 12 meses despus por porcentaje de aplicacin_____________ 30 1 48.Aplicacin de conocimientos 12 meses despus segn expectativas previas____________ 131 49.Cruce entre los que aplicaron 6 meses despus y los que aplicaron 12 meses despus_____ 31 1 50.Aplicacin de lo aprendido a los 6 y 12 meses segn expectativas previas de aplicacin__ 131 51.Metodologa de transferencia 12 meses despus__________________________________ 132 52.Cambios observados en la aplicacin 12 meses despus por Centro Regional___________ 133 53.Cambios producidos 12 meses despus por centro regional del tcnico________________ 133 54.Aspectos en los que se observa los cambios 12 meses despus por tcnico_____________134 55.Pertinencia de los conocimientos transferidos por el tcnico para el grupo por centros regionales.__________________________________________________________________ 135 56.Grado de impacto del programa de capacitacin de tcnicos segn las dimensiones definidas ___________________________________________________________________________ 143

A. LA EVALUACION DE IMPACTO DESDE EL ABORDAJE DE LAS CIENCIAS SOCIALES, LA ADMINISTRACION Y LA CAPACITACION

1.- Definicin del problema y presentacin del trabajo:
El problema que ocupa el inters de este estudio se vincula con las dificultades que hallan los capacitadores para evaluar los beneficios de la capacitacin en las organizaciones. Aunque la tcnica de la evaluacin de impacto en capacitacin es un tema de inters para los capacitadores y administradores, y es fuertemente recomendada por los expertos como la nica va de comprobar los aportes de la capacitacin a la organizacin, existen pocos centros de capacitacin, tanto en la administracin pblica como en la gestin privada, que apliquen este tipo de tcnicas1. Distintos trabajos enfatizan la necesidad de evaluar el impacto de la capacitacin como nica manera de indagar acerca de cul es la contribucin que los esfuerzos de formacin del personal realizan a la organizacin. Se habla de la necesidad de institucionalizar una cultura de la evaluacin en las organizaciones y encontrar mecanismos y criterios que permitan dar cuenta de las mejoras en el desempeo del personal y la productividad de la organizacin causados por la capacitacin. A pesar de las recomendaciones de los autores y el inters de los formadores, son pocas las experiencias realizadas en este sentido. Cuando los capacitadores deciden aplicar las tcnicas de evaluacin de impacto se encuentran con dificultades metodolgicas, como por ejemplo: cmo evaluar la capacitacin entendida como la causa de efectos deseados, en organizaciones complejas, donde es difcil deslindar de las otras variables intervinientes en el desempeo de los capacitados y en los productos de su trabajo. Tambin se tropiezan con dificultades estructurales, pues la aplicacin de estas tcnicas requiere de un trabajo muy integrado entre el rea de capacitacin y la lnea, con una demanda de esfuerzo en recursos de tiempo y personal formado de los cuales no se dispone. Otra dificultad es, que a pesar de los esfuerzos encomiados, la complejidad del objeto de anlisis hace que no exista evidencia absoluta de la validez de los resultados obtenidos, lo que en muchos casos lleva a desistir de estas prcticas o considerarlas una prdida de tiempo y recursos. Sin embargo, an con el impedimento de estas dificultades, el inters por evaluar el impacto persiste y se han registrado experiencias de evaluacin de impacto en actividades de capacitacin de corto y largo plazo en organizaciones pblicas y privadas2. Uno de los objetivos de este trabajo fue recuperar algunas de estas experiencias y realizar un registro de las mismas, analizando sus abordajes, metodologas y resultados, de manera de conformar un pequeo banco de datos que sirva de inters a los especialistas y capacitadores de recursos humanos.

RUTTY, M .G. Proyecto de Investigacin "Prcticas de Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". CONICET. Noviembre de 2000 2 RUTTY, M. G. "Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". UBA. FCE. IIA. Centro de Investigaciones en Administracin Pblica. Doc. de trabajo N 3. Ao II, Vol. II, N 1 - 1er. semestre de 2002 7

Se ha observado que los modelos tericos disponibles sobre evaluacin de impacto no son aplicados en la prctica pues no pueden dar cuenta de la complejidad del fenmeno y no responden a las necesidades que expresan los actores y organizaciones. La brecha entre lo que dicen los expertos y lo que sucede en la realidad ya ha sido sealada desde hace tiempo por autores como Schon3 y Argyris4, preocupados por los conocimientos necesarios para la accin, el cambio y el aprendizaje en las organizaciones. Cuando se quiere aplicar el conocimiento proveniente de las recomendaciones de los especialistas, muchos de ellas no realizan un aporte para la accin significativo en vistas a superar los problemas que presenta la organizacin. La falta de utilidad de los conocimientos no radica, generalmente, en fallas en los diagnsticos, sino en que las teoras no explican, entre otras cosas, de qu manera los actores pueden adquirir los nuevos hbitos que recomiendan, o cmo evitar las consecuencias variables e indeseables que pueden provocar la aplicacin de los nuevos conocimientos, (muchas veces provocados por las rutinas defensivas de las organizaciones). Esta distancia entre teora y prctica, que es la que efectivamente se ha encontrado en el caso de este trabajo de tesis, puede ser zanjada a travs de la utilizacin de conocimientos nuevos que se ponen en juego en la prctica. Segn Schn para el ejercicio profesional no basta el uso de los conocimientos tcnicos (teora y tcnica que se deriva del conocimiento sistemtico), pues la incertidumbre y conflictividad que presenta la prctica requiere del uso de la improvisacin, de estrategias propias, ms all de la aplicacin de normas tcnicas. Es decir de la puesta en juego de conocimientos prcticos. El conocimiento prctico es aquel que surge de la prctica, (reflexin en la prctica), con el cual se logra resolver los problemas que presenta la realidad cotidiana de las organizaciones. Este conocimiento prctico tiene como nota sobresaliente que es esencialmente relevante para la accin. Este trabajo, a travs de la recopilacin realizada sobre las prcticas en evaluacin va ms all de un relato descriptivo y presenta en forma detallada las formas en que las organizaciones resuelven la distancia entre los conocimientos tcnicos y la realidad de sus organizaciones a travs de la aplicacin y de su saber prctico y producen un conocimiento validado que se integra a la cultura de la organizacin. Una vez relevadas las experiencias se realiz un estudio comparativo de las mismas, se extrajeron los modelos de evaluacin de impacto operantes en la prctica y contrastaron con los modelos tericos, orientado a la construccin de un nuevo modelo de evaluacin de impacto sobre base emprica. De esta manera, en esta primera parte se presenta un repertorio clasificado de modalidades de evaluacin de impacto que no tiene antecedentes en la Argentina. No existen otros estudios de este tipo donde se recopile la experiencia acumulada en evaluacin de impacto en el pas, (slo reconoce como antecedente una encuesta de la

SCHON, D. La formacin de profesionales reflexivos. Hacia un nuevo diseo de la enseanza y el aprendizaje en las profesiones. Ed. Paids, Espaa, 1992. 4 ARGYRIS, C. Conocimiento para la accin. Una gua para superar los obstculos del cambio en la organizacin. Ed. Granica, Bs. As. , 1999. 8

American Training and Development Association (ASTD) realizado en Estados Unidos5 en el ao 1997 y una rplica de este estudio en Chile en el 20046.) Como resultado del trabajo de campo, se encontr el caso de una organizacin pblica, el INTA, que desarroll una metodologa para evaluar el impacto de sus actividades de capacitacin. Este caso result atractivo en razn de sus antecedentes y de su inters en la construccin de cultura de la evaluacin. A partir del anlisis y reformulacin de los procedimientos utilizados por esta institucin se desarroll una nueva propuesta conceptual y metodolgica de aplicacin de la evaluacin de impacto. Esta reformulacin metodolgica se realiz a la luz de una nueva mirada o perspectiva del concepto de evaluacin de impacto, que se sustenta tanto en la recopilacin terica, como en la revisin de los casos anteriores y en el anlisis de los aciertos y fallos del mismo caso del INTA. Se utiliz como medio para el anlisis y la reformulacin metodolgica la tcnica de la arqueologa de datos7, que se explica en el apartado 5.2 (pp56). El nuevo instrumento de encuesta obtenido realiza un amplio barrido de informacin a los efectos de evaluar el impacto que luego se resume en dos dimensiones, de manera de presentar con simplicidad el progreso promovido por la capacitacin. Este instrumento surge como una propuesta que, avalado desde lo terico y desde la praxis organizacional, resulta factible de ser aplicado en las organizaciones.

De acuerdo con lo dicho, los objetivos de este trabajo son: 1. Realizar un anlisis comparativo de experiencias de evaluacin de impacto de programas de capacitacin de recursos humanos de larga duracin8 en los sectores pblico y privado. 2. Elaborar una metodologa de evaluacin de impacto de la capacitacin de larga duracin a partir del anlisis y reformulacin de datos primarios recabados, no procesados. En el primer captulo se desarrollan los principales trminos del debate del campo general de la evaluacin y los abordajes centrales en evaluacin de impacto. Los trabajos especficos dedicados a la evaluacin de impacto se agrupan en dos grandes lneas de trabajo, uno proveniente del abordaje de las ciencias sociales y otro de la literatura sobre desarrollo de recursos humanos (HRD).
5

American Training and development Association (ASTD) National Human Resources Development Executive Survey. Fourth Quarter Survey Report, 1997 6 CERNA, J. :Ventaja Competitiva de la Capacitacin Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile. 7 HOFSTEDE, GCultures Consequence. Comparing values, behaviors, institutions and organizations across nations. Sage Publicarions, Thousand Oaks, C A, 2001 8 Con el objeto de facilitar la sistematizacin de las actividades de capacitacin relevadas, y solo a los efectos de este trabajo, se consideraron como actividades de capacitacin de larga duracin, aquellas experiencias cuya duracin es superior a los 5 meses. 9

En la segunda parte, (pp. 58) se presenta el estudio de campo de experiencias de evaluacin de impacto en las organizaciones del sector pblico y privado. Se analizan las caractersticas de las actividades de capacitacin relevadas y las modalidades de evaluacin desarrolladas por las instituciones consultadas. Seguidamente y en funcin del material relevado se realiza un anlisis comparativo de las experiencias de evaluacin de impacto y se extraen tres modelos de evaluacin de impacto. En la tercera seccin (pp. 104) se presenta la reformulacin metodolgica y conceptual del instrumento de evaluacin de impacto realizado por el Instituto Nacional de Tecnologa Agropecuaria (INTA), a partir de la aplicacin de la tcnica de la arqueologa de datos. Esta parte contiene: a.- el procesamiento de datos recabados por la encuesta aplicada por el INTA, b.-una revisin metodolgica de la encuesta, y c.- un nuevo modelo de evaluacin del impacto para las experiencias de capacitacin que realiza el organismo. Al final del texto se presentan un apndice y dos anexos. En el apndice (pp. 160) se ofrece una descripcin exhaustiva de dos casos de evaluacin de la efectividad de la capacitacin y de cada uno de los casos de evaluacin de impacto relevados. Al final de este apartado se adjuntan dos tablas con los casos consultados en el relevamiento de campo que desarrollan actividades de evaluacin de sus experiencias de capacitacin. En el ANEXO 1 (pp. 192) se incluyen la matriz de anclaje empleada para el desarrollo de la investigacin sobre la que se basa esta tesis, y los instrumentos utilizados para el trabajo de campo. En el ANEXO 2 (pp. 197) se muestran los instrumentos de encuesta aplicados por el INTA.

2.-Preocupaciones en el campo terico y el campo prctico de la evaluacin

El tema de la evaluacin de impacto de la capacitacin se inserta en el campo ms amplio de la evaluacin educativa y ste en el campo de la evaluacin, cuyas aplicaciones recorren distintas reas de inters como por ejemplo el rea de evaluacin de polticas y proyectos sociales. Scriven9 seala que existen ms de 20 campos reconocidos de evaluacin. Existen distintas definiciones acerca de lo que se entiende como evaluacin de impacto. Una definicin clsica sobre impacto es la que presentan Cohen y Franco10. Segn los autores, la evaluacin de impacto es el resultado de los efectos de un proyecto. Efecto es todo comportamiento del que puede decirse que ha sido influido por algn aspecto de un proyecto. Dados sus objetivos un proyecto tiene efectos buscados, previstos, positivos, relevantes, no

.SCRIVEN, Michael "The nature of evaluation. Part I: Relation to psychology". Practical Assessment, Research & Evaluation. (1999) 10 COHEN, E., FRANCO, R. : Evaluacin de proyectos sociales. Ed. Grupo Editor de Amrica Latina, Bs. As., 1988 10

buscados, etc. Los resultados brutos son los cambios que se observan en la poblacin objetivo y los resultados netos son los cambios atribuidos exclusivamente al proyecto. El resultado neto es equivalente al impacto. Siguiendo esta clasificacin y aplicndola a la capacitacin, la evaluacin de impacto es un tipo de evaluacin que pretende indagar acerca de los cambios producidos en el trabajo por el proceso de enseanza. Trata de determinar si hubo cambios, la magnitud que tuvieron, qu aspectos afectaron y en qu medida se contribuy al logro de los objetivos de la capacitacin planteados inicialmente. Sera interesante consentir, al menos en una primera instancia, que lo que busca la evaluacin de impacto son indicios de una transformacin ocurrida en el mbito laboral y en la persona que se capacita a partir de los nuevos aprendizajes realizados. El campo de la evaluacin segn los especialistas aparece como controversial y conflictivo. En un paneo general que no agota las preocupaciones que conciernen a este campo, se observa la existencia de una serie de conflictos en torno a algunas cuestiones, entre ellas: el tema de los valores y criterios de evaluacin, la evaluacin y la poltica, los mtodos de evaluacin y la cultura de la evaluacin. A continuacin se resean algunos de los problemas que se debaten en la literatura especializada y que influyen directa o indirectamente en el tema que ocupa este estudio.

2.1. El problema de la objetividad de los valores asociados a la evaluacin

Para Stufflebeam "la evaluacin es el enjuiciamiento sistemtico de la vala o mrito de algo"11. Evaluar significa emitir un juicio de valor. Este juicio se emite en funcin de un valor y de un estndar asociado. El valor seala que es lo que es bueno o no, y el estndar la medida en que algo es bueno o no con relacin al valor. Esta postura se opone a la llamada evaluacin preordenada, que es la evaluacin Tyleriana en funcin de los objetivos diseados de un programa. Para estos autores, no hay evaluacin si no se produce un juicio de valor. El valor es cualquier aspecto de una situacin, actividad u objeto que tenga un inters particular, como ser bueno, malo, deseable, indeseable12. En la tarea de evaluar hay que sealar criterios y normas que permitan establecer tanto el mrito como el valor del objeto evaluado. El estndar fija el nivel de desempeo de lo que se enjuicia para ser considerado bueno, no se trata de ponderar o enjuiciar algo con criterios subjetivos, estos juicios deben apoyarse en datos e informacin pertinente13.

11

STUFLEBEAM, D. SHINKFIELD, A. "Evaluacin sistemtica. Gua terica y prctica.". Ed. Paidos., Barcelona, 1987 12 Scriven, citado por Sttuflebeam, diferencia entre los conceptos de vala y mrito. Vala se refiere a la necesidad de lo que se evala (es el criterio de validez). Mrito se refiere a la excelencia de lo que se mide, tiene que ver con la buena realizacin de algo 13 AGUILAR IDEZ, M.J. Y ANDER EGG, E. "Evaluacin de servicios y programas sociales". Ed. Lumen, Bs. As, 1994 11

En la definicin de los valores que se emplean al evaluar surgen problemas de vital importancia. Existen valores en competencia, cada uno con criterios y estndares asociados y que presentan diferente rendicin de cuentas al evaluador14. House15 diferencia tres posiciones respecto de los valores en evaluacin. La primer postura considera que datos y valores son extremos de una dicotoma (no sujetos a una determinacin racional), donde los evaluadores deben extraer conclusiones basadas en los intereses de los interesados o clientes. La segunda sostiene que las personas escogen sus valores y sus datos, ambos son materias de eleccin individual (concepcin constructivista). Desde esta perspectiva los evaluadores deben asumir la funcin de facilitadores neutrales en cuanto a su forma de manejar los datos y valores de otras personas. La posicin del relativismo de valores tambin conlleva peligros a la hora de la definicin de los valores que guiarn la evaluacin. El reconocimiento de valores en competencia o la imposibilidad de representar todas las opciones de valores en la evaluacin, puede llevar a la falacia del "relativismo de valores", es decir, la visin de que toda posicin de valor es igualmente meritoria de representacin en la evaluacin. Segn los autores, slo los mecanismos de la sociedad democrtica no aseguran que esta igualdad quede garantizada. Por otro lado la carencia de valores hace que los evaluadores anclen en aquellos valores defendidos por los financiadores o clientes de la evaluacin, en este caso nos encontramos con las falacias del clientelismo, del contractualismo, etc. La tercer postura, que es la defendida por House, parte de la concepcin de que los datos y valores no son independientes y de que el rol de los evaluadores es extraer conclusiones objetivas de valor recogiendo y analizando pruebas y siguiendo los procedimientos de su disciplina profesional y fuertes convicciones democrticas.

2.2. El valor poltico de la evaluacin, la responsabilidad de la evaluacin frente a sus pblicos y los usos espurios de la evaluacin
Muchos autores plantean la evaluacin como una herramienta objetiva que permite la rendicin de cuentas por parte de la administracin pblica a la sociedad. Sin embargo esta funcin de ayudar en la rendicin de cuentas es la que est puesta en tela de juicio. Por un lado, como se dijo, se plantea la existencia de competencia de valores en las organizaciones y en la sociedad, pero adems desde perspectivas ms polticas del abordaje de la ciencia social se enuncian una serie de factores que conspiran contra la concepcin de la evaluacin como una herramienta neutral. De acuerdo a Joulnes16, una de las primeras crticas a esta concepcin de neutralidad es su inocencia en relacin con el rol que juegan los contextos polticos en los cuales se producen las evaluaciones. Explica, siguiendo a Carol Weiss, que los polticos rara vez usan las evaluaciones para la toma de decisiones.
14

JULNES, G "Supporting governmental reform through improved evaluation methods: towards a multinational dialogue on lessons learned". VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001 15 HOUSE, E. HOWE, K. Valores en evaluacin e investigacin social.Ed. Morata, Madrid, 2001. 16 JOULNES, G., op.cit. 12

Los puntos en los que se centra la crtica al valor poltico de la evaluacin se refiere a los usos espurios de la evaluacin, es decir, la evaluacin no sirve a los objetivos de los programas oficiales, ni a lgicas racionales, ni a la bsqueda de la verdad, y siempre est afectada por sesgos de contexto. En esta lnea, Escolar y Domench 17 explica que muchas veces los motivos por los cuales se realizan las evaluaciones no tienen una total correspondencia con los usos que se tiene previsto asignar a las mismas.

2.3.Los mtodos cuantitativos vs. los mtodos cualitativos. Una falsa dicotoma.
Uno de los temas que desat lo que se llam una "guerra de paradigmas" fue la preocupacin por los mtodos de evaluacin. Esta controversia se polariz en la dcada de los '70 entre los defensores de los mtodos cuantitativos del llamado paradigma positivista y los precursores de los mtodos cualitativos en evaluacin del paradigma constructivista. Esta discusin, que impregna el campo de la evaluacin tanto desde el punto de vista conceptual como de la prctica,18 se inserta en una discusin ms general que proviene de la evolucin de la metodologa de la investigacin en el ltimo medio siglo dentro de los marcos cientficos prevalecientes, que establecen qu es ciencia y qu no lo es. Los evaluadores que confan en los mtodos cuantitativos ven la causalidad en trminos de covariacin de actividades de programas y resultados. El diseo metodolgico aceptado como ms preciso por ellos es el de tipo experimental. Emplean tcnicas como los estudios cuasiexperimentales, y se preocupan por la generalizacin estadstica. Los evaluadores cualitativos postulan que la covariacin agregada es un uso limitado de la comprensin de la causalidad, ya que la sola observacin de los resultados obtenidos deja de lado toda la complejidad de la realidad de los individuos. Lo que proponen es la observacin de la interaccin entre los individuos para comprender qu caus el resultado deseado o no deseado, desde un abordaje inductivo que consideran superior. Desde esta perspectiva intentan recuperar el contexto y la dimensin humana del fenmeno en estudio, se interesan por el anlisis de los procesos sociales y no slo se concentran en los resultados19, emplean tcnicas provenientes de la investigacin naturalista, mtodos etnogrficos, estudios de caso, etc. A partir del final de la dcada de los 70, y como forma de resolver este conflicto, hubo un creciente inters en el uso de mtodos mltiples o combinados, es decir el trabajo con abordajes cuantitativos y cualitativos a la vez, a partir de la aceptacin por parte de los expertos de que ambas tcnicas poseen virtudes y limitaciones. No obstante, Joulnes advierte que en una simple evaluacin no pueden comprometerse todas las posibilidades metodolgicas y prioridades de investigacin, corriendo el peligro de generar confusin al interior y la obtencin de resultados irreconciliables.
17

ESCOLAR, C., DOMENCH, P Los proyectos y programas sociales y la evaluacin. Reflexiones en torno a una experiencia, Universidad Nacional de Quilmes Primer Congreso Nacional de Polticas Sociales, mayo del 2002 18 NIREMBERG, Olga, BRAWERMAN, Josette, RUIZ, Violeta "Evaluar para la transformacin". Innovaciones en la evaluacin de programas y proyectos sociales, Paidos, Bs. As. 2000. 19 NIREMBERG, op. cit. 13

Para Niremberg et al, (2000) la cuestin central no es el tipo de tcnicas a emplear, que podrn variar en funcin de las necesidades planteadas por el proyecto, sino el diseo evaluativo, lo que implica la definicin terica del problema y la seleccin de las dimensiones relevantes para el estudio del fenmeno. Las autoras sealan que adems de las caractersticas del diseo, aqu el aspecto central es el del rigor metodolgico, alcanzable con el empleo de tcnicas cuantitativas o cualitativas. Una vez seleccionadas dimensiones y variables, se define, en funcin de stas, cules son los mtodos ms apropiados para recabar la informacin.

2.4. La cultura de la evaluacin

En un recorrido por los aportes de los especialistas en evaluacin en sus distintas aplicaciones y especialmente los referidos a la evaluacin de programas, proyectos sociales y evaluacin de la gestin institucional, varios autores20 mencionan la necesidad de instalar en las prcticas de las instituciones una "cultura de la evaluacin". La cultura de la evaluacin, segn estos autores, se refiere a la aceptacin por parte de los involucrados (gerencia pblica, organizaciones de la sociedad civil, ciudadanos) de la utilidad y necesidad de la evaluacin. Se postula el desarrollo de una actitud o conciencia proclive a la utilizacin de la evaluacin como parte de las herramientas de la gerencia, como forma de aprendizaje y mejora de la eficiencia y efectividad organizacional. Algunos de estos autores ponen nfasis en la necesidad de medir resultados (impacto) como uno de los tipos de evaluacin privilegiada para implementar. Dentro de este mismo campo de estudio y desde una perspectiva crtica, Hintze 21 seala que lo que reportara a la cultura de la evaluacin, es "la produccin de nuevas significaciones, reconstruir el sentido de la evaluacin modificando el sentido de la evaluacin a travs de su efectiva conversin en prcticas constantes, endgenas y autorreguladas." La construccin de sentido en las organizaciones a la que aluden los autores es realizada por los miembros de las organizaciones en interaccin. Es un proceso a travs del cual cada persona crea y recrea a travs de sus interpretaciones de las situaciones y a travs de su comportamiento, el mundo en el que vive. Desde esta perspectiva, la cultura sera "estructuras de realidades sociales que descansan en las mentes de sus miembros"22, para lograr esto, se requiere tiempo y una experiencia en comn. 23 Esta construccin de sentido referida a la evaluacin vara de organizacin en organizacin, en principio por las interrelaciones con los contextos culturales en los que
20

NEIROTTI, N "La funcin de la evaluacin de programas sociales en Chile, Brasil y Argentina"". VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001, WIESNER, E. "Funcin de evaluacin de planes, programas, estrategias y proyectos", Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2000. BROWM, D. "Evaluacin de polticas y programas en la regin del Caribe de habla inglesa: problemas conceptuales y prcticos". Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2001. 21 HINTZE, S. "Reflexiones sobre el conflicto y la participacin en la evaluacin de polticas sociales" VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001 22 MORGAN, G Imgenes de la organizacin, Mxico, Alfaomega-Ra-ma, 1993 23 SCHEIN, E: La cultura empresarial y el liderazgo, Barcelona, Ed. Plaza y Jans, 1988. 14

se inserta la organizacin24 y los contextos especficos. La significacin de la evaluacin referida a procesos educativos est atada al significado de esos procesos en las organizaciones. As, el aprendizaje en la escuela es distinto del aprendizaje en lugares de trabajo. Esta diferencia radica en cmo los actores en interaccin asignan sentido distinto a estas prcticas.25 Entonces, si las formas de aprendizaje son distintas, tambin lo sern las estrategias de enseanza y los significados atribuidos a la evaluacin. En sntesis, cuando se habla de construir sentido, como parte de un proceso de construccin de cultura en las organizaciones, se debe tener en cuenta que la construccin siempre es un proceso colectivo, no un hecho puntual. Dicho de otra forma, para que la evaluacin sea percibida como valiosa para los miembros de la organizacin, el ejercicio de la misma debe generar algn beneficio material o simblico para los actores involucrados. Por otro lado, la evaluacin puede adoptar significados inesperados o rituales (usos espurios de la evaluacin), o diferentes de los "tericos". En vistas a la construccin de una cultura de la evaluacin, los autores sealan la conveniencia de la institucionalizacin de la evaluacin y exploran el concepto de capacidad institucional En este trabajo entenderemos por institucionalizacin de la funcin evaluacin26 a su asignacin formal en las estructuras organizacionales, como por ejemplo, a travs del planeamiento e implementacin de proyectos y programas especficos de evaluacin hasta la constitucin de un sistema. Es decir la incorporacin de la funcin de evaluacin como una de las funciones de la gerencia. Cultura e institucionalizacin son dos conceptos cercanos, al menos en torno a las reflexiones de las que son objeto. La "cultura de la evaluacin" referencia al significado profundo, en trminos de Schein, que adjudican los miembros de la organizacin a la evaluacin. La institucionalizacin sera la concrecin en espacios organizacionales formales de esta aceptacin o sentido atribuidos. Sin embargo, hasta qu punto es lcito afirmar que si la evaluacin estuviera institucionalizada necesariamente existira una "conciencia proclive a la evaluacin?" Sin intentar desentraar los significados ocultos de la evaluacin en las organizaciones, resulta interesante explorar algunos rasgos de institucionalizacin de la evaluacin en las organizaciones. Es decir, observar slo uno de los niveles, que tiene que ver con las producciones o las prcticas: lo observable. En qu medida la evaluacin se encuentra institucionalizada? y Cul es la relacin que se establece con las prcticas de evaluacin de impacto?.

24 25

MORGAN, op.cit. GORE, E . VZQUEZ MAZZINI, M. "Aprendizaje colectivo y capacitacin laboral" Huatana., Marzo de 2003 26 NEIROTI, op. cit. El autor explora la institucionalizacin de la funcin de evaluacin en tres casos, recoge informacin sobre el grado de institucionalizacin en funcin de dos ejes, vertical y variedad de actividades de evaluacin. 15

3- Estado del arte: los distintos modelos de evaluacin de impacto

Es muy vasta la literatura sobre evaluacin y como se dijo, es objeto de preocupacin en distintos campos, con diferentes objetos y abordajes. El tema de evaluacin de impacto se ha desarrollado al menos y en particular en dos lneas de trabajo: la lnea de evaluacin de programas y proyectos sociales y los trabajos de desarrollo de recursos humanos (HRD). En la primera lnea el tema de la capacitacin ocasionalmente es objeto de inters, pues el foco est puesto en la mira ms amplia de los proyectos sociales en general, el segundo enfoque es ms especfico. Los modelos evaluativos relacionados con las actividades de capacitacin presentan cuestiones no resueltas, tensiones entre la teora y la practica y mucho menos desarrollo en especial en nuestro pas. Es la intencin de este apartado revisar sucintamente las ideas centrales en evaluacin que servirn de marco al anlisis posterior, para luego ceirnos a los desarrollos especficos en evaluacin de impacto de la capacitacin. Existen una serie de autores que podramos encuadrar dentro del campo de la evaluacin en general, cuya atencin se centra sobre el desarrollo de teora sobre evaluacin y en gran parte aplicados a los sistemas educativos. Los autores clsicos en este campo son Stufflebeam, Scriven, Stake, Shadish, House, entre otros. Estos autores son de referencia para quien se interese por cualquiera de las reas de evaluacin. En su trabajo, Stufflebeam27 presenta un recorrido por los distintos abordajes en evaluacin. Distingue entre las que son evaluaciones y las que no lo son, utilizando como criterio de distincin la definicin de evaluacin adoptada, que es juzgar el valor de algo28. Preocupados en su mayora por la evaluacin educacional, plantean fuertes crticas al modelo de Tyler como se describe a continuacin. Para Tyler, quien desarroll el primer mtodo sistemtico de evaluacin educacional, la evaluacin se orienta a determinar la congruencia entre los objetivos y las operaciones. Este mtodo pretende medir el alcance del cambio producido por el programa propugnando la congruencia entre trabajo y objetivos. Stufflebeam seala que las limitaciones del mtodo tyleriano son: 1. La evaluacin es entendida como proceso terminal, permitiendo solamente juicios sobre el producto final. 2. El acento est puesto en evaluar conductas observables, lo que genera la dificultad en la operacionalizacin y el consecuente abandono de los aspectos menos concretos. pero no por ello muy importantes, al no poder ser operacionalizados 3. El nfasis del mtodo basado en la coincidencia entre objetivos y transformaciones ocurridas en los estudiantes se centr demasiado en el rendimiento como ltimo criterio, dejando otros de lado.
27 28

STTUFLEBEAM, op.cit. Define tres grupos generales de evaluacin: 1)Las evaluaciones polticamente orientadas, 2) Las evaluaciones destinadas a dar soluciones a preguntas concretas (cuasievaluaciones): 3)Estudios para enjuiciar o perfeccionar el valor o el mrito de un objeto, que define como evaluaciones verdaderas. Distingue cuatro orientaciones dentro de las que considera evaluaciones verdaderas: 1.- Estudios de orientacin de la decisin. (Cronbach, Stufflebeam, Alkin, Reihard, Taylor, Guba, Webster.), 2.- Estudios centrados en el cliente (Stake, McDonald, Rippey Guba), 3.- Estudios polticos (Anderson, Ball, Murphy - mtodo delphi- y, Rice, Coleman, Campbell, Hobson, Mc Partland, Moor Heynes Y Mikeson, Clark Owens, Wolf) y 4.- Estudios basados en el consumidor (Glass, Scriven). 16

4. Por la tendenciosidad de los valores y falta de alcance de sus componentes evaluativos, la evaluacin queda encerrada en el molde de los objetivos iniciales, lo que impide la realizacin de un estudio ms realista y abierto. La evaluacin termina siendo un proceso desequilibrado e incompleto. En sntesis, los conceptos centrales referidos a la evaluacin desde esta perspectiva son: la comprensin de la evaluacin como un problema complejo, la necesidad de valoracin del objeto y por lo tanto la inconveniencia de trabajar con abordajes de evaluacin preordenada. Se destaca la conveniencia de prestar atencin a las necesidades de los distintos pblicos involucrados en la evaluacin, la consideracin de la utilidad de la evaluacin para los usuarios, y la funcin de la evaluacin como herramienta para el perfeccionamiento de los procesos y la toma de decisiones. Tambin, existe en estos autores una preocupacin por asegurar el cumplimiento de ciertas normas en relacin con el desempeo de los evaluadores y la calidad de su servicio, en relacin con la utilidad, factibilidad, tica y exactitud. Estas normas para evaluacin de programas fueron definidas por el Joint Committee On Standards For Educational Evaluation.29. A continuacin se exploran los modelos provenientes de la evaluacin de proyectos sociales y de HRD:

3.1. Los modelos provenientes de la evaluacin de proyectos sociales

Existe una considerable cantidad de trabajos cuya rea de inters central es la evaluacin de programas o proyectos sociales. Entre las preocupaciones que se desarrollan en este campo, tambin se encuentra el tema de evaluacin de impacto connotada como un tipo particular de evaluacin. Para algunos autores, como Niremberg et al 30, es un tipo de evaluacin que presenta muchas dificultades en su implementacin y siempre debe ser externa, para otros autores de esta lnea como Arlette Pichardo Muiz31, por ejemplo, es un tipo de evaluacin posible de ser aplicada. Se presentan a continuacin los principios generales sobre evaluacin que desarrollan los autores en este campo disciplinario32 y luego las concepciones particulares sobre evaluacin de impacto. Estos trabajos parten de la revisin del rol de la evaluacin, en funcin de cmo era entendida en sus inicios. Explican las autoras33 que hace algunas dcadas, la evaluacin era entendida como la ltima etapa de un proceso lineal de formulacin e implementacin de proyectos. Desde esta concepcin se elaboraron diseos sofisticados con el fin de reproducir condiciones experimentales o cuasi-experimentales que
29

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION: "Normas de Evaluacin para programas, proyectos y material educativo". Ed. Trillas, Mxico, 1988. AEA Y Task Force ."Guiding Principles for Evaluators" 30 NIREMBERG, op. cit 31 PICHARDO MUIZ, A. "Evaluacin del Impacto Social. El valor de lo humano ante la crisis y el ajuste". Ed. Humanitas, Costa Rica, 1993. 32 Son muchos los autores de este campo y con distintas visiones: entre ellos se puede mencionar dentro de la lnea clsica a Cohen y Franco, Pichardo Muiz, y tambin dentro de enfoques ms recientes a Sulbrandt, Castro, Angulo, Chelimnsky, entre otros. Se resean los abordajes ms importantes. 33 NIREMBERG, op. cit. 17

permitieran determinar si se produjeron cambios en la situacin inicial. Sin embargo, sta es una prctica muy complicada y generalmente de tipo externo que no gener los resultados previstos. Otra postura era comparar lo realizado en funcin de los objetivos, pero con el inconveniente de que no consideraba el contexto organizacional. En la actualidad, con el desarrollo de la planificacin estratgica, se reconoce que la planificacin no responde a una racionalidad lineal y que est signada por grandes dosis de incertidumbre. Interesa no slo la evaluacin de los resultados alcanzados sino tambin las caractersticas de los procesos de implementacin de proyectos con nfasis en el control de la calidad de las acciones desarrolladas. La evaluacin es pensada como un proceso que se encuentra acompaando las prcticas de planificacin desde su gnesis hasta su finalizacin. Las ideas centrales de las nuevas concepciones sobre evaluacin de proyectos sociales presentes en los trabajos de los autores de esta lnea 34 se enumeran a continuacin: 1.- La evaluacin como herramienta de gestin para la toma de decisiones: La perspectiva actual de evaluacin de proyectos sociales, considera a la evaluacin como una herramienta de la gerencia dentro de la accin planificada para la toma de decisiones. La evaluacin aparece con la funcin de reducir la incertidumbre en la conduccin de la planificacin estratgica, de manera de corregir y poner bajo control situaciones no previstas que dificultan la accin. 2.- La conveniencia de trabajar con diseos evaluativos participativos: Las nuevas posturas sobre evaluacin acuerdan en la conveniencia de trabajar con diseos de evaluacin que involucren los distintos puntos de vista de los actores, o evaluacin participativa35. Esto responde a dos cuestiones: por un lado la cuestin metodolgica, lo que imprime mayor rigurosidad a travs de la triangulacin de puntos de vista y en segundo lugar, a la representatividad axiolgica de los distintos valores presentes en la realidad, lo que asegura evaluaciones ms democrticas.(Ver punto de los valores en evaluacin, pp.11) 3.- La necesidad de construir modelos evaluativos que puedan captar la complejidad del objeto a evaluar, que no puede ser universal por las caractersticas del objeto: Los autores acuerdan en la dificultad que presenta el objeto de estudio debido a la complejidad de la naturaleza de los hechos sociales, y la estrecha interrelacin existente entre los fenmenos. Los fenmenos sociales estn expuestos a mltiples determinaciones que inciden en la relacin que se pretende observar a travs de los estudios evaluativos. La complejidad del objeto de evaluacin genera asimismo dificultades metodolgicas que deben ser atendidas en la construccin del diseo de evaluacin. 4.- Los distintos tipos de evaluacin. La evaluacin de impacto como uno de los tipos de evaluacin: Los autores de esta lnea listan distintos tipos de evaluaciones, los criterios ms difundidos los clasifican segn el momento (ex ante, ex post), quienes la

34

NIREMBERG (2000), PICHARDO MUIZ (1993), COHEN Y FRANCO (1988), SULBRANDT(1993), CASTRO(1994), BRIONES(1998)y otros 35 NIREMBERG, op. cit 18

realizan (externa, interna, mixta), los propsitos y decisiones que se espera tomar (formativa o sumativa) y los aspectos a evaluar (diseo, desarrollo, resultados) Dentro de estos tipos de evaluacin se inserta la evaluacin de impacto. Para Pichardo Muiz 36 la evaluacin del impacto social ex post se define como "aquella que trata de examinar a partir de la situacin inicial diagnosticada, cules son los cambios o variaciones generados y hasta qu punto las situaciones logradas se acercan a la situacin deseada postulada en la imagen - objetivo, tanto en trminos de la calidad en los cambios, como la magnitud de los mismos. Y determinar si los cambios se deben a la naturaleza y caractersticas de la intervencin evaluada o a la naturaleza del medio social en el cual se ejecutaron." Se evala el impacto en tres mbitos: a. Los productos: resultados concretos de la ejecucin de las polticas, programas o proyectos tales como bienes producidos y /o servicios prestados b. Los efectos: resultados obtenidos al utilizar los productos. Se diferencian del impacto por el grado de permanencia. Su presencia por s sola no produce un cambio histrico. c. El impacto: son consecuencias de los efectos. Expresan cambios o variaciones con un mayor nivel de significacin o permanencia y su presencia evidencia cambios importantes en la tendencia histrica proyectada. Son los que tienen que ver con el fin ltimo de un programa. 5.- Los diseos evaluativos propuestos deben ajustarse a los criterios clsicos de rigor cientfico y representar fielmente la complejidad de la realidad social que se pretende estudiar: Los autores insisten en la necesidad de construccin del objeto a evaluar. Esta construccin implica la definicin terica del objeto y su operacionalizacin en variables e indicadores que puedan ser observados. Se seala la necesidad de ajustarse a los criterios clsicos de rigurosidad cientfica de todo proceso de investigacin. Los mtodos y tcnicas empleadas deben observar los criterios de validez y confiabilidad y otros criterios como: la tica, la oportunidad, y la viabilidad. En cuanto a los abordajes metodolgicos, se seala la conveniencia de trabajar con enfoques mixtos atendiendo a la complejidad del objeto de la evaluacin. Un modelo evaluativo ser, entonces, una construccin basada en hiptesis tericas sobre el funcionamiento de una realidad compleja para comprenderla y provocar intervenciones eficaces que produzcan transformaciones deseables. El modelo evaluativo incluye la forma o manera de evaluar diferentes realidad o fenmenos sociales. El modelo evaluativo deseable, segn presenta Niremberg et al, debe ser holstico, modular, involucrarse en el proceso de gestin, flexible e incorporar la perspectiva de los distintos actores. En sntesis, la evaluacin de programas o proyectos sociales es entendida como "Una actividad programada de reflexin sobre la accin, basada en procedimientos sistemticos de recoleccin, anlisis e interpretacin de informacin, con la finalidad
36

PICHARDO MUIZ, A. op.cit distingue tres tipos de evaluacin del impacto social, la evaluacin ex ante, la evaluacin concurrente y la ex expost 19

de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la accin presente y mejorar la accin futura." (Niremberg et all, 2000) Dentro de esta lnea de enfoque de la evaluacin se pueden mencionar dos trabajos que analizan experiencias de capacitacin distintas37: el primero, realizado por Esther Jdice38 a partir de una experiencia concreta de evaluacin ex post de impacto de un programa de formacin de posgrado en el Instituto Nacional de Tecnologa Agropecuaria y el segundo un anlisis de la evaluacin de un programa de capacitacin laboral de jvenes denominado Proyecto Joven. El trabajo de Jdice fue realizado en el ao 1995 a instancias del INTA. Se evalu un programa de capacitacin, desarrollado entre los aos 1985 y 1991, cuyo objetivo era la especializacin en el exterior de profesionales y tcnicos, con vistas a la obtencin de posgrados acadmicos. En este estudio se realiza una evaluacin integral del proceso, por lo tanto, adems de los resultados e impactos, refleja aspectos del proceso de implementacin de la poltica. En este sentido, se tomaron en cuenta los distintos momentos del proceso de capacitacin del personal que incluye desde la fijacin de prioridades institucionales, el desarrollo mismo del proyecto de capacitacin, hasta la reinsercin de los becarios en el campo profesional. Desarrolla un enfoque metodolgico integrador con la utilizacin de estrategias cuantitativas y cualitativas, entendido como el ms apto para captar los mltiples y complejos factores que afectan los procesos e inciden en los resultados. Se realiz una encuesta autoadministrada a un nmero representativo de becarios y se complet con entrevistas abiertas y de observacin participante, lo cual requiri de la participacin del investigador en la institucin y de su interaccin con los sujetos, de quienes se requiri que volcaran una mirada gradual y crtica sobre su propio comportamiento, su experiencia de capacitacin y su prctica cotidiana en la institucin. El segundo trabajo realiza un anlisis de la evaluacin de impacto del Proyecto Joven. Este fue un programa desarrollado en el Ministerio de Economa entre los aos 19932000 con financiamiento del BID para entrenar a trabajadores del sector informal y jvenes desempleados. De acuerdo con un trabajo de anlisis realizado sobre el programa39 los objetivos eran proporcionar armas eficaces a los jvenes pobres para ingresar con xito en el mercado laboral y apoyar el crecimiento de las empresas productivas necesitadas de mano de obra capacitada mediante la formacin laboral gratuita de nivel semi-calificada. El organismo financiador del proyecto asign recursos para el desarrollo de una evaluacin permanente del programa definiendo los principales indicadores para la medicin de resultados e impactos. La evaluacin de resultados se orient a conocer el grado de cumplimiento de las metas fijadas por el
37

Existen otros trabajos de tipo socioeducativos relevados por Toranzos, L.V. en un proyecto de investigacin en curso sobre Programas Socioeducativos: Herramientas Para La Evaluacin De Impacto Universidad de Tres de Febrero, 2003., que se enmarcan dentro de esta lnea de trabajo. 38 JODICE, E. Evaluacin de programas de formacin de posgrado en el sector pblico. El caso del INTA Buenos Aires, 1997. Mimeo. 39 DEVIA, S. xito o fracaso de las polticas pblicas de capacitacin laboral a jvenes? - Evaluacin del programa testigo:"Proyecto Joven" de Argentina (1993-2000), Buenos Aires, 2003. 20

programa y la evaluacin de impacto los beneficios que produjo el programa en la poblacin objetivo en relacin con la obtencin de empleo. El diseo metodolgico con el que se trabaj se aproxima al modelo cuasi-experimental con la utilizacin de grupo control y se basa en la aplicacin de instrumentos cuantitativos aplicados a los beneficiarios ms la utilizacin de datos provenientes de la Encuesta Permanente de Hogares del INDEC (EPH). Si bien se realizaron distintas mediciones donde la metodologa se fue refinando para poder aislar los efectos de la economa en la forma ms rigurosa posible sobre la conducta ocupacional, se detectaron problemas en la conformacin del grupo control, en la definicin de la lnea de base para la comparacin y en ciertas interpretaciones de los datos. De acuerdo con el anlisis crtico que realiza el autor a partir de la reelaboracin de los mismos datos se llega a conclusiones opuestas de las estipuladas por las evaluaciones del programa, siendo que se reconoce como nulo el impacto del programa en la poblacin. Independientemente de la situacin particular de este programa en el marco de las polticas de empleo y de los anlisis realizados por el autor, el tipo de metodologa experimental aplicada a la evaluacin del programa presenta dificultades a veces no fcilmente salvables que atentan directamente contra la validez de los datos obtenidos. Son varios los autores que enfatizan estas dificultades de la aplicacin de este tipo de abordajes, ya sea por la complejidad del objeto de estudio, o por el esfuerzo que demanda atender a los requisitos de validez que exigen los mismos. Este modelo de evaluacin refleja con claridad las discusiones actuales en el campo de evaluacin (resumidas en el punto 2., pp.10). Desde esta perspectiva se caracteriza a la evaluacin como un tema complejo y controversial. La evaluacin es entendida como una funcin ms de la conduccin de las organizaciones, cuya utilizacin provee al control de la incertidumbre en los procesos de planeamiento. Los autores de esta lnea sealan la necesidad de construccin de modelos evaluativos ajustados al objeto a evaluar y ponen especial nfasis en la preocupacin por el rigor metodolgico empleado. Los dos casos presentados son ejemplos de aplicacin de estos abordajes.

3.2. Los modelos del campo del Desarrollo de Recursos Humanos HRD.
La preocupacin central de los modelos del campo de desarrollo de recursos humanos, en general ms orientado a organizaciones privadas, se refiere al conjunto de actividades sistemticas y planificadas, para proveer a los miembros de la organizacin de las habilidades necesarias para cumplir con las demandas actuales y futuras de sus puestos de trabajo40. Las reas de inters del HRD son la capacitacin del personal, el desarrollo de carrera, los programas de desarrollo organizacional, en un contexto actual de desafos como la falta de calificacin de la fuerza de trabajo, la necesidad de desarrollar competitividad en la economa global, el desarrollo de estrategias para el aprendizaje individual y el aprendizaje organizacional. Dentro de esta perspectiva, los conocimientos y habilidades desarrolladas por la capacitacin, son entendidas como capital cultural que la organizacin construye para mejorar su competitividad en el mercado.

40

DESIMONE, R y HARRIS, D. Human resource development. E.Duydenn Press, 1998. USA. 21

La bibliografa recabada que se ocupa especficamente de evaluacin del impacto en capacitacin puede agruparse segn su origen: trabajos relevados en la Argentina, Espaa41 y Colombia, y bibliografa de origen anglosajn. Al finalizar este apartado se hace una pequea referencia a trabajos dentro de la lnea anglosajona pero realizados desde una perspectiva econmica.
3.2.1. Produccin sobre evaluacin de impacto en habla hispana

Es escasa la produccin sobre el tema en habla hispana, pero se relevaron una serie de trabajos muy interesantes especficamente realizados sobre experiencias de evaluacin de impacto42. Se mencionan dos de estos trabajos con abordajes metodolgicos diferentes, uno orientado al sector pblico, que fueron realizado por Silvia Nakano 43 en el Instituto Nacional de Administracin Pblica y el otro orientado a la empresa privada, desarrollado por Floriz Lpez Dukmak44 en Colombia. Nakano y Melillo proponen una metodologa especfica para la evaluacin de resultados en la Administracin Pblica. Rescatan la especificidad de la evaluacin en el sector pblico en funcin del tipo de tareas, el fin social de las mismas, y las caractersticas organizacionales. Dividen su propuesta en dos partes. la evaluacin en el campo de las competencias y la evaluacin en el campo de los resultados. Parten del relevamiento de las caractersticas centrales de la organizacin y del sistema de capacitacin (modelizacin del sistema de capacitacin) reconstruyendo las competencias involucradas en el proceso. Uno de los requisitos centrales del esquema propuesto es la comparacin de los resultados de la capacitacin con los parmetros de desempeo o estndares. Como en la administracin pblica esta es informacin inexistente, definen como criterios de competencia la pertinencia, eficacia, coherencia, eficiencia, sincronizacin y conformidad, que toman de Le Boterf. Emplean como tcnica para relevar la informacin la construccin de Referencial bsico de Calidad que contiene los parmetros de criterios de ejecucin de las competencias. Sobre la base del referencial bsico construido, realizan observaciones del desempeo en el puesto de trabajo. La informacin obtenida se compara con los indicadores de calidad esperados. De esta forma se observan tendencias exitosas y aquellos aspectos del desenvolvimiento de las competencias sobre los cuales hay que seguir trabajando en capacitacin. Esta informacin se completa con entrevistas a los actores participantes de las experiencias de capacitacin y se realiza un anlisis cruzado.

41

El INAP de Espaa realiz un trabajo sobre evaluacin de la formacin continua cuyos aportes se mencionan en la pgina 26 de este trabajo. 42 ABDALA, E. Manual de evaluacin de impacto en programas de formacin de jvenes. CINTERFOR http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/sala/abdala/manual/manual.pdf.., AMAYA, P. Evaluacin de la capacitacin: clave en el desarrollo de evaluaciones pertinentes orientadas a la satisfaccin y participacin ciudadana. Experiencias de gestin de la capacitacin en la municipalidad de Florencio Varela. VI Congreso Internacional del Clad sobre Reforma del Estado y Administracin Pblica, Bs. As- Argentina, 5-9 de noviembre del 2001, BIENCINTO, CH. Y CARBALLO, R. (2004). Revisin de modelos de evaluacin del impacto de la formacin en el mbito sanitario: de lo general a lo especfico. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 10, n. 2. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm. 43 NAKANO, Silvia, MELILLO, F. Evaluacin de impacto y calidad de la capacitacin. Una propuesta metodolgica. INAP, 1997 44 LOPEZ DUKMAK, Floriz Retorno de la inversin en Programas de capacitacin en el recurso humano ROI en Revista Facultad de Ciencias Econmicas. Universidad de Nueva Granada . Vol. IX, n 2., Bogot Colombia, Dic. 2001 22

En la segunda parte, de la evaluacin en el campo de los resultados, se realiza un estudio de los parmetros de la organizacin susceptibles de ser influenciados, identificando los que estn en estrecha vinculacin con la capacitacin. Luego una vez seleccionados los parmetros se procede al seguimiento de los mismos a travs de registros en un perodo de tiempo determinado. Se procesan los datos con un abordaje cuantitativo y se contrastan con las hiptesis y expectativas. El trabajo de Floriz Lpez Dukmak45, realizado desde una perspectiva econmica, toma el modelo de Phillips de 5 niveles con anlisis de retorno de la inversin (ROI) para evaluar el impacto de tres programas de capacitacin en la empresa ECOPETROL de Colombia. El primero de los programas tena por objeto capacitar para la inclusin de una nueva tecnologa de produccin, el segundo trataba sobre administracin de accidentes de trabajo y riesgo laboral, y el ltimo estaba dirigido a la creacin de hbitos gerenciales. El objetivo del proceso de evaluacin fue evaluar los impactos en trminos de satisfaccin, aprendizaje, aplicacin y mejoramiento en los resultados del negocio que tienen los programas seleccionados y medir el retorno sobre la inversin que generaban los mismos. En el primer programa se midi el impacto a partir de las ganancias y ahorros obtenidos en la empresa a raz de la incorporacin de nuevos procedimientos y tecnologas. En el segundo programa se evalu el impacto sobre la disminucin de los riesgos de trabajo y prdidas por accidentes de trabajo, y el mejoramiento de las condiciones laborales, para lo cual se utiliz como parmetro el ndice HSQ (Health Safety, Enviroment and Quality). En el tercer programa, cuyo objetivo era el desarrollo de competencias gerenciales, se evalu el impacto no econmico en los cambios en el clima laboral, ausentismo, ndice de reprocesos por errores, o quejas. En este ltimo caso no pudieron obtenerse mediciones financieras del retorno de la inversin realizada.
3.2.2. Trabajos de origen anglosajn

El segundo grupo de trabajos y ms abundante, es el de origen anglosajn que, en su mayora, estn referidos al sector privado Al revisar dichos trabajos lo primero que salta a la vista es que los autores son muy enfticos al sealar que la capacitacin tiene como meta el generar beneficios para la organizacin y que esta meta, sin lugar a dudas, debe ser evaluada. All HRD programs share a basic logic: HRD is meant to produce something of value to the organization, something that will help the organization to better meet its goals46 Coinciden en afirmar que la costumbre ms generalizada en trminos de evaluacin es muy pobre en el mbito de los departamentos de recursos humanos en organizaciones productivas. Las ms fuertes crticas se centran en que la capacitacin sirve a los propios departamentos de capacitacin y no a los fines de la organizacin. Sealan que la mayora de las veces los departamentos de capacitacin evalan slo las reacciones
45

Tomado de la conferencia Roi- Retorno de la inversin en programas de capacitacin de personal Floriz Lpez Dukmak el Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile 46 BRINKERHOFF, R..Achieving results from training. How to evaluate human resource development to strengthen programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987 23

de los capacitados una vez terminadas las actividades, y en el mejor de los casos los aprendizajes realizados, a travs de encuestas de opinin. De esta forma slo indagan si el curso estuvo bien organizado y si fue ameno, pero nada averiguan sobre el servicio que el departamento de capacitacin debe brindar a la organizacin, es decir cul es el valor que la capacitacin produce para la organizacin. One of the criticisms most commonly leveled at HRD professionals today is that they lack business savy and do not speak the language of business. Business language requires HRD professionals to consider the return to the organization for dollars spent on training47 Subrayan los autores que la forma de evaluar si la capacitacin genera resultados para la organizacin es a travs de la evaluacin de impacto Resulta muy curioso que no se encuentran referencias en estos trabajos a autores centrales en los desarrollos de evaluacin en el campo de la educacin, que fueron descriptos en los apartados anteriores. En general, siguen la lnea del modelo de management que han tenido un fuerte auge en el ltimo decenio, denominado por algunos autores como New Management48. Orientados a la satisfaccin del usuario o del cliente, la principal preocupacin se centra en el criterio de eficiencia productiva y desarrollo de la competitividad, con nfasis en estrategias de gestin como el trabajo por resultados, la calidad total, la medicin de las relaciones costo - efectividad y el control. En general, estos trabajos se encuadran dentro de una lnea metodolgica clsica y proponen distintas tcnicas para recopilacin de informacin, entre ellas el mtodo experimental, considerado como la estrategia inobjetable para el anlisis de las relaciones de causalidad. Aunque no se desdea el uso de metodologas cualitativas como la observacin, o incluso la triangulacin metodolgica. La concepcin de enseanza y de aprendizaje se encuadra en la tradicin behaviorista, donde los objetivos deben ser definidos en trminos de conducta observable, medibles y cuantificables. Algunos de estos autores referencian a exponentes clsicos de esta lnea en didctica como Tyler. Al evaluar se insiste en la obligada referencia a los objetivos planteados en el entrenamiento. Se indica un trabajo muy cercano con la lnea para asegurar que los encargados de disear los planes de capacitacin interpreten las necesidades de la organizacin y que stas sean plasmadas en los objetivos. Es clara la preocupacin de hacer observables los aprendizajes para poder "medir" el impacto. Se considera problemtico que algunos de los resultados de la enseanza no puedan ser observables y por lo tanto no evaluables ni traducibles en trminos monetarios. Estos autores realizan una contribucin al tema, que en muchos casos se fundamenta sobre la base de cuantiosa experiencia realizada, que resulta improcedente desdear. En sus trabajos reflexionan sobre las dificultades que presenta la evaluacin de la efectividad y la de impacto desde estas perspectivas y sugieren lneas alternativas de trabajo.

47

ROBINSON, D, y ROBINSON, J. Training for impact. How to link training to business needs and measure the results Josey-Bass Publishers, San Francisco, London, 1989. 48 GERWITZ, S. BALL, S. J Y BOWE, R. "Market, choice, and equity in education", Buckingham y Philadelphia, Open University Press, 1995. 24

La mayora de los trabajos revisados son variaciones sobre el modelo de Kirkpatrick 49, pionero hace 40 aos en el campo de evaluacin de la capacitacin. A pesar de la popularidad de este modelo, en los ltimos aos han aparecido una serie de autores que lo revisan y sealan sus fallas, aunque no producen un modelo alternativo para reemplazarlo. A continuacin se presenta el modelo de Kirkpatrick y luego las crticas generales que realizan los autores. Seguidamente se presentan los otros modelos que amplan y proponen algunas alternativas interesantes.
Modelo de Kirkpatrick

Para Kirkpatrick la razn central para evaluar un programa es comprobar su efectividad. Expresa que existen tres razones para evaluar: a.- Justificar la existencia del departamento de capacitacin mostrando como contribuye a los objetivos de la organizacin. b.- Para continuar o discontinuar un programa y c.- Para obtener informacin sobre como mejorar futuros programas. Presenta un modelo de evaluacin de la capacitacin (entrenamiento) en cuatro niveles. Los cuatro niveles representan una secuencia de formas de evaluar programas. Cada nivel es importante y tiene impacto en el siguiente nivel. Advierte que ninguno de los niveles debera ser omitido para ir al nivel que el entrenador considera ms importante. Nivel 1: Reaccin: La evaluacin en este nivel mide como los participantes reaccionan frente al programa (satisfaccin). Si los participantes no reaccionan satisfactoriamente al programa, es probable que no estn motivados para aprender. Una reaccin positiva no asegura aprendizaje pero una reaccin negativa reduce que ocurra el aprendizaje. Por eso es importante saber cual es la satisfaccin del asistente a los programas de capacitacin. Las razones para medir la reaccin son que: genera un retorno que permite evaluar el programa y mejorarlo, le dice a los entrenados que los capacitadores estn para ayudarlos y que esta informacin les permite hacer su trabajo mejor, genera informacin cuantitativa para ofrecerla a los jefes u otros entrenadores, y provee informacin cuantitativa que puede ser usada para fijar estndares para evaluar el desempeo de futuros programas. Nivel 2.- Aprendizaje El aprendizaje es entendido como la medida en la cual el participante cambia actitudes, mejora conocimientos e incrementa habilidades como resultado de asistir al programa de capacitacin50. Evaluar el aprendizaje es importante, porque
49

KIRKPATRICK, Donald "Evaluation" en Robert Craig (ed) "Training and development handbook. A guide to human resource development" McGraw-Hill Book Company, NY, 1987 50 N.del A. Ntese como la definicin de aprendizaje de Kirkpatrick est referida a cambios en el comportamiento. Desde otras perspectivas en psicologa del aprendizaje el aprendizaje es descrito como un proceso interno que puede observarse. Por ejemplo, para Piaget la obtencin de conocimiento es una creacin que el sujeto obtiene al aprehender con sus esquemas un objeto , lo que supone una actividad de investigacin sobre el objeto. Para Ausubel, (aprendizaje significativo) la captacin del significado potencial que tiene un determinado contenido es un proceso en el que el sujeto que aprende presta una significacin subjetiva a la significacin potencial de los contenidos. Esta significacin est en funcin de su estructura mental y de sus experiencias previas. Para Bruner, el aprendizaje por descubrimiento 25

sin aprendizaje no ocurren cambios en la conducta. Las razones de falta de cambios en la conducta puede deberse a un clima desfavorable de trabajo. El incremento de conocimiento es fcil de medir, para medir actitudes se puede utilizar una prueba escrita, para evaluar habilidades se necesita una prueba de desempeo. Se recomienda la comparacin antes y despus y se sugiere la utilizacin de grupo control si es practicable. Nivel 3.- Comportamiento El comportamiento puede ser definido como la medida en la cual se produce un cambio en el comportamiento a causa de que los participantes asisten al programa de entrenamiento. Este nivel mide la transferencia del aprendizaje. Los cambios en el comportamiento en el trabajo ocurridos porque los capacitados asistieron al programa de capacitacin. Explica que en la aplicacin de la evaluacin no se puede obviar los pasos anteriores, y pasar directamente a este nivel ya que la reaccin puede ser favorable y el aprendizaje haberse producido, pero existen otras razones por las cuales pueden no producirse cambios en las conductas, como problemas en el clima de trabajo, o si no tienen oportunidad para hacerlo. Por otro lado el empleado puede aplicar lo que aprendi y puede que este satisfecho con el resultado o no le guste. Es imposible predecir cuando se producir el cambio esperado, es importante procurar ayuda al capacitado para aplicar lo aprendido en el trabajo. Recomienda el uso grupo de control si es practicable, dejar pasar tiempo para que se produzca un cambio en la conducta (que varia segn los cursos , pueden ser 6 meses), evaluar antes y despus del entrenamiento, entrevistar a los entrenados, superiores inmediatos, sus subordinados y otros que a menudo observen sus comportamiento: Agrega para este nivel la consideracin de costos beneficios: Se debe comparar el costo de evaluar cambios con los beneficios que podran resultar de la evaluacin. Nivel 4.- Resultados Los resultados son los resultados finales que ocurren a causa de que los participantes asistieron al programa. Los resultados finales pueden incluir incremento en la produccin, mejoramiento de la calidad, baja de costos, reduccin de la frecuencia o severidad de accidentes, incremento de ventas, reduccin de rotacin y ms altos beneficios. Los objetivos finales de la capacitacin tienen necesariamente que ser redactados en esos mismos trminos. Desde esta perspectiva, es muy difcil, si no imposible, medir los resultados finales de programas como liderazgo, comunicacin, motivacin , management, empowerment, toma de decisiones o gerenciamiento del cambio. Se puede fijar y evaluar conductas deseadas, pero los resultados finales tienen que ser medidos en trminos de mejoramiento moral u otros trminos no financieros.
consiste en una reordenacin de la evidencia realizada por el sujeto.(Tomado de Sacristn, J. Teora de la enseanza y desarrollo del currculo Rei, Argentina, 1986. 26

Recomienda la utilizacin de grupo control para aislar los cambios en los resultados de otros factores distintos de la capacitacin, dejar pasar un tiempo para que los conocimientos sean adquiridos y utilizar el esquema antes y despus en la medicin. En este punto se agudiza el tema de evaluar los costos. Aqu la dificultad es determinar qu figuras son significativas y en que medida estn relacionadas directa o indirectamente al entrenamiento. En este nivel no es tan sencillo encontrar pruebas tangibles de esta relacin. El autor invita a los capacitadores a sentirse satisfecho con la evidencia si las pruebas no son posibles y considerarlas como medida objetiva de medir los resultados.51
Crticas al modelo de Kirkpatrick.

Dentro de esta lnea de trabajo, pero ms recientes, se observa una serie de trabajos que presentan una visin crtica de los enfoques tradicionales (entre ellos Nickols, 2000, Donovan, 1999, Boverie et al, 1994, Tamkin et al, 2002, y otros citados por ellos mismos). Los principales crticas al modelo tradicional de evaluacin de impacto, que caracterizan como positivista, estn dirigidas especialmente al enfoque de Kirkpatrick. Cada uno de estos autores realizan en sus trabajos una revisin de la literatura existente y a partir de all presentan su anlisis crtico del modelo de los cuatro niveles. Se presenta a continuacin una sntesis de las crticas principales del modelo de Kirkpatrick y en especial las referidas a su primer nivel. Kirkpatrick ha sido criticado por: a. b. c. d. e. f. g. h. Se dice que su modelo es una taxonoma de resultados de la evaluacin. El supuesto de asociacin de un nivel con otro. La rigidez de su perspectiva temporal. La simplicidad del modelo y su falta de atencin a las numerosas variables intervinientes que afectan el aprendizaje y la transferencia. La visin reducida de los propsitos de la evaluacin. Problemas en la definicin de los distintos niveles. Dificultades en la prctica en la aplicacin del 3 y 4 nivel. La poca utilidad de la informacin que se obtiene con la aplicacin del Nivel 1.

Algunos de los autores insisten en que muchas de estas crticas se basan en la falta de comprensin acabada del modelo de Kirkpatrick , e incluso en la confusin acerca de lo que debiera ser un modelo de evaluacin y un modelo de aprendizaje52. Cada una de estas crticas, como se ver a continuacin, remite a un problema terico o metodolgico que cada uno de los autores resolver de diferente manera. a.-El modelo como taxonoma de resultados de evaluacin Algunos autores sealan que Kirkpatrick presenta sus niveles arreglados en forma ascendente segn el valor de la informacin, con lo que resulta que los datos de resultados son superiores a
51

Kirkpatrick explica que en el caso de disminucin de la rotacin de personal a causa de un programa de capacitacin es una evidencia de que el entrenamiento fue efectivo pero no se puede probar sin lugar a dudas que el cambio fue producido por el mismo. 52 TAMKIN, P, YARNALL, J , KERRIN, M. Kirkpatrick and beyond: a review of models of training evaluation, Report 392, The Institute for Employment Studies, IES, UK, 2002. 27

los de reaccin, es decir es visto como una clasificacin jerrquica de resultados de evaluacin. Sin embargo, para Tamkin et al53 Kirkpatrick nunca quiso hacer una taxonoma, sino que desarroll un modelo simple y pragmtico para ayudar a los profesionales a pensar sobre los programas de entrenamiento. b.-El modelo como una cadena causal probabilstica Existe el supuesto en el trabajo de Kirkpatrick54 de que cada nivel de evaluacin es causado o asociado al otro. Es decir, si el entrenado est satisfecho, entonces estar motivado para el aprendizaje, si aprende habr posibilidades de que aplique sus conocimientos en su trabajo y si aplica sus conocimientos en su trabajo generar cambios en su entorno laboral. Sin embargo, sealan los autores, que la existencia de relaciones causales entre cada nivel no ha sido demostrada por la investigacin. Ms an, algunos autores han realizado estudios con el objeto de comprobar estas relaciones con resultados no concluyentes 55. En un trabajo sobre evaluacin de resultados de la capacitacin producido por el INAP56 de Espaa, desde una visin crtica, se observa que los niveles de Kirkpatrick aparecen como secuencias o escalones de una cadena causal probabilstica. Se observa que los eslabones de esta cadena son causas necesarias probables pero no son causa suficiente para la generacin del siguiente nivel. Esto se explica porque existen otros elementos influyentes que quedan fuera del campo de la consideracin desde este esquema, como por ejemplo aspectos relativos a la estructura de mando, de sistema de recompensas, etc. Por lo tanto, si los cambios producidos en el entorno de trabajo una vez realizada la capacitacin dependern tambin de otros aspectos no relevados, sera incorrecto pensar en el modelo como una cadena causal, o al menos ser parcial e insuficiente para la explicacin de los cambios (o no cambios) ocurridos una vez finalizado el proceso de enseanza.
c.-Nickols y la variacin en la perspectiva temporal

Nickols57 relativiza la perspectiva temporal que utiliza Kirkpatrick en su modelo de evaluacin para recabar informacin. Segn Kirkpatrick sus niveles pueden ser contemplados como niveles que se van aplicando sucesivamente por el grado de dificultad que implican. Los niveles 1 (reaccin) y 2 (aprendizaje) se aplican inmediatamente despus de la formacin, pero los niveles 3 (comportamiento) y 4 (resultados) requieren una medicin despus de la capacitacin y recoger informacin desde distintas perspectivas. Nickols sugiere que puede variarse el momento en que se mide en el proceso de enseanza y no necesariamente realizarse las mediciones en los momentos en que seala Kirkpatrick. En vez de pensar en mediciones discontinuas se puede contemplar una evaluacin que se desarrolle en todos los puntos y niveles. Por ejemplo: la reaccin puede medirse en el punto 4, despus de que el entrenado haya estado en el lugar de trabajo un tiempo, o tan pronto como el entrenamiento haya terminado. Tambin se puede comparar los puntos 2 y 4, es decir el entorno de
53 54

TAMKIN ET ALL, op. cit. KIKPATRICK , op.cit 55 TAMKIN ET ALL y DONOVAN ET ALL, mencionan las investigaciones de ALLIGER Y JANAK (1989) 56 INSTITUTO NACIONAL DE ADMINISTRACIN PUBLICA, "Gua para la Evaluacin de los Resultados de la Formacin. Programa de Actividades de Formacin Continua". Madrid. Espaa 57 NICKOLS, F.. "Evaluating Training. There is no cookbook approach". 2000. 28

entrenamiento y del lugar de trabajo y verificar la autenticidad del entrenamiento. Tambin se puede salir del esquema de los cuatro momentos y analizar si el punto 1 es resultado de la seleccin de los participantes en el curso. Otra forma es cambiar la perspectiva temporal usada por Kirkpatrick, por ejemplo indagar sobre las expectativas que los entrenados tienen acerca del curso.

2
ENTRENAMIENTO reaccin aprendizaje

4
resultados LUGAR DE TRABAJO

comportamiento

Extrado del Nickols, Evaluation training :There is no cookbook approach, 2000.

Tambin, en vez de medir retrospectivamente se puede pedir al alumno que prediga lo que va a ocurrir, o medir el impacto de la capacitacin antes de realizarla para tomar la decisin de la inversin de dinero. Estas son formas en que el autor intenta flexibilizar el esquema rgido de Kirkpatrick y la posibilidad de obtener otra informacin.
d.- La simplicidad del modelo y su falta de atencin a las numerosas variables intervinientes que afectan el aprendizaje y la transferencia.

Algunos autores, como Auchey et al58 sealan la existencia de supuestos incorrectos sobre los que se asienta el modelo, referidos a la naturaleza de los procesos de capacitacin y sus condiciones y a las capacidades del alumno como proveedor de informacin en el proceso de evaluacin. Estos supuestos son: que el participante est abierto y listo a aprender, que tiene una experiencia propia para evaluar la efectividad del programa, que ha asistido limpiamente a los cursos, que tiene identificadas sus necesidades especficas, que es capaz de valorar las implicaciones prcticas de entrenamiento y que finalmente puede evaluar la efectividad del programa antes de comprobarlo personalmente en su entorno de trabajo. Sin embargo estas cuestiones no siempre se presentan de esta forma. Donovan59 agrega que el modelo tampoco considera la preparacin del capacitado antes de iniciar el curso, ni las condiciones de motivacin y refuerzo en el puesto de trabajo necesarias para asegurar el aprendizaje.
58

AUCHEY, G. J., LEROY WARD, J., An Evaluation Model for Projet Management training programs .Purdue University, Ws Lafayette, Indiana, Abril, 2000. 59 DONOVAN, P and HANNIGAN, K Context and Causation in the Evaluation of Training: A Review and Research Outline, Irish Management Institute. 1999 29

El esquema de Kirkpatrick aparece para muchos autores como demasiado simple, lineal y esquemtico. Estas crticas junto con otras son las que lo caracterizan como un abordaje de corte positivista y reduccionista, pero sin embargo ha generado un lenguaje comn para los profesionales de capacitacin en la prctica de evaluacin durante muchos aos60.
e.-Los propsitos y las audiencias de la evaluacin

Nickols junto con otros autores 61 critican la posicin dogmtica de Kirkpatrick acerca de los propsitos de la capacitacin y de la evaluacin. El entrenamiento se realiza segn ellos no solo para mejorar la efectividad organizacional, sino que reviste otros propsitos que dependern de las audiencias de la capacitacin y de la evaluacin. Para Nickols que entiende el entrenamiento como una herramienta de la gerencia, afirma que es su funcin servir a varios amos y propsitos entre los que se encuentran: enfocar la energa en determinados temas de la vida de la organizacin, generar mayor visibilidad para el trabajo y ciertos problemas, apoyar otras intervenciones, legitimar temas, promover cambios, reducir riesgos, crear una comunidad basada en cierta experiencia, construir equipos, adoctrinar al nuevo personal, difundir conocimiento e informacin, revisar desempeos pasados y desarrollar habilidades. Por lo tanto el valor y propsito de la evaluacin ser variable en relacin a las distintos propsitos de la capacitacin y muchos de estos propsitos no tienen un producto final cuantificable.
f.- Las dificultades terminolgicas y la inadecuacin de los abordajes

La complejidad del campo de la evaluacin de impacto se traduce en falta de precisiones terminolgicas que son advertidas por los autores. Nickols seala que Kirkpatrick no es claro en la definicin de resultados y que mezcla resultados con criterios econmicos, es decir, relaciona resultados con ejemplos como: aumento en las ventas, reduccin de costos, etc. Observa que hay un salto conceptual entre el tercer y cuarto elemento, ya que centra los tres primeros elementos en el sujeto que aprende (reacciones, aprendizaje, conducta) y el cuarto elemento concierne a la organizacin. Igual que otros autores, Boverie et al 62 critican el modelo por sus fallas en incorporar los modernos desarrollos en psicologa del aprendizaje y evaluacin, as como su ambigedad sobre cmo operacionalizar la medicin de los niveles. Provee un esquema para pensar sobre cmo evaluar, pero no informa sobre qu evaluar y cmo vincular los resultados a la estrategia. Otra de las dificultades que podran sealarse en este punto es la confusin entre resultados e impacto. Usualmente los autores de esta lnea no establecen con claridad la diferencia entre ambas, conceptos que son especialmente
60 61

DONOVAN, op.cit. TAMKIN cita a PULLEY, NEWBY, PRESKILL Y TORRES, y podemos agregar los autores de la lnea clsica en investigacin evaluativa como STAKE, SCRIVEN y otros. 62 BOVERIE, P., SNCHEZ MULCAHY, D., y ZONDO, J. Evaluating the effectiveness of training programs, 1994. http://www.zondlo.com/access/eval.htm. 30

diferenciados en otros abordajes, (ver pp 12 evaluacin de proyectos sociales) o incluso el esquema de Swanson y Holton 63 es ms claro en este punto al diferenciar el tipo de resultados de desempeo en dos (de sistema o financieros).
g.-Dificultades en la prctica en la aplicacin del 3 y 4 nivel

De acuerdo con la experiencia y con algunas investigaciones sobre las prcticas de evaluacin en las organizaciones, se ha observado que los niveles 3 y 4 son los ms difciles de aplicar. La American Training and Developement Association ASTD 64 realiz una encuesta en EEUU, a 300 ejecutivos de recursos humanos de empresas norteamericanas, con el objetivo de determinar el impacto de la capacitacin en la performance econmica de la organizacin. De acuerdo con este estudio, el 90 % de las organizaciones evalan por lo menos algunas de sus actividades de capacitacin y de ellas el 67 % las conducen de acuerdo con el modelo de Kirkpatrick 65 . El principal nivel evaluado es el de reaccin (92%), seguido por el nivel de aprendizaje (51%) y en mucha menor medida los niveles conductuales (30%) y de resultados (26%). Aos ms tarde en una encuesta realizada por Methanex en Chile, las relaciones son similares. La mayora de las organizaciones trabajan con la evaluacin del Nivel 1 y son muy pocas las que aplican los dos ltimos niveles de evaluacin 66 Tamkin reporta otras investigaciones posteriores, que se encuentran en la lnea de las anteriores 67 y que llegan a los mismos resultados. h.- Las crticas al nivel 1 A pesar de que la mayora de las organizaciones trabajan solamente con el primer nivel de evaluacin en el esquema de Kirkpatrick, este nivel ha sido el blanco de las crticas ms duras por parte de los especialistas en evaluacin del entrenamiento dentro de esta lnea. El nivel 1 tiene como objetivo medir (measures) la satisfaccin del que participa en el curso de entrenamiento68. Tanto l, como otros autores le asignan valor para obtener informacin para el planeamiento posterior de experiencias de capacitacin. Sin embargo, los crticos estiman que su utilidad es mnima y hasta nociva, sugiriendo, como en el caso de Swanson y Holton69, su eliminacin. Los principales sealamientos recogidos en la literatura ms reciente 70 son que se encuentra poca correlacin entre reacciones y aprendizaje. Es decir que las respuestas positivas en este nivel no predicen respuestas positivas en el nivel de
63

SWANSON, RICHARD A.; HOLTON, ELWOOD F. Resultados. cmo evaluar el desempeo, el aprendizaje y la percepcin en las organizaciones Mxico: Oxford University Press, 2002. 64 ASTD."El National Human Resources Developement Executive Survey ", 65 KIRKPATRICK, D. (op. Cit)
66

Conferencia de Cerna, L. Ventaja Competitiva de la Capacitacin Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile.
67

El autor cita a Twitchell S. Holton, E. Trott, J. Technical training evaluation practices in the United States. Performance Improvement Quarterly, 2000. Dixon, N New routes to evaluation, Training and Development, Vol. 50, 1996. 68 KIRKPATRICK, D. op. cit. 69 Swanson, R.; Holton, E., op.cit. 70 Los autores mencionados entre los crticos de este nivel son Alliger y Janack, Dixon, Holton y otros 31

aprendizaje. Por otro lado, Boverie et al 71 cuestionan la calidad de la informacin que se obtiene en este punto. Afirman que los cuestionarios de reaccin, de la manera que estn aplicados habitualmente, proveen informacin subjetiva en vez de datos con los cuales puedan realizarse anlisis estadsticos ms serios. La informacin obtenida revelara solamente cunto se entretuvo el capacitado dejando de lado otros aspectos mas de peso en la evaluacin del desarrollo de un curso. Se observa tambin un cierto sesgo en la informacin obtenida a travs de los cuestionarios de rutina que se debe a dos razones, la primera es que hay en los capacitados una tendencia a bajo estimar sus prehabilidades y sobreestimar las habilidades obtenidas una vez concluido el entrenamiento y en segundo lugar, la inclinacin a contestar lo que el entrenador quiere or. En ambos casos el participante no responde legtimamente. Incluso sealan los autores, en ciertas oportunidades la forma de redaccin de los cuestionarios refuerzan an ms stas fallas. Uno de los sealamientos ms interesantes que realizan estos autores es que la aplicacin de la evaluacin a este nivel se funda en una concepcin pasiva del aprendizaje. Es decir, existe el supuesto de que es responsabilidad del entrenador asegurar el aprendizaje del entrenado, de manera que los cuestionarios preguntan sobre el desempeo del entrenador y no por los esfuerzos del entrenado en aprender. Sin embargo, sostienen, se requiere del control de ambas actividades, ya que es responsabilidad del entrenador la de proveer informacin y del alumno procesarla. Este nivel rara vez toma en cuanta el rol de participante en el proceso. Finalmente, Tamkin72 resume las sugerencias que realiza la literatura en conjunto sobre este punto, que indican precisar con claridad acerca del propsito de recabar estos datos. Si las organizaciones buscan evaluar el valor del entrenamiento ms que apuntar a mejorar su contenido, entonces estos datos no sern los apropiados.
Otras propuestas dentro de la lnea anglosajona:

Si bien luego de la aparicin del trabajo de Kirkpatrick se desarrollaron nuevos modelos de evaluacin, se observa que poco ha cambiado de este modelo inicial. Son varios los autores que al abordar el tema de evaluacin del entrenamiento realizan recopilaciones de la literatura existente. Tamkin desarrolla un criterio sencillo pero muy interesante de clasificar los nuevos modelos de evaluacin de acuerdo a quienes han presentado innovaciones ms sustantivas en sus trabajos, en relacin con el esquema de Kirkpatrick. Agrupa a los autores en continuadores del esquema de Kirkpatrick (modelos descendientes descendant) que son aquellos cuya contribucin no difiere en mucho del abordaje de Kirkpatrick o se encuentran en la misma lnea, y aquellos que denomina sangre nueva (fresh blood) son los que presentan elementos novedosos en sus enfoques que van ms all del esquema de Kirkpatrick.
Seguidores de Kirkpatrick

71 72

BOVERIE ET ALL op.cit. TAMKIN, op.cit 32

Tamkin observa que este primer grupo de trabajos tomados en conjunto si bien no agregan cambios sustanciales al modelo original de Kirkpatrick, presentan un modelo expandido, es decir que agregan ms instancias de evaluacin antes de evaluar reacciones y despus de examinar los resultados organizaciones. Los esfuerzos realizados por estos autores se orientan en el sentido de realizar un ms amplio anlisis del contexto organizacional, haciendo nfasis en las necesidades del negocio, su vinculacin con los objetivos y diseo ms apropiada de las actividades de capacitacin. Este grupo de autores seguidores de Kirkpatrick sugieren que los beneficios de la organizacin debieran ser ms explcitos y hacer foco en los valores monetarios tales como retorno de la inversin. Dentro de este grupo menciona Warr, Bir y Rackman, (1970),(CIRO); Hamblin,1974; Brinkerhoff,1987; Bushnell,1990, (IPO); Sleeze et al,1992,(TEE); Phillips (1994), (ROI); Fitz Enz, 1994, (TVS), Kaufman, Keller and Watkins, (1995)(OEM); Bernthal, (1995), Molenda, Pershing y Reigheluth,.(1996) Indiana, Kerns y Miller, (1997), KPMT, Industrial Society(2000), Carrusel del desarrollo. En el cuadro que se presenta a continuacin se realiza una comparacin de los modelos que presenta el autor (ver cuadro pp. 34 ). Con criterio similar se puede agregar tambin autores como Robinson, y Bramley73, que si bien no son citados por el autor encuadran claramente dentro de este grupo.

73

BRAMLEY, P. Evaluating training effectiveness. Translating theory into practice Mac Graw-Hill Book Company. London, York, San Francisco, 1991 33

Comparacin de los diferentes modelos de evaluacin del entrenamiento74

Kirkpatrick Hamblin OEM Model Indiana University Contabilizacin de la actividad (Activity accounting) IS Carousel Identificacin de necesidades del negocio, desarrollo de objetivos, diseo del proceso de aprendizaje Experiencia del proceso de aprendizaje Uso y refuerzo del aprendizaje Phillips, ROI KPMT Proceso efectuado para examinar las necesidades del negocio, disear soluciones y conseguirla Reacciones al entrenamiento y desarrollo Aprendizaje Transferencia al lugar de trabajo/ comportamiento Valor agregado al final (Bottom line added value) CIRO Anlisis de contexto, insumos

Reaccin Aprendizaje Conducta Resultados

Reaccin Aprendizaje Comportamiento en el trabajo Organizacin Valores ltimos

Procesos de Insumos Reaccin Micro adquisiciones Desempeo Micro Macro Resultados Mega societales Aprendizaje Transferencia de aprendizaje Impacto en el negocio Impacto social

Reaccin y plan de accin Aprendizaje Aplicacin en el trabajo

Reaccin Resultados inmediatos Resultados intermedios Resultados ltimos.

Juicio del beneficio en la organizacin

Resultados en el negocio Retorno de la inversin

Extrado de TAMKIN, P, YARNALL, J , KERRIN, M. Kirkpatrick and beyond: a review of models of training evaluation, Report 392, The Institute for Employment Studies, IES, UK, 2002.

74

Traduccin propia
34

A continuacin se desarrollan brevemente los aspectos centrales de algunos de los autores que encuadran dentro de este grupo de autores seguidores de Kirkpatrick: Tanto Phillips y Stone75 como Robinson y Robinson76, incorporan la evaluacin de los no observables como otra instancia de evaluacin independiente que requiere de consideracin y el uso de tcnicas especficas para su relevamiento y control. Definen como no observables a aquellos conocimientos y habilidades que no pueden ser observados a travs de la observacin de la conducta explcita de los individuos. Ej. habilidades cognoscitivas como la resolucin de problemas. Robinson y Robinson, al igual que Kirkpatrick, identifican cuatro niveles de evaluacin (reaccin, aprendizaje, comportamiento y resultados), pero incorpora una clara distincin en el nivel tres, entre las conductas "observables" y las "no observables". Las clasifica como aplicacin de habilidades y comportamientos tipo A y evaluacin de resultados no observables tipo B. NIVELES DE EVALUACIN, segn Robinson
SI QUIERES SABER
A los participantes les gusta el programa? Los participantes aprendieron los objetivos del programa? Los participantes estn aplicando las habilidades y comportamientos enseados en el programa? Los participantes estn aplicando resultados no observables en el trabajo? La aplicacin de habilidades logr algn impacto en los negocios?
Fuente: Training for Impact, Robinson, Robinson. Jossey-Bass Publishers (1989)

ENTONCES DEBES USAR

Nivel I Nivel II Nivel III: Tipo A Nivel III: Tipo B Nivel IV

Phillips y Stone 77 tambin separan el cuarto nivel en dos niveles distintos: a.Efectos en la organizacin bajo el nombre de impacto (business impact)(clima laboral, transferencia a compaeros), b.- Retorno de la inversin- ROI (Return on investment). La novedad que aportan los autores, es que incorporan un nivel ms, el quinto nivel, en el que analiza el valor monetario del impacto del entrenamiento y lo compara con su costo. Muestran el verdadero valor del programa en trminos de su contribucin a los objetivos de la organizacin y analizan la relacin costo - beneficio de la capacitacin. Ratio costo beneficio:
Beneficios del entrenamiento Costos del entrenamiento

75 76

PHILLIPS, J. Y STONE, ROBINSON, D., y ROBINSON, J. Training for impact. How to link training to business needs and measure the results Josey-Bass Publishers, San Francisco, London, 1989. 77 PHILLIPS, J., STONE, R. "How to measure training results" Mc.Graw Hill. 2002. 35

Un beneficio de 1 significa que los beneficios son iguales a los costos. Un beneficio de 2 implica que por cada dlar gastado dos dlares retornan en beneficios. Aunque no hay estndares generalizados, algunas organizaciones establecen el estndar de 25 % de retorno de la inversin. Este objetivo es similar a otros tipos de inversiones en otras reas. Brinkerhoff 78 incorpora otra instancia distinta de evaluacin, que no todos consideran, que es el control del planeamiento y del proceso de la capacitacin en relacin con dos aspectos centrales: definicin de objetivos y viabilidad del proyecto. El autor presenta un modelo de evaluacin en seis estadios. Segn l, este modelo ayuda a conceptualizar buenos programas de capacitacin y gua en forma sistemtica la coleccin de informacin necesaria para hacer que funcionen y generen beneficios para las organizaciones. 79 El modelo que presenta sirve para monitorear toda esta secuencia. Se pregunta por la validez de los objetivos para la organizacin, su viabilidad, las alternativas de la implementacin, la capacidad de los sujetos para adquirir las nuevas habilidades, y si las necesidades que dieron origen al programa van decreciendo a partir de la aplicacin del mismo. Los 6 estadios son:
1. La fijacin de objetivos 2. Diseo del programa 3. Implementacin del programa (si el programa est funcionando como fue planeado) 4. Resultados inmediatos (si aprendieron) 5. Resultados intermedios (estn usando lo que aprendieron) 6. Impacto y valor (cul es la ganancia que genera el programa)

78

BRINKERHOFF, R. Achieving results from training. How to evaluate human resource development to strength programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987 79 El autor explica la lgica de los programas de desarrollo de recursos humanos (HRD). Los participantes son provistos de una suerte de experiencias de aprendizaje, a travs de un taller, capacitacin en servicio, autoaprendizaje, cursos. Se adquieren nuevas habilidades, conocimientos y o actitudes de estas intervenciones. Luego vuelven a su puesto de trabajo y ponen estas SKA (skills, knowledge, actituds) en uso. El uso de estas SKA tiene resultados positivos para la organizacin, reducen un dficit o problema. 36

Los seis niveles de evaluacin segn Brinkerhoff: El crculo de decisin del HRD, Los pasos lgicos
1. Los objetivos del HRD son vlidos para la constitucin de la organizacin

Algunas decisiones claves

Es un problema vlido o una oportunidad para ser consagrado? El problema es importante solucionarlo? Qu beneficios organizacionales puede producir el HRD? Qu habilidades, conocimientos y/o actitudes se requieren?

2. Se cre un proyecto de programa viable

Qu procesos de aprendizaje producen mejor las habilidades, conocimientos y/o actitudes se requieren? El proyecto est disponible? Se puede crear un proyecto efectivo? Es idneo para trabajarlo? Qu est sucediendo realmente? El proyecto se est instalando como se plane? Est funcionando bien? Qu problemas estn ocurriendo? Qu cambios deberan realizarse?

3. El proyecto del programa se implement

4. Receptores capacitados con las Quin requiri y quin no requiri las habilidades, conocimientos y/o nuevas habilidades, conocimientos actitudes? y/o actitudes; el HRD tom suficiente Qu ms se aprendi? espacio, lugar. Son las habilidades, conocimientos y/o actitudes suficientes para capacitar en el trabajo? 5. Los receptores utilizan las nuevas habilidades, conocimientos y/o actitudes en el trabajo o en su vida personal; reacciones del HRD son sustentadas. 6. El uso de habilidades, conocimientos y/o actitudes beneficia la organizacin; las necesidades originales del HRD van decreciendo Tuvo el HRD efectos a posteriori? Quines estn utilizando las nuevas habilidades, conocimientos y/o actitudes? Cules habilidades, conocimientos y/o actitudes no estn siendo utilizadas? Cmo se estn utilizando las habilidades, conocimientos y/o actitudes? Se estn empleando bien las habilidades, conocimientos y/o actitudes?

Qu beneficios estn ocurriendo? Qu beneficios no estn ocurriendo? Se generaron algunos problemas por el uso o no de las nuevas habilidades, conocimientos y/o actitudes? Deber el HRD continuar? Deber hacerse menos? Ms? Se necesitan revisiones? Fue meritorio?

Fuente: Brinkerhoff, Robert, Archieving results from training, p. 10. Jossey - Bass Publishers, 1987

Peter Bramley 80 toma el modelo del circuito lgico de la capacitacin en 5 niveles. Para el objetivo central de la capacitacin es incrementar la efectividad organizacional. El incremento de la efectividad se produce a partir de la produccin de una serie de cambios generados por el proceso de capacitacin en: el conocimiento de los que se capacitan, sus habilidades, sus comportamientos, la efectividad individual, grupal y organizacional, y en los costos. Todos los autores expresan que de alguna manera u otra que con la evaluacin de impacto, si bien se focaliza en los ltimos tramos del circuito de capacitacin, siempre se remite a las instancias anteriores, ya sea porque se dispone de esta informacin o se reconstruye. La evaluacin de impacto evoca directamente cules fueron las necesidades de capacitacin que
80

BRAMLEY, P. op.cit. 37

provocaron la puesta en marcha de las acciones de enseanza. En el cuadro que se presenta a continuacin se resumen las ideas centrales de los autores mencionados.
Ao
1970 1974

Autor
Warr, Bir y Rackman Hamblin

Modelo
CIRO (context, input, reaction, outcome)

Aporte
Sugiere que antes de evaluar reacciones y resultados se necesita analiza el contexto y los posibles inputs. Los primeros tres niveles se corresponden ajustadamente al de Kirkpatrick. El ltimo nivel se divide en dos; organizacin (los efectos sobre la organizacin a partir de los cambios en el desempeo en el trabajo) y valores finales (los efectos financieros tanto en la organizacin como en la economa) Brinkerhoff desarrolla su modelo de seis estadios para apoyar el proceso de decisin. Incorpora dentro del modelo los dos primeros estadios de evaluacin de necesidades y fijacin de objetivos y estudios de viabilidad y pertinencia. Igual que el CIRO enfoca ms en los insumos para la capacitacin Una capacitacin ser efectiva cuando los entrenadores y alumnos estn satisfechos. El modelo no difiere del de Kirkpatrick pero provee herramientas Es conocido por enfocar en el retorno de la inversin. Su modelo es ampliamente comparable con el de Kirkpatrick, pero agrega el 5 nivel. Similar al modelo de Kirkpatrick, como Kerns y Miller sugiere que las respuestas de los gerentes deben probarse de forma visible de resultado y en relacin con el trabajo. Recalca el valor de las necesidades de los clientes y gerentes Expanden el modelo de Kirkpatrick para incluir la contribucin societal un criterio de evaluacin. (El tema de la polucin y la seguridad).Se incluye ms elementos en los diseos como valoracin de necesidades y planeamiento en la evaluacin, as como un examen de expectativas de resultados, y una revisin de la disponibilidad y calidad de los recursos. Los costos son examinanados en cada nivel. Incorporan mayor consideracin al contexto. Los primeros pasos deben ser identificar los valores y prcticas de la organizacin, las habilidades y conocimientos y actitudes que se vinculan con esto , definir el alcance y propsito de la evaluacin, identificar las fuentes de datos y usar variedad de fuentes. Desarrollan una taxonoma de evaluacin basada en 6 estratos, que no pretenden ser una jerarqua. El primero examina las caractersticas del entrenamiento y el ltimo incorpora la consideracin del impacto social

1987

Brinkerhoff

1990 1992 1994 1994

Bushnell Sleeze et al Phillips Fitz Enz

Modelo IPO (input , procesos, output ) Modelo TEE Training Effectiveness Evaluation Cinco niveles de ROI TVS (Training Valuation System) El modelo OEM (Modelo de los elementos organizacionales)

1995

Kaufman, Keller and Watkins

1995

Bernthal

1996

1997

Enfoque de la U. de Indiana: Molenda, Pershing y Reigheluth El Modelo KPMT Kerns y Miller

2000

Observa muchas similaridades con el modelo de Phillips. Su contribucin es un conjunto de instrumentos para identificar los objetivos de la lnea de base, evaluaciones existentes de capacitacin, y el valor agregado a la organizacin. Difieren de los otros en su creencia de que el retorno de la inversin solo puede ser visto en trminos duros. Descartan las dificultades de atribuir trminos financieros al entrenamiento. Carrusel del desarrollo Propone seis estadios circulares que comienzan en la Industrial instancia de planificacin. Los estadios 3 y 4 apuntan a Society(Ahora validar el entrenamiento, y el 5 y 6 a evaluarlo. Para ellos el Work Fundation) proceso de identificacin de las necesidades de capacitacin son esenciales en su modelo y se analizan a lo largo de todo el proceso.
38

Elaborado sobre la base de los artculos de Tamkin , Yarnall y Kerrin (2002), y Donovan y Hannigam 1999

Los modelos que aportan elementos nuevos

Tamkin clasifica los autores de este grupo en tres: los modelos que centran su preocupacin sobre el propsito de la evaluacin, los que utilizan diferentes mediciones, los modelos que evalan las experiencias de capacitacin a travs de la informtica. En lneas generales lo que observa a travs de estos nuevos autores es que hay un nfasis creciente en las mediciones no financieras del impacto de la capacitacin, una mayor atencin a los diferentes contextos y propsitos de la misma y a las audiencias de la evaluacin. Podramos agregar tambin, que estos autores desarrollan una visin ms actualizada y menos esquemtica de los procesos de capacitacin en las organizaciones, as como del uso de tcnicas cualitativas para recabar informacin. Se advierte en estos autores que han incorporado en sus discursos las visiones ms recientes desarrolladas por la investigacin evaluativa y las tcnicas de gestin y planificacin estratgica. Nos detendremos en los dos primeros grupos a los que remite Tamkin. Dentro del grupo de trabajos que enfocan sobre el propsito de la evaluacin menciona a autores como Pulley (1994), Sttuflebeam (1987), Newby (1992) y Preskill y Torres (1999). Para Pulley el objetivo de la evaluacin debera ser proveer evidencia de manera tal que los decisores claves puedan determinar lo que quieran saber sobre el programa de capacitacin en relacin con sus necesidades. Propone el uso de tcnicas cualitativas y cuantitativas, en consideracin de las necesidades de los clientes internos de la organizacin. Newby incluye entre los criterios de evaluacin el uso de criterios no relativos al lugar de trabajo, tales como societales, morales o polticas o usando criterios filosficos. (como programa de igualdad de oportunidades). Preskill y Torres, por su lado, ponen nfasis en la evaluacin como un proceso de aprendizaje. Vincula la evaluacin a la misin y planes estratgicos de la organizacin y enfatiza que esto se conduce como un todo dentro del contexto de aprendizaje de la organizacin. Entre los autores del segundo grupo, que utilizan distintas mediciones, la preocupacin est puesta en enfocar con mas claridad en diferentes tipos de resultados perseguidos por la actividad de entrenamiento y desarrollo y confeccionar la tcnica para la organizacin en orden de asegurar que el abordaje se corresponda o respete, con la cultura y los valores de la organizacin. Dentro de este grupo menciona a: Kraiger et al (1993), Kaplan y Norton (1996), Lee (1994), Anderson Consulting (Moad, 1995, Abernathy, 1999) Kraiger et al (1993) desarrollan el abordaje de los resultados de aprendizaje, proponen identificar los distintos tipos de resultados (cognitivos, habilidades y afectivos) que se desarrollan a travs de la capacitacin, y la evaluacin de los mismos desde distintas perspectivas Las diferentes perspectivas consideran las metas del entrenamiento, las estrategias del proceso y los criterios de desempeo. Kaplan y Norton (1996) desarrollan el modelo de The balanced scorecard: buscan balancear el gerenciamiento del negocio a travs de la medicin a lo largo de cuatro diferentes perspectivas: financiera, del cliente, del proceso interno del negocio, del
39

aprendizaje y crecimiento. Sugieren que la medicin de la innovacin y el aprendizaje son tan importantes como las medidas financieras al evaluar la posicin competitiva de las empresas. Lee (1994) presenta el modelo Pay back pay forward CIPD. Separa las medidas de evaluacin en resultados de pay back y pay forward. Pay back describe los beneficios financieros, mientras Pay forward significa aquellos beneficios que se derivan del entrenamiento, lo cuales no pueden ser expresados directamente en trminos financieros (retorno indirecto). Anderson Consulting (Moad, 1995, Abernathy, 1999), rechaza el modelo de ROI y la idea de que los beneficios del entrenamiento podran ser aislados de otros factores, se basa en la premisa de que los gerentes saben cules son las habilidades que los empleados necesitan, por lo tanto se parte de estas expectativas de los gerentes para el diseo y evaluacin de cada curso. Utiliza tcnicas de investigacin de mercado y lo comparan con las percepciones despus de la capacitacin. Se puede agregar dentro del grupo general de autores que presentan un avance al de Kirkpatrick el trabajo de Swanson y Holton81. Si bien Swanson y Holton se inscriben dentro de la lnea dura respecto de vincular los objetivos de la capacitacin con la misin organizacional y del negocio con una medicin en trminos financieros del impacto, presentan un interesante modelo, donde lo que busca principalmente es el monitoreo de los cambios que la capacitacin genera en los resultados que identifica en todo el proceso desde finalizacin del proceso de capacitacin y su transferencia al puesto de trabajo. Segn Donovan, este autor simplifica el modelo de Kirkpatrick concentrndose en las influencias sobre los resultados del desempeo individual. Para l, las fortalezas de este modelo son que elimina las reacciones como el resultado primario del entrenamiento y corre el debate afuera de la concentracin en la causalidad a la discusin sobre como el entrenamiento trabaja y como los factores que hacen que funcione pueden ser mejorados en la organizacin. Haciendo esto evita la debilidad que fueron identificadas en el caso de los modelos basados en resultados que entienden una relacin simple y causal vinculacin. Swanson y Holton inician su trabajo afirmando que el mismo no es de evaluacin (evaluation) sino de valoracin (assesment) y que esta es una de las actividades centrales en toda organizacin. El proceso de evaluacin deber iniciar a partir de una definicin clara de las metas organizacionales. Reconoce tres reas de resultados: desempeo, aprendizaje, percepcin y cada una con dos opciones .-Resultados de desempeo: De sistema: las unidades de rendimiento relacionadas con la misin que se expresan en forma de bienes o servicios y que tienen valor para el cliente. Financiera la conversin en dinero e interpretacin financiera de las unidades de rendimiento de bienes o servicios atribuibles a la intervencin. La evaluacin de los rendimientos relacionados con la misin se centra en el saldo final, en cosas tales como fabricacin de 50.000 autos, por ejemplo. El estima que pueden identificarse en todas las organizaciones y que si no se puede identificar quizs no valga la pena realizar la capacitacin.
81

SWANSON Y HOLTON, op.cit 40

.-Resultados de aprendizaje: Conocimiento y aptitud son las dos opciones. Conocimiento es el logro mental adquirido mediante estudio y experiencia. Aptitud, son las conductas humanas que tienen resultados eficaces y eficiencia ptima adquiridas a travs del estudio y de la experiencia en un rea especfica. .-.Resultados de percepcin: Definen la percepcin como estados perceptivos de los seres humanos acerca de lo que les interesa. Las percepciones del participante son las de la gente con experiencia de primera mano en sistema, procesos, bienes, etc. Las percepciones del interesado son las de los lderes de sistemas o de las personas con intereses creados en los resultados deseados. Este es el punto ms dbil segn los autores, no constituyen una buena medida de rendimiento, pero agrega que no se puede ignorar, pues estn en la cabeza de todos en la organizacin. En cierta medida este ltimo nivel que l presenta es el que muchas veces es la nica fuente de informacin disponible en las organizaciones. No siempre es adecuado elegir todas las reas y el momento de recabar los datos puede ser variable . Para Swanson y Holton, es indispensable comparar todas las mediciones de resultados con referente para juzgar la calidad de los rendimientos. Esto se puede hacer con una medicin externa, otro ciclo del programa. Tambin puede remitir a un estndar. El estndar debe ser revisado con antelacin, por ejemplo estndar de ventas etc. Que no pueden ser arbitrarios. Puede ser una norma, lo cual proviene de una gran base de datos y ofrece promedios (por ejemplo los promedios de la industria), puede ser tambin un grupo control. En relacin a los resultados financieros indican que si bien son importantes no es el nico criterio a seguir, si no que existen otros como la adecuacin a la cultura organizacional, calidad, etc. No obstante, es preciso destacar, aparte del entusiasmo de Donovan (1999), que Swanson y Holton, no resuelve el problema de la causalidad, e insiste en la utilizacin de medidas cuantitativas. Los autores incorporan el interesante concepto de conductores de desempeo, en el proceso de evaluacin de rendimientos de sistema, que son variables de desempeo (como por ejemplo, aumentar la motivacin, mejorar la calidad del producto, etc.) que pueden predecir una mejora en el resultado. Propone un sistema para construir estimados de beneficios probables a partir de los conductores de desempeo.
Los modelos provenientes de los anlisis econmicos

Donovan analiza una serie de estudios econmicos82 sobre evaluacin de impacto de la capacitacin cuyo nfasis est puesto en cul es la contribucin que la capacitacin genera a la competitividad de las empresas. Estos estudios analizan la adecuacin del nivel de inversin en capacitacin (realizada por el estado o los privados). y los resultados en la productividad o desarrollo de las economas. En general, estos son estudios agregados y comparativos de los niveles de inversin en capacitacin con otros pases que analizan relaciones tales como el impacto de la capacitacin y la capacitacin especfica o el valor del tiempo como elemento importante a tomar en consideracin al buscar los efectos en la productividad.
82

Donovan cita los trabajos de Black and Lynch (1996), Barrett and OConnell (1998), Walsh (1998), entre otros. 41

Segn Donovan, si bien hay un consenso generalizado entre los economistas de que el capital de formacin humano es tan importante como los capitales fsicos, sin embargo los resultados de las investigaciones son que el retorno de la inversin en educacin acadmica formal parece ser ms alta que la de capacitacin de habilidades especficas.. A menudo se sugiere que la inversin en formacin de habilidades es muy improbable que induzcan un nivel aceptable de retorno. Donovan seala que estos estudios presentan una dificultad seria por los fundamentos en los cuales se asienta en relacin con la naturaleza de la organizacin. Los economistas an ven las empresas como una caja negra dentro de la cual las decisiones racionales son dadas como un conjunto de precios y condiciones de mercado. De esta forma el crecimiento es analizado en trminos de identificacin de una relacin directa entre cambios en los insumos y cambios en los productos. Desde esta perspectiva no podrn analizar las relaciones complejas que se producen entre los recursos disponibles, los efectivamente utilizados, los servicios derivados de los mismos, y la existencia de factores neutralizantes (como por ejemplo reestructuracin de costos o cambios en los precios de los productos) que entran en juego cuando se emprende la capacitacin. Los economistas han tendido a ignorar completamente los pasos intermedios y intentar encontrar relaciones entre entrenamiento y cambios en la productividad como una medida de insumo producto. Los vnculos no han sido explorados en los estudios econmicos, o ms an reconocidos como pasos intermedios en muchos casos. No obstante, Donovan cita, dentro de los estudios econmicos, el trabajo de Penrose, como una alternativa para dar respuestas a estos problemas. El autor analiza la relacin insumo producto y la capacidad de la gerencia de derivar servicios de los primeros. Afirma que no existe una relacin simple entre los cambios en el valor de los insumos y el de los productos83. Los cambios en las capacidades pueden explicar los cambios en la productividad, es decir, no hay una relacin simple entre los recursos humanos disponibles, con prescindencia de los esfuerzos empleados en desarrollarlos y los resultados, crecimiento o productividad de la firma. Sin embargo trabajos como el de Penrose no encuadra en el foco general de los estudios econmicos Para Donovan las posibilidades de derivar una metodologa para identificar las necesidades de entrenamiento, la organizacin ptima e integracin de las nuevas habilidades y aislar el impacto de los recursos aplicados al entrenamiento es limitado dentro de este marco econmico de trabajo.

Los puntos crticos en la literatura HRD

83

Parte de la distincin entre los recursos disponibles para una firma y los inputs realmente usados por la firma. Arguye que los inputs, como son normalmente identificados, no son los recursos efectivos usados por las firmas. Por el contrario., las firmas usan el servicio que tales inputs pueden proveer. La competencia del gerenciamiento es evaluado por su habilidad de derivar servicios desde un nivel dado de inputs.. Como resultado de esta clarificacin no hay razn por la cual debera haber una relacin simple entre los cambios en la cantidad de valor de los inputs y cambios en los productos. Sin embargo las firmas ponen su atencin en que est puesto en los precios de los inputs los cuales determinan las decisiones de produccin tecnolgicas en las firmas. , el tamao de las firmas, (relativo al mercado) determina la cantidad de resultados y los factores que influyen en el mercado de precios. 42

Se observa en la literatura una serie de discusiones no resueltas en relacin con las formas de evaluar el impacto. En primer lugar, estas discusiones entre los autores reflejan los problemas que se plantean en la prctica de la evaluacin lo cual evidencia la complejidad del objeto en cuestin. Y en segundo lugar, son el producto de la revisin de las formas de abordaje clsicas en evaluacin de la dcada de los 50 y 6084, an presente en sus discursos de muchos de los autores, a partir de la introduccin de los desarrollos posteriores (Sttuflebeam (1987), Scriven (1967), Stake (1967), etc.). Los temas en discusin que se desarrollan a continuacin son: el rol de los objetivos en el proceso de evaluacin, la cuantificacin de los beneficios y la comprobacin de las relaciones de causalidad entre desarrollo de la capacitacin y los beneficios organizacionales.
Los objetivos y la evaluacin

Es recurrente en los textos la preocupacin por la redaccin clara de los objetivos como forma de asegurar buenos resultados en la enseanza y facilitar luego la actividad de evaluacin85. Sin embargo algunos autores sealan que la evaluacin en referencia a objetivos86 no siempre es adecuada debido a que los objetivos de la capacitacin no siempre se vinculan con el negocio. A veces algunos de los propsitos de los entrenamientos no estn referidos a resultados organizacionales o los intereses de las personas que asisten al entrenamiento difieren legtimamente del cometido de la organizacin. Estos son algunos de los sealamientos que realizan los autores (ver pp. 16) que aportan una nueva visin acerca de las relaciones entre objetivos y evaluacin. Se indica que es importante tener en claro para qu se recolecta la informacin, la atencin a las variaciones de los contextos y a las necesidades de las diferentes audiencias en la organizacin a la hora de evaluar el impacto de la capacitacin.
La cuantificacin del impacto

El otro punto muy controvertido en esta lnea es la utilizacin de datos de tipo cuantitativos y financieros para evaluar el impacto de la capacitacin. La literatura clsica al hablar de impacto se refiere al anlisis donde se identifican y cuantifican los beneficios y se los compara contra una parmetro (norma o estndar) al emitir el juicio de valor. Las distintas versiones de este esquema son el anlisis de retorno de la inversin (ROI) (Phillips, Stone, Jackson y otros87), e incluso la utilizacin de frmulas matemticas la de regresin lineal aplicada a la capacitacin. Dentro de esta lnea de trabajo un autor britnico, Jakcson88, propone una metodologa para cuantificar en trminos de pesos el valor de la capacitacin. En primer lugar es necesario, para comprender la metodologa que propone, describir la concepcin terica que lo anima.

84 85

Tayler (1950), Mager(1962), Bloom (1956) Resulta curioso que mientras en el discurso pedaggicos la pregunta por el rol de los objetivos en un proceso de aprendizaje han sido ya objeto de profundas revisiones, y existen acuerdos mnimos al respecto, parece aun ser una cuestin an pendiente en la prctica de la capacitacin. 86 Ver TAYLER, pp 87 PHILLIPS, J. y otros op.cit. 88 JACKSON, T: Evaluation . Relating training to bussiness performance Kogan Page, ,London, 1989. 43

Este autor parte de la consideracin, de que la capacitacin debe ser valorada (assessment) y medida (mesurement). Define la capacitacin como un sistema de INPUTS y OUTPUS, donde los INPUTS son los costos para la organizacin y los OUPUTS son generalmente beneficios. El objetivo de la capacitacin se orienta a mejorar las habilidades y conocimientos de manera de afectar el desempeo actual o futuro en el trabajo. Esto es medible a travs de la observacin de cambios en la conducta que tambin impactaran en los resultados operacionales de la organizacin. Los resultados operacionales son medidos en trminos de inputs (dinero, personal) y outputs (unidades vendidas, tems producidos, tareas completadas). Los inputs pueden ser medidos en trminos de tiempo y costos y los outputs son medidos en volumen procesado y calidad del trabajo. Los resultados operacionales pueden ser vistos como la relacin entre inputs y outputs, que a su vez impactan en los objetivos. Los resultados, entonces, son medidos en trminos financieros como productividad o retorno de inversin. De esto se desprende que el valor del training es financiero. A partir de esta concepcin, explica que hay tres maneras de observar el desempeo: a travs de la medicin del desempeo del personal con relacin a la norma del grupo, la medicin en relacin a criterios definidos de desempeo en el trabajo (DIF anlisis dificultad, importancia y frecuencia de las tareas) y del potencial del personal. A continuacin se presenta una de las formas de evaluar el desempeo de las personas desde un enfoque que combina de evaluacin basado en normas y en criterios, que enfoca ms en el proceso que en los resultados. Los criterios son desarrollados en funcin de los estndares de desempeo a partir de los objetivos operativos organizacionales. La medida tpica de performance individual y grupal es volumen de trabajo X nmero de horas-personas y nmeros de errores X volumen de trabajo. Se mide el desempeo segn el potencial de desempeo, el proceso mismo y los resultados del desempeo. Segn su postura, el trabajo de las personas tiene un valor en el mercado. Si el trabajador es competente, su valor para la organizacin es el precio que sta paga por su tiempo. Si no es competente no produce su precio para la organizacin. Si l realiza la mitad de lo que tiene que hacer o le toma el doble de tiempo hacerlo slo produce el 50 % de su costo para la organizacin. Si se puede medir y evaluar su desempeo esto se puede relacionar con el costo de no capacitar. Para desempearse efectivamente en una organizacin se requiere, segn el autor, habilidades, motivacin para aplicarlas, oportunidad dentro de la organizacin para aplicarlas. Las habilidades son juzgadas por la calidad de las salidas y la eficiencia y la velocidad y desenvoltura con que esa salida es realizada. La motivacin por el entusiasmo, perseverancia y concentracin. Y la oportunidad por la estructura, sistema, recursos y actividades, clima y cultura organizacional y objetivos. Las medidas obtenidas son cuantificadas y convertidas en valor $ para la organizacin sobre la base del sueldo del personal. Es decir que el personal que se desempea, segn lo esperado o necesario, tiene el valor de 1 es decir lo que la organizacin paga por l. Para el caso de la evaluacin de desempeo segn la norma, el valor de los recursos humanos se expresan en la siguiente relacin:
44

Valor = RH

Nro. De personal X banda salarial

Costo del X personal para la organizacin

Puntaje de desempeo

Ahora bien, no siempre es posible asignar un valor $ a los resultados de la capacitacin , o a veces tampoco es relevante hacerlo. Sin embargo el que no se pueda asignar un valor en pesos no significa que no se evale la eficiencia del programa, en estos casos la atencin debe dirigirse a la efectividad del programa. Y cuando no es posible asignar $ se utiliza el esquema de costo -efectividad Jackson propone cinco mtodos para la medicin de impacto, estas tcnicas son de tipo econmico y son ms aplicables a organizaciones cuya produccin pueda medirse en trminos objetivos y discretos y traducidos en valor pesos, tales como consecuencias de no capacitar, registros de desempeo, probabilidad de ingresos exitosos, clculo de costos de la curva de aprendizaje, etc.
Jackson y la evaluacin financiera del entrenamiento
1. Consecuencia de no capacitar 2. Registros de desempeo 3. Probabilidad de ingresos exitosos 4. Clculo de costos de la curva de aprendizaje (costing the learning courve) Observa la implicacin de no entrenar en trminos de prdida de ingreso en la organizacin. Observa el desempeo del personal a travs de los registros antes y despus del entrenamiento. Combina el anlisis costo-beneficio y el anlisis de riesgo. Calcula el costo de la curva de aprendizaje midiendo el tiempo que a una persona le lleva desde un conocimiento nulo a la experiencia necesaria para volverse competente en su trabajo Evala todo el desarrollo de la capacitacin. Correlaciona actitudes con la conducta actual y los resultados operacionales.

5. Auditar el plan de accin (Action plan audit) 6. Implicancias financieras de actitud (Financial implications of attitude)

Fuente: elaboracin propia a partir de Jackson (1989)

La primera de las dificultades que aparece con estos abordajes econmicos no es la aplicacin de las frmulas sino la definicin de las variables que la conforman. Los resultados obtenidos slo deben considerarse como indicativos, en tanto que la relacin capacitacin producto no es una relacin lineal sino multicausal, es decir que se ve afectada por mltiples condicionantes, que no pueden tomarse en cuenta en los modelos. Por otro lado los autores que insisten enfticamente en las medidas financieras de los estudios de impacto no toman en cuenta que son los capacitadores los encargados de identificar una unidad de producto el cual pueda ser convertido en valores monetarios. Estos autores junto con otros minimizan el problema de hallar los indicadores y sobrevalan la habilidad de los gerentes. Hay un considerable nmero de investigadores que argumentan en contra de la utilizacin de los datos financieros para analizar los resultados de la capacitacin. Los enfoques alternativos expresan que al evaluar no se puede confiar con tanto nfasis slo en los datos cuantitativos o en los cualitativos. Se seala que el tipo de instrumento a
45

utilizar depender de las caractersticas de la capacitacin, del trabajo, de los objetivos de la capacitacin y los contextos. Cuando el objeto de capacitar es generar transformaciones de tipo culturales en las organizaciones son los datos cualitativos los que proporcionan una imagen ms ajustada de la realidad que los datos cuantitativos. Algunos autores son ms taxativos y dicen que las medidas financieras son inadecuadas para guiar y evaluar las organizaciones. La postura ms saludable parece ser la que afirma que la necesidad de proveer resultados en trminos financieros variar de acuerdo con el propsito y naturaleza del entrenamiento, de la audiencia de la evaluacin, y la disponibilidad de informacin pertinente para realizar dichas evaluaciones.
Las relaciones de causalidad

Otra de las preocupaciones que genera discusin entre los autores es cmo comprobar las relaciones de causalidad que se producen entre los procesos de capacitacin y los beneficios obtenidos para la organizacin. El problema es cmo demostrar relaciones causa efecto en una situacin que se reconoce como una compleja trama de relaciones. Este punto remite al problema metodolgico que est en debate an entre los profesionales de la lnea de HRD. Tanto Donovan (1999) como Tamkin (2002), an crticos de los modelos que denominan positivistas, no pueden escapar a este sesgo, e insisten que an no existe un modelo probado que pueda dar cuenta de estas relaciones complejas al evaluar el impacto. Por otro lado, si bien, la investigacin provee de mtodos probados para el anlisis de relaciones de causalidad como los diseos experimentales, o cuasiexperimentales, en sus distintas variantes con o sin grupo control, ex ante, ex post 89, se advierte al recoger los resultados de la experiencia fundamentados en investigaciones que la literatura es demasiado optimista al recomendar este tipo de estudios90. Son pocas las organizaciones que pueden desarrollar diseos experimentales, con inclusin de grupo control y an diseos del tipo pre-test, post-test. Estos estudios quedaran reservados para anlisis realizados por consultara externa o estudios acadmicos. Son tantas las dificultades que se presentan al poner en prctica estos modelos, que atentan contra la validez de los resultados obtenidos. Los autores son cada vez menos enfticos en recomendar este tipo de estrategias para relevar el impacto. Las posturas en relacin con la posibilidad de comprobacin con este punto oscilan entre un optimismo idealista que reduce la realidad y un pesimismo dramtico. Sin embargo, an el planteo de la discusin en estos trminos, constituye un avance importante en relacin con una realidad y una prctica que se revela como compleja. Tamkin (2002) reflexiona acerca de la bsqueda de conexin entre capacitacin y beneficios como una cuestin de fe o una tarea poco realizable. La demostracin de un vnculo entre la actividad de desarrollo y resultados organizacionales pareciera ser una tarea parecida a la bsqueda del santo grial. Nickols (2000) niega toda posibilidad de comprobacin de relaciones entre ambos.
89

Ver CAMPBELL, D., STANLEY, J. Diseos experimentales y cuasiexperimentales en la investigacin social. Amorrortu, Bs. As.1993 90 BOVERIE ET ALL, op.cit. 46

Es muy interesante el planteo que realiza Nickols en la revisin del esquema de Kirkpatrick, ya que lo lleva a revisar el concepto de capacitacin y de evaluacin. Redefine el concepto de "entrenamiento" como algo ms que equipar a la gente con habilidades y conocimientos necesarios para hacerse cargo de sus tareas, sino como una intervencin que provee la solucin a ciertos problemas. Por lo tanto, afirma, en el caso de que la deficiencia de conocimientos lleve a produccin de errores, se puede argir que el entrenamiento, el cual elimina esas deficiencias, es la solucin a problemas de funcionamiento o desempeo. Puede decirse, entonces, que esta reduccin de problemas es el resultado del entrenamiento. Sin embargo, agrega, la nica manera de comprobar los resultados del aprendizaje es a travs de la eliminacin de las actividades de capacitacin. "(.. )the only way to prove that such training is successful is to shut down the training. As is the case with some other things, it is sometimes the case with training that the true measure of its value lies in its absence, not its presence, but shutting down training is hardly a practical way of testing that proposition.91 Para Nickols y los otros autores que revisan la lnea tradicional, la evaluacin es una actividad compleja, que debe considerar propsitos que varan segn las diferentes audiencias de la capacitacin o de la evaluacin. Entiende que la evaluacin involucra un juicio de valor y los valores son distintos segn los puntos de vista de los actores involucrados (audiencias). Para Nickols no existen recetas para evaluar la capacitacin, cada situacin exige, entonces un diseo y abordaje particular.
Sntesis de los modelos de evaluacin de impacto HRD

Dentro de este grupo de trabajos se observan dos enfoques claramente diferenciados. El trabajo nacional sobre evaluacin de impacto se distingue de los otros tanto por sus abordajes, como por su orientacin al sector pblico. El trabajo reseado aplica estrategias de tipo cualitativas o etnogrficas para reconstruir la lnea de base sobre la cual realizar comparaciones y encontrar parmetros de evaluacin del impacto en aproximaciones sucesivas. En el segundo grupo de trabajos, de origen anglosajn y uno de habla hispana, la preocupacin central es encontrar "pruebas" objetivas que acrediten que los cambios que se producen en los resultados se deben a la capacitacin, para justificar su valor dentro de la organizacin ("training pay off"). Movidos por una inquietud prctica, sus desarrollos estn influenciados por la visin tylerista de la evaluacin preordenada. El modelo de Tyler, segn Sacristn92 incorpora las aportaciones de la "Organizacin Cientfica del Trabajo-(Taylor) a la pedagoga y encuentra sus races metodolgicas en el experimentalismo de base positivista. Dentro de este segundo grupo se diferencia una serie de autores, que revisan y critican las propuestas clsicas por su sesgo positivista, rescatan los abordajes cualitativos, desconfan de las medidas financieras para evaluar el impacto y sugieren la atencin a
91 92

NICKOLS, op.cit.. SACRISTAN, J. Gimeno "La pedagoga por objetivos. Obsesin por la eficiencia" Ed. Morata, Madrid, 1986. 47

los contextos y audiencias en el planeamiento de los diseos evaluativos. Sin embargo, a pesar de los nuevos modelos desarrollados, coinciden en que no existen propuestas nuevas que puedan reemplazar el modelo de Kirkpatrick, y que en la prctica la evaluacin permanece dominada por su esquema de los cuatro niveles. Resulta pertinente, entonces en funcin de los debates abiertos en la literatura actual, revisar el concepto de aprendizaje, el concepto de conocimiento cientfico y la definicin de evaluacin empleados. Los tres aspectos estn en la base como fundamento de los temas de evaluacin de impacto y tienen fuertes implicancias en las estrategias puestas en prctica. A partir de los distintos modelos relevados y como resumen de los diferentes aportes desarrollados podran conjeturarse tres afirmaciones que son las que guiarn el desarrollo de esta tesis: a.- Concepto de aprendizaje: El primer punto a reflexionar es hasta qu punto es vlido considerar la relacin de aprendizaje-resultados como una relacin causal93, despojada de toda influencia del entorno. Gore94, expresa que la capacitacin no puede ser explicada prescindiendo de los procesos de aprendizaje colectivo que tienen lugar en las organizaciones. El "aprendizaje colectivo", es un proceso social de construccin de capacidades colectivas, que se adquieren a travs de la construccin de sentido en la interaccin social entre los miembros de la organizacin. Para el autor el aprendizaje colectivo supone el desarrollo de acuerdos con otros para poner en accin el conocimiento; el sujeto del aprendizaje es activo en esta construccin donde intervienen sus creencias, valores fundados en sus experiencias en la organizacin, y que el conocimiento es ms bien un producto que un insumo de la capacitacin, pues se construye activamente en intercambio con los otros miembros de la organizacin95. Toma de Weick la nocin de organizacin como un proceso permanente de construccin del sujeto colectivo y de los aprendizajes en la organizacin. Estos aprendizajes estn referidos tanto a las formas correctas de obrar como significados atribuidos a la prctica en la organizacin. Desde esta perspectiva, entonces, Gore presenta dudas respecto de la eficacia de modelos evaluativos como el de Kirkpatrick, que intentan dar respuesta a la pregunta por los efectos de la capacitacin en las organizaciones, debido a que parten de un concepto muy limitado de los procesos de aprendizaje en las organizaciones, en relacin con el abordaje que l desarrolla. Si consentimos entonces, que los procesos de enseanza y aprendizaje en las organizaciones son procesos complejos donde intervienen mltiples factores, entonces resulta discutible la reduccin del proceso de aprendizaje a una relacin "input-output" (enseanza de unos conocimientostransformacin comportamientos).
93

Ver RUTTY, (1999). En este trabajo se evalu el impacto a travs de tcnicas experimentales. Los resultados hallados sugieren una revisin del concepto de aprendizaje, entendido como primer trmino de una relacin causal. 94 GORE, E. "La capacitacin laboral y la construccin del conocimiento en las organizaciones. La generacin de capacidades colectivas a la luz e un anlisis de casos" Tesis doctoral. 95 GORE, Y V MAZZINI, el de Huatana 48

El otro aspecto que hace referencia a la naturaleza de los aprendizajes, es que no todo aprendizaje es observable y traducible en comportamientos. Esta es una preocupacin central en la pedagoga orientada por objetivos, que busca hacer observable y medible los objetivos planteados. Si bien es cierto que la concrecin de objetivos a partir de la operacionalizacin sirve para aclarar su significado y su observacin en la realidad sirve para validar la teora o tcnica pedaggica empleada, est muy lejos de coincidir con que slo importa lo observable pues slo es cientfico lo que se ve. Por otro lado, la educacin tiene efectos mensurables y no mensurables, por lo tanto no puede reducirse las tcnicas a los objetivos mensurables.96 b.- El concepto de ciencia: La visin, presente en muchos de los autores revisados, de que el mbito de la ciencia es el campo de lo observable97 invalida muchas formas de indagacin que pueden generar informacin en el mbito de los procesos de enseanza y aprendizaje. En el afn de cuantificar los resultados observables de la enseanza muchos de los autores recomiendan la aplicacin de modelos de indagacin cuantitativos y experimentales. Sin embargo, segn Bertaux98 no puede considerarse a las ciencias sociales a la manera de las ciencias biofsicas y no necesariamente se llega al conocimiento a travs de metodologas cuantitativas. El entender la realidad como relaciones entre variables que deben ser probadas (tpico del abordaje positivista) no representa la realidad si no que la reduce. El abordaje positivista legitima la medicin como un intento cientfico con el parmetro de las ciencias biofsicas. La tarea del investigador en ciencias sociales no es probar hiptesis sino comprender y describir con profundidad la realidad que estudia. De acuerdo con Weick99, la descripcin a travs de nmeros, que es una preocupacin presente en muchos de los autores que pretenden acercar la capacitacin al lenguaje de los negocios, es slo una forma de describir la realidad, pero no la nica. La discusin terica acerca de los mtodos cuantitativos y cualitativos en evaluacin ha sido resuelta, como ya se dijo, pp. 13) con un corrimiento de las preocupaciones ms orientado a una buena construccin del objeto a evaluar, que el uso de uno u otro abordaje.

c.- Concepto de evaluacin: Para muchos de los autores de la segunda lnea de trabajo expuesta, la relacin entre capacitacin y cambios en el entorno laboral descansa en la buena definicin de los objetivos. De acuerdo a este enfoque, si los objetivos estn bien definidos estarn referidos a las necesidades que justifican la existencia del programa de capacitacin.
96 97

Sacristn, op. cit. Sacristn, op. cit. 98 BERTAUX, D. "Biography and Society. The Life History Approach in the Social Sciences", Sage, London, 1981 99 WEICK, K. Psicologa social del proceso de organizacin Fondo educativo interamericano, Colombia, 1982. 49

Esta relacin dara la clave de conexin entre los esfuerzos de capacitacin y los resultados obtenidos, y por lo tanto el criterio para la valoracin de su impacto. Sin embargo, es necesario considerar, que los especialistas en evaluacin en los ltimos 30 aos (Sttuflebeam, 1987, Stake, 1967, Scriven, 1967 y otros) han criticado esta postura, es decir la utilizacin solamente de los objetivos como criterio de logro. Fundamentan sus objeciones en razn de que los objetivos del programa nunca reflejan acabadamente las necesidades de las distintas audiencias de la capacitacin y porque, segn Scriven, a veces los logros no previstos son ms importantes que los previstos100 Sttuflebeam101 en su crtica a Tyler, como se seal en el punto 3 (pp. 11), explica que la insistencia en la operacionalizacin lleva a abandonar los objetivos menos concretos que no pueden ser operacionalizados, el nfasis puesto en el rendimiento deja de lado otros criterios y la evaluacin de esta forma, resulta parcial y desequilibrada, generando informacin que no es til ni relevante para la prctica102. Junto con las crticas al modelo de evaluacin en referencia a la norma se han desarrollado otras propuestas evaluativas. Escudero103 en un interesante y extenso recorrido histrico, destaca la proliferacin de modelos evaluativos en los ltimos tres decenios, diferentes en sus abordajes conceptuales y metodolgicos. Segn el autor, en la primer poca los modelos seguan la lnea propuesta por Tyler llamada de consecucin de las metas, pero posteriormente otros modelos, por ejemplo, destacaron la necesidad de ajustar el proceso de evaluacin al servicio de los decisores (Sttuflebeam) y otros a los de responder a las necesidades de las distintas audiencias (los participantes en los programas educativos) (Stake,1967, Guba y Lincoln ,1989). En este recorrido el autor seala los diferentes sentidos atribuidos a la evaluacin de acuerdo a los enfoques y como en funcin de ello varan los criterios de evaluacin, los objetos, la apertura (observar no solo los resultados previstos, si no los imprevistos, no solo informacin terminal sino de proceso tambin), la pluralidad de funciones de la evaluacin (sumativa- formativa- socio-poltica-administrativa), los diferentes papeles del evaluador (interno, externo), la pluralidad de audiencias y metodologas. Interesa destacar de este punto la variacin en los criterios de valoracin de la informacin que seala Escudero. Mientras que para los primeros enfoques la congruencia de los resultados con las metas definidas previamente constituye el criterio fundamental en la evaluacin, para otros el criterio ser el mrito del objeto a evaluar (si es bueno o no) empleando estndares definidos por expertos para su valoracin. Para otros enfoques el criterio ser la vala del programa, es decir el valor que tiene la informacin para los distintos audiencias y contextos104. Para los enfoques referidos a
100

ESCUDERO, T. (2003). Desde los tests hasta la investigacin evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluacin en educacin. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 1. http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm.. 101 STUFFLEBEAM, op. cit. 102 Ver pp. 16. punto 3 Estado del arte : los distintos modelos de evaluacin de impacto 103 ESCUDERO, T. op.cit. 104 Scriven, op.cit. dice Scriven la evaluacin es devota de la determinacin sistemtica del mrito, del valor o significado para quienes estn destinados las acciones de enseanza 50

quienes toman las decisiones el criterio de la evaluacin se ajustar a las distintas necesidades de los decisiones a las que estn referidas. En sntesis, a pesar de que los desarrollos en evaluacin de los ltimos decenios ofrecen un complejo panorama de enfoques, se observa que muchos de los autores reseados han quedado atrapados en las visiones ms antiguas, en algunos casos con la identificacin del concepto de evaluacin y medicin como trminos intercambiables105 Si bien no parece posible desconsiderar los objetivos en un proceso de evaluacin, como se ha visto, no constituyen el nico punto de referencia para el diseo y aplicacin de diseos evaluativos, incluidos los diseos evaluativos orientados a relevar el impacto de las experiencias de capacitacin. Una vez revisados los modelos tericos dominantes en relacin con este tema, una va de abordaje interesante es analizar como los actores evalan el impacto en la prctica y con qu resultados y dificultades.

4.- Hiptesis de trabajo

Como ya se dijo en la introduccin, (pp.7) este trabajo persigue como objetivos: 1. Realizar un anlisis comparativo de experiencias de evaluacin de impacto de programas de capacitacin de recursos humanos de larga duracin106 en los sectores pblico y privado. 2. Elaborar una metodologa de evaluacin de impacto de la capacitacin de larga duracin a partir del anlisis y reformulacin de datos primarios recabados, no procesados. Las razones que disparan el inters en la indagacin sobre las prcticas de evaluacin de impacto y en la propuesta de una nueva metodologa, se asientan en investigaciones anteriores 107 realizadas sobre experiencias de evaluacin de impacto de capacitacin corta, donde ya se pudo observar que si bien esta tcnica de evaluacin es recomendada por los expertos y reclamada por los capacitadores como una herramienta til, no constituye una prctica generalizada. Al revisar los obstculos que se presentan en la evaluacin de impacto en capacitacin108 surgen algunas hiptesis que explican las dificultades que encuentran los capacitadores al abordar la tcnica de evaluacin de impacto. Estas consideraciones estn referidas a las condiciones que posibilitan o facilitan la aplicacin de estas tcnicas de evaluacin que pueden ser agrupadas en: condiciones metodolgicas, condiciones estructurales u organizacionales y condiciones pedaggicas. Si bien cada una de estas condiciones se superponen y complementan en la prctica cotidiana y
105 106

Escudero op.cit. Ver, nota al pie n. 8 pp. 7. 107 RUTTY, M. G. Proyecto de Investigacin "Prcticas de Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". CONICET. Noviembre de 2000 108 RUTTY, M: G. "Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". UBA. FCE. IIA. Centro de Investigaciones en Administracin Pblica. Doc. de trabajo N 3. Ao II, Vol. II, N 1 - 1er. semestre de 2002 51

constituyen aspectos de un mismo problema se presentan a continuacin en forma separada: Las condiciones metodolgicas: La aplicacin de la tcnica de evaluacin de impacto aparece como metodolgicamente complicada de por s, requiere de personal capacitado y con tiempo disponible para dedicarse a esta tarea, lo cual no siempre es posible en "los tiempos de la gestin". No obstante, a pesar de la inexistencia de condiciones ideales, este tipo de evaluacin es realizable. Es necesario contar con indicadores de productividad, los que no siempre estn definidos en las organizaciones privadas y an ms difcilmente en el sector pblico. Sin un registro de la productividad en el trabajo, o de un sistema de evaluacin de desempeo especfico del personal, se hace muy difcil poder determinar los beneficios que la capacitacin genera para la organizacin (al menos en los trminos que estipulan los autores especialmente de orientacin cuantitativa). Y an es ms infrecuente la realizacin de anlisis costo beneficio. La traduccin de los efectos de la capacitacin en la organizacin en trminos econmicos implica un esfuerzo adicional que las organizaciones no realizan o les resulta muy costoso realizar. Con lo cual el desafo consiste en encontrar alternativas metodolgicas que sean viables de aplicar, como es el caso del empleo de un enfoque mixto o mltiple. Condiciones organizacionales o estructurales La aplicacin con xito de la evaluacin de impacto requiere de la existencia de ciertos requisitos estructurales o de organizacin. Estos requisitos preexistentes no se refieren solamente a la existencia de un departamento especfico de capacitacin o de personal afectado especialmente a la tarea, sino, adems, a la existencia de una vinculacin muy aceitada entra la lnea y el rea de capacitacin. La definicin de los indicadores que luego sern usados para la observacin del impacto de la capacitacin en el trabajo supone un trabajo realizado en conjunto del sector de capacitacin con las reas de trabajo. La contribucin que realiza el sector de capacitacin debe resultar de inters a los jefes, que deben proveer de un tiempo adicional para facilitar la aplicacin de las herramientas para relevar la informacin necesaria para la evaluacin. Para la aplicacin de la evaluacin de impacto es necesario realizar un seguimiento de los capacitados meses despus de finalizada la capacitacin. Esto implica, por un lado, un grado ms de dificultad en la tarea del evaluador y en segundo lugar, la necesidad de contar con un compromiso muy estrecho entre el personal capacitador, el personal de "lnea" (los jefes), y el mismo capacitado. Para el capacitado esto implica el consentir en volver a someterse, fuera de las coordenadas del "aula", a un nuevo proceso de evaluacin. Condiciones pedaggicas referidas a la evaluacin Las condiciones pedaggicas que interesa destacar aqu son las referidas, dentro del encuadre didctico con el cual trabaja el sector de capacitacin, a la nocin de evaluacin que se adopta, a la significacin prctica que presenta la evaluacin para los
52

capacitadores (para qu se evala) y a los niveles de evaluacin que se decide implementar. Una de las condiciones facilitadoras para poder pensar en la realizacin de actividades de evaluacin de impacto es la existencia de un sistema formal de evaluacin previo que acompae todo el proceso de capacitacin. Esto supone, en primer lugar, la decisin de evaluar las actividades de capacitacin. En segundo lugar, idealmente se precisan al menos dos instancias de evaluacin, una antes de realizar el curso de capacitacin y otra meses despus, de manera de poder registrar los cambios producidos en el trabajo y en las nuevas habilidades del sujeto que se capacita. Aunque es posible trabajar slo con diseos de evaluacin posteriores, algunos autores sostienen que los resultados obtenidos sern menos vlidos que la informacin que se obtiene de la otra forma. En tercer lugar, tambin se requiere de una ajustada articulacin entre lo que se mide en cada una de las instancias de evaluacin, con vistas a la evaluacin de impacto, de manera de encontrar las causas de las modificaciones que se producen el trabajo una vez concluida la capacitacin. Es decir, si se verifican mejoras o cambios en el trabajo pero no hay evaluacin de conocimientos al finalizar la capacitacin, no puede afirmarse que estas mejoras se deban a la capacitacin (pues en trminos exactos no se posee la informacin de si los alumnos han realizado los aprendizajes correspondientes). La informacin que se obtiene en cada uno de los niveles de evaluacin que realice la institucin, va a arrojar informacin de distinto tipo que sern un insumo de utilidad para analizar las relaciones que se establecen en la prctica entre la capacitacin y el trabajo. Parece ms sencillo poder organizar experiencias de evaluacin de impacto cuando el servicio de capacitacin ya tiene montado un sistema de evaluacin de sus actividades y donde el juicio sobre el impacto aparece como la profundizacin en la informacin que se obtiene a travs del esquema ya instituido de seguimiento de la capacitacin. No siempre las organizaciones cuentan con el conjunto de estas condiciones que favorecen la puesta en marcha de experiencias de evaluacin de impacto, a pesar de ello se tiene noticia que, tanto en el sector pblico como en el privado se han realizado o se realizan experiencias de evaluacin de impacto. Interesar indagar, como veremos en el capitulo siguiente, cmo lo hacen, con qu modelos trabajan y qu resultados obtienen.

5.- Metodologa
Esta tesis, entonces, abord la realizacin de dos tareas centrales. En primer lugar se realiz un relevamiento de campo en distintas organizaciones pblicas y privadas y en segundo lugar, el procesamiento de datos primarios ofrecidos por un organismo pblico de una experiencia no concluida de evaluacin de impacto como base para el diseo de una nueva metodologa. En cada caso se trabaj con tcnicas metodolgicas diferentes.

53

La unidad de anlisis principal de este estudio son las experiencias de evaluacin de impacto de las actividades de capacitacin de ms de 5 meses de duracin en el sector pblico y privado. El abordaje que se adopta para el diseo de investigacin es de tipo cualitativo y cuantitativo. Las fuentes de informacin son informantes claves, entre ellos, los encargados de rea de capacitacin y la documentacin relevada. Las tcnicas de recoleccin de datos empleadas fueron cuestionarios semiestructurados, entrevistas, relevamiento de documentacin. Se inici la bsqueda de centros de capacitacin que realizaran actividades de evaluacin de impacto, con la elaboracin de un listado de organizaciones que desarrollaran actividades de capacitacin de recursos humanos de ms de 5 meses de duracin, y se recopil la informacin sobre las experiencias. El listado de 46 organizaciones con el que se trabaj constituye una muestra intencional no probabilstica y por lo tanto no representativa de la poblacin en estudio, salvo de manera exploratoria. Esta lista se construy a partir de consultas a informantes claves, informacin de difusin general. Se realizaron aproximadamente 37 entrevistas con los responsables de los centros o las personas designadas a tal fin, 13 del sector pblico y 24 del privado (hubo 9 organizaciones que fueron descartadas porque no cubran los requisitos mnimos para integrar la muestra o por dificultad de acceso). Los representantes de las organizaciones del sector privado solicitaron guardar su identidad acogindose a las normas de confidencialidad estadstica La mayora de las organizaciones consultadas son de Capital Federal. En el sondeo previo se hallaron 28 organizaciones que realizaban evaluacin de sus experiencias de larga duracin. Una vez identificadas las organizaciones se disearon instrumentos de entrevista semiestructuradas con el objeto de relevar las caractersticas de los sistemas de capacitacin y evaluacin. Las variables principales que integran la matriz de anclaje son las siguientes:

MATRIZ DE ANCLAJE
Caractersticas de las organizaciones consultadas Caractersticas del centro de capacitacin Caractersticas del proceso de capacitacin Modalidades del proceso de evaluacin Sector y rama de la actividad, tamao. Recursos, articulacin entre el centro de capacitacin y la lnea. Motivos que originan la capacitacin, contenidos de la capacitacin, objetivos, modalidades de capacitacin, duracin, destinatarios. Tipos de evaluacin, grado de institucionalizacin
54

Caractersticas del proceso de evaluacin de impacto Estructuras y recursos Resultados de la evaluacin

de la evaluacin. Objetivos de la evaluacin, metodologas que se emplean en la evaluacin; enfoque, indicadores, instrumentos, momento de evaluacin. Disponibles para el trabajo de evaluar. Resultados obtenidos, dificultades, usuarios de la informacin, utilidad del proceso de evaluacin de impacto.

En el anexo (pp. 192) se presenta la matriz de anclaje completa que sirvi de gua en este estudio y los instrumentos que fueron de orientacin en las entrevistas realizadas.

5.1. Anlisis comparativo de experiencias de evaluacin de impacto

El anlisis comparativo de experiencias se orden en tres partes. La primera consisti en una descripcin general de todas las organizaciones estudiadas, la segunda una descripcin en profundidad de cada uno de los casos de evaluacin de impacto, y la tercera un anlisis exhaustivo de ciertos atributos con el objeto de aislar modos de evaluar el impacto de la capacitacin. El procesamiento de la informacin obtenida en el relevamiento se realiz desde un abordaje predominantemente cualitativo, aunque se hicieron algunos tratamientos de la informacin de tipo cuantitativo para permitir una aproximacin ms adecuada al fenmeno de estudio109. Los datos generales referidos al encuadre organizacional, tipo de capacitacin desarrolladas, tipos de evaluacin e institucionalizacin de las prcticas de evaluacin recibieron tratamiento cuantitativo y son analizados como datos de contexto o marco de los casos detectados de evaluacin de impacto de la formacin de largo plazo. En la segunda parte, la descripcin profunda de cada uno de los casos de evaluacin de impacto se realiz de acuerdo al mtodo del estudio de casos 110 incorporando un barrido de todas las dimensiones comprendidas en la matriz de anclaje e informacin adicional con el objeto de comprender cada caso en particular en su contexto especfico. (El desarrollo de cada uno de los casos se presenta en el apndice, pp. 160) Para la tercera parte, tambin se trabaj exclusivamente con las organizaciones que evalan el impacto y se aplic el mtodo comparativo, tomando slo algunas de las variables principales de la matriz de anclaje, con el objeto de aislar modos de hacer o tipos de evaluacin de impacto. Para construir los modos de hacer se recurre al anlisis tipolgico que consiste en dividir todo lo que se observa en grupos o categoras sobre la base de alguna regla de descomposicin de los fenmenos. La tipologa se construye a partir de caracterizar la realidad (objeto de estudio) segn una serie de propiedades que se combinan.111. Estos
109

GALLART, M.: La integracin de mtodos y la metodologa cualitativa .una reflexin desde la prctica de la investigacin en Forni, F. et al "Mtodos cualitativos II. La prctica de la investigacin" Centro Editor de Amrica Latina. Buenos Aires. 110 J. Sntesis realizada del libro de R. E. Stake : The art of case study research. Seminario de Metodologa Cualitatitva. CEIL, 1997 55

modos de hacer o tipos no es ms que darle un nombre a montn de elementos 112 de manera que todos los elementos vayan juntos en alguna frecuencia. Estos modos de hacer los combinamos en atributos de tipos. Becker113 seala al menos dos interesantes ventajas de la utilizacin del mtodo comparativo. En primer lugar que si bien el fin del anlisis tipolgico de los datos es construir la realidad de un escenario concreto de investigacin, tiene como ventajas que estas tipologas pueden ser desarrolladas por un investigador y adoptadas posteriormente por otro. En segundo lugar, el anlisis tipolgico junto con otros mtodos comparativos114 permite ver que a todos objetos se les puede asignar un valor en alguna de sus caractersticas y este valor puede ser cero (0) an mismo. El no tener un atributo forma parte tambin de la descripcin de ese objeto. De esta manera podemos conocer rasgos de los objetos que nunca hubiramos visto antes de compararlos con otros. En el caso de este estudio, se utiliza el enfoque comparativo para hallar similitudes y diferencias entre los casos. La intencin no es buscar relaciones causales como lo hace Ragin115 con el uso de las tablas de verdad, ni alcanzar generalizaciones, si no algn tipo de recurrencia en la combinacin de algunos atributos con vistas a observar distintos "modos de hacer" de los actores.

5.2. Elaboracin de metodologa de evaluacin de impacto

En el transcurso del relevamiento de campo se hall una experiencia en marcha en el Instituto Nacional de Tecnologa Agropecuaria. Esta experiencia consista en la aplicacin de una encuesta de evaluacin de impacto a los tcnicos del INTA que haban concluido actividades de capacitacin, en su mayora de posgrado, como parte de un Programa de Capacitacin de tcnicos en el exterior. Como este proceso haba sido interrumpido por razones externas al programa, la institucin ofreci esos datos para su procesamiento en el marco de esta investigacin. Sobre estos datos se elabor una nueva propuesta metodolgica de evaluacin de impacto sobre base emprica. La elaboracin de una metodologa consiste al menos en la consideracin de tres aspectos: a.- definicin un abordaje de trabajo lo que incluye la definicin de lo que se entiende por evaluacin de impacto b.- seleccin de instrumentos, actores involucrados y mtodos de bsqueda de informacin c.- definicin de los aspectos sobre los que se busca informacin. En este caso se parti de una definicin transitoria, se analiz el material provisto por el organismo con el objeto de la elaborar instrumentos de evaluacin expost, sobre datos primarios no procesados (no relevados por quien escribe).
111

Las tipologas se pueden disear a partir de un marco terico o conjunto de proposiciones o bien de forma ms mundana., desde las concepciones del sentido comn (Becker). 112 Becker, H. Trics Of the trade. How to think about your research while youre doing it. 113 Becker, op.cit 114 Becker menciona la induccin analtica y el anlisis comparativo de la diversidad segn el enfoque de Ragin 115 RAGIN, C. Constructing social research. The unity diversity of method Pine Forge Press. London. 56

Para el desarrollo de esta parte del trabajo se mantuvieron entrevistas con el personal del Departamento de Recursos Humanos del INTA, a cargo del Programa de Seguimiento de la Capacitacin en el Exterior. En un primer anlisis de la encuesta y los datos obtenidos se observ la existencia de ciertas debilidades metodolgicas que impiden obtener los resultados esperados con la aplicacin de la encuesta. Estas dificultades se encontraron en la aplicacin del instrumento, en la cantidad de respuestas obtenidas y otros referidos a su diseo. Estos factores reducen considerablemente la cantidad de informacin que se obtiene. Estas dificultades indicaron que para obtener informacin que pudiera dar cuenta del impacto de la capacitacin recibida, era necesario emplear en su procesamiento alguna tcnica metodolgica que permita organizar la informacin obtenida no cindose al dispositivo original de la encuesta, sin contar con la posibilidad de volver al campo para obtener nueva informacin. La metodologa de trabajar sobre datos recabados por otros, encuentra sus antecedentes en trabajos como los de Geert Hofstede116, que a partir de una investigacin realizada entre directivos de IBM de todo el mundo, sobre ms 116.000 cuestionarios, elabor un modelo de cuatro dimensiones de cultura organizacional, de base emprica, que es de referencia obligada para los estudiosos de este campo. La investigacin de IBM fue realizada por motivos internos de la corporacin, distintos del estudio de la cultura organizacional. El autor tom esa base para el estudio de la cultura, utilizando la tcnica que denomina arqueologa de datos. La arqueologa de datos consiste en excavar en una base de datos existente en busca de informacin, sin posibilidad de aadir preguntas no incluidas en el formulario original. En este caso de la encuesta del INTA, en primer lugar se proces las encuestas y luego se aplic la tcnica de la arqueologa de datos con el objeto de elaborar una metodologa de evaluacin de impacto sobre la base de datos reales. La tcnica se orienta a rastrear en el discurso de los encuestados (preguntas abiertas y cerradas) indicios de transferencia e impacto. A partir del procesamiento y anlisis de los datos obtenidos en las encuestas, y se realiz el ajuste o reformulacin de los instrumentos empleados por el INTA

116

HOFSTEDE, G. "Cultures Consequence. Comparing Values, Behaviors, Institutions and Organizations Across Nations. Sage Publications, Thousand Oaks, CA, 2001 57

B.ANLISIS COMPARATIVO DE EXPERIENCIAS DE EVALUACIN DE IMPACTO

1.-Introduccin
En esta parte B, se presenta el anlisis de 9 experiencias de evaluacin de impacto obtenidas en la consulta realizada sobre la base de 46 organizaciones pblicas y privadas conformada a travs de informantes claves. Luego, utilizando el anlisis tipolgico, se comparan estas experiencias para extraer tipos o modos de hacer al evaluar el impacto de la capacitacin operantes en la prctica. Para hallar estas 9 experiencias se entrevist a los encargados de las reas de capacitacin de la base de organizaciones, para obtener informacin sobre las formas en que evaluaban sus actividades de capacitacin larga. Si bien, el anlisis luego se concentrar en estas 9 experiencias, no se descarta la informacin obtenida sobre el resto pues resulta valiosa de por s. Se presenta entonces, un repertorio clasificado de organizaciones que realizan experiencias de capacitacin de larga duracin (ms de 5 meses), considerando sus modalidades y las tcnicas empleadas para evaluarlas. Esta informacin permite obtener un panorama general del contexto en el cual se practica la evaluacin de impacto, para poder comparar las organizaciones que evalan el impacto de las que no lo hacen, es decir, qu tipo de organizaciones son, a qu se dedican, con qu recursos se cuenta, a qu tipo actividades de capacitacin se aplica, en el concierto de qu prcticas de evaluacin que son de uso comn, y qu dificultades encuentran. Esta seccin comienza con una caracterizacin general de todas las organizaciones consultadas (lugar, sector de la actividad, tamao) para luego, realizar un anlisis en relacin con el tipo de experiencias de capacitacin desarrollada (larga duracin o corta duracin), la modalidad que adoptan (externa o interna), el tipo de contenidos que abordan, si evalan sus actividades de capacitacin y con qu la metodologa. Antes de iniciar con el anlisis tipolgico de las 9 experiencias se explora sobre las condiciones estructurales de la evaluacin de impacto y su vinculacin con la conformacin de una cultura de la evaluacin. Finalmente se presentan los tres modelos de evaluacin de impacto.

58

2.- Descripcin general de las organizaciones

Como se explic en la metodologa (pp. 53), la pregunta con que se inicia la bsqueda de experiencias de evaluacin de impacto en la muestra inicial de 47 organizaciones es 1. Si efectivamente realizaban actividades de capacitacin de larga duracin de sus agentes y. 2. la modalidad a travs de la cual capacitan a sus agentes Despus del primer sondeo hubo organizaciones que fueron descartadas porque no cubran los requisitos mnimos para integrar la muestra, o por dificultad de acceso. En el presente apartado se describen 37 de las organizaciones consultadas, segn su ubicacin geogrfica, tamao y sector de la actividad sobre la cual se realiza el primer relevamiento. Luego, en los apartados siguientes, se describen las actividades de capacitacin que realizan las organizaciones, sus modalidades y prcticas de evaluacin a los efectos de obtener un panorama general del contexto en el cual se practica la evaluacin de impacto, es decir, con qu recursos se cuenta, a qu tipo actividades de capacitacin se aplica, en el concierto de qu prcticas de evaluacin, con qu frecuencia, de qu manera, con qu instrumentos, con cules resultados y qu dificultades.

2.1.-Lugar
La mayora de las organizaciones consultadas (30) pertenecen a Capital Federal, 5 son de la Provincia de Bs. As. y 2 de Santa Fe.
1. Organizaciones segn lugar y tipo
ORGANIZACIONES SEGUN LUGAR Y TIPO

LUGAR

CAPITAL FEDERAL PROVINCIA DE BUENOS AIRES ROSARIO SANTA FE

TIPO DE INSTITUCION PRIVADO PBLICO 12 18 1 4 1 1 24

Total 30 5 1 1 37

Total

13

59

2.2.- Sector de Actividad

Las 37 organizaciones pertenecen 12 al mbito pblico y 24 al privado 117. Las 12 organizaciones pblicas se inscriben en la Administracin Pblica central y descentralizada, las privadas integran distintos sectores y ramas de actividad productiva. Para definir el tipo de actividades a las que se dedican las empresas se tom la clasificacin que utiliza el INDEC para la realizacin del Censo Econmico118., agrupndolas en las organizaciones en las categoras descriptas por el Organismo en: Industria Manufacturera, Sector Comercio, Servicios, Extraccin de petrleo y gas, Suministro de electricidad, gas y agua, Actividades de Intermediacin Financiera y Administracin pblica. La mitad de las organizaciones privadas se encuadran en la industria manufacturera, el resto son 4 del sector de extraccin de petrleo y gas, 1 de suministro de energa, 2 del sector comercio y 5 del suministro de electricidad, gas y agua. Dentro de la industria manufacturera, compuesta por aquellas empresas que transforman fsica o qumicamente los materiales y componentes en productos nuevos119, las organizaciones encuestadas pertenecen: 1 a la fabricacin de automotores, otra a la de equipos electrnicos, 2 de alimentos y bebidas, 1 de maquinarias y aparatos elctricos, 1 de autopartes, productos minerales no metlicos, 3 sustancias qumicas, 2 industrias bsicas del hierro y acero.(Ver cuadro n 2) Se encuestaron dos establecimientos del sector comercio120. Del sector servicios, que comprenden una variada gama de actividades realizadas para las empresas, las personas o la comunidad en su conjunto121, se encuest una universidad pblica. Del sector de extraccin de petrleo y gas,122 se consult a 4 organizaciones. Del sector de suministro de electricidad, gas y agua,123 2 empresas se dedican a la distribucin de energa elctrica, 2 a la distribucin de agua y 1 a la distribucin de gas. Del sector de Intermediacin financiera124 la organizacin encuestada es un banco. Finalmente, en el sector de Administracin Pblica que incluye las organizaciones de administracin del estado, aplicacin de polticas econmica y social a la comunidad, la prestacin de
117

Como se dijo en el apartado de metodologa, (pp. 53 ) debido a que las organizaciones privadas solicitaron preservar su identidad a partir de ahora se har referencia a ellas con un seudnimo. En el cuadro resumen del apndice (pp 190) se puede consultar su caracterizacin por sector y actividad 118 El INDEC adopt para la realizacin del Censo Econmico de 1994 las ltimas recomendaciones internacionales para reflejar la estructura sectorial de la economa. 119 Incluyen las actividades de armado y montaje de componentes con exclusin de construccin, como por ejemplo la fabricacin de productos alimenticios, tabaco, textiles, de prendas de vestir, de artculos de madera, de derivados del petrleo, sustancias y productos qumicos, minerales, etc 120 se incluyen las actividades comerciales propiamente dichas y las de reparacin de vehculos, automotores, motocicletas, efectos personales y enseres domstico. 121 Incluye actividades como la de hoteles y restaurantes, transporte, inmobiliarias, enseanza, servicios sociales, etc 122 incluye a las organizaciones que se ocupan de la extraccin de petrleo y gas como a las actividades de servicios relacionados con el mismo 123 incluye a aquellas organizaciones que generan, captan y distribuyen la energa elctrica, fabrican el gas y lo distribuyen y captan, depuran y distribuyen el agua 124 est constituido por tres tipos de actividad: la intermediacin monetaria, la actividad aseguradora y las actividades auxiliares de la intermediacin financiera 60

servicios y actividades de planes de seguridad social, se entrevist a personal de los departamentos de capacitacin de los siguientes organismos oficiales: Ministerio de Educacin (Direccin Nacional de Gestin y Formacin Docente, Proyecto FORCIENCIA) Ministerio de Salud Instituto Nacional de Tecnologa Agropecuaria (INTA) Instituto Nacional de Tecnologa Industrial (INTI) Instituto Nacional de Administracin Pblica- Escuela de Gobierno (INAP) Instituto de Servicio Exterior de la Nacin (ISEN) Instituto Nacional de Estadsticas y Censos (INDEC) Procuracin del Tesoro de la Nacin- Escuela de Abogados de la Nacin (ECAE) Ministerio de Economa, Programa de Economistas de Gobierno (EXSIGEP) Servicio Nacional de Sanidad Animal (SENASA) Departamento Pedaggico de la Facultad de Ciencias Econmicas. (UBA) Administracin Federal de Ingresos Pblicos (AFIP)
2. Organizaciones segn sector de actividad Recuento
TIPO DE INSTITUCION PBLICO PRIVADO SECTOR DE ACTIVIDADES INDUSTRIA MANUFACTURERA COMERCIO POR MAYOR Y MENOR SERVICIOS EXTRACCION DE PETROLEO Y GAS INERMEDIACION FINANCIERA SUMINISTRO DE ELECTRICIDAD GAS Y AGUA ADMINISTRACION PUBLICA 12 2 1 4 1 5 12 13 24 Total 12 2 1 4 1 5 12 37

Total

2.3 Tamao
El objetivo de incluir esta variable se vincula con dos razones. La primera de ellas es que el tamao de la organizacin es una primera aproximacin que sirve para describir a la misma. Si bien el tamao no fue uno de los criterios empleados en la seleccin de la muestra, ya que esta se trata de una muestra no intencional cuyo criterio de inclusin fue el que desarrollaran actividades de formacin de larga duracin, s es un criterio explicativo en relacin con las actividades de evaluacin de la capacitacin desarrolladas. Esto se vincula con la nocin previa de que las organizaciones con muy bajo nmero de empleados no tienen reas especficas de capacitacin, ni desarrollaran una prctica compleja de evaluacin en capacitacin, como lo es la evaluacin de impacto. Se parte del supuesto de que una de las condiciones previas para la ocurrencia
61

de las mismas es que las organizaciones dispusieran de personal con disponibilidad de tiempos y recursos suficientes para dedicarse a estas prcticas. El tamao de una organizacin no es una dimensin fcilmente definible segn Guiot 125 , y dentro de las distintas maneras de definirlo, la ms corriente es a travs del nmero de sus miembros. En principio, a pesar de las dificultades que entraa este tipo de definicin sealada por el autor 126 , se tom el nmero de empleados como variable central para la definicin del tamao de la organizacin. De acuerdo con el criterio de personal ocupado, la empresa puede ser pequea, mediana o grande. Una empresa pequea es aquella que posee menos de 250 empleados; una mediana es la que tiene de 250 a 1000 empleados; una grande es aquella que est integrada por ms de 1000 empleados 127 Las 24 organizaciones del sector privado fueron agrupadas en cuatro categoras segn tamao: menos de 1000 empleados, entre 1000 y 3000, entre 3001 y 6000 y ms de 6000. La mayora de las organizaciones entrevistadas son de gran tamao, es decir aproximadamente el 70 % de las organizaciones tienen ms de 1000 empleados, el resto, las 7 organizaciones de menos de 1000 empleados, son medianas y poseen entre 220 y 750 empleados. En el cuadro que sigue a continuacin se presenta como se distribuyen las empresas en funcin de las categoras definidas.
3. Cantidad de empleados por sector de actividad128
CANTIDAD DE EMPLEADOS MENOS DE 1000 SECTOR DE ACTIVIDADES INDUSTRIA MANUFACTURERA COMERCIO POR MAYOR Y MENOR EXTRACCION DE PETROLEO Y GAS INERMEDIACION FINANCIERA SUMINISTRO DE ELECTRICIDAD GAS Y AGUA TOTAL 1 7 6 ENTRE 1000 Y 3000 5 ENTRE 3001 Y 6000 1 1 2 1 1 9 3 7 1 2 1 MAS DE 6000 TOTAL 12 2 4 1 5 24

125 126

GUIOT, J "Organizaciones sociales y comportamientos" Ed. Barcelona, 1985. El primer problema que aparece es quienes son considerados miembros de la organizacin, el segundo, la adscripcin de los miembros a distintos grupos dentro de la organizacin 127 SANTOS HERNNDEZ, A. La empresa Fundamentos de Administracin. Universidad Autnoma del Estado de Hidalgo, Mxico, Noviembre-2001.(http://somnus1654.webcindario.com/index.htm)
128

Se presenta solo el sector privado por no contar con informacin fehaciente del sector pblico..
62

3.- Capacitacin
Todas las organizaciones entrevistadas desarrollan algn tipo de actividad de capacitacin. En este apartado se realiza una caracterizacin de las actividades de capacitacin desarrolladas por las organizaciones consultadas, en funcin de la duracin de las actividades, su modalidad, los destinatarios de las mismas, si la capacitacin est a cargo de las mismas organizaciones o participan otras instituciones en el desarrollo de las mismas.

3.1.- Clase de capacitacin segn la duracin

Para caracterizar el tipo de capacitacin segn la duracin se agrupan las mismas en dos categoras, capacitacin corta y de largo duracin. La capacitacin corta se refiere a todas aquellas experiencias de capacitacin breves, entre las cuales se encuentran jornadas o cursos hasta de 3 meses de duracin o menos. La capacitacin de larga duracin se refiere, como ya se dijo, a aquellas experiencias de ms de 5 meses de duracin. En este tipo de capacitacin supone un esfuerzo sostenido y sistemtico de capacitacin, tanto por parte de los destinatarios de las acciones como por parte de la organizacin, que dispone a ese efecto una gran cantidad de tiempo y recursos.
4. Organizaciones publicas y privadas segn tipo de capacitacin corta o larga
Recuento REALIZAN ADEMAS CAPACITACION LARGA SI NO 12 1 21 3 33 4

REALIZAN CAPACITACION CORTA TIPO DE INSTITUCION Total PBLICO PRIVADO

Total 13 24 37

Se observ que de las 37 organizaciones consultadas, 33 desarrollaban o haban desarrollado experiencias de capacitacin de larga duracin, 12 del sector pblico y 21 del sector privado. (cuadro n 4)

3-2.-Tipos de capacitacin larga

Se encontr que las experiencias de capacitacin de larga duracin podan ser externas o internas y de distintos tipos: programas de capacitacin externos en universidades, programas de capacitacin interna desarrolladas por las mismas instituciones y tambin experiencias como pasantas de trabajo en las mismas organizaciones o en otras (ver cuadro n 5)

63

5. Modalidad de capacitacin en las organizaciones segn pblico privado:

TIPO DE CURSO Especializaciones, Maestras, doctorados Desarrollo de carrera Cursos internos Otro tipo de cursos TOTAL RESPUESTAS PUBLICO 3 0 9 4 16 PRIVADO 14 9 9 5 35 TOTAL CASOS 17 9 18 9 53 % RTAS 32.1 17 34 17 % CASOS 51,5 27,3 54,5 27,3

N CASOS 12 21 33 Cada responderte puede desarrollar ms de un tipo de curso a la vez. En base a 33 casos, porcentajes y totales tomados sobre los respondientes y los casos.

Especializaciones, maestras y doctorados: Tres organizaciones del sector pblico y 14 del sector privado desarrollan programas externos de capacitacin en convenio con universidades o instituciones de formacin terciaria en el pas o el exterior enviando a sus empleados a realizar especializaciones, maestras y doctorados. Dentro del sector pblico algunas organizaciones como el INTI, el INTA y SENASA, con distinta magnitud y capacidad de financiamiento, poseen un sistema de becas para sus empleados para la realizacin de posgrados en universidades o instituciones argentinas y del exterior, con cobertura financiera parcial o total de los estudios. En el caso del sector privado en general estos programas estn en vinculacin con los planes de carrera o de desarrollo y estn dirigidos a los niveles gerenciales de la organizacin. En algunos casos el personal que se capacita debe continuar en sus puestos de trabajo.

Dentro de los cursos internos se presentan diversas modalidades segn los objetivos previstos y estructura de desarrollo de las experiencias de capacitacin, como por ejemplo, la formacin de cuerpos especficos, o la formacin de cuadros de reemplazo para cargos estratgicos. Los programas de desarrollo de carrera : esta modalidad de capacitacin se observ exclusivamente dentro del sector privado. El desarrollo de carrera es un proceso continuo por el cual los individuos progresan a travs de una serie de estadios, cada uno de los cuales es caracterizado por una relativa unidad de temas y tareas. Los planes de carrera son el resultado del proceso de planeamiento de actividades (experiencias de trabajo programadas, capacitacin, etc.) desarrolladas para un individuo en funcin de las habilidades requeridas para el desarrollo de su carrera 129 . Estos programas se plantean a partir de mecanismos como la identificacin de necesidades de capacitacin y la evaluacin de desempeo, donde se relevan
129

DESIMONE, R Y HARRIS, D. Human resource development. E.Duydenn Press, 1998. USA. 64

las distintas habilidades que debe desarrollar el personal. Luego se programa un plan de capacitacin a medida para esas personas acorde a sus necesidades y las necesidades de la organizacin de disponer de recursos de reemplazo para sus cuadros directivos. Es decir que estos planes obedecen al planeamiento que realizan ciertas organizaciones en relacin con su previsin futura de cuadros de reemplazo. Los cursos internos desarrollados por la organizacin. Estos programas, en el caso del sector pblico, estn destinados a la formacin de cuerpos especiales (9 casos), y en el sector privado son programas especficos de formacin para determinadas funciones (9 casos). En el caso del mbito pblico las organizaciones que trabajan en la formacin de cuerpos son el Instituto de Servicio Exterior de la Nacin (ISEN) que prepara el Cuerpo de Diplomticos de la Nacin, la Procuracin del Tesoro de la Nacin- Escuela de Abogados de la Nacin (ECAE), que forma el Cuerpo de Abogados Pblicos de la Nacin, el Programa de Economistas de Gobierno, dentro del Ministerio de Economa (hoy discontinuado), el Instituto Nacional de Administracin Pblica, con Programa de Agentes Gubernamentales (discontinuado), la Administracin Federal de Ingresos Pblicos (AFIP) con la Carrera de Administrador Tributario de la AFIP (discontinuada). Las caractersticas de la formacin recibida en estas organizaciones es suministrar una formacin similar a la de una especializacin o maestra, una formacin especfica para el desempeo de funciones en la Administracin Pblica. Poseen un programa especfico de estudio y un cuerpo de profesores especializados. En algunos casos una vez obtenido el ttulo se reinserta al egresado en el mismo organismo. En el caso del mbito privado, se observan experiencias de dos tipos, algunas especficas debido a la necesidad de dar respuestas a polticas de capacitacin particulares y otras ms estables como programas gerenciales destinados a la formacin de cuerpos directivos de la organizacin. Este ltimo tipo de experiencias es desarrollado por algunas de las empresas multinacionales del sector de industria manufacturera en el rubro automotriz y alimentos. Caso M (ver tabla, pp. 190), Caso K (pp. 186), y Caso D.(pp.170) Estos programas tienen una duracin aproximada de entre 6 meses y un ao o ms (en una de las empresas dura 3 aos) y se dicta slo en casa matriz o algunas de las sedes ms importantes de la empresa. Los temas en las experiencias mencionadas son de tipo gerenciales, donde adems de contenidos especficos de administracin se capacita al personal en la lnea poltica de la compaa en relacin con el manejo de sus recursos humanos, produccin y sus formas de funcionamiento. En una de las organizaciones del sector alimentos (Caso D, pp. 170), desarrollan dos actividades, una orientada a la formacin de instructores dentro del personal de la compaa y
65

la otra a la formacin de la fuerza de venta de la empresa a travs de un programa especfico de comercializacin. Dentro de la categora de otro tipo de cursos se incluy otras experiencias como la de capacitacin a travs de pasantas, cursos de idioma o el caso particular de las residencias mdicas en hospitales. Tanto en el sector pblico como en algunas empresas del privado se desarrollan planes orientados a la realizacin de experiencias en otras organizaciones, por ejemplo el INTI posee varios sistemas de pasantas de jvenes que se desempean tanto en los laboratorios del organismo como en otras empresas con las que se han desarrollado convenios. Esto se enmarca en el organismo como un sistema de capacitacin para el trabajo130. En el sector privado una empresa del sector petrleo, (Caso G, pp. 177), posee un programa de pasantas en vinculacin con universidades en las reas de ingeniera, y economa y tambin cursos de idioma en convenio, por ejemplo, como instituciones como el British Council.

3.3.- Contenidos, duracin y modalidad de la capacitacin larga

Se solicit a los entrevistados que relataran algunas de las principales actividades de capacitacin de larga duracin que se realizaba en el momento de la entrevista. La mayor parte de los cursos de larga duracin relevados tratan temas especficos en relacin con la tarea central de la organizacin, en segundo lugar se incluyen actividades de capacitacin en administracin. La duracin de los cursos vara entre cinco meses y tres aos, pero la mayora de las experiencias se agrupan en la categora de entre 5 meses y un ao (ver cuadro n 6).
6. Contenidos de algunos de los cursos de larga duracin por sector pblico o privado CURSOS POR SECTOR CONTENIDOS Especficos Administracin TOTAL
PUBLICO PRIVADO

TOTAL 18 12 34

13 1 14

9 11 20

Los cursos de larga duracin estn dirigidos en la mayora de los casos a los niveles superiores (78%) y medios (51 %) de la pirmide jerrquica de la organizacin, tanto en el mbito pblico y como en el privado. Es menor la cantidad de experiencias de capacitacin larga dirigidas a los sectores operativos. Hay casos en que los cursos se han orientado especficamente en el sector privado a la capacitacin de usuarios, como uno de los casos de una empresa distribuidora de bebidas del sector privado, en el que ofrecen tambin capacitacin a clientes a raz de un cambio en las caractersticas del producto. Este procedimiento se realiza aprovechando polticas de exencin impositiva para las organizaciones que ofrecen capacitacin a sus pblicos. En el sector pblico, los organismos como por ejemplo el INTA, el INTI, SENASA, y la procuracin Nacional del Tesoro incluyen dentro de sus funciones el
130

En el ao 2001 trabajaban en el INTI 21 becarios 66

desarrollo de actividades de capitacin tambin para personas externas a la organizacin.

7. Destinatarios segn tipo de institucin pblico-privado
NIVEL Nivel Gerencial Nivel Medio Nivel Operativo Todos los niveles Otros Destinatarios PUBLICO 6 8 0 3 3 PRIVADO 20 9 4 6 1 TOTAL 26 17 4 9 4 % RTAS 43.3 28.3 6.7 15 6.7 % CASOS 78,8 51,5 54,5 27,3 12,1

TOTAL RESPUESTAS 20 40 60 N CASOS 12 21 33 Cada responderte puede dirigir sus cursos a distintos niveles a la vez. En base a 33 casos, porcentajes y totales tomados de los respondientes y de los casos.

La mayora de los programas de capacitacin de largo plazo son presenciales (10 en el sector pblico y 21 en el privado) aunque se registran algunos casos de formacin a distancia y formacin en servicio. No existen grandes diferencias entre el mbito pblico y privado, salvo en el caso de la capacitacin en servicio que es privativo del sector privado En el caso de sector pblico no se registran actividades de formacin en servicio, salvo en el caso de las residencias mdicas, que puede pensarse como una modalidad especial de formacin en servicio.
8. Modalidad de capacitacin segn mbito pblico-privado
MODALIDAD Presencial A Distancia En Servicio TOTAL RESPUESTAS N CASOS PUBLICO 10 4 0 14 12 PRIVADO 21 2 5 28 21 TOTAL 31 6 5 42 33 % RTAS 73.8 14.3 11.9 % CASOS 93.9 18.2 15.2

Cada respondiente puede desarrollar ms de una modalidad Sobre 33 casos, porcentajes y totales tomados de los respondientes y casos.

3.4.- Organizaciones que participan en la capacitacin

En 24 de las organizaciones que realizan capacitacin de larga duracin, las actividades son desarrolladas por instituciones externas que en la mayora de los casos son universidades. En las organizaciones pblicas prcticamente la mitad de las actividades de capacitacin estn desarrolladas por el mismo organismo. Esto se debe a que son organizaciones creadas especficamente para capacitar cuadros, como por ejemplo el Instituto de Servicio Exterior de la Nacin (ISEN), o la Escuela de Gobierno del INAP, o la Escuela de Abogados de la Nacin (ECAE). En el caso de las organizaciones pblicas cuya funcin especfica no es la de formar, sino la gestin en las distintas ramas de gobierno, como el INTA,
67

SENASA, etc., en general mantienen convenios con otras organizaciones para la capacitacin de sus empleados.(ver cuadro n9)
9. Existencia de convenios con otras organizaciones para la formacin de larga duracin Recuento
TIPO DE INSTITUCION PBLICO PRIVADO 5 19 7 2 12 21 Total 24 9 33

FORMAN OTRAS ORGANIZACIONES Total

SI NO

Los tipos de instituciones a los que asiste el personal de organizaciones privadas son universidades argentinas o del exterior, o consultoras especializadas de acuerdo a la rama en la que se desempea la organizacin, como por ejemplo instituciones especializadas como el Instituto argentino del Petrleo y el Gas (IAPG). Tambin algunas organizaciones acuerdan la participacin de consultoras para armar planes de capacitacin o para participar en actividades de evaluacin como assesment center, donde se evalan las habilidades del personal en vistas al planeamiento de planes de carrera. (ver cuadro n 10)
10. Tipo de organizaciones que participan en la formacin
Recuento TIPO DE INSTITUCION PBLICO PRIVADO 2 11 1 7 3 5 19 Total 13 1 7 3 24

TIPO DE ORGANIZACIONES QUE PARTICIPAN EN LA FORMACION Total

UNIVERSIDADES CONSULTORAS UNIVERSIDADES Y CONSULTORAS OTRAS

68

4.-Evaluacin
En este apartado se describen las modalidades de evaluacin de la capacitacin de larga duracin desarrolladas por las distintas instituciones, considerando si evalan la capacitacin, qu niveles alcanzan al evaluar, si evalan todas las experiencias o slo algunas y con qu profundidad, las metodologas que emplean para evaluar, si evalan transferencia o impacto y qu tipo de metodologas emplean.

4.1.- Organizaciones que evalan su capacitacin de larga duracin

De las 33 organizaciones que realizan capacitacin larga slo 31 evalan de alguna forma sus actividades de capacitacin de larga duracin. Por dificultades de acceso a las reas de capacitacin, se estudian las caractersticas de las actividades de evaluacin de 28 organizaciones, 11 que pertenecen al mbito pblico y 17 al privado.

4.2-Modalidad de evaluacin de la capacitacin

Las organizaciones emplean distintas modalidades para evaluar sus experiencias de capacitacin de larga duracin. Lo hacen ayudndose con los sistemas de evaluacin ya existente en la institucin, a travs de credenciales expedidas por terceros, o a travs de mecanismos especialmente diseados con ese fin (cuadro n11). A continuacin se describen las modalidades observadas.
11. Organizaciones publicas y privadas segn metodologa de evaluacin
Recuento TIPO DE INSTITUCION PBLICO PRIVADO SEGUIMIENTO FORMAL 3 5 EVALUACION DE LOS 5 APRENDIZAJES SISTEMA DE EVALUACION DE 4 DESEMPEO EVALUACION 4 7 ESPECIFICA 12 16 Total 8 5 4 11 28

METODOLOGA DE LA EVALUACION LARGA

Total

a.-Seguimiento formal Se refiere a tomar como criterio de evaluacin las certificaciones formales que expiden las instituciones externas a la organizacin a la que concurren los empleados. Este sistema se emplea en el caso de las experiencias de formacin en universidades, como especializaciones, maestras y doctorados en el pas o en el exterior. Las organizaciones que envan a su personal a capacitarse realizan un seguimiento formal que consiste en las certificaciones de aprobacin de los cursos que emiten las instituciones formadoras. Realizan un seguimiento formal de la capacitacin de sus empleados 8 organizaciones, 5 privadas del sector manufacturero, de fabricacin de
69

automotores, de productos qumicos, y del sector gas y petrleo. (Caso N, Caso O, Caso P, Caso X, -ver tabla pp. 190, Caso J pp. 184). Dentro del mbito pblico, tres organizaciones, el INTI, SENASA y Salud utilizan esta modalidad. Se confa en la idoneidad de los centros de formacin que en general son de prestigio como pauta de calidad de la capacitacin recibida. b.-Evaluacin de los aprendizajes Esta modalidad consiste en evaluar los aprendizajes desarrollados por el personal que se capacita sin una referencia especfica a las modificaciones en el trabajo. Slo dentro del sector pblico, 5 organizaciones trabajan con este mtodo. Las organizaciones que trabajan con esta modalidad son aquellas que forman cuerpos especficos y desarrollan internamente sus cursos de formacin como por Ej., la Escuela de Gobierno de la Nacin (hoy discontinuada), el Ministerio de Educacin en la formacin de docentes, la Procuracin del Tesoro de la Nacin, el ISEN. En algunos casos se realiza un seguimiento que acompaa el proceso de evaluacin de los alumnos que en estas organizaciones est orientado a buscar informacin sobre las caractersticas de las actividades de enseanza y el desempeo de los docentes. Por ejemplo, en el ECAE que desarrolla el Curso Bsico de Abogaca del Estado, dirigido a abogados del Estado Nacional, que se dicta anualmente, se realiza un seguimiento peridico a travs de encuestas sobre el desempeo de los docentes, los materiales y el ambiente fsico. Informalmente se controla la carrera posterior de los egresados, su desempeo en concursos, y el ndice de litigiosidad, es decir de pleito perdido o pleito evitado. En el curso de la Escuela de Gobierno, del INAP se trabajaba con evaluacin por materias y se relevaba informacin sobre la adecuacin y cobertura de los contenidos de los programas, la cantidad de material de lectura, la utilidad de la dinmica de las clases y el desempeo de los docentes. c.-Sistema de evaluacin de desempeo: La evaluacin de desempeo es un proceso que permite evaluar el comportamiento de cada empleado en su trabajo. Los aspectos que incluye la evaluacin de desempeo son los logros, las competencias, conductas o valores. Dentro del mbito privado, 5 organizaciones evalan la capacitacin a travs del sistema de evaluacin de desempeo. En general se trata de cuestionarios estandarizados que se aplican una vez por ao a todo el personal. Los cuestionarios estn confeccionados sobre una serie de competencias o habilidades que deben desarrollar sus empleados previamente definidas por la organizacin y las acciones de capacitacin que se planifican anualmente en base a un relevamiento de necesidades de capacitacin que se desarrollan se ajustan a estas competencias. Este sistema es utilizado preferentemente por las organizaciones privadas. En las organizaciones pblicas, si bien existe el sistema de evaluacin de desempeo, en
70

general no se utiliza como insumo para este tipo de actividades de capacitacin. En el punto a del apartado 7.4 pp. 92 se profundiza la descripcin de esta forma de evaluacin, que en algunos casos se utiliza como mecanismo para evaluar el impacto de la capacitacin. d.-Evaluacin especfica En esta categora se consideran aquellas iniciativas de las organizaciones que indagan acerca de las transformaciones ocurridas en el trabajo de los capacitados ms all de las certificaciones formales obtenidas en los centros de capacitacin y el seguimiento de la performance de los cursos. Se registran 11 casos que emplean este tipo de evaluacin que pertenecen 4 al mbito pblico y 7 al privado. Por ejemplo, el Departamento Pedaggico de la Facultad de Ciencias Econmicas, desarrolla distintos cursos dirigidos a docentes, y que se dictan en las modalidades a distancia, cursos de grado y posgrado dentro del programa de formacin docente continua. Los temas que abarca la capacitacin son currculo y enseanza superior, estrategias de enseanza y aprendizaje, aportes de la nueva tecnologa, etc. Se evalan todas las actividades con el objeto de averiguar cmo estudian los alumnos, el desempeo de los tutores y el funcionamiento del entorno virtual empleado en el dictado de los cursos. Una de las actividades de evaluacin desarrolladas en el marco del programa de investigacin evaluativa del sistema a distancia se realiza a travs de una encuesta bsicamente orientada a obtener informacin sobre el desempeo del entorno informtico, que indaga sobre los beneficios del sistema a distancia, la adecuacin y comprensin de los contenidos, las formas empleadas para el estudio, la utilidad de las tutoras, el desempeo de los docentes y el control de los sistemas de comunicacin empleados en el proceso de enseanza. El INTA y la AFIP, desarrollan experiencias de evaluacin de impacto, que se describen en profundidad en el apartado 7.4 de la Parte C (pp. 92). Dentro del Sector privado (Caso I, pp. 183, Caso M, ver tabla pp. 190, Caso K, pp. 186, Caso C, pp. 167 , Caso U, ver tabla pp. 190, Caso B, pp. 162, Caso G, pp.177) 4 de las organizaciones realizan evaluacin de impacto de sus actividades de capacitacin, y las otras tres desarrollan experiencias de evaluacin de la efectividad que se describen en profundidad en las pginas siguientes y en la descripcin de cada caso en el apndice pp. 160 (en el que se describen en profundidad cada uno de los casos). En sntesis, de las 28 organizaciones estudiadas 8 realizan slo un seguimiento formal a travs de las acreditaciones de las instituciones externas que colaboran con la capacitacin, 5 evalan el aprendizaje a travs de dispositivos diseados con ese fin, 4 realizan control del funcionamiento de las actividades de capacitacin a travs del sistema de evaluacin de desempeo y 11 indagan sobre las transformaciones ocurridas en el entorno de trabajo a travs de distintos dispositivos. Dentro del grupo de organizaciones que realizan actividades de evaluacin especfica se encuentran experiencias de evaluacin de la efectividad
71

y evaluacin de impacto de la capacitacin. En el apartado siguiente se analizan los tres casos que evalan efectividad de la capacitacin de larga duracin y los nueve casos que evalan impacto.

72

5. Las organizaciones que trabajan con evaluacin de la efectividad y evaluacin de impacto en sus actividades de larga duracin 5.1- Evaluacin de la efectividad de la capacitacin de larga duracin
Con la evaluacin de la efectividad de la capacitacin se intenta obtener informacin acerca del proceso de transferencia de los conocimientos al puesto de trabajo (ver marco terico pp. 21) Hay acuerdo en los autores en que la evaluacin de la transferencia de los aprendizajes o evaluacin de la efectividad de la capacitacin, cuya denominacin vara de acuerdo con los abordajes, es un avance muy importante en la profundidad de la evaluacin que se lleva a cabo. De las 28 organizaciones que realizan algn tipo de seguimiento de sus actividades de formacin de largo aliento, 3 solo evalan la efectividad de la capacitacin, todas del sector privado. Estas empresas pertenecen a la industria manufacturera en el rubro electricidad (Caso U, ver tabla pp. 190), automotriz (Caso K, pp. 186) y el sector comercio( Caso M, ver tabla pp. 190) La empresa del sector comercio tiene una poltica de recursos humanos que valora intensamente la capacitacin y ha desarrollado una vinculacin importante entre el rea y la lnea. Desarrollan diversos programas de capacitacin de largo aliento e incluso un Master de la compaa que se cursa en el pas y en las sedes ms importantes de la empresa. Si bien no todas las actividades de capacitacin son evaluadas, se aplican pruebas a trmino dos semanas despus de finalizados los cursos de capacitacin que realiza la organizacin . Los resultados de la evaluacin son el insumo para el plan de accin de cada empleado, que es realizado por los jefes. La evaluacin se orienta a obtener informacin sobre la transferencia al puesto de trabajo de los aprendizajes realizados. Se utilizan diversos instrumentos para evaluar, entre los que se encuentran: entrevistas, planillas de observacin, o planillas de verificacin, entrevistas con especialistas. Tambin se utilizan como indicadores registros de gestin como por Ej.: stock, venta, accidentologa, quejas de clientes, entre otros. La otra empresa multinacional del sector manufacturero dedicada a la fabricacin de partes, piezas y accesorios para automotores, (Caso K, pp. 186) enva a sus agentes a cursar maestras en universidades y desarrolla tambin programas gerenciales largos de capacitacin para gerentes o para capacitadores realizados dentro de la empresa similares a especializaciones de 7 meses de duracin. Estos cursos en algunos casos se cursa en otras casas de la organizacin en el exterior. Esta organizacin no evala todas las experiencias de capacitacin, e integra estrategias como la evaluacin de desempeo, como insumo de aquellos cursos que no presentan indicadores objetivos para efectuar mediciones. La evaluacin est orientada a valorar la eficacia de la capacitacin, es decir la aplicacin de los conocimientos en el puesto de trabajo y si sta es efectiva, as como verificar su adecuacin al plan de accin y en caso de trabajar con servicios externos de capacitacin si el servicio es adecuado. Para relevar esta informacin se aplica una encuesta sencilla que recoge su opinin a veces sobre indicadores preestablecidos de
73

desempeo sobre la efectividad del entrenamiento. Se analiza la evolucin de estos indicadores a travs de la observacin de los jefes. La tercera multinacional, tambin dentro del sector manufacturero, del rubro maquinarias y aparatos elctricos, Caso U, ver tabla pp. 190 capacita a sus recursos humanos a travs de maestras en universidades o cursos de idioma vinculados en general a algunos intereses corporativos particulares o a planes de carrera de algunos agentes seleccionados. Se realizan experiencias de evaluacin de la efectividad de la capacitacin a travs de un seguimiento que realiza el jefe. En este breve formulario se indaga sobre el logro de los objetivos de la capacitacin, su aplicabilidad, si el agente ha mejorado la calidad de su rendimiento en el trabajo, si sugiri mejoras a raz de los aprendizajes realizados y si la capacitacin result adecuada para el desarrollo y crecimiento personal. Esta informacin se vuelca en una escala predeterminada de 1 a 5.

5.2..-Evaluacin del impacto de la capacitacin de larga duracin

De las 9 organizaciones que evalan el impacto de sus experiencias de capacitacin de larga duracin, 2 pertenecen al sector pblico y 7 al sector privado de distintas ramas de actividad, 3 de la industria manufacturera, 2 de extraccin de petrleo y gas, 2 de suministro de energa y electricidad. Dentro de la industria manufacturera, se dedican a la produccin de alimentos y bebidas, de minerales no metlicos y de aparatos elctricos (cuadro 12).
12. Organizaciones que evalan impacto segn tipo de actividad y sector pblico /privado. Recuento
TIPO DE INSTITUCION PBLICO PRIVADO SECTOR DE ACTIVIDADES INDUSTRIA MANUFACTURERA EXTRACCION DE PETROLEO Y GAS SUMINISTRO DE ELECTRICIDAD GAS Y AGUA ADMINISTRACION PUBLICA 3 2 2 2 2 7 Total 3 2 2 2 9

Total

En relacin con los datos estructurales de estas organizaciones que evalan el impacto, se observa que la mayora son de gran tamao (ms de 1000 empleados) y 2 son medianas (400 y 600 empleados) . (cuadro 13)
13. Organizaciones que evalan el impacto segn tamao y sector
Recuento CANTIDAD DE EMPLEADOS MENOS ENTRE ENTRE DE 1000 1000 Y 3000 3001 Y 6000 2 2 3 2 2 3 4
74

Total 2 7 9

TIPO DE INSTITUCION Total

PBLICO PRIVADO

Todas poseen un centro de capacitacin que en 4 de los casos es el responsable del diseo de los aspectos a evaluar en las experiencias de evaluacin, en 2 de los casos esta tarea la realizan en acuerdo con la lnea, en 3, los aspectos a evaluar estn predefinidos por el sector de recursos humanos y en 1caso por una consultora externa. La mayora de las organizaciones del sector privado que evalan el impacto presentan las relaciones tericas ms bajas de cantidad de personal de la organizacin y miembros del servicio de capacitacin, en relacin con el resto de las organizaciones que no evalan el impacto. De acuerdo con los datos disponibles el promedio general de relacin cantidad de empleados y capacitadores se ubica por encima de 1 capacitador cada 700 personas, pero las organizaciones que desarrollan las prcticas de evaluacin de impacto se ubican por debajo del mismo, es decir, de aproximadamente 1 capacitador cada 550 empleados. Sin embargo hay que tener en cuenta que estas relaciones son variables, que no todas las organizaciones consultadas posean al momento del desarrollo de estas actividades la misma cantidad de personal, o que alguna incluso cont para el trabajo con personal externo. Las experiencias de evaluacin de impacto se aplican tanto a la evaluacin de cursos internos como externos, tanto con contenidos tcnicos especficos del organismo como con cursos de gestin. En 7 de los casos se evalan cursos internos, en 3 se evalan los desarrollos de carrera y en un caso el programa de capacitacin en el exterior a travs de especializaciones, maestras y doctorados.(ver cuadro 14)
14. Tipo de cursos en el que se evala el impacto
CASO Especializaciones, maestras , doctorados Desarrollo de carrera Cursos internos X X X X X X X X X Otro tipo de cursos X X X

Caso A Caso B Caso C Caso D Caso E Caso F Caso G Caso H Caso I

En la mayora de los casos las experiencias evaluadas son presenciales y dirigidas en lneas generales a mandos medios o gerenciales o tcnicos especializados como el caso del INTA y AFIP. La duracin aproximada de estas experiencias es variable segn los casos y van de 5 meses y hasta dos o ms aos. Las experiencias analizadas son en algunos casos desarrolladas por el organismo como por ejemplo el caso de la AFIP que evala la carrera de administrador tributario entre otras actividades, o realizadas en el exterior a cargo de
75

universidades con las cuales las organizaciones desarrollan convenios como es el caso del INTA.
15. Caractersticas generales de las experiencias en las que se evala el impacto
Caso Denominacin de la Modalidad de experiencia experiencia Curso de Presencial/ a administrador distancia tributario Todos los cursos del Presencial rea Escuela de negocios Presencial gerencial Desarrollo de carrera Presencial Especializaciones, maestras doctorados Desarrollos de carrera Directivos Desarrollos de carrera Programa intensivo de direccin de empresas Presencial Presencial Presencial Presencial Presencial Destinatarios Niveles medios Medios y gerenciales Gerenciales Gerenciales Niveles medios y gerenciales (Tcnicos) Gerenciales Gerenciales Niveles medios y gerenciales Gerenciales 2 aos 2 a 4 aos 6 meses 5 meses 1 ao 160 hs. Consultora Universidades o centros de formacin Consultora Universidades nacionales, extranjeras y entidades Duracin 4 o 5 aos 5 meses Participan otras organizaciones

Caso A Caso B Caso C Caso D Caso E

Caso F Caso G Caso H Caso I

Todos los entrevistados de los centros de capacitacin expresaron sus inters acerca de este tipo de prcticas y sealaron (tanto los que han desarrollado experiencias de evaluacin de impacto como los que an no lo han hecho) los principales problemas que presenta su aplicacin, que se agrupan en cuatro cuestiones. 1.- Dificultad de medir apropiadamente el impacto de la capacitacin realizada a travs de indicadores cualitativos. Se observa que resulta muy difcil encontrar parmetros objetivos de medicin del impacto del aprendizaje en la organizacin que puedan dar cuenta de los beneficios generados. Los esfuerzos encaminados en este sentido, dicen, se encuentran teidos por la subjetividad de los evaluadores. 2.- El peso de los elementos de contexto , ya sea provenientes del negocio particular al que se dedica la institucin o las alternativas del entorno poltico o econmico en el que se inserta la organizacin. La multiplicidad de variables intervinientes desvirta cualquier esfuerzo de evaluacin del impacto. 3.- Uno de los sealamientos generalizados es que ni los encargados de capacitacin, ni el personal de lnea, disponen de tiempo para realizar la evaluacin, o incluso para procesar luego los datos recabados. 4.- Finalmente en repetidas oportunidades los capacitadores declaran que hace falta instalar una cultura de la evaluacin en las instituciones, de manera de lograr una mayor
76

predisposicin en los participantes (capacitados y jefes) a someterse a la evaluacin. Los motivos que posibilitan esta actitud debern ser que la evaluacin es considerada valiosa, lo que justificara el esfuerzo de realizar una autocrtica del trabajo realizado. En sntesis, las experiencias de evaluacin de impacto se desarrollan en organizaciones que se dedican a diferentes ramas de la produccin, tanto del mbito pblico como privado. La evaluacin se aplica tanto a cursos con distinto tipo modalidades y contenidos, destinados en su mayora a niveles gerenciales o medios. Un dato importante a considerar es que la mayora de las organizaciones son grandes en relacin con la cantidad de personal y disponen de recursos humanos dedicados a tareas de capacitacin. En el apartado siguiente se explora las condiciones estructurales y los hbitos de evaluacin de las organizaciones estudiadas en relacin con las prcticas de evaluacin de impacto.

77

6.-Las condiciones estructurales de la evaluacin de impacto

Una de las ideas con la que se inici este trabajo es que para el desarrollo de prcticas de evaluacin de impacto es necesario que las organizaciones cuenten previamente con ciertas condiciones131 que facilitan la aplicacin de estas tcnicas. Pareciera ms sencillo instalar prcticas de evaluacin de impacto cuando el servicio de capacitacin ya tiene montado un sistema de evaluacin de sus actividades y donde el juicio sobre el impacto aparece como la profundizacin en la informacin que se obtiene a travs del esquema ya instituido de seguimiento de la capacitacin. Muchos de los autores y entrevistados denominan a estas condiciones como cultura de la evaluacin o la institucionalizacin de la evaluacin cuando la evaluacin opera como una prctica habitual en el cotidiano de las instituciones. Se entendern algunos aspectos de los sistemas de evaluacin puestos en prctica, como uno de los rasgos culturales ms visibles de acuerdo con la tipologa de Schein132 para explorar en qu medida la evaluacin de impacto se lleva a cabo en organizaciones que han desarrollado una considerable institucionalizacin de sus prcticas de evaluacin y cmo opera esto en vistas a la instalacin de una cultura de la evaluacin. Si nos remitimos al concepto de cultura organizacional, Schein explica que el nivel ms visible de la cultura es el de las creaciones y artefactos, que incluye el entorno fsico y social de las organizaciones. La estructura, los sistemas formales, las metas proclamadas, etc., son todos "artefactos culturales" que portan un significado visible pero que no es fcilmente aprehensible133. La institucionalizacin ser entendida entonces en el sentido limitado de artefacto cultural en sus niveles ms visibles134. En una primera aproximacin para estudiar el grado de institucionalizacin de las practicas de evaluacin, podemos analizar a) la amplitud de la aplicacin de la evaluacin y b) la profundidad que se alcanza en el nivel de evaluacin. a.- La amplitud de aplicacin de la evaluacin se refiere a los hbitos de evaluacin que desarrolla la organizacin en relacin con su generalidad de aplicacin. Es decir, si
131

Se tomaron para este estudio tres tipos de condiciones: condiciones organizacionales, metodolgicas y pedaggicas, ver punto.4.- Hiptesis de trabajo, pp. 51. 132 SCHEIN, op.cit. 133 Schein, op. cit. explica que descifrar los significados que portan los artefactos culturales no es una tarea sencilla.Los datos superficiales pueden ser obviamente, del todo precisos. Pero hasta que no llegamos a lo profundo, simplemente ignoramos si lo que hemos observado no es ms que una manifestacin superficial o una caracterstica de la forma en que los miembros de la empresa quieren que los percibamos, o si acaso refleja esquemas ms profundos del grupo..Las esencias culturales solo pueden extraerse a travs de un esfuerzo conjunto de observadores y partcipes hasta lograr que se vuelva patente aquello que corrientemente queda desgajado de la conciencia 134 Fernndez de Ruiz, explica que el concepto de institucionalizacin presenta distintos significados a saber: a.institucin como establecimiento alude a una organizacin con una funcin especializada, b.- institucin como regularidad social expresada en normas que pauta el comportamiento de individuos y grupos. c.-Institucin ligado a los significados y alude a la existencia de un mundo simblico en conciente e inconsciente que orienta al sujeto para comprender la realidad social. Fernndez de Ruiz, Lidia El anlisis de lo institucional en la escuela. Un aporte a la formacin autogestionaria para el uso de los enfoque institucionales. Notas tericas. Paidos, Buenos Aires 1998pp 13 16. ) 78

la organizacin evala sistemticamente todas las actividades de evaluacin que desarrolla en su rea, tanto la capacitacin corta como la capacitacin de largo aliento, o si solo evala algunas actividades de capacitacin. Se pudo observar que en 23 de las organizaciones pblicas y privadas que evalan la capacitacin a largo plazo, todas las actividades de capacitacin reciben algn tipo de evaluacin..
16. Actividades de capacitacin que son evaluadas
Recuento TIPO DE INSTITUCION PBLICO PRIVADO AMPLITUD DE LA EVALUACION TODAS LAS ACTIVIDADES DE CAPACITACION SON EVALUADAS ALGUNAS DE LAS ACTIVIDADES DE CAPACITACION SON EVALUADAS 10 13 Total 23

2 12

3 16

5 28

Total

Las razones que acompaan la decisin de no evaluar todos los casos son que los cursos llamados "subjetivos" por los entrevistados, es decir, aquellos cursos que estn orientados al desarrollo de actitudes, no se pueden evaluar. b.-La profundidad que se alcanza en el nivel de evaluacin, alude a los objetivos perseguidos por la evaluacin. En el difundido esquema de Kirkpatrick se desarrollan cuatro niveles de evaluacin135. 1. 2. 3. 4. Opinin del participante (Reaction) Evaluacin de los aprendizajes realizados (Learning) Evaluacin del desempeo o conducta aprendida (Behavior) Evaluacin de los resultados (Results)136

Se observ que la mayora trabaja con evaluacin de la opinin en todas sus actividades de capacitacin, sobre 28 casos, 86% trabaja con opinin, 60 % con aprendizaje, el 50% con transferencia y 32 % evala impacto.

17. Profundidad de la Evaluacin

PROFUNDIDAD
135 136

Kirkpatrick, D. "Evaluation training programs. The four levels". Berret-Koehler Publishers. San Francisco, 1998. En el primer nivel de evaluacin (opinin) se busca informacin sobre la satisfaccin del alumno acerca del curso recibido. En el segundo nivel (evaluacin del aprendizaje) se indaga en qu medida se aprendieron los conocimientos impartidos en el curso. En el tercer nivel (evaluacin del desempeo) se intenta obtener informacin acerca del proceso de transferencia de los conocimientos al puesto de trabajo. En el cuarto nivel (la evaluacin de resultados) se analiza impacto que la capacitacin tiene en la organizacin. Es decir qu beneficios ha generado la capacitacin en trminos del producto del trabajo de los capacitados. Kirkpatrick, op. cit. 79

RESPUESTAS Opinin 24 37,5 17 Aprendizaje 26,6 Transferencia 14 21,9 9 Impacto 14,1 TOTAL 64 100 Cada respondierte tiene ms de una opcin de respuesta

CASOS 85,7 60,7 50,0 32,1 228,6

De los 24 que trabajan con encuestas de opinin slo 6 lo hacen exclusivamente, el resto trabaja con ms niveles de evaluacin. La mayora (22 casos) recogen informacin acerca de los aprendizajes realizados o las transformaciones que la capacitacin genera en el trabajo. Casi todos los que utilizan la evaluacin de impacto adems realizan otro tipo de evaluaciones en su capacitacin en general.
18. Profundidad en el nivel de evaluacin segn tipo de institucin
Recuento TIPO DE INSTITUCION PBLICO PRIVADO 4 2 4 2 1 3 6 3 2 1 12 16 Total 6 7 8 4 2 1 28

ALCANCE DE LA SOLO OPINION EVALUACION DOS NIVELES DE EVALUACION TRES NIVELES DE EVALUACION TODOS LOS NIVELES SOLO TRANSFERENCIA O IMPACTO SOLO APRENDIZAJE Total

Se construyeron en base a criterios propios tres categoras que se definen de la siguiente manera: a.-la profundidad del empleo de las tcnicas de evaluacin ser baja si slo se evala a travs de la opinin de los participantes, b.-la profundidad ser media si se evala el aprendizaje, c.- la profundidad ser alta si se evala la transferencia y el impacto. De las 28 organizaciones estudiadas, prcticamente la mitad (15) trabajan con gran profundidad en la evaluacin de sus actividades de capacitacin en general. Es decir desarrollan experiencias de evaluacin de transferencia de los aprendizajes e impacto. Estas organizaciones pertenecen 4 al sector pblico y 11 al sector privado. Con el cruce de estos dos aspectos y dispuestos en un cuadro de doble entrada se obtiene las siguientes categoras como se observa en el cuadro n19.
19. Amplitud y profundidad de las actividades de evaluacin
80

Profundidad en el uso de niveles de evaluacin de las actividades Amplitud de la aplicacin de las tcnicas de evaluacin PUNTUAL GENERAL A PA GA M PM GM B PB GB

De esta forma se obtienen 6 tipos de prcticas de evaluacin. : PA: se evalan puntualmente algunas actividades pero son evaluadas en mucha profundidad (transferencia o impacto. GA: se evalan sistemticamente todas las actividades de capacitacin en gran profundidad (transferencia o impacto) PM: se evalan algunas actividades de capacitacin y la evaluacin se realiza con nivel un de profundidad medio (opinin y conocimientos) GM: se realizan evaluacin de todas las actividades y en nivel medio de profundidad (opinin y aprendizaje) PB: se evalan slo algunas actividades y slo con encuestas de opinin GB: se evalan todas las actividades pero se releva slo la opinin de los cursantes. Los datos obtenidos a travs de las entrevistas arrojan la siguiente distribucin segn las categoras mencionadas, como se observa en el cuadro 2 (quedan categoras vacas como profundidad media y algunas actividades de capacitacin):
20. Grado de institucionalizacin de las prcticas de evaluacin segn tipo de institucin pblica o privada.
INSTITUCIONALIZACION DE LAS PRACTICAS DE EVALUACION Alto alcance y alta profundidad Alto alcance y mediana profundidad Alto alcance y baja profundidad Bajo alcance y alta profundidad Bajo alcance y baja profundidad TOTAL TIPO DE ORGANIZACIN PUBLICO PRIVADO 4 8 4 3 2 2 3 2 12 16 TOTAL 12 7 4 3 2 28

De las 28 organizaciones que realizan capacitacin de larga duracin y evalan sus actividades de capacitacin, 12 presentan un alto grado de institucionalizacin, 7 evalan toda su capacitacin empleando evaluacin de los aprendizajes y cuestionarios de opinin, 4 evalan toda su capacitacin pero averiguando slo por la opinin de los participantes, 3 evalan slo algunas actividades de capacitacin y considerando su transferencia o impacto, y 2 evalan algunas actividades y lo hacen slo con cuestionarios de opinin.
21. Organizaciones que evalan impacto segn grado de institucionalizacin
81

Recuento EVALUAN IMPACTO SI NO INSTITUCIONALIZACION alto alcance y alta profundidad alto alcance y mediana profundidad alto alcance y baja profundidad bajo alcance y alta profundidad bajo alcance y baja profundidad 8 1 4 6 4 3 2 9 19 Total 12 7 4 3 2 28

Total

A travs de la observacin de los datos, pareciera que la presencia de un alto grado de institucionalizacin fuera un requisito previo para la implementacin de evaluaciones que indaguen sobre los resultados, ya que todas las organizaciones que evalan impacto (menos una) presentan un alto grado de institucionalizacin (cuadro n 21). En las otras organizaciones en las que se observa un grado ms moderado o bajo de institucionalizacin de la evaluacin, no se evala el impacto de la formacin. En sntesis, el anlisis de las caractersticas estructurales y de las prcticas de evaluacin aparece como un dato importante para explicar en alguna medida la ocurrencia de la evaluacin de impacto. Es lgico pensar que un ambiente predispuesto estructuralmente y culturalmente para la evaluacin en general, da lugar ms fcilmente al ejercicio de estas tcnicas. Y pareciera que es a partir de su aplicacin y la generacin beneficios para las organizaciones, que las personas pueden ir construyendo un sentido distinto para la evaluacin. Se requiere entonces, por un lado, de un alto grado de institucionalizacin, donde la evaluacin sea practicada de forma no rutinaria para que la construccin de sentido opere en la direccin deseada. Por otro lado, para asegurar buenos resultados se precisa pertinencia, viabilidad y rigor metodolgico de los abordajes empleados, en atencin a las caractersticas de la enseanza y las variables de contexto. En el captulo siguiente se explora la forma de trabajo de cada uno de los casos explorando con mayor profundidad sus enfoques metodolgicos.

82

7.- Hacia la identificacin de modos de hacer a travs del anlisis comparativo 7.1.-Aplicacin del anlisis comparativo a los casos, definicin de los atributos relevantes
Hasta aqu se ha desarrollado una caracterizacin general de las organizaciones y sus modalidades de trabajo de capacitacin y evaluacin. A continuacin, antes de detenernos en las peculiaridades de cada caso, se caracterizar en forma agrupada distintos modos de hacer de los actores. La descripcin en profundidad de cada uno de los casos estudiados se presenta en el apndice ( pp. 160). Para construir modos de hacer o tipos de evaluacin de impacto, como se explic en el apartado de metodologa (ver pp. 53), se recurre al anlisis tipolgico que consiste en dividir todo lo que se observa en grupos o categoras sobre la base de alguna regla de descomposicin de los fenmenos. Se seleccionaron algunas de las variables de la descripcin analtica de los casos, contenidas en la matriz de anclaje de este trabajo, consideradas como las ms relevantes para el anlisis de similitudes y diferencias. Al principio de este estudio, la primera discriminacin se aplic al grupo que evala el impacto del que no, pero luego, fueron apareciendo otras dimensiones a analizar ya que los que evalan o dicen evaluar el impacto no lo hacen de la misma manera. Es por eso que algunas de las variables fueron definidas al principio del estudio y otras se generaron en el proceso de recoleccin de los datos. Los atributos sealados fueron clasificados en a. datos de contexto organizativo, b. enfoque de referencia conceptual y metodolgico, c. abordaje cualitativo o cuantitativo, d. especificidad de las prcticas de evaluacin, e. instrumentos empleados para relevar la informacin, f. procedimientos de tratamiento de los datos, g. frecuencia de la aplicacin de la tcnica de evaluacin de impacto y h. extensin de los procesos de evaluacin.. La lista de aspectos sealados y sus especificaciones se presenta a continuacin, con el objeto de analizar luego la presencia o ausencia de estos atributos en cada uno de los casos. a.-Datos de contexto organizativo Algunos de los elementos del encuadre organizacional de los centros de capacitacin parecen estar asociados a la aplicacin de la evaluacin de impacto. Una de las hiptesis de este trabajo es que la aplicacin con xito de la evaluacin de impacto requiere de la existencia de ciertos requisitos estructurales o de organizacin y de un encuadre didctico de evaluacin instituido (condiciones estructurales y pedaggicas, pp. 51). El sentido comn indica que las organizaciones grandes que cuentan con infraestructura, recursos disponibles y adems con una alta institucionalizacin de las prcticas de evaluacin podrn ms fcilmente evaluar el impacto de sus actividades de
83

capacitacin. La institucionalizacin ha sido definida en este estudio (pp. 78) como la profundidad y amplitud de las prcticas de evaluacin, es decir, como una forma de instalacin en la cultura de la organizacin. Para este punto consideramos entonces en forma conjunta, el tamao, disponibilidad de recursos, y en qu medida la evaluacin forma parte como prctica habitual de la organizacin.
1-Son organizaciones de gran tamao. 2.-Cuentan con infraestructura. 3-Tienen una alta institucionalizacin de las prcticas de evaluacin.

b.-Enfoques de referencia conceptual y metodolgica El tema de evaluacin de impacto ha sido desarrollado por distintos enfoques. Como se dijo en el Cap.1 (ver pp. 16) en principio podemos encontrar dos grandes lneas claramente diferenciadas que realizan aportes sobre el tema de evaluacin de impacto de la capacitacin. La primera, proveniente del rea de las ciencias sociales, es la de evaluacin de proyectos y programas sociales que se nutre de la literatura clsica en evaluacin. Otra lnea que podemos caracterizar como HRD, ms orientada organizaciones privadas, e influida por los autores del new management, que se ocupan del conjunto de actividades sistemticas y planificadas para proveer a los miembros de la organizacin de las habilidades necesarias para cumplir con las demandas actuales y futuras de sus puestos de trabajo.
1.-Enfoque HRD 2.-Enfoque proveniente de las ciencias sociales y evaluacin de proyectos socioeducativos.

c.-Abordaje cualitativo o cuantitativo Una de las preocupaciones centrales en relacin con el procedimiento metodolgico de la evaluacin de impacto remite, como ya se dijo (pp. 13) a una discusin terica (ya saldada), entre mtodos cualitativos y cuantitativos. En el tema de evaluacin de impacto esta discusin se presenta a la hora de comprobar relaciones causales entre capacitacin y provecho para la institucin. Esta discusin ancla, en realidad en un debate ms profundo sobre lo que se considera ciencia. Interesa, no obstante, analizar cmo esto se traduce en la prctica. Para muchos de los autores (pp.23) la informacin sobre la evaluacin ser objetiva si se presenta en indicadores numricos, lo que luego permitir traducirla en valores monetarios, Sin embargo, estos indicadores no siempre pueden ser construidos o es muy difcil hacerlo. Para otros autores la validez de la informacin slo se asegura si sta se obtiene a travs del empleo de tcnicas experimentales. El tipo de abordaje va a definir las tcnicas utilizadas en los procedimientos de evaluacin, como por ejemplo el uso de grupos testigos de comparacin (metodologa experimental), o la triangulacin metodolgica. Luego en el anlisis y procesamiento de la informacin obtenida se proceder a la comparacin con estndares definidos por la organizacin, o con experiencias anteriores, o slo con referencia a las metas y objetivos de la capacitacin.
84

Tambin define la traduccin de los datos en valores monetarios a travs del empleo de tcnicas como retorno de la inversin. Los aspectos que se tomaron en cuenta para la comparacin son:
1.-Emplean abordaje cualitativo en la definicin de variables y recoleccin de la informacin.2 2.-Emplean abordaje cuantitativo en la definicin de variables y recoleccin de la informacin. 3.-Emplean abordaje mixto en la definicin de variables y recoleccin de la informacin 4.-Utilizan grupos testigos 5.-Utilizan triangulacin metodolgica 6.-La informacin obtenida es comparada con estndares especficos prediseados 7.-Traducen la informacin obtenida en valores monetarios 8.-Realizan estudios de retorno de la inversin

d.-Especificidad de la evaluacin Algunas organizaciones evalan el impacto empleando una metodologa especialmente desarrollada a los efectos de su evaluacin. Es decir, el diseo de un encuadre con la definicin de dimensiones a evaluar, una serie procedimientos establecidos para la obtencin de los datos, dispositivos diseados especialmente con el objetivo de evaluar el impacto de las actividades especficas de capacitacin en la tarea de los empleados. Otras organizaciones aprovechan los dispositivos existentes en la organizacin diseados para otros propsitos, pero que son relativamente adaptables a los fines de evaluar la capacitacin.
.--Utilizan tcnicas especficas o diseadas especialmente para relevar el impacto de las actividades de capacitacin.

e.-Instrumentos de relevamiento de la informacin Los instrumentos recomendados por los expertos para obtener informacin son variables, como por ejemplo; escalas estandarizadas de medicin de desempeo en el trabajo, seguimiento de los participantes por un determinado tiempo una vez finalizada la capacitacin a travs de encuestas, entrevistas, observacin, confeccin de reportes personales o de supervisores, evaluacin de desempeo.
1.-Relevan la informacin a travs de tcnicas de observacin pautada 2.-Relevan la informacin a travs de cuestionarios 3.-En combinacin de instrumentos

f. Periodicidad: Se refiere a si las organizaciones evalan el impacto como una prctica habitual o peridica, o contingente, es decir si todas las actividades de capacitacin son sometidas a evaluacin de impacto o se indican slo para algunas actividades. A veces las organizaciones que evalan el impacto no lo hacen corrientemente sino para una actividad en especial por el inters que sta representa para la organizacin. En otros casos se ha tratado de estudios piloto y se ha realizado con personal interno o especialmente contratado a tal fin. Y en algunos casos son experiencias puntuales que no se vuelven a repetir.
85

Si todas las actividades de capacitacin o su mayora son evaluadas en su impacto siempre y no slo ocasionalmente
- Si aplican la evaluacin de impacto con frecuencia en todas sus experiencias de capacitacin o solo puntualmente.

g.-Extensin de los procesos de evaluacin La extensin de los procesos va a estar definida por varios motivos. En primer lugar por el tipo de metodologa (cualitativa-cuantitativa) de recoleccin de la informacin empleada y la capacidad o disponibilidad de tiempo de la organizacin par el trabajo con los datos. Esta disponibilidad de tiempo est referida no slo al tiempo que se requiere para la elaboracin de los instrumentos sino tambin para el procesamiento. La tendencia en las organizaciones que trabajan con procesos cortos es utilizar mecanismos, (instrumentos y procedimientos de recoleccin de informacin muy sencillos, planillas de pocos tem y procedimientos que involucren el compromiso de pocas personas). Las modalidades de evaluacin de impacto sern clasificados en procesos cortos y extensos.
1.- Procesos de evaluacin cortos 2.- Procesos de evaluacin extensos
Atributos para la Comparacin de Experiencias de Evaluacin de Impacto 1-Son organizaciones de gran tamao. 2.-Cuentan con infraestructura. 3-Tienen una alta institucionalizacin de las prcticas de evaluacin. 4.-Enfoque HRD 5.-Enfoque proveniente de las ciencias sociales y evaluacin de proyectos socioeducativos. 6.-Emplean abordaje cualitativo en la definicin de variables y recoleccin de la informacin 7.-Emplean abordaje cuantitativo en la definicin de variables y recoleccin de la informacin 8.-Emplean abordaje mixto en la definicin de variables y recoleccin de la informacin 9.-Utilizan grupos testigos 10.-Utilizan triangulacin metodolgica 11.-La informacin obtenida es comparada con estndares especficos prediseados 12.-Traducen la informacin obtenida en valores monetarios 13.-Realizan estudios de retorno de la inversin 14.-Utilizan tcnicas especficas o diseadas especialmente para relevar el impacto de las actividades de capacitacin. 15.-Relevan la informacin a travs de tcnicas de observacin pautada 16.-Relevan la informacin a travs de cuestionarios 17.-En combinacin de instrumentos 18.- Si aplican la evaluacin de impacto con frecuencia en todas sus experiencias de capacitacin o slo puntualmente 19.- Procesos de evaluacin cortos 20 Procesos de evaluacin extensos

De acuerdo con Ragin137 el objeto del anlisis comparativo es la bsqueda de similitudes y diferencias entre los casos y la bsqueda de configuraciones. La configuracin es una especfica combinacin de atributos que es comn a un nmero de casos. Se busca uniformidad dentro de la categora y contraste entre
137

Ragin, C. op.cit. 86

categoras. Utiliza el mtodo comparativo con foco en la diversidad, buscando la combinacin de condiciones (causas) que distinguen categoras de casos. 138 Para ello emplea como recurso las tablas de verdad, donde lista los casos y atributos en una nueva matriz. A continuacin se utiliza este mtodo de disponer los casos y sus atributos en una matriz, pero sin la intencin de buscar relaciones causales, como haca Ragin, sino slo a los efectos de resaltar a simple vista las similitudes y diferencias entre cada uno de los nueve casos. La informacin obtenida se orden en un cuadro de doble entrada disponiendo las variables en el eje de las y, y los casos en el eje de las x, tomando los valores de presencia o ausencia de la variable que se enuncia: Si: 1 No: 0, como se observa en el cuadro 22.
22. Matriz de descripcin analtica de los casos segn los atributos seleccionados
ATRIBUTOS
ORGANIZACIONESGRANDES INFRAESTRUCTURA INSTITUCIONALIZADA PRACTICA

OBSERVACION PAUTADA

METODO ESPECIFICO

METODOS MIXTOS

TRADUCCION EN $

A. CUANTITATIVO

E. CS. SOCIALES

TRIANGULACION

A. CUALITATIVO

ENFOQUE HRD

PERIODICIDAD

ESTANDARES

G. CONTROL

ENCUESTAS

CORTOS 0 1 1 1 0 1 1 1 1

A. MIXTO

A B C D E F G H I

1 1 1 1 1 1 1 0 1

1 1 0 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1

0 1 1 1 0 1 1 1 1

1 0 0 0 1 0 0 0 0

1 0 1 1 1 1 1 1 1

0 0 0 0 0 0 0 0 0

0 1 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0

1 0 0 0 1 0 0 1 0

0 1 0 1 0 0 0 1 0

0 1 0 0 0 0 0 0 0

1 1 1 0 1 0 1 0 1

0 1 0 0 0 1 1 1 0

1 1 1 1 1 1 1 1 1

1 1 1 0 0 1 1 1 1

1 1 0 1 0 1 0 1 0

7.2.-Las similitudes
Se observan una serie de aspectos comunes a todos los casos en relacin con los datos de contexto, los abordajes metodolgicos (cualitativos o cuantitativos) y los instrumentos empleados: a.-Datos de contexto organizacional Como se observa en el cuadro 22, y coincidentemente con lo que se viene desarrollando en el captulo anterior (pp. 78), las organizaciones que evalan el impacto de sus actividades de capacitacin poseen gran tamao, disponen de infraestructura adecuada y demuestran un alto grado de institucionalizacin de la evaluacin. Esto se aplica tanto a organizaciones pblicas como privadas. Slo uno de los casos, una de las organizaciones del sector privado (Caso C, pp. 167), no
138

El autor realiza un anlisis causal de condiciones que provean la ocurrencia del fenmeno de estudio. 87

LARGOS

CASOS

1 0 0 0 1 0 0 0 0

posee infraestructura adecuada, pero en el momento que realizaban las prcticas de evaluar el impacto s la posean. Las organizaciones que evalan impacto pueden caracterizarse como medianas o grandes teniendo en cuenta la cantidad de empleados que poseen. Se distribuyen uniformemente entre menos de 1000 y 6000 empleados. Debe tenerse en cuenta que las 24 organizaciones del sector privado que fueron tomadas para este estudio tambin son grandes o medianas, pero que el tamao no fue el criterio de seleccin de la base de instituciones. Es decir, aparece como una caracterstica adicional cuando se indaga sobre instituciones que desarrollen estas prcticas de evaluacin.
23. Organizaciones que evalan el impacto segn tamao Statistics
CANTIDAD DE EMPLEADOS MENOS DE ENTRE 1000 ENTRE 3001 1000 Y 3000 Y 6000 TIPO DE INSTITUCIONPBLICO 2 PRIVADO Total 2 2 3 3 2 4 Total 2 7 9

Los datos de infraestructura que han sido tomados son: si cuentan con un departamento de capacitacin o un rea especfica dentro de recursos humanos para atender las actividades de capacitacin y qu cantidad de personal disponen para atender las tareas de capacitacin. Como se observ en el captulo 5 (pp. 73), las 9 instituciones que evalan impacto cuentan con departamento dedicado a la capacitacin. Si comparamos con el resto de las 28 organizaciones que evalan su capacitacin larga, 24 tienen rea especfica de capacitacin y entre stas se encuentran las 9 que evalan el impacto. Por otro lado, se observ en lneas generales, a travs de las entrevistas, que las 6 organizaciones del sector privado que evalan impacto se ubican en la relacin ms alta de personal de capacitacin y empleados a atender (1 a 500 ), en contraste con las otras organizaciones. b.-Abordaje cualitativo o cuantitativo Ninguna de las organizaciones emplea exclusivamente modelos cuantitativos para evaluar el impacto, as como tampoco tcnicas de tipo experimentales con el uso de grupos testigos, estrategias recomendadas por algunos de los autores de la lnea tradicional en evaluacin, como procedimiento metodolgico ptimo para analizar relaciones causales. En general emplean tcnicas cualitativas y si pueden incluyen algn tratamiento cuantitativo de los datos, que se refiere bsicamente a la traduccin en nmeros, e incluso en trminos de moneda de la informacin que se obtiene a travs de encuestas y observacin como en el caso (Caso B, pp. 162), que se ver ms adelante.

24. Enfoque de la evaluacin de impacto

88

Recuento TIPO DE INSTITUCION PBLICO PRIVADO 4 2 2 3 7 Total 4 5 9

ENFOQUE DE EVALUACION DE IMPACTO Total

CUALITATIVOS MIXTOS

Las nueve instituciones que evalan impacto utilizan y combinan distintos instrumentos de relevamiento de la informacin, en general en forma combinada, a saber: observacin de los jefes, encuestas, entrevistas y en algunos casos la aplicacin de dispositivos de relevamiento de informacin ms complejos como el focus group. Salvo en dos de los casos, uno del sector pblico y otro del privado, se trabaja especficamente con encuestas. Estos datos son coincidentes con una encuesta realizada por ASTD139. La tcnica de focus group consiste en un pequeo grupo de discusin conducido por un facilitador experimentado. Est destinado a solicitar juicios cualitativos sobre un asunto especfico previamente planificado. Esta experiencia es particularmente til para obtener informacin cualitativa sobre un programa de capacitacin140
25. Instrumentos de relevamiento de la informacin en la evaluacin de impacto
Recuento TIPO DE INSTITUCION PBLICO PRIVADO 1 1 1 2 5 1 7 Total 2 6 1 9

INSTRUMENTO DE EVALUACION DE IMPACTO Total

ENCUESTAS COMBINACION DE INSTRUMENTOS OTROS

Las diferencias en este punto entre los casos son la utilizacin de estndares en la comparacin, la traduccin en valores monetarios y los estudios de retorno de la inversin, como se ver ms adelante. En sntesis, a travs del anlisis comparativo se observan algunas caractersticas y formas de hacer similares en las nueve organizaciones en relacin con las situaciones de contexto de los centros de capacitacin, como el tamao de la organizacin, la disponibilidad de recursos, los hbitos establecidos de evaluacin, los abordajes metodolgicos y los instrumentos elegidos para recabar informacin. A continuacin se examinan las diferencias

139

American Training and development Association (ASTD) "National Human Resources Development Executive Survey" Fourth Quarter Survey Report, 1997 140 PHILLIPS. J. Handbook of training evaluation and measurement methods Gulf Publishing Company, Texas,1997. 89

En esta fase del anlisis sistemtico de similitudes y diferencias se ponen entre parntesis los elementos comunes, concentrndonos en las diferencias con el objeto de obtener patrones de funcionamiento. Se seleccionan de este grupo los atributos que resultan ms significativos, tanto conceptualmente como por su relevancia en el nmero de casos que registra. Se toma en el anlisis las siguientes variables como se observa en el cuadro n 26 que se presenta seguidamente: 1.-Especificidad de la evaluacin 2.- Periodicidad 3.-Marco de referencia conceptual 4.-Uso de criterios y estndares predefinidos 5.-Extensin del proceso de evaluacin
26. Atributos ms significativos en la descripcin de los casos
ATRIBUTOS
E. CS. SOCIALES ENFOQUE HRD PERIODICIDAD ESTANDARES METODO ESPECIFICO CORTOS LARGOS CASOS

A B C D E F G H I

0 1 1 1 0 1 1 1 1

1 0 0 0 1 0 0 0 0

0 1 0 1 0 0 0 1 0

1 1 1 0 1 0 1 0 1

1 1 0 1 0 1 0 1 0

1 0 0 0 1 0 0 0 0

0 1 1 1 0 1 1 1 1

7.3.-Las diferencias
a.-Marco de referencia conceptual y metodolgico: Slo 2 de las organizaciones, el caso A y E ambas del sector pblico, utilizan para evaluar el impacto modelos referenciales provenientes de las ciencias sociales. Desarrollan instrumentos complejos para el relevamiento de gran cantidad de informacin, incluyen en sus procedimientos tcnicas de investigacin como triangulacin de observadores. Las otras organizaciones utilizan los modelos referenciales del HRD. Los instrumentos que utilizan se caracterizan por su simplicidad. Los procesos de evaluacin en general cuentan solamente con la observacin pautada de los jefes como dispositivo de recoleccin de la informacin. b.-Especificidad de la evaluacin:. Seis de las organizaciones emplean instrumentos especialmente diseados para evaluar la capacitacin (casos A, B, C, E, G, I). Las otras tres (casos D, F y J) trabajan con
90

mtodos e instrumentos no construidos especficamente para evaluar la capacitacin, utilizan para evaluar el impacto la informacin proveniente de los mecanismos de evaluacin de desempeo ya instalados en la organizacin. c- Periodicidad: Un dato que parece interesante y que divide por la mitad la distribucin, es la periodicidad de la evaluacin. Es decir si es una actividad habitual o si se realiza solamente en algunas oportunidades. Por ejemplo, se registran algunas experiencias donde slo se ha evaluado el impacto en una oportunidad con la participacin de una consultora, o experiencias que fueron implementadas por un tiempo y luego se discontinuaron por su dificultad de aplicacin, o escasez de recursos humanos para llevarlas adelante. Estas diferencias en relacin con el hbito de aplicacin de la evaluacin no estn asociadas ni con el tipo de organizacin (pblica o privada), ni otros de los aspectos que caracterizan al grupo estudiado, salvo quizs, la especificidad del encuadre. En todas las organizaciones que trabajan con la modalidad HRD utilizan el esquema de la evaluacin de desempeo, esto es, una medida indirecta pero que asegura la evaluacin de impacto como una rutina ms de la organizacin.
27. Periodicidad de la evaluacin de impacto
Recuento LA EXPERIENCIA DE EVALUACION DE IMPACTO ES PUNTUAL U OPERA EN LA ACTUALIDAD OPERA EN LA PUNTUAL REALIDAD PBLICO 1 1 PRIVADO 3 4 4 5

Total 2 7 9

TIPO DE INSTITUCION Total

Con lo cual puede decirse, si pensamos en trminos estrictos, que en la mayora de los casos no se utiliza la aplicacin de evaluacin de impacto en forma directa, como prctica corriente en las organizaciones, sino slo vinculada a proyectos especiales. d.-Uso de criterios y estndares predefinidos Uno de los problemas centrales al evaluar el impacto es encontrar indicadores que den cuenta de las transformaciones ocurridas en el espacio laboral. Estos indicadores pueden estar estandarizados o generarse en funcin de las caractersticas de la capacitacin y del trabajo de los capacitados. Este es un punto nodal en la estrategia de evaluacin de impacto y el que ms controversias genera entre los especialistas en el tema. Uno de los aspectos centrales es que la estandarizacin de los indicadores permite comparaciones sucesivas en los diferentes procesos de capacitacin y aseguran una mayor objetividad en la aplicacin de las evaluaciones, pero si bien el uso de estndares hace ms objetivo el proceso de evaluacin, los estndares no estn disponibles para las actividades de capacitacin y en general es necesario construirlos o descubrirlos en la organizacin en funcin de las caractersticas de las actividades de enseanza.
91

Una de las estrategias que aplican las organizaciones que evalan a travs de evaluacin de desempeo, es tomar como criterios estndares de productividad definidos y/o estndares de evaluacin de los modelos de competencias que estn definidos para la organizacin. Otra alternativa, especialmente en las organizaciones que trabajan con formas directas de evaluar el impacto, es la comparacin con niveles de desempeo alcanzados con anterioridad. En todos los casos los estndares son construidos, salvo raras oportunidades, siempre sus categoras son cualitativas o conceptuales, aunque sean traducidas en porcentajes. En 4 de los casos los aspectos a evaluar son definidos de forma ajustada en relacin con la capacitacin realizada. e.-Extensin del proceso de evaluacin La extensin de los procesos de evaluacin est definida por el contexto institucional y asociada al encuadre referencial utilizado. En la mayora de las organizaciones, especialmente las privadas, la informacin se necesita con la mayor celeridad posible y no hay demasiada disponibilidad de tiempo para dedicarle a esa tarea.

7.4.-Hacia la construccin de tipos

A partir del cuadro N 26 se pueden visualizar con claridad las diferencias entre los casos, pero si queremos agruparlos en funcin de las diferencias sealadas las tablas de clasificacin cruzada resultan ms tiles aunque son distintas formas de presentacin del mismo espacio de atributos141:
Tablas de clasificacin cruzada: marco de referencia, especificidad, periodicidad, criterios y estndares y extensin de la evaluacin MARCO DE REFERENCIA : Ciencias sociales.
PERIODICIDAD HABITUAL NO HABITUAL LARGOS CORTOS LARGOS CORTOS EstndaresSin EstndaresSin EstndaresSin ESPECIFICO EstndaresSin Estndares Estndares Estndares Estndares 1

SI NO

MARCO DE REFERENCIA : HRD

141

BARTON, A.: El concepto del espacio de propiedades en la investigacin social. En Conceptos y variables en la investigacin social Korn, F. Lazarsfeld, P., Barton, A. Menzel, H. Ed. Nueva Visin, 1984 92

PERIODICIDAD HABITUAL NO HABITUAL LARGOS CORTOS LARGOS CORTOS EstndaresSin EstndaresSin EstndaresSin ESPECIFICO EstndaresSin 3 Estndares Estndares Estndares Estndares 3

SI NO 4

1 3

Como se observa en el espacio de propiedades definido existen 32 tipos posibles y slo 5 reales a saber
1.-Marco de referencia de las ciencias sociales +especfico + habitual + largo + sin estndares = un caso (Caso A) 2.- Marco de referencia de Cs. Sociales, +especfico + +no habitual + largo + sin estndares un caso ( .Caso E) 3.-Marco de referencia de HRD + especfico + habitual +corto +sin estndares = un caso ( Caso B) 4.- marco de referencia de HRD +especfico + no habitual + corto +sin estndares = tres casos (Caso C, Caso I y Caso G) 5.-Marco de referencia de HRD + no especfico + habitual + corto + con estndares = tres casos (Caso D, Caso F y Caso H)

Una de las primeras observaciones que se puede realizar es que la extensin coincide con el marco de referencia. El enfoque HRD supone procesos cortos y el de las Cs. Sociales procesos largos. El uso de estndares se encuentra asociado con la especificidad de los mecanismos de evaluacin, es decir, las evaluaciones indirectas que emplean el sistema de evaluacin de desempeo, utilizan los criterios y estndares previamente definidos. Esto permite realizar una primera simplificacin del cuadro eliminando las variables extensin y uso de estndares incorporndolos a la definicin de los enfoques. Si entonces categorizamos los casos de acuerdo al enfoque, especificidad y periodicidad nos encontramos con tres tipos claramente discriminados 1 + 2= evaluacin con el marco de las ciencias sociales, con metodologa especialmente desarrollada y procesos largos. Estos pueden ser puntuales o establecidos como permanentes. El xito de los procesos depender de la disponibilidad de recursos materiales, de tiempo y tcnicos para llevar a cabo los procesos de capacitacin. 3 + 4= marco de referencia de HRD con abordajes especficos y procesos cortos. Este grupo toma como referencia los autores de la lnea de capacitacin, pueden ser puntuales o habituales. El xito de los procesos depender de la conexin existente entre la lnea y recursos humanos. 5= Marco de referencia de HRD con abordajes no especficos, y procesos cortos. Este grupo toma mecanismos ya establecidos en las organizaciones como el de la evaluacin de desempeo son habituales y disponen de criterios y estndares prediseados por la organizacin. Tabla de simplificacin de dimensiones: enfoque, especificidad, periodicidad
93

MARCO DE REFERENCA CS.SOCIALES ESPECIFICO Habitual SI NO 1 0 2 No habitual 1 0 Habitual 1 3 4

HRD No habitual 3 0 3

Tabla de simplificacin de dimensiones: enfoque, especificidad.

MARCO DE REFERENCA CS.SOCIALES HRD 2 4 evaluacin especfica del evaluacin especifica del impacto impacto desde el enfoque de de las habilidades aprendidas en las ciencias sociales la capacitacin en vinculacin con el management 0 3 evaluacin no especfica del impacto a partir de mediciones globales del desempeo de los trabajadores 2 7

SI ESPECIFICO

NO

Se puede conjeturar tomando como criterio de diferenciacin entre las experiencias la combinacin de dos aspectos: la especificidad de las tcnicas de evaluacin y el modelo de referencia empleado, la existencia de tres modalidades en la evaluacin de impacto: a.- evaluacin no especfica del impacto a partir de mediciones globales del desempeo de los trabajadores b.-evaluacin especfica del impacto de las habilidades aprendidas en la capacitacin en vinculacin con el management c.-evaluacin especfica del impacto desde el enfoque de las ciencias sociales a.- medicin no especfica del impacto a partir de mediciones globales del desempeo de los trabajadores Utilizan una forma indirecta de relevar el impacto a travs de los sistemas de evaluacin de desempeo. Parten del supuesto de que la planificacin inicialmente contempla el aporte que la capacitacin genera para el empleado y la organizacin. La evaluacin de desempeo se realiza una vez al ao y es el insumo para la planificacin de las
94

actividades de capacitacin para el ao siguiente y los planes de desarrollo del personal. Esta modalidad de trabajo se observa en los casos F, D y H. La evaluacin se realiza sobre las competencias planificadas centralmente por la gerencia que funcionan como metas de aprendizaje y como criterios de evaluacin. Por ejemplo el caso D (pp. 170) trabaja con 22 modelos de competencias funcionales . Las 5 principales son: 1.-innovacin , 2.-respeto y desarrollo integral, 3 austeridad e integridad, 4 calidad y 5.-productividad. Estas competencias se operacionalizan, cuantifican y luego se evalan a travs de dos mecanismos: la evaluacin de desempeo anual y la tcnica de assesment center. Por ejemplo, las competencias de innovacin y creatividad para un gerente fueron definidas a partir de los siguientes dimensiones: desarrollo de la sociabilidad, de la percepcin, del cuestionamiento del status quo, mapeo mental, desarrollo de la intuicin. La primera de ellas se operacionaliza a partir de la especificacin de los comportamientos aplicados y los indicadores de xito, como se observa en el cuadro a continuacin. Los indicadores de xito se cuantifican y se comparan con un estndar deseable, fijado institucionalmente.
APLICACIN/ ACCION Desarrollar ms la parte social

COMO APLICARLO

INDICADORES DE XITO

-Interactuar ms con la gente y con las -Cantidad de contactos. dems reas. -Calidad del vnculo. -Tratar de ponerme en el lugar del otro. -Una pregunta en cada interaccin. -Sonrer en cada interaccin. -Saludar cortsmente siempre. -Hacer preguntas de impacto en el otro. -Conectar ms con las cosas mundanas. -Ser ms amable.

Extrado de Plan de mejoras caso D

La evaluacin de desempeo consiste en una serie de entrevistas con el jefe inmediato superior. En el assesment center se convoca a una consultora y all se evalan las competencias viejas y se definen nuevas competencias. El assesment center es una tcnica de evaluacin que puede ser utilizadas con diferentes propsitos. Consiste en un pequeo grupo de empleados que ponen en prctica una serie de ejercicios mientras son evaluados por observadores entrenados. El ejercicio puede incluir simulaciones, discusiones grupales, pruebas y entrevistas. Los ejercicios empleados son elegidos como dispositivos que generen conductas relacionadas con ciertas habilidades que puedan ser observadas y evaluadas. 142 En el caso H (pp. 179) la evaluacin se realiza cada seis meses con el objeto de poder realizar modificaciones a tiempo de las conductas. Los objetivos de la evaluacin son consensuados entre evaluado y evaluador, que en general es el jefe inmediato superior. Utilizan tambin como mtodo la evaluacin 360. Esta tcnica proporciona una evaluacin sobre el desempeo de una
142

DESIMONE Y HARRIS, op. cit. 95

persona desde el crculo completo de contactos diarios que esta pueda tener, abarcando desde el personal hasta clientes, jefes y compaeros143. En este caso tambin la evaluacin se realiza sobre competencias estandarizadas para toda la compaa, como se observa, por ejemplo en la planilla que se presenta a continuacin:
Manejo de la poltica Mejora continua Satisfaccin de clientes Produce un trabajo de alta calidad Seguridad y medio ambiente Resolucin de problemas 2.-Anlisis de problemas y toma de Hallazgo de hechos Decisiones Ejerce su criterio Recursos internos Jugador de equipo 3.-Trabajo en equipo Abierto Solidaridad y confianza Resolucin de conflictos Trabajo bajo presin Relaciones interpersonales 4.-Comunicacin Escuchar Emisin y recepcin de datos Compromiso con la organizacin 5.-Responsabilidad y compromiso Integridad Automotivacin Disposicin Tenacidad Es flexible 6.-Adaptabilidad / flexibilidad Adaptabilidad Enfoque mltiple Comprensin emptica Espritu emprendedor 7.-Creatividad e innovacin Creatividad Es innovador Curiosidad intelectual Orientacin hacia el proceso 8.-Capacidades tcnicas y analticas Planeamiento y organizacin Negociacin Capacidades funcionales Influencia 9.-Liderazgo Conocimiento y visin del negocio Constructor de quipos Creacin de condiciones de desarrollo Autonoma 10.-Delegacin Empowerment Seguimiento Consultor Extrado de Planilla de evaluacin de desempeo caso H 1 Sistema de gestin empresaria

Las competencias detalladas en cada uno de los casos resultan muy generales y vagas. La influencia de la capacitacin en estos casos es muy indirecta. El argumento en cada uno de los casos es que la capacitacin se planifica utilizando estas competencias como objetivos o lnea direccional. Sin embargo, en alguno de los casos, como por Ej. el caso
143

Robbins,. S. Comportamiento organizacional Prentice Hall, Pearson, 1999 96

D, la operacionalizacin de algunas competencias no resulta adecuada o reviste un carcter superfluo en relacin con lo que est intentando medir. La traduccin en porcentajes en realidad slo agrega rtulos a hechos que verdaderamente no son medibles. Estos nmeros no representan modlicamente la realidad si no, ms bien, reducen el fenmeno a una caricatura. No obstante, no se descarta que pueda ser una interesante alternativa si se aprovechan los registros que se disponen en la organizacin en vinculacin con ciertas competencias y se realizan seguimientos con la misma metodologa en forma un poco ms ajustada y se puedan obtener algunas observaciones acerca del impacto de ciertas actividades de formacin desarrolladas por la organizacin. Por ejemplo en el uno de las organizaciones entrevistadas que no realizan evaluacin de impacto de sus actividades de capacitacin de larga duracin (Caso J, pp. 184), se evalu el impacto de un curso corto sobre atencin telefnica al pblico, a travs de la medicin de llamados por desperfectos en el servicio. De esta forma se registr el impacto a travs del descenso del nmero de problemas tcnicos falsos, es decir, problemas que no requeran de la visita de tcnicos de la empresa al domicilio de los usuarios. La capacitacin fue efectiva en la medida que signific un ahorro en visitas tcnicas y horas de tiempo del personal tcnico que pudieron ser solucionados directamente por el personal de atencin al publico que reciba las llamados de los usuarios. Esta es una forma de aprovechar los registros de los que dispone la organizacin con datos objetivos de tipo cuantitativos. b) Medicin especifica del impacto de las habilidades aprendidas en la capacitacin en vinculacin con el management Se registran cuatro experiencias que, dentro del enfoque referencial de HRD, realizan una evaluacin directa de las actividades de la capacitacin. Para ello se basan en los autores especficos de evaluacin de la capacitacin como Kirkpatrick y la lnea de trabajo que sus seguidores desarrollan. Pertenecen todos al sector privado pero existen diferencias entre ellos. Algunos han desarrollado con xito el funcionamiento de una prctica constante de evaluacin de impacto de sus actividades (caso B) y otros slo remiten una experiencia discontinuada (Casos C-G-I). Los capacitadores sealan dos problemas comunes que dificultan la aplicacin de la evaluacin de impacto. La primera de las dificultades es la dificultad de realizar el seguimiento de los capacitados una vez finalizados los cursos por la falta de inters de los jefes. El segundo problema es cmo atribuir los cambios producidos en el desempeo o los productos de los capacitados a la capacitacin recibida, considerando la interaccin de otros factores que pueden contaminar la relacin capacitacin resultados y no permite dilucidar si los logros organizaciones, si los hay, se deben a la capacitacin. Las diferencias entre los cuatro casos se observan en los procedimientos empleados para evaluar y en las condiciones estructurales que enmarcan los procesos de capacitacin. Tanto en los casos G e I (ver pp. 177 y pp. 183) se realizaron experiencias puntuales de evaluacin de impacto a cargo de consultoras externas contratadas para ese fin. En el caso G se realiz un trabajo de seguimiento del grupo de capacitados con formularios muy sencillos, sin embargo, una vez concluida esa experiencia, no se prosigui
97

utilizando la tcnica debido a la dificultad de realizar el seguimiento posterior de los capacitados. En el caso I se desarroll un estudio intensivo de mandos gerenciales y medios, tambin una vez finalizada la experiencia no se volvi a repetir. En los dos casos no quedaron registros de las experiencias, ya sea porque el personal involucrado en las mismas ya no se encuentra en la institucin, o porque no result factible la posibilidad de seguir realizando estas actividades. Cabe como reflexin que siendo que al no ser stas prcticas generalizadas en las instituciones la prdida de los registros de las mismas atenta contra el aprendizaje institucional. En el caso C, (pp. 167), la oficina de capacitacin realizaba evaluacin de impacto siguiendo los cuatro pasos del modelo de Kirkpatrick, en forma totalmente cualitativa, y slo aplicando la evaluacin de impacto a travs de la opinin de los capacitados y de los supervisores. En el nivel 1 de reaccin se evaluaba globalmente la experiencia de capacitacin en relacin con la adecuacin de contenidos, ritmo, recursos, material didctico, desempeo del instructor, etc.. El nivel 2 de aprendizaje, aplicado dos meses despus de finalizados los cursos, verificaba el aprendizaje a travs de cuestionarios de contenidos. En el nivel 3, aplicabilidad del conocimiento, se evaluaba si el conocimiento aprendido era aplicable a travs de la opinin de los capacitados. Se recababa la informacin a travs de una planilla donde se preguntaba acerca de qu conocimientos pueden ser implementados en el trabajo, en qu medida son aplicables y de qu manera. Tambin se tomaba en cuenta los factores que eran necesarios para la aplicacin de los conocimientos (equipos materiales y humanos y recursos econmicos) y si estaban disponibles. En este nivel, tambin se aplicaban tcnicas como la de focus group .
GUIA PARA LA EVALUACIN DE APLICABILIDAD DE CONOCIMIENTOS Cules son los dos o tres conceptos bsicos desarrollados en el curso que puede o podra implementar en su trabajo? En qu medida estos conceptos son aplicables a su tarea? Como llevara a cabo la implementacin de los mismos?

El nivel 4 se aplicaba a los 8 meses a travs de los supervisores o jefes directos. El objetivo de este nivel era constatar en qu medida se haban satisfecho las necesidades que originaron los cursos de capacitacin. Se indagaba si se haban producido cambios en las personas que realizaron el curso. Los aspectos a evaluar estaban definidos segn los cursos y en funcin de las competencias definidas y estandarizadas por la organizacin. La informacin se recababa con cuestionarios o entrevistas y la observacin de los jefes.
PROPUESTA Cual.... Los posee actualmente?
Fuente: Extrado de Gua para la aplicabilidad del conocimiento caso C

EQUIPOS MATERIALES

EQUIPO HUMANO

RECURSOS ECONOMICOS

98

A continuacin se presenta un ejemplo de instrumento de evaluacin de resultados, que est dirigido a supervisores y el objetivo es relevar un cambios de actitud en los capacitados segn la opinin de sus supervisores. El cambio de actitud es entendido como una mejora en la eficiencia de su desempeo (reduccin de costos).
Actitud hacia Capacitacin Toma de decisiones Iniciativa Hacia el trabajo Hacia sus subordinados Hacia sus jefes
Fuente: Extrado de Gua para la evaluacin de resultados Caso C

Mucho mejor

Algo mejor

Sin cambio

Algo peor

Mucho peor

NC

Segn la entrevistada, los factores que dificultan el desarrollo de la evaluacin del impacto son: que se requiere una importante predisposicin favorable de los participantes y jefes y gran disponibilidad de tiempo. No obstante el inters en desarrollar este tipo de experiencias, los intentos sostenidos de evaluar el impacto se discontinuaron por razones de contexto econmico con la desactivacin de las actividades de capacitacin y reduccin de personal de la oficina de capacitacin. En el caso B (pp. 162) actualmente se realiza evaluacin de impacto en algunas de las actividades de capacitacin utilizando como marco de referencia los cuatro niveles de Kirkpatrick y los cinco niveles de Phillips (ROI). La clave del mecanismo de evaluacin de impacto es que est sostenido por el inters de la lnea y la prctica conjunta con el sector de capacitacin. La tcnica para recabar informacin es la observacin de los jefes que se entrena deliberadamente con ese fin. En el nivel 1 se realiza una apreciacin global del curso teniendo en cuenta sus contenidos, organizacin, utilidad y performance de los docentes. En el nivel 2 se verifica el aprendizaje a travs de examen escrito. En el nivel 3 se releva la informacin a travs de los jefes, especialmente en relacin con las observaciones que ellos realizan del traslado de lo aprendido a la tarea, la durabilidad del aprendizaje y su contribucin al negocio. Esta informacin se obtiene a travs de una planilla que se le entrega al jefe inmediato superior y que l mismo cuantifica de acuerdo a parmetros generales de observacin segn cinco categoras que van del 0 al 100. A partir de esta categorizacin se realiza un seguimiento del avance individual y grupal de los aprendizajes realizados en la capacitacin a lo largo de un ao, a travs de la aplicacin de la siguiente frmula:
AVANCE = ( DIFERENCIA DE LOS PROMEDIOS DE APLICACIN ENTRE ENERO Y DICIEMBRE) X 1OO PROMEDIO DE LA APLICACIN A ENERO

99

En el nivel 4 se busca valorar la incidencia de la capacitacin en la productividad en porcentaje y en pesos. Esta evaluacin se realiza sobre una ponderacin de 20 factores que inciden en el negocio, entre los que se encuentra la capacitacin. Los criterios valorativos son los que definen los jefes subjetivamente a travs de lo que pudiera concebirse como juicio de expertos. De este anlisis se obtiene el retorno de la inversin (ROI) que es una medida monetaria ponderada sobre un juicio de valor sui gneris realizada por un juez (el jefe) en este caso concebido como experto. Es necesario advertir que si bien esta cantidad en dinero es una medida arbitraria, no objetiva del valor de la capacitacin, es un parmetro construido que permite observar su evolucin a lo largo del tiempo. Poco se puede decir de la exactitud de esta medida, pero el juicio realizado por observacin de los jefes es vlido (no absoluto) y viable de aplicar. Lo interesante es que la organizacin va armando sus propios indicadores que luego, al comparar las variaciones en su comportamiento a lo largo de las sucesivas mediciones, permite observar el grado avance realizado por los capacitados. c) Evaluacin especfica del impacto desde el enfoque de las ciencias sociales En el caso A y E, ambas organizaciones del sector pblico, evalan el impacto apoyndose en la lnea terica de evaluacin de programas o proyectos socioeducativos (ver pp. 17). Desde un abordaje predominantemente cualitativo, se considera el proceso de capacitacin en profundidad con consideracin del contexto y se trabaja con muchas variables realizando una descripcin densa del fenmeno en estudio. En uno de los casos la extensin de los cuestionarios con mltiples preguntas abiertas no permite su procesamiento. En el otro caso, en que se cuenta con ms recursos esos procesos demoran en realizarse aproximadamente un ao. En el caso A (ver pp. 160) una de las experiencias es la evaluacin de impacto de una carrera interna del organismo. El procedimiento de evaluacin fue el siguiente , se seleccion una de las cohortes de egresados de la carrera, se reconstruyeron las competencias bsicas que deba poseer tericamente el egresado y luego se procedi a la recopilacin de informacin para la evaluacin. Las competencias reconstruidas fueron el criterio y parmetro para la realizacin del juicio o valoracin. La informacin se recab a travs de entrevistas y encuestas con alumnos, capacitadores y jefes inmediatos superiores. Los ejes de indagacin fueron los distintos componentes del curso, los cambios que se producen en el trabajo considerando los problemas que se generan en el clima de trabajo del puesto en el momento que el sujeto se ausenta para capacitarse y su reinsercin posterior. Se considera tambin la carrera posterior del sujeto que se capacita en relacin con los progresos que promueve la capacitacin recibida. Esta es una evaluacin expost de tipo cualitativa con consideracin del proceso y de los resultados con triangulacin de fuentes de informacin. Este proceso de evaluacin tiene una duracin aproximada de un ao.

100

En el caso del INTA (Caso E, pp. 104 y pp. 174) se evala el impacto de la formacin recibida de los tcnicos que asisten a posgrados en el exterior. El inters en realizar estas evaluaciones es la obtencin de informacin relevante para ajustar las decisiones sobre la gestin de la capacitacin. Se releva informacin sobre las caractersticas de la capacitacin recibida, la calidad de asistencia que recibe de su institucin durante su proceso de capacitacin y el desempeo del tcnico y su contribucin a la organizacin una vez de regreso en su puesto de trabajo. La evaluacin se realiza en tres etapas, una vez que los tcnicos ya formados regresan al pas, a los tres y seis meses posteriores. Se utiliza un complejo y extenso cuestionario como instrumento de recoleccin de la informacin, que indaga en cada una de las etapas sobre las caractersticas de la formacin recibida, la conformidad por la formacin obtenida en cuanto a excelencia y pertinencia, el xito en el traslado a la tarea, su nueva produccin y las caractersticas contextuales que pudieron impedir su aplicacin. En las dos ltimas etapas se solicita tambin, en el mismo cuestionario la opinin del jefe y del grupo de trabajo. Esta evaluacin tiene una duracin de 6 meses. Una de las dificultades centrales que conspira contra el xito de la misma es que los capacitados no responden el cuestionario y que luego no se dispone de personal para procesarlo. Por otro lado, en la consideracin de jefes y grupo de trabajo, por la forma en que est solicitada, se sesgan las respuestas, lo que conspira contra la validez de la informacin obtenida. En el caso A los mecanismos de evaluacin de impacto se encuentran instalados y funcionan corrientemente, en el caso E es una actividad que no logra ser puesta en marcha por las dificultades sealadas, a pesar de reconocer otros intentos de evaluacin realizados en el mismo organismo, en aos anteriores, a travs de la contratacin de especialistas144.

144

Ver JDICE, op.cit. 101

8.- Sntesis
A partir del trabajo desarrollado en esta parte B, podemos sealar los siguientes resultados: En primer lugar como resultado de la consulta realizada a 49 empresas u organismos se ha obtenido un panorama general de las prcticas de evaluacin de impacto sobre la base de los 9 casos encontrados que emplean este tipo de evaluacin. Las organizaciones que evalan el impacto son en general de tamao grande, pertenecen a distintas ramas de la produccin del sector pblico y privado. La evaluacin se aplica a cursos con distinto tipo de modalidades y contenidos, destinados en su mayora a niveles gerenciales. Se observ a partir del anlisis de las caractersticas estructurales y de tipo de prcticas de evaluacin que la institucionalizacin de la evaluacin es un requisito importante para el desarrollo de la evaluacin de impacto. Cuando las organizaciones intentan evaluar el impacto se enfrentan con una serie de dificultades como la complejidad de obtener parmetros objetivos de medicin de impacto, el control de los elementos de contexto cuyo peso pueden desvirtuar la influencia de la capacitacin, la falta de tiempo y de recursos necesarios para la aplicacin de esta tcnica y la inconveniencia de no contar siempre con una cultura de la evaluacin instalada en las organizaciones, que resulta un elemento facilitador para desarrollar estas prcticas. Es a travs de la aplicacin de sus saberes prcticos que las 9 organizaciones que fueron encontradas en la consulta han resuelto la brecha que se plantea entre teora y prctica, es decir la distancia entre las recomendaciones de los expertos y la posibilidad de aplicacin de las tcnicas de evaluacin, resolviendo todos o algunos de los problemas que se sealaron precedentemente. Estas organizaciones presentan experiencias que resultan de inters a los capacitadores en aplicar la evaluacin de impacto. Por lo tanto, con el objeto de caracterizar estas formas de resolver los problemas planteados se utiliz el anlisis comparativo mediante la cual se lleg a obtener tres tipos definidos de evaluacin del impacto de la capacitacin operantes en la prctica: a.-evaluacin no especfica del impacto a partir de mediciones globales del desempeo de los trabajadores, b.-evaluacin especfica del impacto management, de la capacitacin en vinculacin con el

c.-evaluacin especfica de la capacitacin desde el enfoque de las ciencias sociales. Esta definicin de modelos de trabajo en el campo prctico de evaluacin sobre la base del estudio de casos, adems de aportar nueva informacin, resulta una contribucin a la discusin terica en el campo de evaluacin de impacto en capacitacin. La
102

contrastacin de los modelos operantes en la prctica con los modelos tericos que presenta la bibliografa especializada permite encontrar las debilidades en los modelos tericos predominantes y/o la propuesta de estrategias alternativas para su resolucin Tambin, como otro de los resultados del trabajo de campo, se obtuvo un panorama general del contexto en el cual se desarrollan las prcticas de evaluacin de impacto a partir de la caracterizacin de las organizaciones que integraron la consulta. Estas organizaciones pblicas y privadas de la Capital Federal, predominantemente del sector manufacturero (en el caso de las privadas), de gran tamao y con reas especficas dedicadas a la capacitacin de personal desarrollan actividades de capacitacin de larga duracin dirigidas a sus mandos medios y altos. Se pudo observar distintas modalidades de capacitacin de larga duracin: cursos externos en general en convenios con universidades para la realizacin de especializaciones, maestras y doctorados, y cursos internos desarrollados por las mismas organizaciones como por ejemplo: programas de desarrollo de carrera orientados al reemplazo de cuadros, programas de formacin de cuerpos especiales (especialmente en el sector pblico) como el cuerpo de abogados de la Nacin (ISEN, ECAE, etc.) algunos de ellos discontinuados. La duracin de estos cursos vara entre 5 meses y 3 aos, los contenidos se vinculan en su mayora con la tarea central de la organizacin y otro tanto sobre temas de administracin. Algunos de estos cursos son evaluados a travs de la evaluacin de impacto, pero muchos de ellos emplean otras estrategias de evaluacin y otros no emplean ningn tipo de evaluacin. Se recopil a travs de este estudio, distintas modalidades de evaluacin de sus actividades de capacitacin de larga duracin. Las organizaciones que evalan sus actividades de capacitacin lo hacen a travs de los sistemas de evaluacin ya existentes en la organizacin, a travs de credenciales expedidas por terceros o mecanismos especialmente diseados a tal fin. Se detectaron cuatro modalidades: seguimiento formal (certificaciones formales que expiden las instituciones externas que participan en la capacitacin), confiando en la idoneidad de los centros de formacin, evaluacin de los aprendizajes, se evala el aprendizaje de los alumnos a travs de dispositivos clsicos con el objeto de indagar la adquisicin de conocimientos, pero sin extenderse a la transferencia de los mismos al puesto de trabajo. El tercer mecanismo es el de la evaluacin del desempeo se orienta a evaluar el desempeo del alumno en el trabajo (logros, competencias, productos y valores) utilizado preferentemente por organizaciones privadas, y sistemas de evaluacin especfica que indagan acerca de las transformaciones ocurridas en el trabajo ms all de las certificaciones formales obtenidas. En sntesis, esta recopilacin de formas de evaluacin de la capacitacin con foco en la evaluacin de impacto conduce, al menos en una primera instancia, a abrir el camino para la construccin de un modelo terico de evaluacin de impacto sobre base emprica que permita resolver las brechas existentes entre los desarrollos tericos y su aplicacin en la prctica de la capacitacin. En la parte C se analiza en profundidad un tipo especial de evaluacin de impacto con el objeto de contribuir en este sentido.

103

C.- ELABORACION DE METODOLOGA DE EVALUACION DE IMPACTO SOBRE LA REFORMULACIN DEL CASO DEL INTA
1.- Introduccin
En esta parte se desarrolla una propuesta metodolgica sobre un caso de aplicacin de evaluacin de impacto realizado por el Instituto Nacional de Tecnologa Agropecuaria (INTA) El INTA elabor y aplic una encuesta piloto de evaluacin de impacto del Programa de Capacitacin Institucional desarrollado por el organismo. Fueron encuestados 36 tcnicos que cursaron postgrados en el pas y en el exterior, con el objetivo de evaluar la contribucin de este programa de capacitacin a la organizacin y sus tcnicos. Los datos obtenidos por la encuesta no pudieron ser procesados por el INTA y fueron ofrecidos para ser procesados en el marco de esta investigacin. El conjunto de informacin primaria que arroja esta encuesta, presenta, como se explicar ms adelante, algunas debilidades, la principal es que a lo largo del proceso de consulta se fueron perdiendo respondientes (un poco menos de la mitad de los encuestados). No obstante, a pesar de la imposibilidad de relevar nuevamente esta informacin, los datos resultan valiosos para esta investigacin por las caractersticas de la encuesta y de la institucin que la realiza. El caso del INTA reviste inters y ha sido seleccionado en razn de su preocupacin en la construccin de cultura de la evaluacin puesta en evidencia a partir de otras experiencias realizadas en el organismo. El modelo de evaluacin de impacto con el que trabajan es el de evaluacin especfica desde el enfoque de las ciencias sociales (cita cruzada), con un profundo relevamiento de informacin principalmente de tipo cualitativa, y triangulacin de respondientes. Pero, adems y especialmente, el atractivo central del trabajo con estos datos primarios no recabados por la autora, radica en que permite analizar la aplicacin de una metodologa de evaluacin de impacto con datos reales y poder valorar tanto los resultados obtenidos como las dificultades que las se tropieza. A partir del procesamiento y del anlisis de esta encuesta se realiza una reformulacin metodolgica a la luz de una nueva perspectiva del concepto de evaluacin de impacto, que se sustenta tanto en la recopilacin terica, como en la revisin de los casos anteriores y en el anlisis de los aciertos y fallos del mismo caso del INTA. La reformulacin metodolgica a partir de los datos disponibles se realiza con la ayuda de la metodologa de la arqueologa de datos,( ver pp.57), que se plasma en una nuevo instrumento de encuesta que realiza un amplio barrido de informacin a los
104

efectos de evaluar el impacto y que luego se resume en dos dimensiones, con el objeto de presentar con simplicidad el progreso promovido por la capacitacin En los siguientes apartados se describen las caractersticas generales de la experiencia de capacitacin en evaluacin, las caractersticas de la encuesta y los resultados obtenidos en su procesamiento.

105

2.- Caractersticas de la encuesta realizada 2.1.- El programa de capacitacin

La evaluacin de impacto en estudio se aplic al Programa de Capacitacin Institucional desarrollado por el INTA. Este programa tiene como objetivos Mejorar los conocimientos y el desempeo del grupo en el que acta el tcnico capacitado y Capacitar para obtener excelencia y eficacia en la tarea individual y de conjunto145. Los destinatarios de la capacitacin son los tcnicos de los centros del INTA. En el perodo en estudio se capacitaban 110 personas, 74 en el pas y el resto en el exterior, 15 de estos ltimos sin residencia permanente en el exterior 146.

2.2- Caractersticas del proceso de evaluacin de impacto

Con el objetivo de evaluar la capacitacin recibida, el INTA, en el ao 2001, inici un programa de evaluacin de impacto que debi ser interrumpido para atender los problemas de coyuntura generados por la crisis del pas. El Programa de Seguimiento de la Capacitacin en el Exterior se orient a evaluar la formacin a largo plazo recibida por sus tcnicos, su posterior aplicacin y transferencia. Se aplicaron, en forma piloto, 35 encuestas en tres momentos, pero la informacin no fue procesada.

2.3.-Los objetivos de la evaluacin

La informacin obtenida sobre la capacitacin del tcnico y sus efectos, es un insumo importante para el anlisis de las necesidades de capacitacin, tanto en relacin con su desempeo interno, como con su interaccin con los pases del MERCOSUR y sirve al objetivo de tomar decisiones de planeamiento y reajuste de las estrategias de capacitacin futuras. La encuesta releva informacin tanto acerca de la calidad de formacin de las universidades en el exterior, el impacto en el trabajo del becario, como del funcionamiento del rea de recursos humanos y cmo acompaa en sus funciones la capacitacin del tcnico. Los objetivos generales del proceso de evaluacin fueron enunciados de la siguiente manera:
1. "Si se fijaron adecuadamente los objetivos de la capacitacin solicitada. 2. Si se cumplieron los objetivos propuestos.

145 146

Encuesta INTA (2000) Es personal que viaja por uno dos meses a capacitarse y luego vuelve al pas para continuar en sus funciones. 106

3. Si ha mejorado el desempeo del entrenado y en la medida necesaria para hacer ms eficiente la labor que desarrolla. 4. Si el impacto de la aplicacin de la formacin recibida sobre la tarea especfica del beneficiario y el de su grupo de pertenencia resulta significativo. 5. Si la relacin de efectividad de la erogacin que la institucin ha realizado con respecto a la capacitacin efectuada y aplicada resulta positiva, referida al desempeo del personal involucrado y los beneficios institucionales a travs de la labor desarrollada147."

Se esperaba que con la aplicacin de la encuesta se pudiera obtener informacin para resolver cuestiones como por ejemplo la conveniencia de impulsar la realizacin de doctorados o maestras segn las reas temticas; la necesidad y pertinencia de promover capacitacin dentro o fuera del pas; la prioridad del rea temtica; la posibilidad de obtencin de fondos.

2.4.-Metodologa de evaluacin
Se realiz un estudio de evaluacin de impacto en tres etapas a travs de la aplicacin de una encuesta autoadministrada con preguntas abiertas y cerradas, (ver Anexo II, pp. 197). La primera etapa se aplica en forma inmediata a la finalizacin de la capacitacin en el exterior y est a cargo del tcnico que ha recibido la formacin. Se requiere informacin sobre la calidad del programa de capacitacin desarrollado, la pertinencia de la eleccin de la institucin que brind la formacin y el funcionamiento del rea del INTA encargada del desarrollo del programa de capacitacin.

Se indag si la capacitacin satisfizo sus expectativas, si el centro de capacitacin tena buen desempeo en esa rea, qu otros temas desarrollaban, si perciba que a su regreso aplicara los conocimientos obtenidos a su tarea y cmo fue recibido en su trabajo. La segunda etapa se aplica a los seis meses de la reincorporacin del tcnico capacitado a sus tareas especficas. El objetivo es recabar informacin sobre la aplicacin de los conocimientos aprendidos, los logros obtenidos en su trabajo, y los obstculos que pudieron haber surgido en la aplicacin de los nuevos conocimientos. Una parte del cuestionario est dirigido a los tcnicos y otra parte al director de la unidad correspondiente. La tercera encuesta se efectu a los doce meses desde la finalizacin de la capacitacin y es cumplimentada por el tcnico capacitado y por el grupo de pertenencia. El objetivo de la tercera etapa es el de recabar informacin sobre la transferencia de conocimientos adquiridos por el tcnico con motivo de su capacitacin en el exterior al grupo de trabajo al que pertenece y a eventuales
147

Tomado del protocolo de la Encuesta INTA 2001 107

demandantes relacionados con el rea de conocimientos en la que el profesional se capacit. La eleccin del candidato que se capacitar la realiza el grupo de pares, atendiendo a las lneas de trabajo existentes y a las cualidades del sujeto. La lgica de seleccin del candidato sigue el siguiente procedimiento: el tcnico arma su plan de trabajo en respuesta a las necesidades que detecta de su contexto 148 y el grupo avala su postulacin. En esta instancia se busca, entonces, obtener informacin sobre las mejoras producidas en el tcnico y en el grupo de trabajo, sobre la base de que los centros constituyen equipos de trabajo interdisciplinarios, similares a grupos de investigacin en universidades. A la vuelta del perodo de capacitacin debe reconocerse el impacto de la misma en el grupo. En esta instancia participa el tcnico, el grupo y el director del centro experimental del INTA

2.5.-Variables empleadas por la encuesta del INTA

A raz de problemas en la implementacin de la aplicacin de la encuesta se aplic ms de una versin de la misma. Es decir las preguntas contenidas por cada versin de cuestionario son similares, pero no son las mismas, de manera que parte de la poblacin fue encuestada con una versin y otra parte con otra. Las encuestas fueron procesadas contemplando las distintas preguntas que circularon en las distintas versiones de cuestionarios que fueron utilizados. Los cuestionarios estn dirigidos a los tcnicos becarios, a sus grupos de trabajo y tambin a sus jefes. A continuacin se presenta la matriz de anclaje de la encuesta:

2.6.-Matriz de anclaje de la encuesta del INTA

VARIABLE 1 ENCUESTA
DATOS PERSONALES Datos laborales y formacin acadmica

INDICADORES Nombre Edad Centro Director Periodo Grado Objetivo de la capacitacin Logro de los objetivos Causas del logro de los objetivos

TIPO DE PREGUNTA Abierta

LOGRO DE LOS OBJETIVOS Y SUS CAUSAS

SI NO

Abierta Cerrada Abierta

148

A veces el problema es que si el gerente no tiene una lnea clara, el tcnico busca sus propios espacios independientemente de las necesidades de la organizacin y sus usuarios. (extrado de entrevistas con personal del INTA) 108

OPINION SOBRE LA CALIDAD DE LA FORMACION

Calidad de los estudios Calidad de los profesores

Causas de la calidad de los profesores Ajuste de la institucin a su especializacin SI Causas del ajuste Recomienda la institucin
DATOS CENTRALES DE LA CALIDAD DE LA FORMACION OTRAS INSTITUCIONES RECOMENDADAS APRENDIZAJE REALIZADO APRENDIZAJE PENDIENTE

SI NO PARCIALMENTE SI NO PARCIALMENTE NO PARCIALMENTE SI NO PARCIALMENTE

Cerrada Cerrada Abierta Cerrada Abierta Cerrada Abierta Abierta Abierta Abierta

Porque recomienda otra institucin Que otra institucin recomienda

Que aprendi Desea profundizar Que desea profundizar Inconvenientes Problemas ocasionados por INTA Problemas de la institucin donde curso Problemas de la institucin donde curso Causas problemas con el INTA Causas problemas con la institucin Causas problemas con el centro de formacin Expectativa de aplicacin Razones de la expectativa de aplicacin Institucionales Grupo de trabajo Personales Institucionales Grupo de trabajo Personales Aplico Causas de la aplicacin Razones de la aplicacin parcial Razones de la no aplicacin Hubo modificaciones
SI NO PARCIALMENTE SI NO PARCIALMENTE SI NO PARCIALMENTE SI NO PARCIALMENTE SI NO PARCIALMENTE

Cerrada Abierta Cerrada Cerrada Cerrada Cerrada Abierta Abierta Abierta Cerrada Abierta Abierta Abierta Abierta Abierta Abierta Abierta Abierta Cerrada Abierta Abierta Abierta Cerrada Abierta Abierta Abierta Abierta

PROBLEMAS Y SUS CAUSAS

EXPECTATIVA DE APLICACION

ALTA MEDIO BAJA

FACTORES QUE FAVORECEN LA APLICACION FACTORES QUE OBSTACULIZAN LA APLICACION COMENTARIOS

2 ENCUESTA APLICACIN DE LO APRENDIDO EN LA TAREA EN QUE SE DESEMPEA

SI NO PARCIALMENTE

MODIFICACIONES EN LAS TAREAS POR LA CAPACITACION RECIBIDA

Modificaciones ocurridas Razones de la no ocurrencia de modificaciones OBSTACULOS EN LA APLICACION Enumeracin de obstculos

COMENTARIOS

SI NO PARCIALMENTE

3 ENCUESTA
109

Para el tcnico
TRANSFERENCIA DE LOS CONOCIMIENTOS AL GRUPO DE TRABAJO

Transfiri conocimientos Grado de transferencia en % Razones de transferencia total o parcial Razones de no transferencia 1. Seminario 2. 3. 4. 5. Cursos Formacin continua en el puesto de trabajo Taller Jornadas

SI NO PARCIALMENTE

Cerrada Semiabierta Abierta Abierta Cerrada

METODOLOGIA DE TRANSFERENCIA

Otra forma de transferencia

TIEMPO DEDICADO A LA TRANSFERENCIA CAMBIOS EN LAS TAREAS POR LA TRANSFERENCIA DE CONOCIMIENTOS

Abierta Abierta
SI NO PARCIALMENTE

Cambios Tipos de cambios Porcentaje de cambios Razones de la no ocurrencia de modificaciones Pertinencia Razones de la pertinencia Razones de la no pertinencia Enumeracin de mejoras Adecuacin Razones de la adecuacin total Razones de la adecuacin parcial Razones de la no adecuacin Existieron obstculos Enumeracin de los obstculos Sugerencias para salvar los obstculos

Cerrada Abierta Abierta Abierta Cerrada Abierta Abierta Abierta Cerrada Abierta Abierta Abierta Cerrada Abierta Abierta

Grupo de pertenencia
PERTINENCIA DE LA INCORPORACION DE CONOCIMIENTOS MEJORAS POR LA INCORPORACION DE NUEVOS CONOCIMIENTOS ADECUACION DE LA METODOLOGIA DE TRANSFERENCIA

SI NO PARCIALMENTE

SI NO PARCIALMENTE

OBSTACULOS EN LA TRANSFERENCIA, INCORPORACION Y APLICACIN DE CONOCIMIENTOS

SI NO PARCIALMENTE

110

3.-Resultados obtenidos en la encuesta 3.1.- Nmero de encuestas respondidas

Se aplic la encuesta a 35149 tcnicos que realizaron cursos de capacitacin dentro del Programa de Capacitacin Institucional del INTA, en el exterior y en el interior. Una de las dificultades de la encuesta es que no se mantuvo el mismo nmero de respondientes entre la primera y la tercera encuesta. Del total de 35 personas, 34 (94.4 %) respondieron a la primera encuesta, una vez finalizada la capacitacin, 22 (61.1%) contestaron la segunda y solo 16 (44%) contestaron la ltima que se aplic a los 12 meses de finalizada la capacitacin como se observa en el cuadro 28 que se presenta a continuacin.
28. Numero de respondientes a la encuesta en 1,2 y 3 momento
N 34 22 16 72 % Respuestas 47.2 30.6 22.2 100.0 % Casos 94.4 61.1 44.4 200.0

ENCUESTA 1 ENCUESTA 2 ENCUESTA 3 Total 36 casos

Estas variaciones en los totales de respondientes van a ser observados en los totales de los cuadros que se presentan en este captulo.

3.2.-Resultados de la Primer Encuesta. Datos generales de los encuestados

Centros del INTA a los que pertenecen los encuestados

Los encuestados pertenecen a diferentes Centros Regionales y Estaciones Experimentales del INTA en las provincias de Corrientes, Entre Ros, Tucumn, Crdoba, Ro Negro, Santa Fe, San Luis, Buenos Aires y La Pampa. En el cuadro 29 se detallan los Centros Regionales a los que pertenecen los becarios.
29. Distribucin de tcnicos por provincia
Vlidos CENTRO REGIONAL Frecuencia CENTRO REGIONAL BUENOS AIRES NORTE CENTRO REGIONAL BUENOS AIRES SUR CENTRO REGIONAL SANTA FE CENTRO REGIONAL CORDOBA CENTRO REGIONAL ENTRE RIOS CENTRO REGIONAL CORRIENTES CENTRO REGIONAL MISIONES CENTRO REGIONAL CHACO FORMOSA CENTRO REGIONAL TUCUMAN S.DEL ESTERO CENTRO REGIONAL MENDOZA SAN JUAN CENTRO REGIONAL LA PAMPA SAN LUIS CENTRO REGIONAL PATAGONIA NORTE Total 1 8 5 1 4 2 2 1 3 1 4 4 36 Porcentaje 2.8 22.2 13.9 2.8 11.1 5.6 5.6 2.8 8.3 2.8 11.1 11.1 100.0 Porcentaje vlido 2.8 22.2 13.9 2.8 11.1 5.6 5.6 2.8 8.3 2.8 11.1 11.1 100.0 Porcentaje acumulado 2.8 25.0 38.9 41.7 52.8 58.3 63.9 66.7 75.0 77.8 88.9 100.0

149

Centros de Formacin

En realidad el nmero ser siempre 36 pues una persona realiza dos capacitaciones distintas y es tomada como dos personas. 111

Del total, el 40 % realizaron su capacitacin de maestras y doctorados en Espaa, el resto se distribuy en EE.UU., Brasil, Mxico, Cuba, Francia y Canad. Dos de los capacitados realizaron sus estudios en Argentina, hay 7 casos de los cuales no se dispone informacin. (cuadro n 30). Sobre 20 respondientes, 8 de los becarios obtuvieron el grado de doctor, 8 de maestra, 1 ambos ttulos y el resto asistieron a charlas o cursos de capacitacin.
Count

30. Pas donde se capacit y grado obtenido150

GRADO OBTENIDO EN LA CAPACITACION CURSO DE CAPACITACION O CHARLAS MAESTRIA Y DOCTORADO NO CONTESTA 3 5 1 1 1 2 1 1 1 8 8 3 1 6 16 1 1 1

PAIS DONDE SE CAPACITO

ESPAA ESTADOS UNIDOS BRASIL ARGENTINA MEXICO CUBA FRANCIA CANADA NO CONTESTA

MAESTRIA 5

DOCTORADO 6

Total 14 5 2 2 1 2 2 1 7 36

Total

Los centros de formacin a los que asistieron los becarios en cada pas son en general universidades de distintas regiones, en el cuadro que se observa a continuacin se puede ver algunos de estos centros por pas.
31. Centro de estudios por pas
PAIS DONDE SE CAPACITO LUGAR DONDE SE FORMO UNIVERSIDAD DE ALMERIA UNIVERSIDAD DE ANDALUCIA UNIVERSIDAD DE CORDOBA UNIVERSIDAD DE ZARAGOZA UNIVERSIDAD POLITECNICA DE VALENCIA INSTITUTO VALENCIANO DE INVESTIGACIONES AGRARIAS UNIVERSIDAD DEL ESTADO DE WASHINGTON UNIVERSIDAD DE TENNESSE UNIVERSIDAD DE WISCONSIN MADISON UNIVERSIDAD DE SAN PABLO RADIO NEDERLAND TRAINING CENTER EEA RAFAELA-SANTA FE FUNDASOL INRA SAD DIJON-CLEARMONT-FERRAND-MONTPELLIER UNIVERSIDAD DE GUELPH Total UNIVERSIDAD DE YUCATAN Total INSTITUTO PEDRO KOURI Total CUBA 2 MEXICO 1 ESPAA . . . . 14 ESTADOS UNIDOS Total BRASIL Total ARGENTINA Total FRANCIA Total CANADA 1 2 2 . 2 . 5

Total

150

Los temas de la formacin

112

No se dispone informacin sobre 16 casos.

El personal realiz su formacin en distintos temas en las reas de ganadera, desarrollo forestal, biologa animal y vegetal, agricultura, agroecologa, gestin y economa rural. Se lista a continuacin algunos de los temas de la capacitacin por el centro regional al que pertenecen los becarios (cuadro n 32)
32. Tema del programa de formacin por centro al que pertenece el tcnico
TEMA DEL PROGRAMA DE FORMACION CENTRO REGIONAL C. R. BUENOS AIRES SUR Desarrollo econmico en Amrica Latina Agroecologa y desarrollo agricola sustentable Estudio de sistema ganadero y desarrollo rural Ex tensin agropecuaria Inmunopatologia de las enfermedades reproductiv as de los bov inos

C. R. SANTA FE

Salud animal Mastitis bov ina Inmunologa, biologia molecular Entrenamiento en tcnicas de biologa molecular aplicables al diagnstico de enfermedades bov inas

C. R. ENTRE RIOS

Cultiv o de maiz y tolerancia al stress Postcosecha de ctricos Citricultura

C. R. CORRIENTES C. R. MISIONES

Agriculturas intensiv as y cultiv os protegidos

Desarrollo forestal Agroecologa Agroecologa y desarrollo rural Desarrollo econmico en America Latina

C. R. TUCUMAN S.DEL ESTERO

C. R. MENDOZA SAN JUAN C. R. LA PAMPA SAN LUIS

Mejoramiento de cebolla Planificacin y ev aluacin de proy ectos de desarrollo rural Sistemas de informacin geogrfica Sistemas de Informacin geogrfica en epidemiologa y salud Agroecologa

C. R. PATAGONIA NORTE

Ganadera ecolgica, gestin de ex plotaciones en zonas desfav orecidas Agroalimentos Produccin de contenidos para medios de comunicacin Produccin animal

113

3.3.-Opinin sobre la formacin recibida

Los objetivos de la capacitacin

El 90 % de los becarios afirma haber alcanzado los objetivos propuestos a travs de la formacin. Los restantes que respondieron que los objetivos se alcanzaron parcialmente justificaron su afirmacin debido a que la calidad de los cursos no coincidi con lo esperado o la seleccin de contenidos no fue pertinente.
Calidad de los estudios

Se les pregunt a los tcnicos si estaban conformes con la calidad de los estudios. La mayora respondi que s. Dos de los encuestados responden estar parcialmente conformes con la calidad de los estudios debido a que consideraron escasa la cantidad de horas ctedras y encontraron desajuste en los contenidos de los cursos en relacin con sus necesidades. (Cuadro 33)
33. Calidad de los estudios segn centro de capacitacin

CALIDAD DE LOS ESTUDIOS

SI ESPAA ESTADOS UNIDOS BRASIL 11 5 2 2 1 1 2 7 31 2 PARCIALMENTE 2 TOTAL 13 5 2 2 1 1 2 7 33

PAIS DONDE SE CAPACITO

ARGENTINA MEXICO CUBA FRANCIA NC

Total 33 respondientes.

Se pidi tambin que explicaran la razn por la cual estaban conformes con la calidad de los estudios y las respuestas se agrupan de acuerdo a los juicios que emiten los estudiantes sobre los contenidos y la propuesta pedaggica. Respecto de los contenidos de los programas se indaga sobre su actualizacin y especializacin. Las caractersticas de la propuesta pedaggica ofrecida por los programas se refiere a la pertinencia y calidad de las actividades de la formacin, la posibilidad de interactuar con alumnos de otras especialidades, especialistas o investigadores, etc.. Es decir se tom en cuenta tanto la forma de organizacin de las actividades de enseanza y aprendizaje como la variedad de experiencias ofrecidas. La mayora de las respuestas coinciden en que lo que fundamenta la calidad de los programas es la especializacin de los contenidos y las caractersticas de la propuesta pedaggica, como se observa seguidamente en el cuadro 34. Sin embargo, tambin algunos becarios destacaron como elementos de juicio para avalar la calidad de los estudios el prestigio o trayectoria de las instituciones (3
114

respuestas).
34. Count Fundamentos de la calidad de los estudios
PAIS DONDE SE CAPACITO ESPAA 1 3 1 ESTADOS UNIDOS BRASIL 1 1 1 ARGENTINA MEXICO CUBA NC Total 2 6

FUNDAMENTOS DE CALIDAD DE LOS ESTUDIOS ACTUALIZACION DE LOS CONTENIDOS PROPUESTA PEDAGOGICA ESPECIALIZACION Y PROFUNDIDAD DE LOS TEMAS DE INTERES CONTENIDOS Y PROPUESTA PEDAGOGICA OTRO (prestigio, etc) Total

2 2 9 3 1 2

3 3

20

20 Respondientes, 16 no responden.

De los 33 que responden a la pregunta sobre su conformidad con la calidad de los estudios, slo 20 lo justifican.
Calidad de los profesores

Se pregunt si los profesores a cargo del desarrollo de los programas estuvieron a la altura acadmica de las expectativas de la capacitacin en relacin con los temas de su especializacin. La mayora, 26 de los 28 que respondieron, estuvieron satisfechos con la calidad de los profesores, 2 lo estuvieron parcialmente, uno de ellos justific su respuesta por la baja calidad acadmica de algunos profesores. Se solicit que justificaran su juicio acerca de la calidad de los profesores (preguntas abiertas). Las respuestas fueron categorizadas de la siguiente manera:
formacin acadmica ( ttulos de grado o posgrado de los profesores) experiencia en investigacin experiencia de trabajo en el rea capacidad de los profesores como docentes

Sobre 25 respondientes, 15 expresan que la experiencia de trabajo en el rea es lo que fundamenta la buena calidad de desempeo de los profesores (cuadro 35)
35. Razones de la calidad de los profesores
ESPAA Formacin acadmica Experiencia en investigacin Experiencia de trabajo en el rea Capacidad docente Prestigio EE.UU. BRASIL ARGENTINA MXICO CUBA NC TOTAL

2 1 7 2 4

1 0 2 2 1

0 0 1 0 1
115

0 0 0 1 0

0 0 1 0 0

0 0 1 1 0

3 0 3 2 0

6 1 15 8 6

25 casos vlidos. 9 casos perdidos

Ajuste entre las expectativas y formacin recibida

Se pregunt si hubo ajuste entre la oferta de capacitacin y la especializacin requerida. Sobre un total de 34 tcnicos que respondieron a esta pregunta, 29 expresaron que se produjo un ajuste entre sus expectativas y la formacin recibida, y 3 parcialmente. Se solicit a los encuestados que justificaran sus respuestas (pregunta abierta). Las opiniones fueron categorizadas en: prestigio o trayectoria, la excelencia del staff, el contenido y metodologa de los programas, y los recursos humanos e infraestructura que proveyeron los centros de formacin a los becarios para la realizacin de sus estudios. Las respuestas se agrupan de modo relativamente uniformemente (entre 25 y 17 %) en los primeros tres tem. Es decir que el ajuste entre las expectativas de los becarios y la formacin recibida se debi al prestigio de la institucin, la excelencia del staff docente y las caractersticas de los programas. En tres casos se seala tambin como favorable la infraestructura provista por los centros.(cuadro n 36)
36. Razones del ajuste de los estudios151
ESPAA EE.UU. BRASIL ARGENTINA MXICO CUBA FRANCIA NC TOTAL

Prestigio o Trayectoria del centro Excelencia del Staff Contenido y Metodologa Recursos Humanos e Infraestructura Otro

4 1 1 1 5

1 1 1 0 2

0 0 0 1 0

0 1 1 1 0

0 0 0 0 1

0 0 0 0 1

0 0 2 0 0

2 2 0 0 2

7 5 5 3 11

Respondieron 28, 8 no responden

En la categora otros se incluy las respuestas que detallaban los aspectos conceptuales referentes a los temas de cada uno de los estudios realizados, como la que se muestra a continuacin:
"La universidad est el lugar ideal para desarrollar estudios de invernadero pero falta infraestructura para realizar estudios

Recomienda el centro de formacin para otros estudiantes

Se pregunt s recomendaban el centro donde se formaron a futuros estudiantes, la mayora (90%) respondi que s. Las razones por las cuales recomendaron los centros se vinculan con su opinin positiva acerca de los estudios. En el cuadro 37 se presentan algunas de las opiniones sobre los centros donde cursaron sus estudios y los programas que realizaron
151

Respondieron a esta pregunta solo 28 de los encuestados 116

37. Por que recomienda la institucin por tema del programa y centro de formacin

TEMA DEL PROGRAMA DE FORMACION LUGAR DONDE SE FORMO U. DE ALMERIA Agriculturas intensiv as y cultiv os protegidos Desarrollo econmico en Amrica Latina Agroecologa y desarrollo agricola sustentable. Agroecologa y desarrollo rural

POR QUE RECOMIENDA LA INSTITUCION Es ideal para ampliar conocimientos en estadias cortas, pero tiene falencias. Es un mbito adecuado, ex celentes profesores y organizacin. Debe considerarse la situacin de cada tcnico. Los programas estn en permanente reajuste La modalidad de capacitacin permite una cursada rpida y luego concluir estudios en pais de origen. Los medios instrumentales y humanos son propicios Enfoque apropiado en que se analiza el desarrollo rural. Permite no desv incularse de la institucin y adecuar el tema de tesis con su trabajo en las Estaciones Ex perimentales. La tray ectoria tcnica, trabajos de los docentes, seriedad, responsabilidad de los graduados ex tranjeros. Reconocimiento internacional en citricultura. Calidad de plantel docente. Se debe buscar univ ersidades mas reconocidas. Trabajan en inv estigacin aplicada como inv estigacin bsica dentro del tema. Es la univ ersidad de may or niv el y prestigio y tradicin.

U. DE ANDALUCIA

Sistemas de informacin geogrfica U. DE CORDOBA Agroecologa Ganadera ecolgica, gestin de ex plotaciones en zonas desfav orecidas. Agroalimentos

U.POLITECNICA DE VALENCIA I. VALENCIANO INVESTIG. AGRARIAS U. DEL ESTADO DE WASHINGTON

Citricultura Postcosecha de ctricos Entrenamiento en tcnicas de biologa molecular aplicables al diagnstico de enfermedades bov inas. Mastitis bov ina

U. DE TENNESSE

U. DE SAN PABLO RADIO NEDERLAND TRAINING CENTER INSTITUTO PEDRO KOURI Produccin de contenidos para medios de comunicacin.

El curso no esta sistematizado, se necesita conv enio para aprov echar las ofertas La ex periencia de Cuba es importante.

Sistemas de informacin geogrfica en epidemiologa y salud

Se pregunt si recomendaban otra institucin para realizar los estudios. De los 34 encuestados, 8 recomiendan otras instituciones. Entre las instituciones recomendadas se encuentran agrupadas por temas. Para el tema de Agricultura intensiva, se recomienda la Universidad de Crdoba y de Valencia. Para el Entrenamiento en tcnicas de biologa molecular aplicables al diagnstico de enfermedades bovinas se recomienda la Universidad de Florida. Para el estudio del Mejoramiento de la cebolla, se indica las universidades de Corneill, Texas, California y Wisconsin. Para Salud animal las universidad de Londres, California y Davis. Para Sistemas de informacin geogrfica, la Universidad de Lousinana (Baton Rouge).
117

3.4.-Aprendizajes obtenidos en la capacitacin y Profundizacin de los conocimientos

Se le pregunt a los tcnicos que haba aprendido en su formacin. Se presenta el detalle por institucin donde curs, programa y contenidos aprendidos.(cuadro N 38). Tambin se pregunt a los becarios si tenan inters en profundizar sus conocimientos. Respondieron a esta pregunta 25 de los 34 encuestados. El 23 % de los que respondieron expresaron su deseo de profundizar sus conocimientos Los temas que les interesa profundizar a algunos de los becarios se presentan a continuacin organizados segn el estudio realizado (cuadro n 39 )

118

38. Que aprendi por tema del programa universidad y nombre

TEMA DEL PROGRAMA DE FORMACION LUGAR DONDE SE FORMO UNIVERSIDAD DE ALMERIA UNIVERSIDAD DE ANDALUCIA Agriculturas intensivas y cultivos protegidos. Agroecologa y desarrollo agricola sustentable. Sistemas de informacin geogrfica UNIVERSIDAD DE CORDOBA Agroecologa Ganadera ecolgica, gestin de explotaciones en zonas desfavorecidas. Agroalimentos UNIVERSIDAD DE ZARAGOZA UNIVERSIDAD POLITECNICA DE VALENCIA Produccin animal Citricultura QUE APRENDIO Manejo de factores ambientales de invernadero. Plntulas de tomate en semillero.Cultivo de tomate en hidroponia. Automatizacin de invernaderos. Robtica e informtica del manejo de invernadero. Degradacin de los recursos, crecimiento poblacional, creciente demanda de alimentos de calidad, cuestiones tenolgicas. Cartografa, teledeteccin y sistemas de informacin geogrfica. Desrrollo rural, economa ecologica, desarrollo de comunidadaes, agroecologa, extensin rural. Produccin caprina en gerneral, sistemas produccin de carne y leche. Economa institucional. Herramientas para anlisis del sistema agroalimentario, competitividad de Pymes, articulacin y coordinacin con el sistema agroalimentario. Mayor amplitud de visin. Diversas tcnicas aplicadas para la investigacin de reproduccin animal. Manejo de cultivo, vivero, virologa, varidades, plagas, asociativismo, comercializacin. Metodologa para el estudio biolgico de plagas, anlisis de datos de laboratorio y campo, estudios bioqumicos, matemticos y estadisticos. I. VALENCIANO DE INVESTIGACIONES AGRARIAS UNIVERSIDAD DEL ESTADO DE WASHINGTON Postcosecha de ctricos Inmunologa, biologia molecular. Entrenamiento en tcnicas de biologa molecular aplicables al diagnstico de enfermedades bovinas. UNIVERSIDAD DE TENNESSE UNIVERSIDAD DE WISCONSIN MADISON UNIVERSIDAD DE SAN PABLO RADIO NEDERLAND TRAINING CENTER UNIVERSIDAD DE YUCATAN INSTITUTO PEDRO KOURI Produccin de contenidos para medios de comunicacin. Salud animal Sistemas de Informacin geogrfica en epidemiologa y salud. Mastitis bovina Mejoramiento de cebolla Parmetros de calidad de frutos citricos, influencia del uso del frio, importancia tratamiento cuarentario. Caracteristicas de proteinas, produccin y uso de anticuerpos monoclonales, aislamiento de ACN y ADN. Produccin de antgenos obtenidos por reconbinacin gentica. Desarrollo y uso de anticuerpos monoclonales, anlisis de secuencia del ADN, manejo de ADN, aplicacin de polymenrasa. Estudios de patognesis, manejo de tcnicas, inmunohistoqumica, enfoques a campo, seguimiento, epidemiologa. Herramientas de biologa molecular, mapas geneticos, anlisis de QTL, pungencia de la cebolla, actividad antiplaquetaria en sangre, mejoramiento gentico vegetal. Espritu de trabajo interdisciplinario de tecnologas clsicas, econmicas , informtica y marketing. Planificacin de capacitacin de adultos. Diseo, anlisis e interpretacin de los estudios epidemiolgicos en poblaciones animales. Conocimientos cartogrficos, geoestadsticos, epidemiolgicos y de integracin de conocimientos y resumen de informacin sobre factores ambientales.

119

39. Que desea profundizar por tema del programa y centro de estudios y becario
TEMA DEL PROGRAMA DE FORMACION CENTRO REGIONAL CENTRO REGIONAL BUENOS AIRES SUR CENTRO REGIONAL SANTA FE Inmunopatologia de las enfermedades reproductiv as de los bov inos Salud animal Mastitis bov ina Inmunologa, biologia molecular Entrenamiento en tcnicas de biologa molecular aplicables al diagnstico de enfermedades bov inas. CENTRO REGIONAL ENTRE RIOS Citricultura Postcosecha de ctricos CENTRO REGIONAL CORRIENTES CENTRO REGIONAL MENDOZA SAN JUAN CENTRO REGIONAL LA PAMPA SAN LUIS Agriculturas instensiv as y cultiv os protegidos Mejoramiento de cebolla Sistemas de informacin geogrfica Sistemas de Informacin geogrfica en epidemiologa y salud. CENTRO REGIONAL PATAGONIA NORTE Ganadera ecolgica, gestin de ex plotaciones en zonas desfav orecidas Agroalimentos Produccin de contenidos para medios de comunicacin QUE DESEA PROFUNDIZAR Inmunoantigenicidad genital, importante para el desarrollo de v acunas de enfermedades infecciosas en bov inos Metodologa de ev aluacin financiera de enfermedades, decisiones y anlisis econmicos. Identificacin de patgenos de mastitis para herramienta en epidemiologa y monitorear calidad lechera. Nuev os conocimientos en biotecnologa. Aplicacin de tcnicas de biologa molecular a la epidmiologa de las enfermedades de los bov inos. Cria de parasitoides del minador de los citricos, tratamientos cuarentarios contra anastreplia. Uso de baos de agua caliente para reducir daos del frio, mecanismos de daos por frio. Automatizacin, robtica e informatica. Hortalizas y salud humana, alimentos funcionales, composicin de carbohidratos para la prev encin del cancer Teledeteccin como redes neuronales y anlisis lineal de mezclas espectrales en estudios de desertificacin. Bases de datos epidemiolgicos y anlisis estadstico y cartogrficos de los procesos productiv os. Utilizacin de recursos forrajeros en zonas ridas para alimentacin del ganado caprino. Tecnologas organizacionales y mtodos de aseguramiento de la calidad. Aprendizaje de adultos.

120

Otros becarios expresaron su deseo de profundizar sus estudios parcialmente. Como por ejemplo el caso del becario del Centro Regional Misiones, con su especializacin en desarrollo forestal, que le interesa profundizar en programacin lineal. O el becario que se perfeccion en Agro-ecologa, que le interesara parcialmente continuar estudiando sobre desarrollo y extensin rural entre otras cosas.

3.5.- Problemas ocurridos en el proceso de formacin

Se pregunt si haban ocurrido problemas en su proceso de formacin, sobre 25 respuestas, 15 becarios dijeron haber tenido inconvenientes. De los 15 que expresan haber experimentado inconvenientes, para 10 stos fueron ocasionados por el INTA Los problemas sufridos se centran en los de tipo econmico administrativo como atrasos con el pago de las becas, o errores en los trmites que demoraron la percepcin del beneficio de las becas.(cuadro 40)
40. Problemas con el INTA
Recuento
PROBLEMAS OCASIONADOS POR INTA SI CAUSAS PROBLEMAS CON EL INT A atraso en los pagos beca interrumpida por razones presupuestrias error administrativo de tipo ecnomico falta flexibilidad otorgamiento prorroga la escasa duracion de la beca para la realizacion del doctorado me pidieron regresar antes de terminar mi capacitacion problemas economicos (la beca no se deposito a tiempo en el momento de la tesis) reajuste de monto denegado retraso de un ao para recibir el dinero retraso en el envio de dinero Total a. TUVO INCONVENIENTES = SI Respondieron 25, 10 no responden 1 6 1 1 1 8 1 NO 5 1 1 1 1 PARCIALMENTE Total 5 1 1 1 1

Tabla de contingencia CAUSAS PROBLEMAS CON EL INTA * PROBLEMAS OCASIONADOS POR INTA a

1 1 1 1 15

Los otros casos se refieren a situaciones de desajuste entre los montos de las becas y el costo de la vida en el pas que se capacitaron, o dificultades en la comunicacin con sus directores por razn de las distancias .

3.6.- Expectativas de Aplicacin

Expectativas

Se pregunt a los encuestados en qu medida crean que iban a poder aplicar en su tarea lo aprendido en su reinsercin en su lugar de trabajo en el INTA. Respondieron a esta
121

pregunta 32 de los becarios, 23 expres expectativas altas de aplicacin y 9 moderadas. Se pregunt tambin las razones que apoyaban su afirmacin acerca de sus expectativas de aplicacin (en pregunta abierta) Las respuestas se agruparon en las siguientes categoras. Hay un vnculo muy estrecho entre su proceso de formacin y el trabajo que realiza en el INTA Los contenidos son valiosos para el sector. Las nuevas tcnicas adquiridas no se usan habitualmente y prometen generar beneficios para el mismo. Cuenta con materiales necesarios y apoyo institucional La mayora, 17 tcnicos, justifica sus altas expectativas de aplicacin en razn del estrecho vnculo existente entre su trabajo en el INTA y sus proceso de formacin. Los que expresaron expectativas moderadas la fundamentan en problemas de recursos. (cuadro 41)
41. Razones por las que tiene expectativas de aplicacin
Recuento
EXPECTATIVA DE APLICACION ALTO RAZONES POR LAS QUE TIENE EXPECTATIVAS DE APLICACION (CODIFICADA) VINCULO ENTRE FORMACION Y SU TRABAJO LOS CONTENIDOS DE LA FORMACION SON VALIOSOS PARA EL SECTOR CUENTA CON APOYO INSTITUCIONAL Y RECURSOS FALTA DE RECURSOS O EQUIPOS OTRO NC Total 23 9 2 4 4 17 MEDIO NC Total 17

Tabla de contingencia RAZONES POR LAS QUE TIENE EXPECTATIVAS DE APLICACION (CODIFICADA) * EXPECTATIVA DE APLICACION

9 2 4 36

Se transcriben a continuacin textualmente algunas de las razones s que expresan los becarios en relacin con sus expectativas de aplicacin: 1. La tesis se desarrolla directamente con datos del mbito actual de trabajo, se podr aplicar si
2. 3. 4. 5. 6. 7. hay decisin institucional y financiamiento. Adems se podr asesorar a otros programas Las tcnicas tradicionales no permiten reducir en importancia la merma producida por enfermedades infecciosas. otras tcnicas epidemiolgicas son necesarias Los conocimientos se aplican a las actividades de extensin en experimentacin adaptativa y adopcin de tecnologas de produccin, de gestin y organizacin para hacer un uso mas eficiente y sustentable En mi rea son escasos los conocimientos de mi especialidad Permite mayor interaccin con UNLpam, gobierno provincial, trabajos sobre proyectos agroalimentarios. con empresas y organismos oficiales Podr aplicar las herramientas en proyecto INTA INRA y en programas de extensin Abre una perspectiva no adquirible en el trabajo cotidiano. Son conocimientos valiosos, espero informacin estratgica y detectar necesidades especficas

Los que dicen que tienen expectativas medias de aplicacin se remiten directamente a la crisis econmica y a la falta de disponibilidad de presupuesto e infraestructura para llevar a cabo la aplicacin de los nuevos conocimientos adquiridos. A continuacin se
122

transcriben textualmente algunos de los juicios de los becarios que presentan expectativas moderadas de aplicacin.
1. 2. 3. 4. La crisis econmica en la zona en que me desempeo hace que los conocimientos se puedan aplicar medianamente Recursos limitados para hacer investigaciones complementarias a las efectuadas Se necesita incorporar equipamiento bsico y la elaboracin de bases de datos lleva mucho tiempo con informacin no siempre disponible Algunas metodologas no las puedo aplicar por falta de equipamiento y financiacin, desarrollo un programa con los efectos benficos de la cebolla en la salud

Razones que intervienen en la aplicacin o transferencia de los conocimientos al puesto de trabajo

Se solicit tambin la opinin de los encuestados (en preguntas abiertas) sobre los factores a nivel institucional, del grupo de trabajo y personal, que favorecen u obstaculizan la aplicacin de los conocimientos adquiridos en su capacitacin: Esta pregunta se vuelve a realizar en la segunda y tercer etapa. Los factores institucionales fueron categorizados en tres: lneas de trabajo coincidentes con la formacin recibida, provisin de recursos materiales para realizar su trabajo en el rea y la existencia de grupos de trabajo especficos que trabajan en el rea de inters del becario. La mayora, 14 de 21 personas de los distintos Centros Regionales que respondieron a este tem, expresaron que los factores institucionales que favorecen la aplicacin son las lneas de trabajo coincidentes con la formacin recibida (cuadro 42 ). En 3 de los centros (Santa F, Corrientes y San Luis) se le agrega adems, como factor positivo, la provisin de recursos materiales para trabajar en el tema.
42. RecuentoFactores institucionales que favorecen la aplicacin
FACTORES INSTITUCIONALES QUE FAVORECEN LA APLICACION LINEAS DE TRABAJO COINCIDENTES CON LA FORMACION CENTRO REGIONAL C.R. BUENOS AIRES NORTE C.R. BUENOS AIRES SUR C.R. SANTA FE C.R. CORDOBA C.R. ENTRE RIOS C.R. CORRIENTES C.R. MISIONES C.R. CHACO FORMOSA C.R. TUCUMAN S.DEL ESTERO C.R. MENDOZA SAN JUAN C.R. LA PAMPA SAN LUIS C.R. PATAGONIA NORTE Total 2 3 14 3 1 1 1 3 13 1 1 1 1 2 1 1 1 1 1 3 2 1 1 1 1 1 PROVISION DE RECURSOS MATERIALES PARA TRABAJAR EN EL AREA CONSTITUCION DE EQUIPOS DE TRABAJO EN EL AREA

OTRO

NC 1 5

Total 1 8 5 1 3 2 2 1 2 1 4 4 34

Cada respondiente tiene ms de una opcin de respuesta. En base a 21 respondientes, totales sobre las respuestas 123

Entre los factores institucionales que obstaculizan la aplicacin se sealaron los econmicos como los ms relevantes (13 respuestas) en todos los centros regionales. En dos de los centros se seala como impedimento (Buenos Aires y Crdoba) la falta de lneas coincidentes con la formacin recibida (cuadro 43).
43. Factores institucionales que impiden la aplicacin
Recuento FACTORES INSTITUCIONALES QUE IMPIDEN LA APLICACION NO HAY LINEAS DE TRABAJO COINCIDENTES CON LA FORMACION 1 NO PROVISION DE RECURSOS HUMANOS Y MATERIALES 1 3 1 2 2 1 1 1 2 2 13 1 1 1 NO HAY EQUIPOS DE TRABAJO CONSTITUIDOS

OTROS 1

C.R. BUENOS AIRES NORTE C.R. BUENOS AIRES SUR C.R. SANTA FE C.R. CORDOBA CENTRO REGIONAL C.R. ENTRE RIOS C.R.CORRIENTES C.R. MISIONES C.R. MENDOZA SAN JUAN C.R. LA PAMPA SAN LUIS C.R. PATAGONIA NORTE Total

Total 1 2 3 1 2 2 1 1 2 2 17

Cada responderte tiene ms de una opcin de respuesta. En base a 17 respondientes, totales sobre las respuestas .

En relacin con los factores grupales que favorecen la aplicacin las respuestas se centran en la buena formacin de los compaeros o en la buena predisposicin a trabajar en esos temas. En los factores grupales que obstaculizan la aplicacin contestaron slo 10 de los encuestados y se refieren a carencia de equipos formados, de recursos y en dos de los casos a la escasa prioridad del tema para el resto de l grupo. Los factores personales que favorecen la aplicacin se refieren al desafo del mejoramiento personal e inters centrado en el tema. En cuanto a los factores negativos se refieren a cuestiones salariales o incentivos, que en realidad, tiene que ver con lo institucional.

3.7.- Segunda encuesta, la aplicacin de lo aprendido 6 meses despus

En la segunda encuesta aplicada 6 meses despus de finalizada la capacitacin se pregunta si el sujeto aplic sus conocimientos, en qu reas, las dificultades que tuvo en la aplicacin, el porcentaje de lo aplicado, las formas de transferencia del conocimiento empleado, en qu medida modific su tarea, qu logros obtuvo y los factores qu favorecieron y obstaculizaron su aplicacin. La segunda encuesta solo fue respondida por 21 de los 36 encuestados.
124

Aplic lo aprendido

Se pregunt si el tcnico aplic lo aprendido a su trabajo. Del grupo de 21 personas, 18 afirma haber aplicado lo aprendido en su trabajo. 5 de ellos expresan haber aplicado sus conocimientos slo parcialmente y slo 5 explican haber aplicado sus conocimientos entre un 75 y 100%. (cuadro n 44) : La pregunta por las razones de no aplicacin solo fue contestada por dos personas, las razones que esgrimieron falta de presupuesto impidi la aplicacin de los conocimientos.
44. Porcentaje de aplicacin de lo aprendido a sus tareas 6 meses despus

Si comparamos con las expectativas previas de aplicacin que el tcnico posea inmediatamente despus de finalizado su proceso de capacitacin, se observa que de 23 con altas expectativas de aplicacin, 12 logran aplicar sus conocimientos, 3 lo hacen parcialmente y de 8 no se dispone informacin. De los 9 que posean expectativas moderadas solo dos logran aplicar y del resto tampoco se dispone informacin. Es decir que de los 32 que dijeron tener expectativas de aplicacin se dispone de informacin de que han logrado aplicar de un poco ms de la mitad.
45. Aplicacin de lo aprendido de acuerdo con las expectativas previas de aplicacin
Recuento APLICO LO APRENDIDO A SUS TAREAS 6 MESES DESPUES EXPECTATIVA DE APLICACION AL REGRESO Total ALTO MEDIO NC 1 13 5 SI 12 PARCIALMENTE 3 2 NC 8 7 3 18 Total 23 9 4 36

En qu aplic lo aprendido

Para indagar sobre la transferencia de los conocimientos se pregunta en qu aplic lo aprendido, los logros obtenidos al aplicar los nuevos conocimientos y las modificaciones que se produjeron en la aplicacin. Al intentar realizar un registro de la transferencia de conocimientos en el trabajo se presentan ciertas dificultades debido a la construccin del instrumento con el cual se recaba la informacin y a problemas en la aplicacin del mismo.
125

Debido a que las orientaciones de formacin y los tipos de trabajo que realizan los becarios son dispares se opt por formular preguntas abiertas, que si bien permiten captar mayor riqueza de informacin, traen inconvenientes en el procesamiento de la informacin, pues las respuestas, no son homogneas. Otra de las dificultades es que las personas no respondieron a todas las preguntas formuladas lo cual genera falta de representatividad en el total de las respuestas. En cuanto a los problemas de aplicacin, se observa que no todos los encuestados respondieron a las mismas preguntas debido a que no cumplimentaron los mismos cuestionarios. En razn de estas dificultades y con el objeto de aprovechar la informacin existente se realiz anlisis de texto de las preguntas abiertas, se tomaron las respuestas a dos de las preguntas formuladas y se las proces como una. Una de las preguntas que hace referencia a la aplicacin de los conocimientos fue formulada de la siguiente manera:
1) "En relacin a la capacitacin recibida con motivo de la beca ha podido aplicarla en la tarea que desempea, segn los objetivos planteados en oportunidad de solicitar la formacin realizada? SI NO PARCIALMENTE

En el caso de que su respuesta fuera SI o PARCIALMENTE puede especificar qu aspectos y qu porcentaje de lo aprendido ha podido incorporar?"

En otro de los formularios se pregunt acerca de la modalidad de transferencia de lo aprendido como se transcribe a continuacin:
1) "Qu metodologa ha utilizado para la transferencia? * Seminario * Cursos * Formacin continua en el puesto de trabajo * Taller * Jornadas Otras formas ........................................................................................"

Otra de las preguntas hizo referencia a los logros obtenidos a raz de la aplicacin de los conocimientos. Pero tampoco esta pregunta fue respondida por todos los becarios por las mismas razones expuestas precedentemente y se trat por separado. En sntesis, la informacin se proces agrupando las respuestas en una variable que se denomina Aplicacin y transferencia de los conocimientos. Las respuestas se categorizaron de la siguiente manera: Aplicacin de nuevas tcnicas en este punto se incluyen la aplicacin de nuevos conocimientos aprendidos en el proceso de formacin, tanto en el rea de investigacin, de extensin o de gestin.
126

Se transcribe a continuacin algunas de las respuestas que se encuadran dentro de este punto.
"Evaluacin poblacional del chaar en el sur de San Luis, aplicacin de tcnicas de deteccin de cambios" "Se aisl con tcnicas serolgicas que utilizan anticuerpos monoclonales los cultivos de clulas en monocapas" "Biotecnologa en el diagnstico de anaplasma marginal en ganado lechero" "Sistema de aviso para ceratitis capitata" "Investigacin de los mecanismos en la tolerancia al estrs en diferentes genotipos del maz y otros cultivos"

Realizacin de proyectos: se refiere a la realizacin de proyectos dentro de cualquiera de las reas de trabajo del INTA donde el becario puede aplicar sus nuevos conocimientos Capacitacin de recursos humanos: se incluye en este punto tanto la capacitacin de personal del INTA, como la presentacin de trabajos a la comunidad cientfica. Publicaciones: se incluye en este punto tanto la presentacin de artculos en congresos, como publicacin de la tesis, u otros subproductos de su proceso de formacin. Realizacin de vnculos institucionales: este punto comprende tanto la realizacin de nuevos vnculos realizados por el INTA con otros sectores dentro del organismo como con otras instituciones interesadas en las mismas reas de trabajo. Tambin se incluyeron vnculos con el sector productivo a travs de actividades de asistencia u asesoramiento. Direccin de tesistas

De acuerdo al procesamiento de los datos sobre 21 respondientes, se observa que 14 sujetos dicen que aplicaron nuevas tcnicas, 15 participaron en la realizacin de proyectos, 11 capacitaron recursos humanos, 7 becarios realizaron publicaciones, 9 participaron en la formacin de vnculos institucionales y solo uno orient a tesistas. No obstante debe considerarse, que debido a los problemas de aplicacin y construccin del instrumento puede afirmarse que los porcentajes y nmeros absolutos corresponde a las personas que realizaron estas actividades pero no puede decirse que a quienes no se les consigna transferencia no la hayan realizado efectivamente. (cuadro 46)

127

46. Transferencia y aplicacin de lo aprendido por centro regional

Capacitacin de recursos humanos Realizacin de vnculos institucionales Direccin de tesis Publicaciones

Aplicacin de nuevas tcnicas

CENTRO REGIONAL

Realizacin de proyectos

TOTAL RESPONDIENTES

BUENOS AIRES SANTA FE

1 4 3 1 1 3 1 1 0 0 ENTRE RIOS 2 1 0 1 1 CORRIENTES 1 2 0 0 0 MISIONES 2 1 0 0 1 CHACO-FORMOSA 1 0 1 1 1 TUCUMAN 0 2 2 1 2 LA PAMPA 2 1 1 0 1 PATAGONIA 2 3 3 3 2 TOTAL 14 15 11 7 9 RESPUESTAS (24.6%) (26.3%) (19.3%) (12.3%) (15.8%)
Respondieron 21 . Los porcentajes estn elaborados sobre el total de las respuestas

0 0 0 0 0 0 0 1 0 1 (1.8%)

4 3 2 2 2 1 2 2 3 21

Factores que favorecen y obstaculizan la aplicacin de los conocimientos adquiridos.

Se pregunt por obstculos que incidieron en la aplicacin de los conocimientos en esta etapa. Esta pregunta fue respondida por muy pocos encuestados. (5 respuestas) Luego se reitera en cada una de las encuestas. Entre los factores que favorecen la aplicacin se encuentran la decisin poltica de la institucin de seguir trabajando en el rea de formacin de los becarios y la existencia de convenios con otras instituciones interesadas en el rea de trabajo. Entre los factores obstaculizadores a nivel institucional se mencionan los recortes presupuestarios y la incertidumbre devenida del proceso de reestructuracin del INTA. Entre los factores grupales que favorecen la aplicacin de lo aprendido se mencionan el inters en los temas por parte de los compaeros y la existencia de convenios de cooperacin con otras instituciones. Entre los factores a nivel grupal que obstaculizan se encuentra la falta de grupos formados en el rea, la falta de recursos y en un caso la no coincidencia del destino de la formacin becario con el programa en el que se desempeaEntre los factores personales se valoriza como positivo la adquisicin de los nuevos conocimientos y como negativo la falta de recursos (pero este punto excede lo personal y debe remitirse a los obstculos institucionales) Entre los factores externos se sealan como favorables que los temas son requeridos por la sociedad, y la poltica favorable al desarrollo de los mismos en el sector. Entre los factores externos obstaculizadores se sealan la incertidumbre poltica del sector y la
128

escasez de recursos. Esta pregunta debiera recategorizarse o reformularse para permitir mayor cantidad de respuestas
Modific su tarea y logros obtenidos

Para relevar el impacto de la transferencia de los conocimientos adquiridos se pregunt por las modificaciones ocurridos y los logros obtenidos. Se pregunt:
1) "Puede indicar algunos logros en relacin a modificaciones realizadas en las tareas en razn de la incorporacin de la capacitacin recibida? SI NO PARCIALMENTE En el caso de que su respuesta fuera SI o PARCIALMENTE, seale los ms significativos"

La mayora, 10 de los 15 encuestados que respondieron a esta pregunta, afirmaron haber realizado modificaciones en sus tareas a partir de la aplicacin de los conocimientos adquiridos. Dicen haber realizado modificaciones parciales. Los casos perdidos recibieron otros cuestionarios y no se les pregunta por los logros.
Logros obtenidos

Esta pregunta resulta de difcil categorizacin por las mismas razones expuestas precedentemente. De 21 encuestados, 15 afirman haber obtenido logros en la aplicacin de los conocimientos (6 no responden). Los logros enunciados en las respuestas abiertas por los encuestados estn referidos a :

Manejo de informacin (obtencin de nueva informacin, aplicacin de nuevos sistemas de recoleccin de datos, mejora en el tratamiento de la informacin, sistematizacin de informacin disponible, rapidez) Aplicacin de nuevas tcnicas o procedimientos de investigacin Nuevas tcnicas en la orientacin o gerenciamiento de negocios Atencin a nuevas demandas del medio, o aplicacin de nuevos enfoques. Difusin cientfica Generacin de nuevos proyectos de trabajo

Se transcribe a continuacin algunos de los logros obtenidos expresados por los 15 becarios que respondieron a esta pregunta.
1. 2. 3. 4. 5. 6. 7. Aplicacin de una metodologa de relevamiento de datos, sistematizacin de informacin sistemas productivos y caracterizacin racial de caprino Automatizacin, eficiencia y precisin en la valoracin de los recursos de los fenmenos analizados, modernizacin y rapidez en la presentacin de productos crnicos Reorientacin de ensayos instalados y por instalar, nuevos compromisos asumidos en funcin de demandas del medio (simuladores de crecimiento y produccin forestal Implementacin de cultivo de clulas para el aislamiento de neospora caninum, implementacin de un elisa completo Se utiliz protena obtenida por recombinacin gentica y un anticuerpo monoclonal para la identificacin de portadores crnicos Demandas de la UNLpam, el Ministerio de la Produccin de la Pampa, empresas privadas de actividades relacionadas, tareas de difusin, transferencia e investigacin Mejoras en las metodologas de investigacin en el campo de ensayo y mejora en el planeamiento de nuevos proyectos
129

8. 9.

Estudios iniciales de fisiologa de la planta de yerba mate, en nutricin y fisiologa de la semilla Publicacin en Journal Entomologic. Anlisis matemtico y estadstico de resultados, puesta a punto de metodologa de cra del sistema en breve tiempo. 10. Presentacin proyecto FONCYT, presentacin actividades en proyecto Grandarco corrientes 11. Recopilacin de casustica de sanidad animal, integracin con el grupo de sistemas de informacin geogrfica, preparacin y direccin de tesista 12. Mejora en la utilizacin de informacin, en protocolos de investigacin, trabajo interdisciplinarios, integracin con unidades y otras instituciones Transferencia de nuevas tcnicas al personal de laboratorio para hacer mas eficientes los trabajos, nuevas medidas de seguridad en laboratorios

3.8.- Tercera encuesta, la aplicacin de lo aprendido 12 meses despus

Esta encuesta fue aplicada 12 meses despus de finalizada la capacitacin. Tiene como objetivo relevar las transformaciones ocurridas ya pasado un tiempo considerable en la transferencia de conocimientos. "El objetivo de la tercera etapa es el de recabar informacin sobre la transferencia de conocimientos adquiridos por el tcnico con motivo de su capacitacin en el exterior al grupo de trabajo al que pertenece y a eventuales demandantes relacionados con el rea de conocimientos en la que el profesional se capacit"152 Estaba destinada tambin al grupo de pares de trabajo, al jefe superior y a la autoridad regional Aunque fueron muy pocos los jefes que respondieron y an menos las autoridades superiores, en general lo nico que realizan es la validacin o reproduccin de lo que afirma el becario en su encuesta. Lo mismo ocurre con los pares. Esta encuesta fue respondida slo por 16 personas de las 36 encuestadas en la primera instancia. Se volvi a preguntar si los tcnicos aplicaron lo aprendido y se observa que: 3 personas dicen haber aplicado lo aprendido, 8 slo parcialmente y el resto no contesta. Se pregunt por el porcentaje de aplicacin de sus conocimientos, donde tambin fueron muy pocas las respuestas, 6 personas afirman haber aplicado sus conocimientos en un 75 y 50 % (cuadro 47).
47. Aplicacin de lo aprendido 12 meses despus por porcentaje de aplicacin
Recuento PORCENTAJE DE APLICACION DE LO APRENDIDO 12 MESES DESPUES DE CONCLUIDA LA CAPACITACION MENOS DE ENTRE ENTRE 25% O NO NO 75 Y 50% 50 Y 25 % APLICO CONTESTA SI 1 2 PARCIALMENTE 5 1 1 1 NO CONTESTA 5 6 1 1 8

EL TECNICO APLICO LO APRENDIDO 12 MESES DESPUES Total

Total 3 8 5 16

Si analizamos estos nmeros considerando las 23 personas que tenan altas expectativas de aplicacin de acuerdo a lo expresado en la primer encuesta se observa que se tiene informacin de 8 personas que pudieron aplicar sus conocimientos en segunda y tercera instancia y del resto no se dispone
152

Protocolo de entrevista. INTA, 2000, ver pp. 130

informacin. De las 9 personas que tenan expectativas moderadas, 3 lograron aplicar parcialmente y del resto tampoco hay informacin. (cuadro 48)
48. Aplicacin de conocimientos 12 meses despus segn expectativas previas Recuento
EL TECNICO APLICO LO APRENDIDO 12 MESES DESPUES PARCIAL SI MENTE NC 3 5 15 3 3 8 6 4 25

EXPECTATIVA DE APLICACION AL FINALIZAR LA CAPACITACION Total

ALTO MEDIO NC

Total 23 9 4 36

Si realizamos un seguimiento de los progresos de aplicacin se observa que dentro del grupo de 9 con expectativas moderadas 2 aplican a los 6 meses y 3 a los 12 meses. Los 15 que presentan expectativas altas de aplicacin, afirman que aplican a los 6 meses, y 7 a los 12 meses.
49. Cruce entre los que aplicaron 6 meses despus y los que aplicaron 12 meses despus Count
EL TECNICO APLICO LO APRENDIDO 12 MESES DESPUES SI APLICO LO APRENDIDO A SUS TAREAS 6 MESES DESPUES Total SI PARCIALMENTE 2 2 PARCIALMENTE 2 3 5 Total 4 3 7

Es decir que de los 32 con expectativas de aplicacin (altas o medias), se tiene noticias a travs de este relevamiento de que 19 aplican sus conocimientos entre los 6 y los 12 meses. Quizs se podra sugerir como hiptesis, que pasados los 12 meses hay una baja en el porcentaje de aplicacin, si a los 6 meses haba varios encuestados que respondan que la aplicacin era alta, ahora se instala el mayor nmero de respuestas en aplicacin intermedia. Sin embargo el nmero de respuestas se va reduciendo tanto que slo sirve como para tomarlo en cuenta como una tendencia posible en futuras indagaciones ms completas. (cuadro n 50).
50. Aplicacin de lo aprendido a los 6 y 12 meses segn expectativas previas de aplicacin
APLICO 12 MESES DESPUES EXPECTATIVA DE APLICACION PREVIAS ALTO APLICO 6 MESES DESPUES SI PARCIALMENTE NO CONTESTA Total MEDIO PARCIALMENTE NO CONTESTA Total NC SI NO CONTESTA Total
131
PARCIALMENTE NO CONTESTA

TOTAL

SI 2 1

2 3

8 7

3
2 1

15
6

6
1 3

12 3 8 23 2 7 9 1 3 4

Factores que obstaculizan o favorecen la aplicacin de lo aprendido 12 meses despus

Los 8 personas que aducen haber aplicado parcialmente los conocimientos adquiridos lo explican por la falta de recursos humanos, econmicos, o situacin institucional. En algunos casos se refiere a la falta de articulacin del becario con los grupos de investigacin vinculada con su formacin. La pregunta por los factores obstaculizadores y facilitadores fue respondida por muy pocos becarios. Entre los factores facilitadores a nivel institucional, se sealan la poltica de la institucin favorable al desarrollo de la temtica, a nivel grupal, se destacan el inters de los grupos de trabajo, a nivel personal, se sealan la experiencia, los mayores conocimientos, y a nivel externo la demanda social de los temas y la poltica favorable a su desarrollo. Se indica como factores obstaculizadores en todos los niveles los recursos insuficientes.

3.9.-Metodologa de transferencia de los conocimientos

En esta parte de la encuesta se pregunta directamente por la por la metodologa de transferencia de los conocimientos y no se pregunta por los aspectos en los que se aplic los nuevos saberes. Slo fue respondida por 7 personas. En el cuadro que se observa a continuacin .(cuadro n 51)
51. Metodologa de transferencia 12 meses despus

N
Transferencia a travs de artculos Transferencia a travs de seminarios Transferencia a travs de asesoramiento Transferencia a travs de formulacin de proyectos Transferencia a travs de relaciones Inst. Transferencia a travs de capacitacin 5 4 4 4 4 5 26

Respuestas
19.2 15.4 15.4 15.4 15.4 19.2 100.0

Casos
71.4 57.1 57.1 57.1 57.1 71.4 371.4

TOTAL
Responden 7 personas, 9 no responden

3.10.-Cambios observados en la aplicacin

La pregunta por los cambios observados en la aplicacin de conocimientos se vincula con el objetivo de registrar algn indicio de impacto en el trabajo por la aplicacin de conocimientos. 11 personas aducen haber producido algn tipo de cambios en su trabajo a partir de la aplicacin de sus conocimientos, de los cuales 4 sealan haberlos producido slo parcialmente. (cuadro 52).
132

Tabla de contingencia CENTRO REGIONAL * CAMBIOSaOBSERVADOS EN LA APLICACION 12 MESES DESPUES

52. Cambios observados en la aplicacin 12 meses despus por Centro Regional Recuento
CAMBIOS OBSERVADOS EN LA APLICACION 12 MESES DESPUES PARCIAL SI NO MENTE NC CENTRO REGIONAL CENTRO REGIONAL BUENOS AIRES SUR CENTRO REGIONAL SANTA FE CENTRO REGIONAL CORDOBA CENTRO REGIONAL CORRIENTES CENTRO REGIONAL MISIONES CENTRO REGIONAL TUCUMAN S.DEL ESTERO CENTRO REGIONAL LA PAMPA SAN LUIS CENTRO REGIONAL PATAGONIA NORTE 1 1 1 1 1 1 3 1 7 1 4 1 4 1 2 2

Total 1 3 1 1 2 3 3 2 16

Total a. ENCUESTA 3 = SI

Aspectos en los que se observan los cambios 12 meses despus

Contestan a esta pregunta 11 de las 16 personas que respondieron a la tercer encuesta. Es decir los 11 observaron algn tipo de cambio producido a partir de la aplicacin de los conocimientos en la incorporacin de nuevas tcnicas y criterios, mayor eficiencia en los trabajos, realizacin de proyectos y publicaciones, como se observa en el cuadro que se presenta a continuacin, distribuidos por centros regionales.
53. Cambios Recuento producidos 12 meses despus por centro regional del tcnico
ASPECTOS EN QUE SE OBSERVAN CAMBIOS 12 MESES DESPUES APLICACION REALIZACION DE NUEVAS DE PUBLICA MEJORA EN TECNICAS PROYECTOS CIONES LAS TAREAS CENTRO REGIONAL CENTRO REGIONAL SANTA FE CENTRO REGIONAL CORRIENTES CENTRO REGIONAL MISIONES CENTRO REGIONAL TUCUMAN S.DEL ESTERO CENTRO REGIONAL LA PAMPA SAN LUIS CENTRO REGIONAL PATAGONIA NORTE 3 1 1 1 3 1 7 1 1 2 1

Total 3 1 2 1 3 1 11

Total

Responden 16 personas, 5 no contestan

133

En el cuadro que se presenta a continuacin se observa una comparacin de los cambios observados a los 6 meses y los producidos a los 12 meses enunciado por algunos de los comentarios de los tcnicos cuya trascripcin ilustra lo anterior:
54. Aspectos en los que se observa los cambios 12 meses despus por tcnico
LOGROS OBTENIDOS EN LA APLICACION DE CONOCIMIENTOS Mejoras en las metodologias de investigacin en el campo de ensayo y mejora en el planeamiento de nuevos proyectos ASPECTOS EN QUE OBSERVA LOS CAMBIOS 12 MESES DESPUES Se mejoraron las publicaciones

LUGAR DE TRABAJO

CR CORRIENTES

CR PATAGONIA NORTE

Demandas de la UNLpam, el Ministerio de la Produccin de la Pampa, empresas privadas de actividades realacionadas, tareas de difusin, transferencia e investigacin. Transferencia de nuevas tcnicas al personal de laboratorio para hacer mas eficientes los trabajos, nuevas medidas de seguridad en laboratorios

En un 100 % debido a mi reinsercin profesional en el rea de desarrollo rural

EEA RAFAELA

Mayor eficiencia en tareas de laboratorio, ampliacion de los temas de investigacin

CR SANTIAGO DEL ESTERO

Adopcin de metodologas de experimentacin adaptativa en el plan de extensin, desarrollo de actividades tendientes al desarrollo sostenible del Gran Chaco Implementacin de cultivo de clulas para el aislamiento de neospora caninum, implementacin de un elisa completo. Se utiliz proteina obtenida por recombinacin gentica y un anticuerpo monoclonal para la identificacin de portadores crnicos. Automatizacin, eficiencia y precisin en la valoracin de los recursos de los fenmenos analizados, modernizacin y rapidez en la presentacin de productos carnicos. Reorientacin de ensayos instalados y por instalar, nuevos compromisos asumidos en funcin de demandas del medio (simuladores de crecimiento y produccitn forestal. Recopilacin de casustica de sanidad animal, integracin con el grupo de sistemas de informacin geogrfica, preparacin y direccin de tesista Utilizacion de nuevas tcnicas, mtodos de investigacin., mtodos para la difusin de conocimiento. Nueva tecnologia generada sobre enfermedades transmitidas por garrapatas mediante conocimientos .adquiridos. Modernizacin de cartas de suelos, incursionado en redes neuronales, sistenas expertos, motivado en el uso a otros sectores educativos, .polticos, divulgacin periodsitica.

CR SANTA FE

CR SAN LUIS

EE MONTECARLO

Mayor autodeterminacin y autosuficiencia.

EE SAN LUIS

Mejor interpretacin de sistemas de inofrmacin geogrfica y anticipar situaciones sanitarias de muy dificil apreciacin

EA CERRO AZUL

Estudios inicales de fisiologa de la planta de yerba mate, en nutricin y fisiologa de la semilla

Confeccin de proyectos y ejecucin de los mismos con metodologa apropiada de investigacin.

134

3.11.-La opinin del grupo de trabajo y jefes acerca de la aplicacin y transferencia de los conocimientos.
En la encuesta se reserv un espacio para la respuesta del grupo de trabajo. Se indag acerca de la pertinencia de lo transferido por el becario, la indicacin de las mejoras producidas por la aplicacin de los nuevos conocimientos, la adecuacin de la transferencia, y la presencia de obstculos. En general en estas preguntas se obtuvieron, salvo en las primeras, muy pocas respuestas.
Pertinencia de lo transferido

Esta pregunta fue respondida por 10 de las 16 personas que respondieron a la tercer encuesta, que afirman que lo transferido es pertinente para el grupo.
55. Pertinencia de los conocimientos transferidos por el tcnico para el grupo por centros regionales. Recuento
LO TRANSFERIDO POR EL BECARIO 12 MESES DESPUES ES PERTINENETE PARA EL GRUPO,SEGUN EL GRUPO PARCIAL SI MENTE NC CENTRO REGIONAL CENTRO REGIONAL BUENOS AIRES SUR CENTRO REGIONAL SANTA FE CENTRO REGIONAL CORDOBA CENTRO REGIONAL CORRIENTES CENTRO REGIONAL MISIONES CENTRO REGIONAL TUCUMAN S.DEL ESTERO CENTRO REGIONAL LA PAMPA SAN LUIS CENTRO REGIONAL PATAGONIA NORTE 1 3 1 1 1 1 3 2 1 2 7 3 6 Tabla de contingencia CENTRO REGIONAL * LO TRANSFERIDO POR EL BECARIO 12 a MESES DESPUES ES PERTINENETE PARA EL GRUPO,SEGUN EL GRUPO

Total 1 3 1 1 2 3 3 2 16

Total

a. ENCUESTA 3 = SI

Razones de la pertinencia

Se pregunt en forma abierta sobre las razones de la pertinencia. En lneas generales los compaeros expresan que hubo una mejora en la capacidad del grupo y la afinidad de los conocimientos adquiridos con el trabajo que se desarrolla en el centro experimental. Se pregunt tambin sobre la existencia de mejoras para el grupo. 10 de los encuestados afirmaron haber percibido mejoras en el grupo. Estas mejoras son:
135

1. 2. 3. 4.

mayor rigor cientfico , metodolgico, capacitacin nuevas tcnicas y mtodos de trabajo mejor capacidad para encarar lneas nuevas en investigacin mejor interpretacin y conocimiento global

En relacin con la adecuacin de la transferencia para el grupo, 5 de 16 personas contestaron que fue adecuada y 4 parcial. Las razones de la adecuacin de la transferencia fueron la mayor disponibilidad de metodologa cientfica, mejora en algunas de las tareas tcnicas. Slo dos encuestados sealaron la existencia de obstculos en la transferencia. Y al preguntar por el tipo de obstculos varios de ellos explicaron la presencia de obstculos de tipo econmicos, o presupuestarios. En relacin con cules son los factores que favorecieron u obstaculizaron la aplicacin, los encuestados se limitaron a repetir los juicios emitidos en este mismo punto por los becarios. Tambin al grupo se le pregunt si al existir obstculos podra explicitar algunas sugerencias para superarlas o evitarlas en las prximas experiencias, pero esta pregunta no fue respondida.

3.12.-Sntesis
La encuesta piloto fue aplicada a 36 tcnicos del INTA que realizaron experiencias de capitacin en el exterior, en tres tiempos, a su regreso al lugar de trabajo, a los 6 meses y a los 12 meses. Hubo una prdida importante entre la primera y la ltima encuesta de ms de la mitad de los respondientes. La mayora los becarios del INTA provienen de Centros Regionales del interior del pas de Corrientes, Entre Ros, Santiago del Estero, Chaco, Crdoba, Ro Negro, Santa Fe, San Luis, Buenos Aires, La Pampa y Mendoza. Se formaron en universidades del exterior, concentrndose principalmente en Espaa (40 %) para la obtencin de sus ttulos de maestra o doctorados. Algunos de los encuestados asistieron a cursos de capacitacin o charlas.. En relacin con la primera parte de la encuesta, el 90 % de los becarios afirman haber alcanzado los objetivos de su formacin en las distintas reas. La mayora se encuentra conforme con la calidad de los estudios. Se observa un ajuste prcticamente total entre las expectativas de formacin y la formacin recibida debido al prestigio de los lugares elegidos, la excelencia del cuerpo de profesores y las caractersticas del programa de formacin. (61 %) El 88 % de los que respondieron en esta etapa expres el deseo de profundizar sus conocimientos en distintas temticas. A su vez, el 90% recomienda los mismos centros donde se formaron para futuros estudiantes, 8 tcnicos recomiendan otros centros de estudios como mejores o alternativos a los que concurrieron de acuerdo a los temas de formacin.

136

El (41%) dijo haber tenido problemas en su proceso de formacin que se debieron en su gran mayora a problemas del tipo econmico administrativo del INTA. Es menor el porcentaje de becarios que encontraron problemas en las universidades o directores de los centros experimentales. A su regreso a sus puestos de trabajo, gran parte de los respondientes (63,9%) dijeron poseer alta expectativas de aplicacin. Cconsideraban que los factores institucionales de mas peso que favorecen la aplicacin son las lneas de trabajo coincidentes con la formacin obtenida (38.9%), y los obstaculizadores institucionales, la falta de provisin de recursos humanos y materiales (76%). Pasados los 6 meses, solo 21 tcnicos responden a la segunda encuesta. De los 32 tcnicos que expresaron altas expectativas de aplicacin en la primera encuesta, 12 aplicaron sus nuevos conocimientos a su trabajo, y 5 parcialmente. Las reas de transferencia fueron la realizacin de proyectos (26%), la aplicacin de nuevas tcnicas (24%) y capacitacin (19%), en menor medida publicaciones y realizacin de vnculos institucionales. Dentro de este grupo, 10 de los encuestados afirman haber realizado modificaciones en sus tareas a partir de lo aprendido. Los factores ms importantes que favorecen la aplicacin 6 meses despus se atribuyen a la decisin poltica de la institucin de seguir trabajando en el rea y la existencia de vnculos con otras organizaciones . Los factores obstaculizadores siguen siendo en esta instancia los problemas presupuestarios. Los directores de los Centros avalan estas respuestas. El relevamiento realizado a los 12 meses no brinda informacin suficiente para constatar si los tcnicos aplicaron lo aprendido y los logros que obtuvieron, debido que solo contestan en esta instancia 16 tcnicos de los 36 iniciales. Dentro del grupo de respondientes, 11 dicen haber aplicado lo aprendido en este momento (3 totalmente y el resto en forma media). A partir de la incorporacin de los nuevos conocimientos, 15 de los tcnicos afirma haber modificado su tarea, 5 de ellos parcialmente. Si se recapitula la historia de aplicacin de conocimientos de los tcnicos en las tres etapas se observa que de los 32 con expectativas de aplicacin (altas o medias), se tiene noticias a travs de este relevamiento que 19 aplican sus conocimientos entre los 6 y los 12 meses.Se observa una baja relativa en el porcentaje de aplicacin entre las expectativas, los 6 meses despus y los 12 meses. La mayora de las respuestas en relacin con este punto son ms moderadas, pero debe tenerse en cuenta que responden tambin 20 sujetos menos que al principio, con lo cual las afirmaciones que pueden hacerse con el material disponible es solo muy tentativo. La metodologa de transferencia de conocimientos se realiza tanto a travs de artculos, seminarios, asesoramiento, formulacin de proyectos, relaciones institucionales y capacitacin. Los tcnicos sealan que a partir de la inclusin de nuevos conocimientos se observan cambios en su trabajo a partir de la aplicacin de nuevas tcnicas (7), realizacin de proyectos (1) y publicaciones (1). Los grupos de trabajo a quienes tambin fueron dirigidas las encuestas en esta etapa agregan que se observa una mejora de la capacidad del grupo de trabajo y afinidad entre el trabajo del becario y el desarrollo del centro.

137

En sntesis, la formacin recibida parece haber tenido algn tipo de impacto en el trabajo de los becarios que respondieron a la encuesta, pero no se puede dimensionar con claridad la profundidad del mismo. Las reas donde se observa mayor impacto es en la mejora en el desempeo de trabajo a partir de la incorporacin de nuevas tcnicas y procedimientos y la realizacin de proyectos.

138

4.-Reformulacin metodolgica y conceptual del instrumento

En este punto se presenta una propuesta de reformulacin del instrumento y procedimientos empleados por el INTA sobre la base del anlisis de la encuesta a partir de su procesamiento y sus resultados. Se desarrollan algunas observaciones acerca de la construccin del instrumento, de la metodologa de aplicacin y de la lgica del seguimiento atendiendo a lo que surge como resultado del anlisis de los datos, como base para su reformulacin. La reformulacin incluye tanto sugerencias instrumentales como tambin una revisin y reajuste del concepto de impacto empleado. Este nuevo enfoque del concepto de evaluacin de impacto es el resultado de la deteccin de los fallos del instrumento, a travs del trabajo de procesamiento y anlisis de los datos y est orientado a resolver parte de los problemas encontrados. Se ha observado a lo largo del trabajo que el utilizar un concepto muy acotado de impacto deja fuete una suerte de informacin que puede ser relevante para juzgar el proceso de capacitacin desarrollado. El nuevo enfoque permite aprovechar la informacin disponible y la categoriza en reas de impacto de acuerdo a las caractersticas de la produccin que realiza la organizacin.

4.1.-Anlisis de los aspectos metodolgicos de la encuesta

El instrumento utilizado en esta prueba piloto presenta algunos problemas en su construccin que se resean a continuacin: La primer dificultad es que el cuestionario diseado es demasiado extenso, lo que atenta contra el nmero de respuestas que puedan obtenerse. De hecho, se observa una merma importante entre las respuestas obtenidas entre la primera instancia y la ltima. La falta de representatividad daa la validez de los resultados que se enuncian y no permite contar con datos suficientes para comprobar el xito de la capacitacin. Se han desarrollado muchas preguntas similares con el objeto de realizar controles, lo cual confunde al encuestado y hace muy difcil su posterior procesamiento (por ejemplo, en el caso de logros de los objetivos, ajuste de las expectativas, en la primera encuesta, o la pregunta por los logros y las modificaciones ocurridas en el trabajo) Algunas preguntas presentan problemas en su formulacin en la medida en que por su enunciado poco especfico no recaban la informacin prevista. Se trata de preguntas como logros obtenidos donde la falta de explicacin de lo que se entiende por logros hace que no se releve la informacin que se requiere. Sera interesante incluir algn tipo de definicin de las preguntas para orientar las respuestas de los capacitados. La encuesta formula una gran cantidad de preguntas abiertas: Si bien este tipo de preguntas tiene la virtud de obtener mayor riqueza de informacin, tiene el inconveniente de hacer ms difcil el procesamiento de la informacin. Algunas preguntas abiertas debieran cerrarse aunque sea parcialmente. Por ejemplo, hay preguntas como las referidas a los temas de la capacitacin, los objetivos de la
139

capacitacin, o lo que el tcnico desea profundizar despus de haber recibido su capacitacin (primera encuesta), que pueden ser categorizadas a travs de descriptores con algn tipo de vnculo con las actividades del organismo (investigacin, extensin, etc) o descriptores de las reas especficas de conocimiento, o las lneas de la poltica de capacitacin. Estas preguntas pueden destinarse a la produccin de una suerte de banco de datos donde recurrir para controlar el historial de los capacitandos. Las preguntas que intentan relevar el impacto de la capacitacin a travs de los productos presentan tambin problemas en su formulacin (las preguntas que hacen referencia a los logros y las modificaciones en el trabajo, que se plantean en la segunda y tercer encuesta). Estas debieran vincularse con los objetivos de la capacitacin, con la produccin concreta que el sujeto realiza en la institucin (su trabajo) y con la poltica de capacitacin de la institucin para poder delimitar cual es la contribucin de la aplicacin de los nuevos conocimientos En el instrumento no hay referencia al trabajo que realiza el becario que se capacita, con lo cual no es fcil observar la relacin que se establece entre su nueva contribucin a su trabajo habitual. Otro de los problemas observados es que por un error de procedimiento, los tcnicos no recibieron los mismos formularios, esto produce problemas de confiabilidad en la evaluacin ya que al variar el instrumento no se recaba siempre la misma informacin. La encuesta recoge la opinin de otros actores dentro del grupo de trabajo, adems de los becarios, para observar la transferencia y el impacto lo que es muy interesante y apropiado, ya que opera como proceso de triangulacin de observadores. Pero al integrar las preguntas en un mismo formulario estas sean probablemente viciadas por la cercana entre el becario, el director y el grupo. Estas preguntas debieran consignarse en formularios por separado. El sentido de la inclusin de las preguntas que aluden a los obstculos o factores facilitadores, son incluidas en la encuesta en razn de que los obstculos son considerados elementos intervinientes en la relacin capacitacin - impacto que operan modificando los resultados de la capacitacin. Sin embargo, estas preguntas que se repiten en las tres instancias, y con bastante amplitud, presentan algunas dificultades en su procesamiento. De acuerdo con lo expresado por el rea de capacitacin en las entrevistas personales, la idea que animaba la inclusin de estas preguntas era realizar un seguimiento de las dificultades que iban surgiendo y cmo el becario las resolva. El problema que se observa en primer trmino se refiere al sealado con respecto a preguntas abiertas, es decir, las respuestas son muy dispares y de difcil procesamiento. En segundo lugar, no hay ningn indicio en la encuesta sobre qu mtodos utiliza el becario para solucionar las situaciones problemticas. Este punto debera modificarse quizs a travs de categoras inclusivas y no repetirse en todas las instancias pues el problema de solicitar demasiada informacin genera el efecto contrario, falta de informacin.

140

4.2. Anlisis de la lgica del proceso de evaluacin en relacin con los objetivos
El anlisis de los datos de esta encuesta permite obtener informacin de opinin acerca de la calidad de los estudios realizados, construir un banco de datos de los temas de capacitacin, de la performance de los distintos centros de informacin y un registro de las dificultades ocurridas en el proceso de capacitacin. Tambin se relevan las expectativas de aplicacin y algn dato indirecto acerca de la recepcin del grupo de trabajo del becario a la vuelta de su formacin. Pero en cuanto a la transferencia existen algunas dificultades y ms an en relacin con el impacto. Al no existir indicadores prediseados o estndares de comparacin, se opta por las preguntas abiertas y si bien sta no pueden ser cerrados por la diversidad de ocupaciones de los sujetos, se debera construir algunas variables generales como para poder identificar algunas de las reas donde se inscriben los cambios en el trabajo a partir de la aplicacin de conocimientos. Son tan dispares las respuestas que no pueden ser analizadas en conjunto sin algn tipo de categorizacin. De hecho la categorizacin puede realizarse posteriormente al relevamiento, pero en este caso es aconsejable identificar las reas donde a la organizacin le interesa que se presenten cambios y dejar el espacio para ajustes o correcciones por parte de los tcnicos. Puede decirse que la encuesta releva algunos datos de transferencia y muy poco acerca del impacto de estos conocimientos generan. Los cambios que se enuncian a travs del relato del sujeto que se capacita se diluyen en cada historia personal. Esto es insuficiente a los efectos de hacer un registro general de los beneficios que el programa genera a la institucin. Al ser tan abiertas e inespecficas las preguntas muchas veces no hay respuestas que puedan mostrar al evaluador si existi algn beneficio, ya sea a ttulo personal, grupal u organizacional. Esta dificultad remite a la pregunta sobre cul es la produccin de la institucin. Si el INTA es una institucin que desarrolla actividades de investigacin y extensin, los productos esperados podran ser, entre otros, desarrollo de proyectos, solucin de problemas tcnicos, asesoramiento al sector agropecuario, difusin del conocimiento cientfico relativo al rea especfica. Algunos de estos elementos, que fueron considerados en la encuesta como modalidades de transferencia, tambin pueden ser considerados como indicadores cualitativos, a partir de los cuales puede contarse con datos un poco ms generalizables acerca de las transformaciones ocurridas a raz de la capacitacin.

4.3.-Reformulacin del concepto de impacto y dimensiones de anlisis

En este apartado se presenta una propuesta de evaluacin como resultado del anlisis previo realizado que incluye la redefinicin de evaluacin de impacto, la redefinicin de las dimensiones de anlisis y criterios de evaluacin, y de la estrategia de aplicacin de la misma. Se parte de la definicin amplia de impacto como un cambio en sentido positivo (mejoramiento) en las prcticas y la generacin de nuevos productos, con la intencin de
141

construir un indicador que resuma las transformaciones ocurridas. Estas transformaciones esperadas a causa de la capacitacin153, se producen en las personas y en el producto de su trabajo. En la persona las transformaciones ocurren al menos en cuatro reas, en sus conocimientos (nuevos aprendizajes), en sus vnculos (nuevas relaciones de trabajo, en su posicin dentro de la organizacin), en sus prcticas, y en los resultados de su trabajo o en los productos que genera. La encuesta indaga sobre: aplicacin de lo aprendido, logros obtenidos a raz de la aplicacin de los nuevos conocimientos, modificaciones en las tareas y mtodo de transferencia de los conocimientos. Uno de los problemas ms graves, ya sealados, es la baja cantidad de respuestas y que los becarios respondieron a instrumentos parecidos pero no los mismos. Siendo que la diferencia entre las respuestas en el primer y tercer cuestionario es de 18 personas, para elevar el nmero de respuestas la segunda y tercera son tomadas como una sola. Se rastrea, entonces, en varias de las respuestas a las diferentes preguntas de las dos ltimas encuestas (aplicadas a los 6 meses y a los 12 meses), que son tomadas como una sola, las transformaciones ocurridas en el trabajo en trminos de mejoramiento en las prcticas y productos generados, lo que hace un total de 21 respondientes. Redefinimos como mejoramiento en las prcticas a toda modificacin en sentido positivo en las actividades de quien se capacita a raz de la aplicacin de los nuevos conocimientos. Esta variable ha sido categorizada de la siguiente manera: aplicacin de nuevas tcnicas, participacin en la formulacin de proyectos, capacitacin de recursos humanos, redaccin de publicaciones, gestin de nuevos vnculos. Se entiende por productos generados los resultados obtenidos a partir de las nuevas prcticas. Los productos fueron categorizados de la siguiente manera: nueva sistematizacin de informacin a partir de la aplicacin de nuevas tcnicas, proyectos, capacitacin de recursos humanos, publicaciones, obtencin de nuevos vnculos institucionales Se agrupan estos dos aspectos como una medida aproximada de impacto o niveles de impacto generados por el proceso de aprendizaje de la siguiente manera
MEJORAMIENTO EN LAS PRACTICAS

Si
CAMBIO EN LOS PRODUCTOS

No
INCOHERENTE NULO

Si No

ALTO MEDIO (EFECTIVIDAD)

A partir del cruce de estas dos variables se obtiene una medida general del impacto de la capacitacin recibida, como alto, medio, nulo. El paso siguiente es la identificacin de las reas de impacto y la consideracin de los aspectos intervinientes de tipo estructural o vincular que inciden en el proceso de transferencia e impacto en cada una de las instituciones a las que pertenecen los encuestados. Si se toma la categorizacin en reas construida sobre la base de las respuestas se puede observar entonces los cambios en el desempeo y producto del trabajo. En el cuadro que se presenta a continuacin se puede ver como sobre 21 de 35 encuestados los beneficios que el
153

Esta relacin causal se estima como orientativa y no cerrada, se trata ms de un supuesto que de una comprobacin fehaciente de la transformacin como resultado de la intervencin. 142

programa de capacitacin genera en su conjunto son: la aplicacin de nuevas tcnicas y obtencin de nuevas sistematizaciones, la formacin de recursos humanos, la formulacin de nuevos proyectos, la generacin de nuevos vnculos institucionales y publicaciones, en ese orden.
56. Grado de impacto del programa de capacitacin de tcnicos segn las dimensiones definidas AREAS
Tcnica Proyectos Formacin Vnculos Publicaciones TOTAL N 16 13 14 10 10 63

GRADO DE IMPACTO EN PRODUCTOS Y PRACTICAS Alto Medio Bajo

% Resp. 25.4 20.6 22.2 15.9 15.9 60 N 0 4 1 1 0 6 % Resp 0 66.7 16.7 16.7 0 5.7 N 5 4 10 6 11 36 % Resp 13.9 11.1 16.7 27.8 30.6 34.3

21 respondientes, 105 respuestas

Sobre un total de 105 respuestas el 60 % expresan una transformacin alta en la produccin que podra esperarse de los becarios (entendiendo las 5 reas definidas de produccin de nuevas sistematizaciones, etc.), 5 % mediano y un 34 % inexistente o no se registra, con lo cual podra suponerse que el impacto del programa es moderado. Sin embargo es preciso aclarar que estas frecuencias de respuesta son slo orientativas pues muchos de los respondientes no contestaron la segunda y tercer encuesta (21 sujetos), estas categoras fueron estructuradas en funcin de las respuestas all encontradas. Por otro lado, por el tipo de cuestionarios, cuando los encuestados explican las formas en las que se transfieren los conocimientos y los productos, o no dan total explicacin de su afirmacin de que hubo transferencia de lo aprendido, o muchos no responden. Un refinamiento posterior de estas categoras permitir relevar informacin cuantitativa y luego cualitativa a travs de la opinin de los pares respecto de la calidad de lo producido. El paso siguiente es su comparacin con las lneas de poltica y objetivos institucionales, que permitir saber si las lneas de formacin y los resultados se condice con la poltica de investigacin y desarrollo del INTA.

4.4.-Nueva matriz de anclaje del instrumento de evaluacin de impacto de la capacitacin en el INTA.

En atencin a los comentarios realizados sobre la encuesta se puede redefinir las dimensiones de anlisis del instrumento de relevamiento de impacto de la manera que se presenta a continuacin. Una reformulacin de la matriz de anclaje en datos generales, datos de las universidades, aplicacin y productos, y factores intervinientes:

1.-DATOS GENERALES
143

NOMBRE CENTRO DEL INTA PERIODO DE FORMACIN GRADO OBTENIDO EN LA CAPACITACIN TEMA (Pueden categorizarse en relacin con las lneas de trabajo del INTA o de categoras relativas al rea disciplinar)

2.DATOS DE LAS UNIVERSIDADES PAIS UNIVERSIDAD O CENTRO DE FORMACIN OPINION SOBRE LA CALIDAD DE LA FORMACIN RECIBIDA Programas Actualizacin de los contenidos Propuesta pedaggica de formacin (trabajo interdisciplinario, acceso a experiencias de investigacin, infraestructura adecuada, etc.) Especializacin y profundidad en los temas de inters Profesores Formacin acadmica (formacin de grado superior) Experiencia en investigacin Experiencia de trabajo en el rea (especialistas) Experiencia en formacin OTRAS UNIVERSIDADES RECOMENDADAS Universidades Justificacin de la recomendacin Programas Actualizacin de los contenidos Propuesta pedaggica de formacin (trabajo interdisciplinario, acceso a experiencias de investigacin , infraestructura adecuada, etc.) Especializacin y profundidad en los temas de inters Profesores Formacin acadmica (formacin de grado superior) Experiencia en investigacin Experiencia de trabajo en el rea (especialistas) Experiencia en formacin

3.PROBLEMAS OCURRIDOS EN EL PROCESO DE FORMACIN INTA Problemas administrativos (en relacin con el otorgamiento de las becas) Problemas administrativos econmicos (atraso, interrupcin de los pagos, etc.) UNIVERSIDAD Vinculados con la Infraestructura Administrativos DE COYUNTURA Econmicos Polticos

4.LOGRO DE LOS OBJETIVOS OBJETIVOS (Pueden categorizarse en relacin con las lneas de trabajo del INTA o de categoras relativas al rea disciplinar) LOGRO
144

Actualizacin de conocimientos Ajuste de los conocimientos y la experiencia de los participantes. Conocimientos pasibles de ser aplicados Experiencia de trabajo interdisciplinario Buena combinacin de investigacin y formacin

5.-INTERES EN PROFUNDIZAR LA FORMACIN INTERES ASPECTOS QUE DESEA PROFUNDIZAR 6.-EXPECTATIVAS DE APLICACIN y APLICACIN AL CONCLUIR LA FORMACIN Y A LOS 12 MESES DESPUS CAMBIO EN LAS PRACTICAS Aplicacin de nuevas tcnicas segn reas de polticas o de trabajo del INTA(Nuevas metodolgicas de trabajo, tcnicas de investigacin, tcnicas de estudio, obtencin de informacin para el apoyo a la produccin o la investigacin) Extensin Investigacin Participacin en la formulacin de proyectos Formacin de recursos humanos Gestin de nuevos vnculos institucionales Actividades de difusin cientfica

PRODUCTOS OBTENIDOS Nueva sistematizacin de informacin a partir de la aplicacin de nuevas tcnicas segn reas de polticas o de trabajo del INTA Extensin Investigacin Nuevos proyectos realizados Recursos humanos capacitados Experiencias de difusin cientfica realizadas Nuevos equipos formados Publicaciones Realizacin de vnculos institucionales FACTORES INTERVINIENTES EN LA APLICACIN Institucionales (facilitadores/obstaculizadores) Lneas de trabajo coincidentes con la formacin recibida Provisin de recursos humanos y materiales para trabajar en el rea de formacin Constitucin de equipos de trabajo interesados en el rea

Externos (facilitadores/obstaculizadores) Los conocimientos son de importancia para el sector o hay una demanda instalada de los mismo Apoyo de otras instituciones o productores

145

4.5.- Estrategia metodolgica: parmetros de comparacin, instrumentos, procedimientos de recopilacin de informacin y anlisis.
En este punto se replantea la estrategia metodolgica de la encuesta analizada lo que comprende la definicin de criterios, parmetros, e instrumentos en acuerdo con la nueva definicin del concepto de impacto y variables centrales, as tambin como las guas para los anlisis posteriores. Si la evaluacin de impacto busca la huella de las transformaciones en el sujeto, el grupo y la organizacin, uno de los elementos muy importante que deben definirse en primer lugar es qu es lo que produce la organizacin y cul es el producto del trabajo de sus miembros, tarea que no resulta sencilla en algunas organizaciones. Una vez identificado qu es lo que deben producir los grupos que se capacitan en sus diferentes especialidades tambin deben definirse los criterios (qu es lo que interesa evaluar) y los estndares de calidad de los productos de acuerdo con las necesidades de la organizacin y sus pblicos. Como se dijo ms arriba, indicios de esta produccin son los aspectos que se definieron en forma tentativa como productos (nuevas sistematizaciones, formacin, generacin de proyectos, vnculos institucionales y publicaciones). El otro punto difcil de analizar se refiere a la calidad que estos productos deben presentar para ser considerados aceptables. La posibilidad de encontrar parmetros de comparacin respecto de la productividad y de la calidad de la produccin en este tipo de organizacin es escasa154. Sin embargo, una alternativa viable es reconstruir parmetros para que una vez identificados los cambios producidos puedan compararse con una situacin anterior. Estos estndares, por ejemplo, pueden estar vinculados con la pertinencia de la produccin de los tcnicos en relacin con las necesidades de la zona en la cual trabajan, originalidad de los trabajos en relacin con la produccin cientfica actual, o capacidad de los mismos para resolver los problemas existentes Los objetivos del programa, aunque no estn traducidos en metas son un parmetro no cuantitativo de comparacin, lo mismo ocurre con las lneas de poltica de la institucin, las necesidades de los usuarios externos y de los miembros de la organizacin. Al no haber parmetros expresos del tipo de produccin, cantidad y calidad, una forma de chequear el avance es a travs de la comparacin con parmetros construidos por la organizacin en cada rea de desarrollo tecnolgico.

154

En relacin con la dificultad de evaluar la productividad de organizaciones cientficas, slo a ttulo de ejemplo se puede mencionar un interesante trabajo de Snchez Aizcorbe (1971) que entiende por productividad el cociente de un producto por uno de los factores de la produccin teniendo en cuenta que:.-No implica una relacin causal (causa efecto) entre el factor y el resultado , y por lo tanto no pretende aportar una solucin al problema de la imputacin. .no expresa, bajo ninguna de sus forma, aspectos eminentemente particulares de la relacin entre la produccin y el conjunto de los medios puestos en accin. Define como productos: las publicaciones, la produccin cientfica y la formacin de recursos humanos y define como factores de la produccin: los recursos humanos , los materiales y los recursos financieros. SANCHEZ AIZCORBE, Csar, et al Estudio de la productividad del sistema cientfico en el rea de las ciencias geo-heliofsicas en la Repblica Argentina, Universidad del Salvador, Buenos Aires, 1971. Sobre este punto ver tambin Gngora, N: "Algunos problemas de la evaluacin de las organizaciones de I.D." en "Seminario Franco Latinoamericano de Gestao Tecnologica" . ALTEC-Universidade de Sao Paulo. Sao Paulo. 1985. 146

El valor de las medidas financieras no tienen sentido en este nivel de anlisis. El retorno de la inversin en tecnologa e investigacin para el pas requiere de estudios muy especficos que pueden desarrollarse sobre la base de experiencia acumulada luego de algunos aos de seguimiento con este esquema, sumando una perspectiva econmica en el marco de las polticas de desarrollo agropecuario. Si bien es deseable la realizacin de un control permanente del proceso de transferencia y aplicacin, tambin es importante realizar un balance entre los tiempos de la gestin y la posibilidad de obtener informacin. Es preferible intervenir menos veces en el campo y obtener mejor informacin, con lo cual una encuesta intermedia a los 6 meses de retorno del tcnico a su lugar de trabajo permite prever (si el procesamiento es rpido) las dificultades de aplicacin para subsanarlas, si es posible a la brevedad. Pero en realidad el mecanismo podra realizarse slo en dos veces: al regreso y luego al tiempo que podr ser entre los 6 y 12 meses. La metodologa clsica en evaluacin de impacto postula la construccin de una lnea de base para poder realizar un examen antes y despus comprobando los cambios producidos en las conductas y productos. Sin embargo esta metodologa exige un trabajo de diagnstico previo importante que puede ahorrarse a travs del anlisis minucioso de los productos y los factores intervinientes en relacin con las lneas de poltica, los objetivos de la capacitacin y necesidades de las distintas audiencias de la capacitacin. En relacin con los instrumentos las encuestas y la observacin de los jefes y pares implementada de manera de guardar la privacidad y la expresin libre en las respuestas, son herramientas valiosas para recabar informacin cualitativa y cuantitativa. Las entrevistas con los jefes pueden reforzar la informacin obtenida. Este diseo se perfecciona con el uso y se orienta a conformar una base sencilla de fcil sistematizacin y que permita la realizacin de estudios por cortes por rea de desarrollo tcnico-agropecuario y por centros o estaciones regionales.

147

5.-Sntesis
En esta parte del trabajo se present una nueva propuesta metodolgica de evaluacin de impacto de la capacitacin en base a la reformulacin de la encuesta de evaluacin de impacto realizada por el INTA. Se realiz el procesamiento de los datos primarios -no recabados por la autora- de las 72 encuestas cualitativas aplicadas en tres tiempos a los tcnicos del INTA y un anlisis de los aspectos metodolgicos de la encuesta destacando sus aciertos y debilidades. Se encontraron dificultades tanto en la construccin como en la aplicacin del instrumento, las principales son: 1.- la encuesta posee gran nmero de preguntas abiertas y es demasiado extensa, 2.-no se aplic el mismo instrumento a todos los casos, 3.- no se cuenta con indicadores pre-diseados o medida de impacto, por la diversidad de ocupaciones de los sujetos, 4.- no existe un registro claro y unvoco de las modificaciones ocurridas en el trabajo a partir de los relatos de los sujetos debido en parte a la formulacin de las preguntas. Una de las debilidades centrales de la consulta es el poco nmero de respuestas obtenidas y la prdida de prcticamente casi la mitad de los encuestados. Luego del procesamiento y anlisis de los datos se aplic la tcnica de la arqueologa de datos empleada por Geert Hofstede155, con el objeto de elaborar una metodologa de evaluacin de impacto en base a datos reales, de acuerdo con los objetivos planteados por la institucin A partir del anlisis se propone la redefinicin del concepto de evaluacin de impacto, entendido como una mejora en las prcticas y la generacin de nuevos productos, con la intencin de construir un indicador que resuma las transformaciones ocurridas. Se categorizar las reas de impacto del INTA en aplicacin de nuevas tcnicas, formulacin de proyectos, formacin de recursos humanos, desarrollo de nuevos vnculos y publicaciones. Se procesan los datos de acuerdo a una nueva recategorizacin del instrumento y se observa que sobre un total de 105 respuestas el 60 % expresan una transformacin alta en la produccin que podra esperarse de los becarios, con lo cual podra suponerse que el impacto del programa estudiado es moderado. Las reas de mayor impacto son la aplicacin de nuevas tcnicas, formulacin de proyectos y formacin. Finalmente se propone un nuevo instrumento y nuevos procedimientos de administracin de la encuesta, as como la bsqueda de parmetros de comparacin de la calidad de los productos. Esta nueva metodologa de evaluacin de impacto de la capacitacin, realizada a partir de una nueva mirada del concepto de impacto surge como una propuesta que, avalada desde lo terico y desde la praxis organizacional, resulta factible de ser aplicada en las
155

Geert Hofstede "Cultures Consequence. Comparing Values, Behaviors, Institutions and Organizations Across Nations. Sage Publications, Thousand Oaks, CA, 2001
148

organizaciones generando informacin sumamente pertinente. Esta informacin resulta relevante para la identificacin y solucin de los problemas de la capacitacin, reorientacin de las prcticas hacia reas de inters(tareas, contenidos, instituciones, etc.) ms acordes con las necesidades de la organizacin y valoracin objetiva de los esfuerzos realizados por la organizacin, los capacitadores y los capacitados.

149

D. SINTESIS, CONTRIBUCIONES DE ESTE TRABAJO Y FREFLEXIONES FINALES

Los objetivos de este estudio fueron: 1.- realizar un anlisis comparativo de experiencias de evaluacin de impacto de programas de capacitacin de recursos humanos en el sector pblico y privado de larga duracin, y 2.-elaborar una metodologa de evaluacin de impacto de la capacitacin de larga duracin sobre datos primarios recabados, no procesados. En relacin con el primer objetivo, anlisis comparativo de experiencias de evaluacin de impacto, se inici el trabajo buscando experiencias de evaluacin de impacto en organizaciones pblicas y privadas en su mayora de la Ciudad de Buenos Aires y conurbano. La informacin obtenida en este relevamiento ofreci un estado de situacin general sobre estas prcticas. Las entrevistas realizadas en las organizaciones que haban aplicado experiencias de evaluacin de impacto y tambin, en las otras organizaciones que no la aplicaban o haban fallado en el intento, arroj evidencia suficiente para postular una cierta tensin entre la produccin terica y la prctica. La existencia de esta brecha induce la necesidad de generar nuevos enfoques que consideren la complejidad de la relacin de enseanza y aprendizaje en las organizaciones y no se cia exclusivamente ya sea, a la pretensin de medir como nico camino posible para obtener informacin vlida sobre el impacto de la capacitacin; o a la puesta en marcha de complejos mecanismos poco adecuados para los tiempos de gestin, sino ms bien apropiados para trabajos de investigacin. En el estudio de campo se encontraron organizaciones que, a travs de la aplicacin de sus saberes prcticos, desarrollaron caminos adecuados para resolver la distancia entre los marcos tericos disponibles y las necesidades de las organizaciones. Con la aplicacin de la metodologa comparativa, se extrajeron tres tipos de evaluacin de impacto a partir de la descripcin y anlisis de 9 organizaciones que evalan el impacto de la capacitacin de larga duracin obtenidas en el rastreo realizado en organizaciones pblicas y privadas.: Los modelos son:. a.- medicin no especfica del impacto a partir de mediciones globales del desempeo de los trabajadores, b.- medicin especfica del impacto de la capacitacin en vinculacin con el management, c. evaluacin especfica de la capacitacin desde el enfoque de las ciencias sociales. Este repertorio de prcticas de evaluacin de impacto es indito en el pas y constituye una de las contribuciones de esta tesis, en tanto que puede ser utilizado, con fines prcticos, como una gua para los capacitadotes que deseen aplicar este instrumento a sus experiencias de capacitacin. y por otro lado, se revela como un elemento clave
150

para avanzar en la discusin terica y en la generacin de nuevos enfoques sobre evaluacin de impacto en capacitacin . Se realiz una descripcin completa que se presenta en anexo, de cada una de las organizaciones que evalan el impacto y la efectividad de la capacitacin de larga duracin, los siguientes tems: Datos generales de la organizacin e infaestructura con la que cuentan, caractersticas de los procesos de capacitacin desarrollados, objetivos de la evaluacin, estrategia metodolgica instrumentos, momentos en que se realiza la evaluacin, destinatarios, aspectos a evaluar) resultados obtenidos, modalidad de evaluacin. Como parte del estado de situacin de las prcticas de evaluacin de impacto se describieron las condiciones de contexto en las que se desarrolla. Se observ que la evaluacin de impacto es realizada por instituciones con una considerable institucionalizacin de la evaluacin en sus prcticas de capacitacin en general, y cuentan con recursos materiales y tcnicos suficientes para abordar la tarea. A su vez y, como otra contribucin de este trabajo dentro del marco de este panorama general, se describieron tambin las modalidades de capacitacin de larga duracin que se encontraron en las organizaciones consultadas. Las distintas modalidades registradas se han agrupado en capacitacin en posgrados en universidades (especializaciones, maestras y doctorados), desarrollo de carrera, cursos internos, y otras experiencias menos formalizadas como pasantas en otras organizaciones. Los contenidos de estas experiencias son variados y se remiten a la especialidad de las organizaciones en cursos tcnicos especficos o de gestin. Dentro del grupo de organizaciones visitadas se puede mencionar, en particular en el sector pblico, aquellas instituciones dedicadas a la formacin de cuerpos especiales, muchas de estas experiencias discontinuadas, como en el caso de los Administradores Gubernamentales o los Economistas de Gobierno. Tambin se recopilaron y se clasificaron modalidades habituales de evaluacin de las actividades de capacitacin de larga duracin. Se observ que varias de estas organizaciones (28) desarrollan diversos esquemas de evaluacin de sus experiencias de capacitacin que van desde la evaluacin formal, a travs de crditos emitidos por las organizaciones participantes en la capacitacin, la evaluacin de los aprendizajes, evaluacin a travs de los sistemas de desempeo y dispositivos especialmente diseados para evaluar las relaciones entre capacitacin y sus efectos en el trabajo.

En relacin con el segundo objetivo, se elabor un nuevo modelo de evaluacin de impacto sobre la base de la experiencia de evaluacin realizada por el INTA. Este modelo es el resultado de la reformulacin conceptual y metodolgica del instrumento a partir de la aplicacin de la tcnica de arqueologa de datos de Hofstede sobre datos primarios no recabados por la autora. Este caso fue elegido, no slo por la existencia de datos disponibles, sino por la preocupacin de la institucin en la construccin de una cultura de la evaluacin, por la profundidad del relevamiento realizado con el Modelo de evaluacin de impacto
151

especfico desde el enfoque de las ciencias sociales, y en especial porque permiti analizar la aplicacin de una metodologa de evaluacin de impacto con datos reales de manera de poder valorar las dificultades con las que se tropieza, los aciertos y los fallos. Se procesaron los datos obtenidos en la encuesta piloto realizada por el INTA, conjuntamente con el anlisis metodolgico de construccin y aplicacin del instrumento. A partir de la enunciacin de los aciertos y debilidades de la encuesta y desde una nueva perspectiva del concepto de evaluacin de impacto se elabor la nueva propuesta de evaluacin sobre datos reales. Esta nueva lectura de la evaluacin de impacto se precisa como una mejora en las prcticas y una mejora en los productos que son resultado de esas prcticas. Se entiende desde esta perspectiva que la capacitacin se orienta a generar una serie de transformaciones positivas en los sujetos que se capacitan. La medida en que se han generado transformaciones positivas se observa en la mejora que realizan los sujetos en sus comportamientos y productos. El juego de las dos variables abre un espectro considerable de distintos grados de impacto, entendiendo que estas dos variables son el resumen de un barrido de varios aspectos contenidos en cada una, que incluye tanto informacin cuantitativa como cualitativa. Los aspectos que contendrn variarn de acuerdo a las caractersticas de las organizaciones en los que este abordaje pueda ser aplicado.

En sntesis, la elaboracin de los tres modelos de evaluacin de impacto y la presentacin de la nueva metodologa sobre datos reales constituyen una contribucin considerable en la bsqueda de nuevas alternativas para cerrar la brecha existente entre teora y practica. Como cierre se presentan una serie de reflexiones que son producto de este largo proceso de estudio y trabajo en terreno, as como de la revisin terica realizada y que se consideran centrales a la hora de discutir sobre metodologas de evaluacin de impacto. Estos son: los marcos tericos disponibles para evaluar el impacto, la distancia comprobada entre teora y prctica, la institucionalizacin de la evaluacin como elemento facilitador de la evaluacin de impacto, las formas operantes en la prctica de evaluar el impacto, y finalmente los supuestos de la evaluacin de impacto.

1.-Los marcos tericos disponibles

Existe una multiplicidad de propuestas metodolgicas para la evaluacin del impacto que se realizan desde distintos abordajes. En este trabajo fueron agrupados segn criterios propios en dos grandes grupos: la evaluacin de programas y proyectos sociales y la lnea HRD. Las recomendaciones dentro de la lnea de evaluacin de proyectos y programas sociales acerca de la evaluacin de impacto, que es presentado como un tipo ms de evaluacin, es que los estudios de impacto con metodologa clsica, con diseos antes y
152

despus, probablemente sean ms viables con estudios externos puntuales y no como una actividad de rutina, debido a su complejidad metodolgica. Dentro de las propuestas de la lnea de HRD hay coincidencia en afirmar que las diferentes propuestas existentes parten del modelo del Kirkpatrick en el cual se referencian, a pesar de las crticas, y que es el autor que propone un lenguaje comn a los especialistas en capacitacin y tiene primaca desde hace 40 aos en los mbitos de capacitacin. Se observa una tendencia cada vez ms creciente a abandonar los modelos de tipo exclusivamente econmicos o experimentales puros, hacia diseos ms cualitativos incorporando la visin de las distintas audiencias de la evaluacin y de otros actores involucrados en el escenario laboral. La pregunta de cunto vale la capacitacin parece relativizarse en las ltimas tendencias y abordajes que rescatan los ltimos enfoques en evaluacin y en abordajes tericos menos mecnicos y ms comprehensivos de la realidad de las organizaciones. Sin embargo hay que tener en cuenta que la obtencin de medidas en valor pesos, sin forzar la traduccin de las categoras, constituye un aporte que no es procedente desdear a la hora de evaluar la capacitacin.

2.-Las tensiones entre teora y prctica:

De acuerdo con los estudios relevados y la opinin de varios autores, las dificultades para evaluar el impacto son generales, no solo aqu, sino tambin en otras latitudes. Puede remitirse al estudio de la ASTD, o a las numerosas referencias de los autores en este sentido. Esto evidencia que las recomendaciones de los especialistas quedan slo en los textos escritos y que los capacitadores expresan en forma unnime ya sea la imposibilidad de aplicar una tcnica de este tipo en los tiempos de la gestin, o su descreimiento del aporte que puedan realizar. A partir del rastreo realizado en este estudio se registraron 33 organizaciones que desarrollaban estrategias de capacitacin de ms de 5 meses de duracin con diversas modalidades, ya sea a travs de cursos externos o internos, con participacin de otras instituciones como universidades o centros de formacin especializados o el desarrollo de verdaderas carreras al interior de las organizaciones para la capacitacin de sus cuadros futuros. Se observ que varias de estas organizaciones (28) desarrollaban diversos esquemas de evaluacin de sus experiencias de capacitacin. A pesar de que en muchos de los casos, tanto en el sector pblico como en el privado, estas experiencias involucraban un esfuerzo importante en inversin de recursos y tiempo, slo reciban una evaluacin de tipo formal y en muy pocos casos, slo 9, se evalu el impacto de la capacitacin de larga duracin. Los capacitadores expresaron la necesidad de elaborar instrumentos ms sencillos, eficientes en la recoleccin de la informacin y a su vez que no interrumpan las labores cotidianas. Quizs una de las razones en la falta de generalizacin de esta tcnica pueda radicar tambin en una posible falta de legitimidad de la evaluacin como una herramienta til
153

para la gestin. Siguiendo a Argyris156,, los conocimientos tericos sobre organizaciones que desarrollan los investigadores deben validarse en la prctica para ser considerados tiles, sin embardo, de acuerdo a lo observado, en muchas de las organizaciones consultadas la evaluacin de impacto, entendido como un saber, no aparece como relevante y pertinente. Incluso, en algunos casos es empleado quizs ms como una actividad ritual o de simulacin de prestigio y eficiencia. Muchos de los capacitadores desarrollan estadsticas de sus cursos y luego las comparan con parmetros desarrollados por consultoras y all termina el proceso de evaluacin. Los resultados se ordenan en cuadros comparativos con estadsticas de otras empresas y dan rdito a los centros de capacitacin con el contexto inmediato. Estos son interesantes artefactos en el sentido de Schein, cuyo uso genera una retribucin valiosa en el escenario organizacional, a diferencia de las expectativas de aplicacin de la tcnica de impacto. A veces la evaluacin es utilizada como argumento en la toma de decisiones. En uno de los casos se pudo observar como la evaluacin fue utilizada para apoyar una decisin ya tomada respecto de la continuidad de un programa, aunque los resultados de la evaluacin indicaban la medida contraria. La evaluacin no est desvinculada de la poltica en las organizaciones y forma parte del repertorio de estrategias a las que recurren los actores para acrecentar poder. Observamos que en varios casos, los capacitadores les costaba admitir que no realizaban evaluacin de impacto. Se percibi cierta reticencia a dar informacin o en alguna oportunidad, intentar convencer de que efectivamente aplicaban la tcnica (cuando no lo hacan), an en casos en los que las actividades de evaluacin realizadas eran sumamente interesantes. Se revela as como el trmino presenta una ambigedad conceptual importante y por otro lado la presin que en el mercado de la capacitacin ejercen ciertos discursos. En los centros de capacitacin que efectivamente realizaron un esfuerzo en implementar la tcnica de evaluacin de impacto, lo han encontrado como una solucin valiosa a los problemas organizacionales. En los casos que pudieron hacerlo con xito, esa informacin pudo ser utilizada para generar rdito para el centro y la prctica de evaluacin de impacto sigue estando en funcionamiento. Esto recuerda lo que dice Nickols acerca de la capacitacin y su funcin de solucionar los problemas de la organizacin.

3.-La institucionalizacin
Una de las hiptesis que orientaron este trabajo es que para la realizacin de evaluaciones de impacto se precisa previamente una serie de condiciones que fueron definidas como condiciones estructurales, metodolgicas, pedaggicas que generan un marco adecuado y posibilitador de realizar prcticas ms complejas de evaluacin. En realidad lo que se precisa es un grado importante de institucionalizacin de las prcticas
156

ARGYRIS, C. Conocimiento para la accin . Una gua para superar los obstculos del cambio en las organizaciones.Granica, 154

de evaluacin entendido como un cierto hbito instalado en las organizaciones de evaluar sus prcticas de capacitacin en la mayora de las intervenciones. Esto remite al concepto de cultura de la evaluacin. Es decir que la evaluacin sea vivida por los miembros de la organizacin como una prctica que genera un rdito para la organizacin y sus miembros. Todas las organizaciones estudiadas que realizaron algn tipo de experiencia de evaluacin de impacto posean en lneas generales un grado alto de institucionalizacin de las prcticas de evaluacin. Institucionalizacin fue operacionalizada como amplitud, es decir si estas prcticas eran dirigidas a gran parte las actividades o eran slo prcticas puntuales, y profundidad en los niveles de indagacin que desarrollaban estas organizaciones . Est claro que la aplicacin de esta tcnica requiere de una cierta infraestructura, disponibilidad de personal formado, una estrecha colaboracin entre el personal y la gente de capacitacin, y una prctica constante en la institucin de actividades de evaluacin. El establecimiento de una cultura de la evaluacin pareciera ser una condicin previa o al menos un proceso que acompaa y sostiene la realizacin de prcticas de evaluacin de impacto. En este punto se observa que el realizar el esfuerzo de aplicacin de una tcnica que indudablemente aparece como compleja se necesita contar con ciertos grados de credulidad institucional, es decir el reconocimiento de que la realizacin de ese esfuerzo deparar un beneficio para la organizacin y sus miembros.

4.-Los modelos
Si pensamos en la implementacin de actividades de evaluacin de impacto como un problema a resolver, la prctica de evaluacin en organizaciones nos muestra diferentes soluciones. Los tres modelos observados, entendidos como formas de hacer de los actores, son tres respuestas posibles a la hora de evaluar el impacto de la capacitacin, cada uno con sus ventajas y dificultades. Las evaluaciones indirectas del impacto son menos confiables en la medida en que sus conclusiones sern estimativas y depende en gran medida del ajuste existente entre la planificacin del desarrollo de recursos humanos y las actividades de capacitacin. Pero son ms econmicas pues se obtiene algn tipo de informacin en un mecanismo culturalmente instalado y legitimado organizacionalmente y con bajo costo de obtencin en recursos y tiempo. Utilizar los registros de la evaluacin de desempeo puede ser incluso una interesante actividad complementaria Los modelos directos requieren mayor inversin de tiempo y esfuerzo pero la informacin que se obtiene es mucho ms rica, pertinente y ajustada a las necesidades que originan la evaluacin. El diseo de los indicadores no es una tarea sencilla y no es raro que se precise del concurso del personal de la lnea, si se trabaja con el juicio de jefes y pares. Es posible desde este abordaje, si la situacin lo permite (caractersticas de la capacitacin, del trabajo, etc.), realizar anlisis de tipo financiero de la contribucin de la capacitacin. En el caso de los diseos del tipo de las ciencias sociales, demandan un tiempo que no est disponible en la mayora de las organizaciones privadas. Pero el seguimiento que se realiza es mucho ms profundo porque en general obtiene
155

informacin de proceso que sirve como indicador de los problemas intervinientes en la relacin de capacitacin. Cualquiera de los tres modelos puede ser aplicable, incluso combinables a la hora de evaluar el impacto. Aparecen como distintas aproximaciones al objeto en estudio que pueden combinarse con medidas de tipo numricas si estn disponibles o pueden reconstruirse. La posibilidad de implementar un banco de datos con las evaluaciones genera parmetros de comparacin que se pueden ir actualizando ao a ao y esto es posible con la utilizacin de cualquiera de los abordajes.

5.-Los supuestos de la evaluacin de impacto

La nocin de evaluacin de impacto se diferencia de otros conceptos muy cercanos, a veces utilizados en forma alternativa y se asienta sobre una serie de supuestos que es interesante poner de relieve. Una de las observaciones que puede realizarse al encarar la literatura sobre evaluacin de impacto es que no hay univocidad en la referencia a la nocin de evaluacin de impacto en el discurso de los distintos especialistas. Muchos de los autores se refieren a esta nocin como evaluacin de resultados o lo usan alternativamente. Algunos autores hacen una minuciosa distincin entre resultados- efectos e impacto157 donde la diferencia entre los dos ltimos trminos es la durabilidad del efecto. Quizs una versin ms sencilla consista en diferenciar resultados de impacto. Resultados hace referencia a lo que produce algn tipo de intervencin como por ejemplo, un programa de capacitacin. El producto de un programa de capacitacin en principio puede ser el aprendizaje, es decir, se ensea para que los sujetos de aprendizaje aprendan. El aprendizaje entonces, es el resultado de este programa. El impacto es un concepto que va ms all del resultado inmediato de una intervencin y hace referencia al efecto que ha producido ese aprendizaje en los sujetos, pero ms a largo plazo, o mejor dicho las consecuencias que genera ese primer efecto llamado resultado. Es de notar que no hay intervencin que no tenga en la mira este producto de segunda generacin158. Cuando los padres envan al nio a la escuela la meta inmediata es que aprenda a leer y a escribir, el producto mediato es que su educacin le posibilite conseguir trabajo, relacionarse, etc. Es decir, cuando uno indaga por el impacto de esos aprendizajes busca saber cuanto le sirvi para su vida. O en un programa de generacin de empleo el efecto mediato posterior a la capacitacin es si el sujeto destinatario de la intervencin encontr empleo. Desde una perspectiva lineal, cuando se indaga sobre resultados inmediatos de un proceso de enseanza y aprendizaje las alternativas que se pueden encontrar resultan relativamente simples. Por ejemplo, un adulto no aprendi pues fall el capacitador, o el diseo del programa no fue el adecuado o el mismo adulto no pudo aprender por
157

PICHARDO MUIZ, A., op.cit.

158

Ver sobre los efectos olvidados en LAZZARI, L.., MACHADO, E. PEREZ, R..Teora de la Decisin Fuzzy Ediciones Macchi. Buenos Aires1998. 156

limitaciones propias. Cuando se indaga por qu un alumno no ingres a la universidad, o por qu el destinatario de un programa social no consigui empleo, tiempo despus de concluido el proceso de enseanza orientado al logro de esos objetivos, se abre un abanico mayor de posibilidades ya que intervienen sucesos no contemplados fuera del ambiente controlado del aula, la relacin causa y efecto se encuentra ms lejos y se incrusta de ramificaciones. El caso del INTA resulta un ejemplo en ese sentido, donde hay una distancia bastante importante entre la capacitacin recibida y la aplicacin posterior, a veces superior a los 5 aos, con intervencin de ms de una organizacin, de variables culturales, econmicas, polticas (los pases distintos donde los tcnicos se capacitan y del que provienen), adems de los factores individuales. Tambin puede observarse que el concepto de impacto se asienta en unos supuestos. Admite la existencia de la causalidad, en algunos casos de la multicausalidad. Que un elemento A es la causa de la ocurrencia de otro elemento B y que adems, es factible comprobar esta relacin. Los estudios ms clsicos recurren a los diseos experimentales para desentraar esta relacin, otros ms pragmticos se contentan con hallar (cosa que de por s, en muchos casos, ya no es sencilla) algn indicio de impacto una vez ocurrida la intervencin. Pero, si variamos nuestro marco epistemolgico, probablemente aparezcan algunos lmites respecto de las relaciones que es dable conocer o incluso controlar. De acuerdo con algunos abordajes, las relaciones causales no son unilaterales en las organizaciones. Como para Weick159, que desde una perspectiva ms precaria de la entidad organizacional, las relaciones causales no necesariamente se expresan en la realidad en la forma que han sido planeadas y muchas veces causas y efectos son relaciones arbitrarias. El autor habla de la existencia de curvas causales en las organizaciones donde ninguna variable controla a otras variables sin ser ella misma controlada por otras y cualquier cambio hecho en cualquier parte ser eventualmente cambiado por las consecuencias que provoca. Siguiendo esta lnea de razonamiento de propsitos y efectos, otro supuesto demasiado simple que se vincula con esta forma de ver los sucesos en las organizaciones que la capacitacin produce una mejora en el desempeo laboral y la mejora en el desempeo laboral produce una mejora en el desempeo organizacional. Como expresa Gore160 en su trabajo sobre capacitacin en organizaciones pareciera ms acertado pensar en una trama de relaciones que producen efectos. Es decir, el aprendizaje en las organizaciones es un proceso de generacin de capacidades colectivas que se apoya y depende de la puesta en acto de una red de acuerdos entre los miembros de la organizacin (ver marco terico pp. 48). Desentraar esta trama requiere de estudios distintos de los clsicos, ms comprensivos y atentos a cmo a travs de los vnculos se van armando las relaciones en las organizaciones en un proceso no predecible de construccin social.
159 160

WEICK, op.cit. GORE, op. cit. 157

Sin embargo, dando todos estos supuestos por sentado y dadas las caractersticas del conocimiento en las ciencias sociales (ver pp. 49) una alternativa es realizar las evaluaciones como una exploracin en sucesivas aproximaciones de las transformaciones que la intervencin pudiera generar en los destinatarios y sus espacios laborales a partir del aprendizaje. An teniendo en cuenta que las relaciones que se enuncian no son concluyentes, si no ms vale tentativas, alguna informacin siempre es mejor que ninguna. Esa exploracin de las transformaciones se pueden realizar a travs de la observacin, de la obtencin de registros existentes en la organizacin, o a travs de preguntas a los sujetos o sus grupos de trabajo. La solucin es una propuesta flexible en relacin con el contexto o la disponibilidad de recursos o evaluaciones. Cada una con miradas que generan informacin La observacin parece ser un instrumento interesante para tener en cuenta a pesar de los sesgos (que son reales y existen) La observacin es uno de los instrumentos de mayor empleo en las aulas por parte de los docentes a la hora de evaluar la tarea, lo mismo puede ocurrir con los jefes o subalternos. El entrenamiento en observar es una prctica que se pone en uso en varios de los casos en los que no se trabaja con evaluacin de impacto. El aprovechamiento de los registros existentes puede ser una buena alternativa y a menudo las organizaciones disponen de registros que no son tomados en cuenta. Estos pueden ser capitalizados como fuente de informacin en la tarea de evaluacin, Muchos de ellos abren tambin la posibilidad de cuantificacin. Si bien la cuantificacin no asegura la verificacin de las relaciones de causalidad, (hablar en cifras no asegura mayor objetividad frente a ciertos fenmenos), provee de informacin de otro tipo que es interesante contar. Siguiendo la idea de Nickols de que no hay recetas para evaluar (o que quizs existan varias disponibles ajustables a la realidad de la organizacin), es posible pensar que la puesta en acto en sucesivas oportunidades permite ir reajustando y perfeccionando las prcticas en la generacin de conocimiento pertinente para la organizacin y sus miembros. Armar una historia de la evaluacin de impacto, como se ha observado que hicieron en algunas instituciones, observar sus beneficios, corregir los errores, acumular experiencia y luego socializarla es la forma de que la evaluacin pase a formar parte de la cultura de la organizacin. Evaluar el impacto deja de ser una cuestin de fe cuando se cambia de postura respecto de la concepcin de aprendizaje, de ciencia y evaluacin que se emplea, as como los marcos tericos sobre la realidad de las organizaciones. El aprendizaje en las organizaciones, es un proceso complejo que se inscribe en una red de relaciones construidas colectivamente. La evaluacin debe atender las caractersticas de este proceso y orientar sus esfuerzos a generar la informacin posible que resulte de utilidad para los miembros de la organizacin.

158

El conocimiento que se puede alcanzar en ciencias sociales no es siempre objetivo, verificable y exacto, no obstante, s es posible contar con conocimiento til producto de descripciones y anlisis de los sucesos, a veces con el concurso de mltiples puntos de vista, a travs de los instrumentos que efectivamente puedan ser utilizados en los contextos de las organizaciones, . Asimismo tambin es posible contar con distintos tipos de datos, incluso los cuantitativos, que constituyen otra manera de discurrir acerca de los fenmenos que ocurren en las organizaciones. La atencin debe centrarse en el significado que estos tienen en relacin con los procesos de capacitacin. La evaluacin de impacto comparte junto con la evaluacin en general, mltiples cometidos dentro de las organizaciones, puede ser entendido como una herramienta de gestin, como un artefacto cultural que forma parte de un ritual, un juego de poder y en cada una de sus versiones o en varias a la vez puede ser utilizada para generar conocimiento y aprendizaje en la organizacin. La experiencia presenta algunas lecciones interesantes para tener en cuenta a la hora de elaborar los diseos evaluativos para averiguar cul es la contribucin que la capacitacin genera para la organizacin y sus miembros.

159

APENDICE: Descripcin de los casos que evalan efectividad e impacto

En este apndice se presenta una descripcin profunda de las 2 experiencias de evaluacin de efectividad y las 9 de impacto Se describen los casos tomando en cuenta : 1. 2. 3. 4. Datos generales de la organizacin e infraestructura con la que cuentan Caractersticas de los procesos de capacitacin desarrollados Objetivos de la evaluacin Estrategia metodolgica: (instrumentos, momentos en que se realiza la evaluacin, destinatarios de la evaluacin, aspectos a evaluar) 5. Resultados obtenidos 6. Modalidad de evaluacin Al final de este apndice se muestran dos tablas una con las 16 organizaciones privadas y las 12 pblicas que realizaban evaluacin de sus actividades de capacitacin.

A.-Experiencias de evaluacin de impacto Caso A

1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Administracin Pblica Rama de la actividad: Administracin del estado y aplicacin de polticas econmicas y sociales Tamao: entre 3000 y 6000 empleados La Administracin Federal de Ingresos Pblicos AFIP es un organismo de la Administracin Pblica Nacional que rene bajo su rbita a la Aduana y la DGI. Posee aproximadamente 4000 empleados en todo el pas. La organizacin posee un departamento especfico dedicado a la evaluacin de impacto de los programas de capacitacin, dentro del rea de Capacitacin. Este departamento est integrada por tres profesionales, una psicloga, un ingeniero y una licenciada en ciencias de la educacin. 2. Caractersticas de los procesos de capacitacin desarrollados Se desarrollan actividades de capacitacin corta y de larga duracin. El curso de Administrador Tributario (discontinuado actualmente) era una carrera interna destinada a no profesionales, de 4 o 5 aos de duracin. Los contenidos centrales del curso eran: impuestos, contabilidad, auditora y direccin tributaria, realizando una residencia al finalizar el curso. Los alumnos egresaban con el ttulo terciario de Tcnico Tributario, cuya obtencin significaba un aumento en los haberes de los empleados, pues les permita pasar a un escalafn superior.
160

El curso tena dos modalidades, una presencial y otra a distancia. La modalidad a distancia se organizaba a travs de tutores, quienes hacan el seguimiento de los alumnos a travs de tutoras realizadas con una frecuencia de una a dos veces por semana 3. Objetivos de la evaluacin El centro de evaluacin tiene como objetivo el seguimiento de las experiencias de capacitacin. A partir del ao 1998 se realizaron tres experiencias de evaluacin de impacto: de un curso de capacitacin informtica llamado Programa Mara sobre trnsito de aduana de dos meses de duracin, del curso de rgimen general de equipaje de dos meses, y la evaluacin del curso de administrador tributario. En el momento de la realizacin de esta entrevista el centro preparaba la evaluacin de un curso de fiscalizacin dirigido a la formacin de inspectores de la DGI. El objetivo de la experiencia de evaluacin de la carrera administrador tributario era aparentemente apoyar la decisin de continuar o no el proyecto de formacin. La evaluacin fue realizada entre fines del 98 y fines del 99. 4. Estrategia metodolgica La metodologa para la evaluacin se bas en entrevistas y encuestas. Una vez armado el instrumento se realiz una experiencia piloto antes de aplicarlos. Hasta el momento en que se realiz la evaluacin no se practicaba ningn tipo de seguimiento de los egresados, en razn de lo cual no haba documentacin disponible sobre el curso para emplearla como insumo para la evaluacin. Se realizaron entrevistas con los instructores para poder diagramar el perfil del egresado. A partir de las entrevistas, se extrajeron las competencias bsicas que se supona deban adquirir los estudiantes y luego se observ a los egresados en el puesto de trabajo para evaluar si haba ajuste en el diseo .-Momentos en que se realiza la evaluacin, destinatarios y aspectos a evaluar La evaluacin se realiz al trmino del programa, en una de sus cohortes. Se realizaron encuestas a los alumnos, tutores, instructores y jefes que haban tenido residentes y que tenan alumnos egresados a cargo. Los aspectos a evaluar fueron: seleccin de contenidos de los programas, la estrategia metodolgica, los cambios generados en el trabajo, la carrera posterior de los egresados, los problemas generados. Se indag si los contenidos del programa eran adecuados a las necesidades de la organizacin, si se pudieron aplicar los conocimiento y si el funcionamiento de las tutoras era satisfactorio. Sobre la forma de organizacin del estudio, se observ los hbitos de estudio: en qu momento estudiaban, que distribucin horaria realizaban, si trabajaban en grupo. Respecto de los cambios generados en el trabajo se averigu qu
161

suceda cuando los alumnos se retiraban a hacer el curso y dejaban el puesto de trabajo, qu trastornos provocaba en la carga y en el clima de trabajo. Tambin se relev informacin del desempeo de los egresados acerca de si una vez concluido el curso les haban asignado tareas de mayor responsabilidad en sus puestos de trabajo, si haban pasado a reas de mayor jerarqua, las diferencias que notaban los jefes en el desempeo de los cursantes, y si los trabajos finales de alumnos haban sido tomados en cuenta. 5. Resultados obtenidos La experiencia de evaluacin se realiz entre octubre del 98 y fines del 99 y result muy satisfactoria para los entrevistados. Los resultados obtenidos permitieron constatar que el curso era bueno y que era deseable que continuara con la realizacin de algunas ajustes o modificaciones. No obstante a pesar de que los resultados recomendaban la continuidad de la experiencia el programa fue discontinuado. 6. Modalidad de evaluacin Esta evaluacin se trata de una evaluacin ex post de tipo cualitativa, que combina la evaluacin de procesos con la evaluacin de impacto y la metodologa de triangulacin a travs del relevamiento de informacin de distintas fuentes.

Caso B.
1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Extraccin de petrleo y gas Rama de la actividad: Extraccin de petrleo crudo y gas natural Tamao: entre 3000 y 6000 empleados El sector capacitacin est conformado por un grupo de profesionales en permanente vinculacin con la lnea. Todas las tareas de recursos humanos estn involucradas con la lnea, incluida la capacitacin. La capacitacin es entendida como uno de los pilares de la empresa. Hay una cultura fundacional instalada que propugna al negocio como gestor de los recursos humanos. El rea de Capacitacin tiene la funcin de soporte y ayuda a los diferentes reas de negocio y cada negocio tiene un representante. La capacitacin es entendida como un rea de servicio. La empresa est sometida a normas de calidad, lo que tambin involucra al rea de Capacitacin. Los instructores son de la compaa, tienen un perfil propio en relacin con los objetivos y capacitacin. 2. Caractersticas de los procesos de capacitacin desarrollados El negocio detecta las necesidades de capacitacin con una herramienta corporativa que sale de la evaluacin de desempeo que se realiza anualmente y consiste en el punto de partida para la capacitacin. Algunas actividades surgen centralmente, pero la capacitacin se plantea en general desde el negocio En los procesos de evaluacin de desempeo anual las personas arman su propio plan de capacitacin.
162

Todas las actividades de capacitacin corporativa duran aproximadamente dos das pero existen otras experiencias de capacitacin de mayor duracin entre otros como los siguientes: ..-Plan de desarrollo de directivos en combinacin con el IAE o la Universidad Austral El IAE desarrolla cursos de capacitacin para directivos a medida para cada organizacin. .-Nuevos profesionales son cursos dirigidos a 40 o 50 personas que ingresan a la empresa. Involucra distintos tipos de cursos de introduccin a la empresa (induccin) dirigidas a personas que estn en la compaa con una duracin de hasta 6 meses .- Formacin de mandos medios, orientados hacia los planes de mejoras para el negocio. .- Programa para tutores de nuevos profesionales para apoyarlos en el desarrollo de su rol. .-Programa para secretarias 3. Objetivos de la evaluacin El objetivo de las actividades de evaluacin es evaluar el negocio y encontrar las debilidades y fortalezas de los programas. Se persigue obtener una retroalimentacin sobre las mejoras y asegurar el mximo del aprendizaje ulico. 4. Estrategia metodolgica Se realiza evaluacin de impacto en algunas de las actividades de capacitacin. Como en el caso del negocio de lubricantes. El encuadre con el que se trabaja se basas en el modelo de niveles de Kirkpatrick y de Phillips con la medicin de ROI. En el nivel 1 se pide la opinin de los capacitados sobre los contenidos del curso., la organizacin, la utilidad y la evaluacin del instructor. La clasificacin general del curso de pobre a excelente. CLASIFICACIN DE ACTIVIDADES DE CAPACITACIN
Pobre Falto desarrollo Cumpli Muy bueno Excelente

1. Contenidos del curso 2. Clasificacin general del curso 3. Organizacin (logstica) 4. Utilidad (aplicabilidad al trabajo) 5. Docente
Extrado de Planilla de evaluacin del curso de Formacin para Secretarias

En el nivel 2 se toma un examen a libro abierto. A los directivos no se los somete a test, pero son evaluados a travs de diversas tcnicas como entrevistas , observacin, centros de evaluacin(assesment center), consultores, etc. .Los aspectos sobre los que se indaga son:

163

Si aplic lo aprendido a su tarea Si el empleado mejor su performance en la competencia involucrada Si lo aprendido y aplicado permaneci en el tiempo contribuyendo a los resultados del negocio

El nivel 3 (efectividad) se trabaja con observacin por parte de los jefes. Se busca informacin sobre si el empleado aplic lo aprendido a la tarea, si mejor su performance o competencia, y si lo aprendido permaneci en el tiempo, contribuyendo a los resultados del negocio. La aplicacin se traduce en porcentajes definidos previamente en 5 categoras que se vuelcan en una planilla. Los porcentajes son los siguientes: 0 a 20 % El supervisor no observa mejora en la performance como resultado de la capacitacin que realiz el empleado u observ algunos efectos superficiales o temporarios que no incidieron finalmente en el mejor desempeo de la competencia. Consensuado con el empleado, manifiesta algunas de estas situaciones. 20 a 40 % El empleado aplica algunos de los conceptos o destrezas aprendidos, pero manifiesta inseguridad o vacos en aspectos crticos de la tarea a desarrollar. El empleado manifiesta inseguridad en algunos puntos que se trabajaron durante la capacitacin. Necesita refuerzo o realizar nuevamente el curso 50 a 60 % El empleado aplica conceptos o destrezas aprendidos pero an manifiesta inseguridad o vacos en algunos aspectos crticos de la tarea a desarrollar. El empleado, si bien mejor su desempeo, necesita refuerzo en algunos temas que debi desarrollar en el curso. 70 a 90 % El empleado aplica mayormente conceptos o destrezas aprendidos con seguridad, especialmente en aspectos crticos o claves de su tarea. Falta reforzar algunos de esos aspectos para que obtenga una total autonoma 100% El empleado manifiesta que aplica lo aprendido a todos los aspectos crticos o claves de su tarea, demostrando una mejora sustancial en su performance respecto de la competencia correspondiente, o una optimizacin de la misma en caso de que ya la realizara con cierta habilidad.
Extrado de Gua para la observacin y clasificacin del grado de aplicacin a la tarea Caso B

Esto permite tambin hacer un seguimiento del grado de avance de la aplicacin de los conocimientos al puesto de trabajo. El avance se mide por la diferencia de la aplicacin entre diciembre y enero X 100.
AVANCE = (DIFERENCIA DE LOS PROMEDIOS DE APLICACIN ENTRE ENERO Y DICIEMBRE) X 1OO PROMEDIO DE LA APLICACIN A ENERO
164

Dpto./ Nombre Supervisor alumno Jos Prez Juana Gmez

Nombre del Curso El negocio de los lubricantes Administracin de servicio al cliente Tcnicas de venta Seminario de management

Fecha del curso

% de aplicacin de la competencia
Enero 99 Diciembre 99 % de avance

40 70 20

70 90 40

Extrado de Encuesta para medir el grado de aplicacin de lo aprendido a la tarea Caso B

En el ao 1996 se midi la aplicacin de lo aprendido a la tarea, se evaluaron todos los cursos de capacitacin con alcance a todo el personal de 5 gerencias. La incidencia fue del 63.75 % y en el ao 1997 del 68%. En el ao 1998 se realiz una evaluacin individual y semestral. Se encuestaron 27 supervisores, fueron evaluados 108 empleados sobre 415 cursos realizados. El avance fue del 57 %. En el 2000 se implement evaluacin a 180 , se trabaj comparando las diferencias de los valores asignados por el supervisor y el asignado por los empleados. Los primeros informaron un 66.48 % de avance, los segundos, un 75.52 %. El promedio de avance de eficiencia fue del 71 %. En el nivel 4 se mide el efecto de la capacitacin en la productividad. Se busca medir en porcentaje y en moneda la incidencia de la formacin en las ganancias del negocio (ROI). Si la capacitacin se midiera sola se producira un sobredimensionamiento de la influencia de la misma, por lo tanto se analiza la contribucin de la capacitacin junto con los otros factores que determinan el negocio. A fin de ao se discriminan 20 factores que inciden en el negocio, entre ellos capacitacin. El supervisor debe ponderar cada uno de los factores, eso arroja incidencia de la capacitacin en el negocio, luego esa informacin se cruza con invertido en dinero en el proyecto de capacitacin y como resultado de este anlisis obtiene el ndice del ROTI (retorno de la inversin en capacitacin). Un ejemplo de los 20 factores que se reajustan ao a ao en funcin del negocio, son: Precios internacionales, mercado burstil, poltica nacional, poltica internacional, consumo (oferta/demanda), publicidad, tecnologa, competencia externa, apertura de nuevos negocios, presupuesto interno, nuevo personal,
165

la la lo se

produccin, condiciones de salud e higiene ambiental, desarrollo del personal (rotaciones, traslados, promociones), condiciones de trabajo, MBO, liderazgo, capacitacin , labor del personal, consultores y asesores.

Cada supervisor asigna un puntaje. De ese puntaje se obtiene un promedio que se pondera con los dems. Luego se computa con lo obtenido en el negocio y lo invertido en capacitacin. Por ejemplo si para el ao 1999 la incidencia en el negocio de la capacitacin en el negocio fue en promedio de un 5%, esto se traduce en valor monetario a partir de las ganancias obtenidas en el sector. Entonces, sobre un total de 32.858.166 $ la ganancia atribuida a la capacitacin es de 1.646.194,12 $. A este nmero se le aplica la frmula del ROTI, considerando lo invertido en capacitacin (201.378 $ para ese perodo), con lo cual el retorno de la inversin realizada en relacin con el capital invertido es de 718, 46. BENEFICIOS NETOS - COSTOS * 100 = ROTI COSTOS Para este caso el retorno de la inversin en capacitacin de acuerdo a los nmeros es del 5%. La evaluacin se hace a travs de la observacin. Para ello "se entrena el ojo"(sic) del supervisor que debe estar atento al desempeo de su gente en relacin con los parmetros de calidad. El supervisor lo reporta en una planilla en porcentajes, donde cada uno de los porcentajes se encuentran definidos. A partir de all se detectan emergentes por los cuales trabajar. "si te quedas con el numero no sirve para nada" (sic). En este nivel se mide tambin el grado de avance en relacin con el estado anterior. Momentos en que se realiza la evaluacin Destinatarios de la evaluacin Se evala a todo el personal, la evaluacin de opinin y aprendizaje se realiza al finalizar la capacitacin, efectividad se aplica en septiembre, y la evaluacin de impacto se aplica en diciembre. La evaluacin est enfocada a obtener resultados. Los esfuerzos estn puestos, de acuerdo con los entrevistados en valorar y ver logros, para saber dnde focalizar los procesos de mejoras, estando atentos a los emergentes que surgen de la prctica cotidiana y de cada capacitacin en particular. 5. Resultados obtenidos
166

Los resultados obtenidos son satisfactorios de acuerdo con la opinin de la entrevistada. En el ao 2001 obtuvieron el premio de Calidad por la evaluacin realizada en el negocio de lubricantes 6. Modalidad de evaluacin La modalidad de evaluacin es mixta. Utilizan tcnicas cualitativas de captura de datos, como es la observacin y luego intentan cuantificar a travs de la seleccin de indicadores de rendimiento que son proporcionados por los mismos supervisores.

Caso C
1. Datos generales de la organizacin, e infraestructura con la que cuentan Sector: Industria manufacturera Rama de la actividad: productos alimenticios y bebidas Tamao: menos de 1000 empleados El departamento de recursos humanos est compuesto por una sola persona que atiende cuatro funciones distintas de gestin de recursos humanos, entre las que se encuentra la capacitacin.. En el ano 2001 se interrumpi el presupuesto para capacitacin, considerada un rea no prioritaria en ese momento y los recursos se dirigieron al sostn del negocio. Se suspendieron todas las actividades de capacitacin corporativa161. 2. Caractersticas de los procesos de capacitacin desarrollados Actualmente la organizacin realiza capacitacin tcnica con sede en sus plantas y capacitacin sobre management. En el ao 2000 se realiz una escuela de negocios gerencial y de mandos medios cuya duracin alcanz los seis meses. Tambin se realiz capacitacin del personal a travs de Master en Administracin de Negocios en el IAE. Actualmente las nicas actividades de capacitacin que se realizan son cursos cortos y tcnicos a nivel planta. La planificacin de la capacitacin tiene dos fuentes: la evaluacin del personal en su nivel de desempeo y la aplicacin de un diagnstico de necesidades de capacitacin Una vez por ao y slo a una franja del personal por sistema SAP-METAse realiza evaluacin de desempeo y se califica segn matriz (FODA) en la cual se consignan las fortalezas y debilidades del personal. El otro insumo para la planificacin se obtiene a travs del instrumento de deteccin de necesidades de capacitacin que se realiza anualmente. La organizacin cuenta con una serie de competencias definidas institucionalmente que se cruzan con la capacitacin. Por ejemplo, dos de estas competencias son orientacin a los resultados y orientacin al cliente. Los cursos se disean en funcin de estas competencias.
161

En parte, estas son las razones por la cual la entrevistada estaba dejando la compaa en el momento de realizarse esta entrevista.
167

3. Objetivos de la evaluacin En relacin con la evaluacin de niveles 3 y 4 el objetivo se orientaba a conocer la evaluacin de los supervisores de los participantes de las diferentes actividades, en trminos de la modificacin de la actitud de los mismos en relacin con una mejora en la eficiencia . 4. Estrategia metodolgica Habitualmente se trabajaba con el esquema de Kirkpatrick, pero no todos los cursos se evaluaban en todos los niveles. Cuando se realizaba capacitacin seguan la metodologa de Kirkpatrick con sus 4 pasos, con un grilla de seguimiento que se muestra a continuacin:

IN S T R U M E N T O

F E C H A L e a g r a d
?

N IV E L E S A p r e n d i
?

D E

E V A L U A C IO N L o a p lic a ? M e jo r s u tr a b a jo ?

E N C U E S T A

P R E S E N C IA L

E n e . - D ic . 2 0 0 0

X X X X

T E S T E S C R IT O A U T O A D M IN IS T R A B L E E N C U E S T A E N T R E V IS T A D E V O L U C I N D E R E A A L G E R E N T E

E n e . - D ic . 2 0 0 0

F e b . 2 0 0 1

M a rz o

2 0 0 1

Fuente: Evaluacin de los aprendizajes 2000 Caso C

En el caso de la capacitacin de Escuela de negocios gerencial y mandos medios la evaluacin de aprendizaje estaba a cargo del personal que daba los cursos. Si bien trabajaron con el modelo de cuatro niveles de Kirkpatrick, el abordaje era totalmente cualitativo, y slo aplicaron evaluacin de impacto a travs de la opinin de los capacitados y de los supervisores, sin recurrir a parmetros objetivos. El nivel 1 de reaccin se aplicaba a todas las actividades de capacitacin a travs de un cuestionario. Se indagaba acerca de la apreciacin global del curso, adecuacin de los contenidos, ritmo, recursos y material didctico, desempeo del instructor, la organizacin e infraestructura y desempeo del personal de apoyo. El nivel 2 de aprendizaje se aplicaba dos meses despus de finalizados los cursos a travs de cuestionarios de contenidos (mltiple choice en general) . Este nivel no se evaluaba en todos los cursos. En el nivel 3 aplicabilidad del conocimiento, se evaluaba si el conocimiento aprendido era aplicable a travs de la opinin de los capacitados. Se recababa la informacin a travs de una planilla donde se preguntaba acerca de qu conocimientos pueden ser implementados en el trabajo, en qu medida son aplicables y de qu manera. Indagaba
168

tambin acerca de los factores que eran necesarios para la aplicacin de los conocimientos (equipos materiales, humano y econmicos) y si estaban disponibles. En este nivel tambin se aplicaban tcnicas como la de focus group .
GUIA PARA LA EVALUACIN DE APLICABILIDAD DE CONOCIMIENTOS Cuales son los dos o tres conceptos bsicos desarrollados en el curso que puede o podra implementar en su trabajo En qu medida estos conceptos son aplicables a su tarea Como llevara a cabo la implementacin de los mismos?
Tomado de Gua para la evaluacin de la aplicabilidad de los conocimientos. Caso C

El nivel 4 se aplicaba a los 8 meses despus de concluida la capacitacin a travs de los supervisores o jefes directos. Este tipo de evaluacin se aplicaba solamente a los cursos de tipo corporativos (management), por ejemplo coaching, liderazgo, presentaciones efectivas, etc. El foco de la indagacin estaba orientado a las necesidades que originaron los cursos de capacitacin, es decir en referencia a los objetivos. Se indagaba si se haban producido cambios en las personas que realizaron el curso, a travs de la administracin de cuestionarios, entrevistas y observacin de los jefes. El curso donde se evalu impacto con este esquema fue el de la escuela de negocios. Pero la gente que trabaj en el proyecto ya no est ms en la empresa. Momentos en que se realiza la evaluacin, destinatarios de la evaluacin, aspectos a evaluar La evaluacin de impacto se aplicaba 8 meses despus de finalizados los cursos. Los aspectos a evaluar estaban definidos segn los cursos y en funcin de las competencias definidas y estandarizadas por la organizacin. Para el anlisis de la aplicabilidad del conocimiento utilizaban una planilla en la que se relevaba informacin de qu aprendizajes pudieron ser aplicados, sobre la posibilidad de aplicacin de los conceptos enseados y sugerencias acerca de cmo sera factible implementar la aplicacin de los conceptos enseados en funcin de los equipos materiales, humanos y los recursos econmicos.
PROPUESTA Cual.... EQUIPOS MATERIALES EQUIPO HUMANO RECURSOS ECONOMICOS

Los posee actualmente?

Tomado de Gua para la evaluacin de la aplicabilidad de los conocimientos. Caso C

En el nivel 4, de evaluacin de los resultados, por ejemplo en uno de los casos se intent relevar un cambios de actitud en los capacitados segn la opinin de sus supervisores. El cambio de actitud era entendido como una mejora en la eficiencia de su desempeo (reduccin de costos).
169

En la planilla que se observa a continuacin se sealan los aspectos que deban ser observados por los supervisores en el comportamiento de sus subalternos.
Actitud hacia Capacitacin Toma de decisiones Iniciativa Hacia el trabajo Hacia sus subordinados Hacia sus jefes
Extrado de Gua para la evaluacin de resultados Caso C

Mucho mejor

Algo mejor

Sin cambio

Algo peor

Mucho peor

NC

6. Resultados obtenidos La preocupacin central de la entrevistada es cmo aplicar la evaluacin de impacto en un contexto muy cambiante donde todas las previsiones acerca de lo que se puede esperar del proceso de capacitacin pueden dar por tierra a partir de las influencias del contexto. Por ejemplo, una empresa capacita a una persona invirtiendo grandes sumas de dinero en un ao pero luego, cuando esa persona se reincorpora a su trabajo lo despide. "La persona se lleva un capital de la empresa que la empresa no recupera." (sic). El otro de los temas que presenta dificultades es la escasez de tiempo para dedicar a la capacitacin. dos das de capacitacin es mucho para el personal, no se los puede retirar de su puesto de trabajo. El problema conexo es que una vez concluida la capacitacin el capacitado se desvincula y es muy difcil realizar actividades de seguimiento. En sntesis de acuerdo a la opinin de la entrevistada, las dificultades que presenta esta tcnica son que se requiere una importante predisposicin de los participantes y jefes y gran disponibilidad de tiempo para realizar el seguimiento posterior. 7. Modalidad de evaluacin Aplicacin del modelo de cuatro niveles de Kirkpatrick

Caso D
1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Industria manufacturera Rama de la actividad: Productos alimenticios y bebidas Tamao: entre 1000 y 3000 empleados La organizacin es una franquicia de una empresa de bebidas, integrada por 2000 empleados, de los cuales 1000 constituyen la fuerza de venta. El departamento de recursos humanos est formado por 7 personas y se divide en tres reas: Desarrollo social, Relaciones laborales y Desarrollo y planeamiento del personal, integrada por dos instructores y un gerente.
170

1. Caractersticas de los procesos de capacitacin desarrollados La organizacin desarrolla actividades de capacitacin cortas y de larga duracin, as tambin como actividades de tipo intensivas, es decir con mucha carga horaria en poco espacio de tiempo. El proceso de planeamiento de las actividades de capacitacin se realiza desde el rea de capacitacin, que planifica sus actividades en atencin a unas competencias163 que la empresa fija para todos los sectores de la misma. El esquema con el que se trabaja en el planeamiento de las actividades de capacitacin es el que se ilustra en el diagrama a continuacin: Los programas de capacitacin son el resultado de los centros de evaluacin que realiza la compaa por perodos de tres aos y de la evaluacin de desempeo anual. Estas dos actividades son el insumo para la elaboracin de los planes de desarrollos individuales y la capacitacin. Centros de evaluacin

Plan de desarrollo individual

Capacitacin

Evaluacin y plan de mejoras

Ev. desempeo

El centro de evaluacin (assesment center) es desarrollado por una consultora en una actividad de un da donde se evala y se detecta el desarrollo de habilidades. De la actividad del centro surgen cules son las competencias que requieren para los puestos. Se definen 21 habilidades, 11 de liderazgo y 11 administrativas. El director define con el equipo de evaluacin 21 habilidades crticas y se analizan las fortalezas y debilidades de cada gerente en relacin con las mismas. Una vez identificadas las competencias se definen los descriptores para las competencias y luego se planifican las actividades de capacitacin y los planes de desarrollo individuales. Por ejemplo, de la competencia "innovacin y creatividad" un descriptor es "discusin del status quo". Cada curso trabaja con el desarrollo de una competencia. La empresa tiene programas destinados al desarrollo de habilidades gerenciales por mdulos, desarrollan dos o tres habilidades por ao, que son de un ao de duracin. Tambin cursos de especializacin de una duracin de 4 meses en el IADES. Cada empleado debe realizar un programa de desarrollo individual por ao que se vuelca en el plan de mejora. La organizacin desarrolla tres actividades de capacitacin de largo aliento: a.- El plan de capacitacin de fuerza de venta "Comercializacin profesional.

163

Se entiende por competencias una construccin, a partir de una combinacin de recursos (conocimientos, saber hacer, cualidades o aptitudes , y recursos del ambiente (relaciones, documentos, informaciones y otros) que son movilizados para lograr un desempeotomado de Le Boterf. De 40 preguntas sobre competencia laboral en www.ilo.org/public/spanish/region/ampra/cinterfor/temas/complab 171

Este curso ofrece los conocimientos que la organizacin necesita para la comercializacin del producto. Est destinado a comercializadores, fuerza de ventas y repositores de supermercado y tambin clientes, con la financiacin de crdito fiscal164 . Presenta dos partes diferenciadas: la institucional y la de negocio. Entre los contenidos se encuentran: Servicio al cliente, Tareas administrativas, Mercado, etc. El primer bloque se orienta al desarrollo del profesional de comercializacin y el segundo est destinado a la atencin de los requerimientos imprevistos, por ejemplo el caso del cambio del envase retornable por el de vidrio, que implica que todo el servicio al cliente se modifica. El curso est estructurado en 8 mdulos de dos horas por semana, con una duracin aproximada de 3 aos, no obstante, los empleados pueden demorar distinto tiempo en completarlo. Utiliza para su desarrollo instruccin programada (e-learning). b.-Red de instructores para multiplicar el conocimiento en la organizacin. Es un programa que prepara los instructores para la organizacin. Se busca al personal interesado en desempearse como instructores. Por ejemplo, se acord con los ejecutivos de venta que la capacitacin debe ser una de sus funciones , se entiende que esta es una rea clave en la que su rol es operar como facilitadores. Ellos forman parte de los destinatarios de este programa. c.-Desarrollo de gerentes. A partir de un proceso de deteccin de necesidades de desarrollo de habilidades gerenciales. se arm un plan de capacitacin a medida para cada uno de los gerentes. Este plan tiene una duracin de 2 aos y algunos de los temas generales que aborda son por ejemplo Coaching, o Liderazgo. 2. Objetivos de la evaluacin La evaluacin persigue distintos objetivos de acuerdo con las diferentes experiencias , lo que define la aplicacin de distintas estrategias de evaluacin. En el caso del curso de "Desarrollo de gerentes" se intenta una evaluacin de impacto a travs de las experiencias de assesment center y de la evaluacin de desempeo. En el caso del curso de Comercializacin profesional, se evala aprendizaje y se est intentado realizar evaluacin de la transferencia de lo aprendido.

3. Metodologa Para evaluar la capacitacin se utiliza entonces tres metodologas distintas: el centro de evaluacin, la evaluacin de desempeo y la evaluacin de los aprendizajes. a.-El centro de evaluacin incluye test psicolgicos, simulaciones, juegos de negocios para la construccin de los perfiles. Se trabaja el tema de comunicacin, la empata, y el conocimiento del negocio.
164

El estado otorga 300.000 pesos para la realizacin de capacitacin de clientes y usuarios. 172

A partir de la experiencia se obtienen una serie de mediciones que se traducen numricamente. b.-La evaluacin de desempeo posee tres bloques: evaluacin de competencias (organizacionales y funcionales por puestos), factores crticos y elaboracin del plan de mejora. La evaluacin est a cargo del jefe del evaluado y del concurrente (jefe del jefe). .Una vez finalizado el proceso de evaluacin se elabora el plan de mejora: Este plan es muy parecido al plan de mejoras en capacitacin pero menos extenso y tiene que lograrse en el ao. El plan de mejora en la capacitacin lo hace cada empleado, el de mejora en evaluacin de desempeo lo hacen el evaluador y el evaluado. c.-En el curso de fuerza de venta se realiza una evaluacin escrita al final del aprendizaje. Se califica de 1 a 5 con el objetivo de certificar el conocimiento. Momentos en que se realiza la evaluacin, destinatarios de la evaluacin y aspectos a evaluar Todo el personal es evaluado a travs de la evaluacin de desempeo que se realiza hacia el final del ao. El centro de evaluacin est dirigido a los gerentes y se realiza cada tres aos. Las evaluaciones de los aprendizajes se realizan segn los cursos, cuando concluye la actividad. En el caso de la evaluacin de desempeo los aspectos evaluados son las competencias estandarizadas para toda la compaa . Las competencias son de dos tipos, competencias organizacionales y competencias funcionales por puestos. El cruce de ambas arrojan 22 modelos de competencia. Por ejemplo las competencias organizacionales son: 1.-innovacin , 2.-respeto y desarrollo integral, 3 austeridad e integridad, 4 calidad y 5.-productividad. Las competencias son cuantificadas a partir de los valores crticos. En el caso del curso de fuerza de venta la evaluacin se hace sobre las actividades que respondi o las necesidades que el sector identifica. Se evala conocimiento, al finalizar la actividad. Estn tratando de pasar a la evaluacin de 3 nivel de Kirkpatrick, pero no trabajan con el cuarto nivel. En el caso de los programas de desarrollo, stos son evaluados a travs de la evaluacin de desempeo a partir de los factores crticos planificados globalmente. A continuacin se presenta un plan de mejoras de uno de los gerentes sobre la competencia Innovacin y creatividad:
DESARROLLO DE HABILIDADES GERENCIALES "INNOVACIN Y CREATIVIDAD" PLAN DE MEJORA

173

Desarrollar ms la parte C (sociabilidad)

APLICACIN / ACCION

COMO APLICARLO
Interactuar ms con la gente y con las dems reas Tratar de ponerme en el lugar del otro Sonrer en cada interaccin Saludar cortsmente siempre Hacer preguntas de impacto en el otro Conectar ms con las cosas mundanas Ser ms amable Ver la panormica del problema Imaginar otras alternativas Tener en cuenta diferentes perspectivas Pensar formas diferentes de hacer la tarea Dar libertad a equivocarme

INDICADORES DE XITO TIEMPO

Cantidad de contactos Calidad del vnculo Una pregunta en cada interaccin 2 meses

Desarrollar ms la parte D (percepcin)

Cuestionar el status quo El mapeo mental Desarrollo de la intuicin

Discutir lo que "siempre se hizo as" Ver "la otra posibilidad" Hacer presentaciones de acuerdo al perfil de la Grado de aceptacin de la audiencia propuesta Focalizar la presentacin Utilizar mas el olfato No actuar siempre de filtro Reprimir el anlisis excesivo

Cantidad /fluidez de ideas Calidad progresiva de las ideas Plantear todas las ideas independientemente de su viabilidad Discusiones del status quo

5 meses

5 meses 5 meses 5 meses

Extrado del plan de mejoras del entrevistado. Caso D

4. Resultados obtenidos Segn el entrevistado, hay tantas variables en juego que es muy difcil de medir, segn su opinin la medicin cuantitativa no sirve porque no existe un correlato entre la habilidad desarrollada y los resultados. Se puede trabajar con evaluacin cualitativa pero "algunas personas no escriben"(sic). Es difcil demostrar en qu ha mejorado la venta, puede no mejorar la venta, pero las condiciones externas hacen que no se produzca un aumento en la venta y entonces el resultado es engaoso. 5. Modalidad de evaluacin Evalan la capacitacin a travs de la evaluacin de desempeo

Caso E165
1. Datos generales de la organizacin y infraestructura con la que cuentan Sector: Administracin pblica Rama de la actividad: Administracin del estado y aplicacin de polticas econmicas y sociales Tamao: entre 3000 y 6000 empleados (3228 agentes)
165

Se presenta un resumen breve de las entrevistas realizadas. Este caso se desarrolla en profundidad en la parte C 104 174

El Instituto Nacional de Tecnologa Agropecuaria dependen de la Secretara de Agricultura, Ganadera, Pesca y Alimentos (SAGPyA), con autarqua operativa y financiera. Su objetivo central del INTA es contribuir a la competitividad del sector agropecuario, forestal y agroindustrial en todo el territorio nacional, en un marco de sostenibilidad ecolgica y social. La organizacin dispone de un rea de capacitacin cuyo equipo est formado por cuatro personas. 2. Caractersticas de los procesos de capacitacin desarrollados El INTA desarrolla un programa de capacitacin institucional que tiene como objetivo general Mejorar los conocimientos y el desempeo del grupo en el que acta el tcnico capacitado. El objetivo especfico de dicho Programa es Capacitar para obtener excelencia y eficacia en la tarea individual y de conjunto. Los destinatarios de la capacitacin son los tcnicos de los centros del INTA. Actualmente se estn capacitando 110 personas, 74 en el pas y el resto en el exterior, 15 de estos ltimos sin residencia en el exterior permanente. 3. Objetivos de la evaluacin Se busca informacin para evaluar al tcnico y para tomar decisiones posteriores respecto de las reas de capacitacin sobre los programas ms apropiados en relacin con los contenidos y la calidad de los centros. Tambin se releva informacin acerca del funcionamiento del rea de recursos humanos sobre cmo acompaa en sus funciones la capacitacin del tcnico. 4. Encuadre metodolgico La formacin recibe una evaluacin formal por parte de la universidad o el centro donde curs el empleado. A su vez, los estudiantes deben realizar informes cuatrimestrales obligatorios durante su capacitacin y enviarlos al INTA. Al trmino de las experiencias de capacitacin se aplic una encuesta de evaluacin de impacto en tres etapas. 5. Resultados obtenidos Esta es una experiencia de tipo piloto en proceso que presenta varias dificultades de tipo metodolgicas, se obtiene informacin de tipo cualitativa. La encuesta se aplic en 30 casos y estaba en proceso. 6. Modalidad de evaluacin, enfoque, modelo La modalidad de evaluacin es de tipo cualitativa, con triangulacin de respondientes con la intencin de ganar objetividad.

Caso F
Apuntes para encuadrar la entrevista

175

Se encontraron dificultades para acceder a la entrevista. Hubo muchas dudas con respecto a la confidencialidad de los datos y reservas sobre los datos que se ofrecieron. Caben algunas dudas sobre la veracidad de la informacin obtenida. 1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Industria Manufacturera Rama de la actividad: Fabricacin de productos minerales no metlicos Tamao: entre 1000 y 3000 empleados. (1400) La organizacin dispone de un rea especfica de capacitacin que est integrado por 3 personas y en cada una de las plantas hay una persona que coordina las actividades de capacitacin de la planta. 1. Caractersticas de los procesos de capacitacin desarrollados La capacitacin se planifica a partir de la deteccin las "brechas" que la lnea percibe y que se expresan en los diagnsticos de necesidades de capacitacin y luego se define el tipo de actividades que se realizan para cerrar las brechas dirigidas a todo el personal. Una vez concluido el diagnstico, es validado por la direccin y se desarrollan los planes de capacitacin. Existe una articulacin estrecha entre la lnea y el rea de capacitacin a travs de los coordinadores de capacitacin de las plantas. Las actividades son desarrolladas por el personal de la compaa o a travs de la contratacin de proveedores externos. No obstante , debido a la crisis, hay un nfasis en puesto en aprovechar el Know How de la organizacin. La mayora de las actividades de capacitacin son puntuales y cortas y se encuentran en relacin con el aumento de competencias vinculada con la brecha detectada. Tambin se desarrollan actividades de larga duracin especialmente en formacin gerencia externa a travs de posgrados y programas de desarrollo. En los planes de desarrollo de carrera, se analizan las potencialidades de los sujetos y se vinculan con las estrategias de desarrollo de la institucin La capacitacin responde a tres modalidades: a.-Capacitacin sobre tcnicas especficas b.-Capacitacin en management c.- Modificacin de conductas especficas.. Los planes anuales de capacitacin son un input para el desarrollo, sirven para reasignar a la gente determinando la movilidad del personal. 2. Metodologa La evaluacin de impacto se realiza desde la tarea, desde la evaluacin del proyecto y la ms estandarizada es a travs de la evaluacin del potencial de la gente.
176

Se realiza anualmente una evaluacin de desempeo de todo el personal, que est vinculada con el puesto. Esta evaluacin es un insumo de otro tipo de evaluacin que se realiza, que es la evaluacin de potencial. La evaluacin de potencial se aplica slo a los profesionales, trabaja hacia el futuro y se realiza anualmente. En todas las experiencias de capacitacin primero se aplica una encuesta de satisfaccin. En la capacitacin corta el jefe hace la evaluacin de impacto a travs de una planilla que enva capacitacin al superior del capacitado conteniendo cul fue el objetivo que motiv la capacitacin. El jefe realiza un comentario sobre si la capacitacin impact en el desempeo del empleado y en qu medida. Segn la entrevistada se trata de una evaluacin subjetiva. Esta evaluacin se aplica a la capacitacin de ms de 4 o 5 jornadas y tambin a programas de formacin que se realiza en la organizacin que duran un ao. (cursos de 8 horas una vez por mes durante todo un ao) Para trabajar con la evaluacin cuantitativa utilizan los "indicadores de "volumen de gestin" de Saratoga Institute, que son relativos al tamao de la organizacin. Tambin trabajan con un tablero de control. Los comandos presentan indicadores disponibles en relacin de un promedio de organizaciones de USA , Argentina y Europa. 3. Momentos en que se realiza la evaluacin La evaluacin de impacto en la capacitacin corta se realiza al finalizar el curso. El resto de la capacitacin formalmente se evala en la evaluacin del potencial, que se nutre de la evaluacin de desempeo. Si es para un proyecto especfico se evala en funcin de los resultados de los proyectos especficos. Se realiza evaluacin cualitativa y cuantitativa 4. Modalidad de evaluacin Realizan evaluacin de impacto a travs de la evaluacin de desempeo.

Caso G
1. Datos generales de la organizacin infraestructura con la que cuentan Sector: Extraccin de petrleo y gas Rama de la actividad: Extraccin de petrleo crudo y gas Tamao: entre 1000 y 3000 empleados (1200 agentes en argentina) Es una empresa multinacional dedicada a la exploracin, explotacin, refinado y comercializacin del petrleo. Posee refineras, estaciones de servicio y plantas de

177

lubricantes. Recientemente la empresa ha sufrido una gran transformacin, a partir de u un proceso de reestructuracin 166. Tienen dos reas de capacitacin, la capacitacin corporativa y la capacitacin tcnica. El rea de capacitacin corporativa est integrada por dos personas. A partir de las transformaciones operadas se arma un centro de capacitacin para cada lnea del negocio. Este centro atiende la capacitacin corporativa. Para Latinoamrica son 8 personas. 2. Caractersticas de los procesos de capacitacin desarrollados La organizacin convoca el servicio de consultoras externas para llevar adelante sus experiencias de capacitacin. Una vez relevadas las necesidades de capacitacin de la organizacin y aprobado el plan de capacitacin, se convoca a consultoras de capacitacin a travs de un proceso de licitacin, la consultora que gana la licitacin presenta su proyecto pedaggico. Los instructores pueden ser externos o internos. Por ejemplo, en el caso de la capacitacin en tecnologas informticas se trabaj con una consultora que arm el proyecto pedaggico y se capacit al grupo de jefes de las reas de cmputos de la empresa para que entrenaran a su personal. Estos obraron como multiplicadores en sus reas de trabajo. En este caso, los instructores fueron expertos en el sistema provenientes de la empresa en el exterior (Holanda). En general la capacitacin corporativa es de un da de duracin. Se coordina la capacitacin en relacin con las competencias tipificadas por la institucin para cada posicin y unidad de negocio. Se capacita en informtica, en los programas internos que la compaa utiliza (intranet, etc.). Tambin se desarrolla un programa de pasantas en vinculacin con las universidades, de 3 a 6 meses de duracin A travs de estas experiencias se incorporan ingenieros, contadores o economistas en convenio con la Universidad de Buenos Aires. Otra de las experiencias largas es un programa de formacin en idiomas de uno o dos aos de duracin. (Espaol, ingls y portugus) a partir de convenios con el British Council y con la Casa do Soul. 3. Objetivos de la evaluacin No trabajan con evaluacin de impacto habitualmente pero realizaron una experiencia puntual a travs de una consultora. 4. Estrategia metodolgica Si bien no se realiza evaluacin de impacto de la capacitacin, se la percibe como necesaria en funcin de los cambios que se estn operando en la organizacin. La
166

Se transform en una organizacin regional integrados por 46 pases y gerenciada por unidades de negocios. La compaa se organiz en clases de negocios y clases de servicios . 178

experiencia de evaluacin de impacto que se realiz data de ms de 4 aos en la organizacin. En este caso se realiz un estudio intensivo en los niveles gerenciales y administrativos y se complement con un diagnstico de necesidades de capacitacin para relacionar lo logrado y los niveles de capacitacin sin atender. 5. Modalidad de evaluacin, Experiencia de tipo cualitativa. Los registros de la experiencia no estn disponibles.

Caso H
1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Suministro de electricidad, gas y agua Rama de la actividad: distribucin de combustible gaseoso por caera Tamao: menos de 1000 empleados (640 personas) Esta organizacin es uno de los 10 empresas que se desprendieron de una empresa estatal en el momento de la privatizacin. Se encarga de transportar el gas en el sur del pas, en 7 provincias. Poseen 7000 Km. de cao de transporte. La mayora de sus empleados poseen un perfil tcnico (ingenieros,) y de gestin (Lic. en administracin, contadores, etc.) El departamento de capacitacin est integrado por tres personas. El entrevistado dice contar adems, con "brazos" en las provincias. Trabajan en forma interrelacionada con la lnea, dice "no puedo hacer nada si no tengo la lnea asociada"(sic). Una de las formas de vinculacin es a travs de lo instrumentos institucionales de planeamiento de la capacitacin. (a mitad de ao se solicitan los diagnsticos de capacitacin que se realizan en las otras sedes del pas cuando tienen presupuesto asignado para capacitacin.) 2. Caractersticas de los procesos de capacitacin desarrollados La organizacin desarrolla 4 tipos de actividades de capacitacin (corta y de larga duracin.): a.-Actividades de capacitacin tcnica operativa: es capacitacin en aspectos tcnicos como "Medidores ultrasnicos" o "Medicin bsica" b.-Actualizaciones: cuyo propsito es actualizar al personal en temas tcnicos, como por ejemplo conocimiento de nuevas normas legales que prescriben los procedimientos tcnicos. c.-Actividades de capacitacin en gestin o managment: que se vincula con el desarrollo de alguna competencia especfica. Como por ejemplo "negociacin" d.-Actividades de desarrollo de personal. Estas actividades estn orientadas a la produccin de cuadros de reemplazo. Se realiza una deteccin de necesidades de capacitacin a travs de la evaluacin de desempeo de los agentes y luego se entrevista a los directores y se planifica conjuntamente el plan de actividades de desarrollo personal. En estos planes se fijan metas de tiempo en el cual el empleado deber encontrarse en determinadas condiciones tcnicas para
179

poder ocupar el puesto para el que se prepara, aunque el puesto no est efectivamente vacante para ese momento. Para las actividades de desarrollo se trabaja en vinculacin con otras instituciones como por ejemplo: la Universidad de Buenos Aires (UBA), la Universidad de San Andrs, el Instituto Tcnico Buenos Aires (ITBA), el Instituto Argentino de Petrleo y Gas (IAPG). A travs de estos convenio los alumnos pueden cursar un posgrado o algunas materias, de acuerdo con la oferta de la institucin externa. La duracin de las actividades de capacitacin corta es en promedio de una jornada de trabajo. Las actividades de desarrollo son aproximadamente de un ao de duracin. 3. Objetivos de la evaluacin Los objetivos de la evaluacin de desempeo son consensuados entre evaluador y evaluado. Uno de los objetivos es identificar aquellas competencias que presentan dificultades en su ejercicio, para mejorarlas. 4. Estrategia metodolgica La evaluacin de impacto se realiza a travs de la evaluacin de desempeo, en referencia a los objetivos, planteados como resultados de desempeo a alcanzar. Se trabaja con autoevaluacin, y con la observacin de los jefes, considerada la evaluacin por excelencia, ya que es el que observa cul es el impacto de la capacitacin en el sujeto. El procedimiento de evaluacin se aplica a travs de Internet: Primero se auto - evala el empleado a travs de una planilla estandarizada a travs de Internet. l evala su avance en las competencias estandarizadas para toda la empresa. Esta evaluacin pone de manifiesto qu competencias debe mejorar la persona. Una vez completada por el empleado, el jefe inmediato superior evala al empleado sobre la planilla del evaluado (ver planilla pp. 162). Luego, se renen los dos y acuerdan la evaluacin. Esta reunin se denomina charla de feedback. Una vez que se renen todas las evaluaciones, se analizan cuales son las competencias con mayor dficit y se arma el plan de capacitacin del ao siguiente para la compaa. El rea de capacitacin administra este proceso de evaluacin. Cuando se enva a alguien a capacitar se prevn unos objetivos que tambin son de conocimiento de la persona que se capacita. Tambin se realiza un tipo de evaluacin de desempeo llamada 360, que consiste en que la persona es evaluada por su jefe, por los pares y los empleados. Luego se promedian las respuestas y ese es el resultado de la evaluacin. Los cursos de larga duracin se evalan a travs de la observacin de los jefes inmediato, no lo hace directamente el sector de evaluacin, pero es quien participa en el armado de las planillas de evaluacin de desempeo. Tambin cuentan aspectos formales que son considerados en la capacitacin a largo plazo, que son determinado nivel de asistencia y el diploma.
180

5. Momentos en que se realiza la evaluacin Destinatarios de la evaluacin La evaluacin de desempeo se realiza a toda los empleados de la compaa cada seis meses. El sentido de realizar la evaluacin en este perodo de tiempo es poder corregir los problemas encontrados. 6. Aspectos a evaluar Se evalan conocimientos, actitudes y habilidades. Se busca averiguar en qu grado se produjo la transferencia de los conocimientos y si la capacitacin agreg valor a su desempeo. A continuacin se presentan los aspectos reseados en la planilla de evaluacin de desempeo. La evaluacin se realiza en tres planillas, en la primera se anotan los resultados alcanzados en relacin con los objetivos, luego la planilla donde se evala competencia por competencia y finalmente la planilla resumen EVALUACION DE DESEMPEO DATOS PERSONALES Y DEL PUESTO Seccin 1.-OBJETIVOS A.- Los objetivos nos dan un sentido de direccin, una definicin de lo que planeamos lograr y una sensacin de logro cuando los alcanzamos. Cuando describe los objetivos penselos en trminos de resultados que se deben lograr para alcanzar una meta. 1.-Grado de importancia : %.Resultados _____________________________________________________________________

2.-Grado de importancia : %.Resultados _____________________________________________________________________

181

EVALUACION DE DESEMPEO Seccin 2.-COMPETENCIAS

No satisfactorio Poco satisfactorio Satisfactorio Muy satisfactorio

1 Sistema de gestin empresaria

2.-Anlisis de problemas y toma de Decisiones

Resolucin de problemas Hallazgo de hechos Ejerce su criterio Recursos internos Jugador de equipo Abierto Solidaridad y confianza Resolucin de conflictos Trabajo bajo presin Relaciones interpersonales Escuchar Emisin y recepcin de datos

Manejo de la poltica Mejora continua Satisfaccin de clientes Produce un trabajo de alta calidad Seguridad y medio ambiente

3.-Trabajo en equipo

4.-Comunicacin

5.-Responsabilidad y compromiso
Compromiso con la organizacin Integridad Automotivacin Disposicin Tenacidad Es flexible Adaptabilidad Enfoque mltiple Comprensin emptica Espritu emprendedor Creatividad Es innovador Curiosidad intelectual

6.-Adaptabilidad/Flexibilidad

7.-Creatividad e innovacin

8.-Capacidades tcnicas y analticas

Orientacin hacia el proceso Planeamiento y organizacin Negociacin Capacidades funcionales

9.-Liderazgo

10.-Delegacin

Influencia Conocimiento y visin del negocio Constructor de quipos Creacin de condiciones de desarrollo Autonoma Empowerment Seguimiento Consultor

Extrado de la Planilla de evaluacin de desempeo. Caso H 182

La informacin obtenida se vuelca en una planilla resumen donde se califica el rendimiento en cuatro categoras y se incluyen los comentarios del evaluador, del jefe directo del evaluado, del evaluado mismo y las acciones de soporte que se recomiendan. 7. Modalidad de evaluacin Trabajan con un enfoque cualitativo, a travs de encuestas y entrevistas de la evaluacin de desempeo

Caso I
1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Suministro de electricidad, gas y agua Rama de la actividad: distribucin de agua Tamao: entre 3000 y 6000 empleados (4000 empleados) Es una organizacin publica privatizada hace 10 aos. Posee un departamento de capacitacin central y luego distintos centros por cada una de las 4 regiones y una fbrica de agua. El departamento central de capacitacin est integrado por dos personas que coordinan las actividades de capacitacin, dos de logstica y un jefe. Los centros perifricos estn integrados por un jefe de recursos humanos que responde a las necesidades de la lnea y dentro de ese equipo un coordinador de capacitacin en permanente vinculacin con el departamento de capacitacin central. 2. Caractersticas de los procesos de capacitacin desarrollados La capacitacin es entendida en la empresa como herramienta de gestin. Desde su inicio como empresa privada, se desarroll una importante tarea de capacitacin para nivelacin de conocimientos, especialmente se capacit en conocimientos de informtica Se desarrollaron en los ltimos 5 aos 500.000 horas de capacitacin que fue planteada como una meta de logro de la empresa. La capacitacin se planifica a partir de los resultados de la evaluacin de desempeo. En lneas generales, la capacitacin est orientada al puesto y ocasionalmente para el desarrollo, tanto con capacitacin actitudinal como tcnica. La duracin habitual de las experiencias de capacitacin alcanzan los dos das de duracin, pero tambin se desarrollan experiencias de mayor duracin. Se desarroll un Programa Intensivo de Direccin de Empresas que dur 160 horas. Tambin tienen 26 personas becadas (50%) en posgrados. Pero no es una poltica abierta sino hacia algunas personas escogidas. 3. Objetivos de la evaluacin No se realiza evaluacin de impacto en forma habitual, si no vinculada a proyectos especiales. Si bien la prctica cotidiana en la organizacin es realizar una evaluacin de opinin al finalizar la capacitacin, hubo una experiencia de evaluacin de impacto desarrollada por una consultora
183

4. Estrategia metodolgica Se utiliz un instrumento que era muy sencillo, pero tena una carga importante de seguimiento posterior, lo que hizo que no se volviera a utilizar.. En relacin con la evaluacin, para los miembros de esta organizacin "lo que ms vale es la palabra de la lnea. Ellos son el termmetro que utilizan para chequear si la capacitacin result til". Estn en permanente comunicacin en forma espontnea. 5. Resultados obtenidos Si bien los resultados obtenidos con la experiencia fueron interesantes, duda de la utilidad de la evaluacin de impacto, porque las tareas de seguimiento posterior que demandan no estn acordes, segn la entrevistada, a los ritmos de la organizacin Sugiere que es un tema en discusin. La organizacin no la realiza y prefiere confiar en la comunicacin permanente con la lnea. 6. Modalidad de evaluacin Evaluacin de tipo cualitativa. Los registros de la experiencia no estn disponibles

B.-Experiencias de evaluacin de transferencia de los aprendizajes

A continuacin se describen dos casos que presentan experiencias interesantes de evaluacin de transferencia del aprendizaje.

Caso J.1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Suministro de electricidad, gas y agua Rama de la actividad: distribucin de energa elctrica Tamao: entre 3000 y 6000 empleados (2300 personas ) La organizacin es un desprendimiento de una empresa del estado privatizada. Tienen un departamento de capacitacin integrado por 5 personas, pero no disponen de personal en las plantas que los ayude con la tarea de capacitacin. 2. Caractersticas de los procesos de capacitacin desarrollados La organizacin realiza actividades de capacitacin de distinta duracin. La capacitacin corta tiene una duracin aproximada de entre 10 y 20 das intensivos. Como capacitacin de mayor duracin se desarrollan especializaciones maestras, en diferentes universidades de acuerdo con la especialidad. La gente que envan a formarse en posgrados es gente con potencial, adscriptas a carreras de desarrollo. Tambin hay actividades largas desarrolladas por la casa matriz.

184

El plan de capacitacin surge a partir de la evaluacin de desempeo donde se detectan la necesidades de capacitacin de la compaa La informacin que arroja la evaluacin de desempeo y el plan estratgico corporativo, que se renueva cada ao, son el insumo para la planificacin de las actividades de capacitacin. 3. Objetivos de la evaluacin Las normas de calidad exigen que se mida el impacto de la capacitacin (14.001, 9001 4800). Pero no realizan evaluacin de impacto, sino que han desarrollado algunas experiencias de evaluacin de la transferencia de los aprendizajes al puesto de trabajo. 4. Metodologa Segn el entrevistado, el tema de evaluacin de impacto es un tema piloto en las empresas. Es muy difcil llegar a saber cul es retorno de la inversin pues es difcil aislar las variables en juego. Por ejemplo, "Si capacito en ventas, les doy 32 horas de capacitacin y las ventas aumentan, hay que ver si el cambio se debe a la capacitacin." En el caso de la capacitacin de posgrados se confa en la idoneidad de la institucin que da los cursos para la evaluacin. El prestigio de las instituciones no se pone en tela de juicio y se acepta que la formacin que estas instituciones generan es buenas para la organizacin. En las otras actividades de larga duracin que son las generadas por la casa matriz, es la misma casa matriz la que las evala. En relacin con la capacitacin corta, se aplica a todos la evaluacin de la transferencia. Se trabaja con evaluacin escrita y el jefe evala en el puesto de trabajo a travs de evaluacin de desempeo. Se realiza a los tres meses de finalizada la capacitacin, se enva una encuesta para el jefe inmediato superior y se pregunta si transfiere los conocimientos al puesto de trabajo. El nivel gerencial no se trabaja a travs de encuestas. Se evala con el desempeo, pues son competencias genricas ms actitudinales. La evaluacin de desempeo se realiza anualmente sobre competencias estandarizadas y definidas previamente para toda la organizacin 5. Aspectos a evaluar Se evala la capacitacin en cursos cortos a travs de la utilizacin de los registros disponibles en la organizacin que estn en vinculacin con la tarea. Por ejemplo, para evaluar los cursos de atencin de las llamadas telefnicas por desperfectos se registr el descenso en las llamadas de solicitud de tcnicos falsas. Es decir esas llamadas en las que el usuario percibe un problema en su servicio que no es real, lo cual implica un costo importante para la empresa, pues significa una reduccin en los recursos que gasta la empresa cuando el tcnico que va a ver el desperfecto y se moviliza para resolver un desperfecto inexistente. Estos son costos de horas hombre mal empleadas. Esta evaluacin a travs del descenso en las falsas alarmas implicara que el personal que
185

atiende la llamada del usuario est ms capacitado para orientarlo y evitar gastos innecesarios. Otras de las mediciones que se realizan a travs de un sistema de capacitacin programado (e-learning) es la tasa de retencin de los conocimientos y de la utilizacin de lo aprendido. 6. Resultados obtenidos No realizan evaluacin de impacto porque si trabajan con encuestas al jefe es muy difcil recuperarla. De acuerdo con el entrevistado, para poder implementar este tipo de experiencias de evaluacin se necesita instalar previamente un sistema informtico que la recupere por s mismo y provea los resultados, pues no hay tiempo para hacer el procesamiento de la informacin.

Caso K
1. Datos generales de la organizacin e infraestructura con la que cuentan Sector: Industria manufacturera Rama de la actividad: Fabricacin de partes, piezas y accesorios para automotores Tamao: entre 1000 y 3000 empleados (1000 empleados) Esta organizacin es una empresa multinacional que pertenece a la industria automotriz y se dedica a la produccin de autopartes . El rea de recursos humanos est integrada por dos personas en ajustada conexin continua con 7 divisiones a travs de consultas y evaluaciones. 2. Caractersticas de los procesos de capacitacin desarrollados En esta organizacin se trabaja a partir de la concepcin de que no hay nada que no impacte en el negocio. Las actividades de capacitacin se planifican partiendo de una deteccin de necesidades de capacitacin desde el rea de capacitacin con la colaboracin de la lnea. El rea elabora los instrumentos y la orientacin para que la lnea pueda trabajar en el diagnstico. Entre las herramientas habituales de seguimiento de la capacitacin se emplean fichas de capacitacin por puesto de trabajo con matrices de capacitacin en planta. Las actividades de capacitacin que desarrolla la organizacin son de tres tipos : a.- capacitacin "in company" (el instructor da el entrenamiento en las aulas). Se trabaja con la participacin de instructores internos o externos, que en algunas oportunidades son los gerentes o jefes o compaeros de trabajo. ' b.- capacitacin "out company" : Pueden ser cursos de posgrado como Master in Bussiness Administration (MBA) en convenio con universidades, o el curso de
186

entrenador de entrenadores que se realiza en distintas partes del mundo y se encuentra a cargo de la organizacin. c.- capacitacin en el puesto de trabajo (on the job) Tambin la institucin desarrolla programas de larga duracin, desde la misma compaa, como por ejemplo el programa "DQLP", que apunta a la mejora continua de los procesos, el curso "K UNIVERSITY" que consiste en un curso de capacitacin en management. Este curso presenta contenidos como Resolucin de problemas, Liderazgo, Costos, etc. tiene una duracin de 7 meses y al egresar se obtiene el certificado de Supervisor . Tambin se cuenta con otras experiencias de capacitacin como "Shadow" ( en el cual el instructor trabaja en el puesto de trabajo con el empleado como si fuera su sombra con el objetivo de ensearle los procedimientos en la prctica. 3. Objetivos de la evaluacin El objetivo de la evaluacin es evaluar la "eficacia" (sic) de la capacitacin. Es decir, evaluar la mejora del proceso, verificar la adecuacin de la planificacin en cada plan de accin, y revisar si el servicio de la consultora o instructor es el adecuado. 4. Estrategia metodolgica Los cursos (que el entrevistado define como) "subjetivos" se evalan a travs de la evaluacin de desempeo y los cursos objetivos por la evolucin de indicadores. Tambin se realiza un seguimiento cuantitativo de los procesos de capacitacin expresados, mes a mes, en por ejemplo, horas por persona de capacitacin. Y se hace la previsin de ese indicador. Esta informacin permite realizar acciones de mejora y correccin de las actividades.. La definicin que ofrece el entrevistado de eficacia de la capacitacin es que se controla" si lo aprendido se aplica y si la capacitacin es efectiva."(sic) Los destinatarios de la evaluacin son los supervisores 3. Aspectos a evaluar La organizacin ha desarrollado una serie competencias estandarizadas como por Ej.: gestin de la calidad, trabajo en equipo, seguridad. A su vez se construyen indicadores estratgicos, entendidos como factores claves para la organizacin. Luego estn los indicadores que son menos estratgicos o de segundo orden o soporte. Por ejemplo: algunos indicadores son nivel de productividad o niveles de desperdicio (scropp)

187

La capacitacin se planifica atendiendo a algunos de las competencias estandarizadas que son definidas como "factores claves del xito". La lista de factores claves pertenece a una de las divisiones de la empresa Desarrolla nuevas lneas de productos Diversifican mercados clientes Mejorar la satisfaccin del cliente Implementar calidad total a travs de los procesos de mejora continua Implementar la mejora continua de la logstica y distribucin Mejora la comunicacin y el despliegue del estilo Entrenamiento y evaluacin del personal Favorecer la participacin del personal en grupos de mejora Sistematizar el involucramiento con la comunidad Mejorar la satisfaccin del empleado Mejorar productividad Mejora del margen operativo performance Working capital

Extrado de Planilla de relevamiento de necesidades de capacitacin. Caso K

El relevamiento de las necesidades de capacitacin se realiza en funcin de estas competencias y luego se cruzan los cursos y se especifica en la planilla cul es su vinculacin o su contribucin al desarrollo de estos factores claves de xito que est categorizada como fuerte, medio y dbil.
TEMAS CURSO FACTORES CLAVES DE XITO ASISTENT E CARGA HORARI A COSTO

1
Segurid ad e higiene Proteccin contra incendios

4 D D

7 F F

Calidad

Movimiento de carga Mantenimiento del sistema de calidad

M
M: medio D: dbil

Extrado de Planilla de relevamiento de necesidades de capacitacin. Caso K. F: fuerte

Los aspectos que integran la evaluacin son: : La medida de logro de los objetivos de la organizacin La medida de logro de los objetivos de las divisiones La cuantificacin de los objetivos Comparativo competitivo (los resultados se comparan con estndares organizacionales de Brasil por ejemplo) Plan de accin Se calcula los resultados del entrenamiento dividiendo la cantidad de horas de capacitacin y la cantidad de personas por 12 meses. Esta informacin se suma todos los meses y estos son los valores que se utilizan para la comparacin , por ejemplo con la sede de la organizacin en Brasil TREND = cantidad de horas de capacitacin La cantidad de personas por 12 meses
188

La efectividad de la capacitacin se evala a travs de una encuesta que es completada por el supervisor sobre cada uno de las personas que asistieron al curso de capacitacin.
EVALUACION DE LA EFECTIVIDAD DEL ENTRENAMIENTO Entrenamiento Apellido y nombre del asistente Fecha perodo Indicadores claves afectados por este entrenamiento .......................................................................................... . CMO EVALUAR LA EFECTIVIDAD DEL ENTRENAMIENTO REQUERIDO DENTRO DEL PLAZO PREVISTO Evaluacin del desempeo del personal entrenado Evolucin del indicador clave del plan Evolucin de un indicador especfico Resultado de una Auditoria Plazo de evaluacin:..........................

CALIFICACIN DEL ENTRENAMIENTO Requiere revisin de Revisar contenido y objetivos del curso y determinar posible mejora fuente 1 2 3 4 5 Malo Regular Puede mejorar no obligatorio 6 7 Bueno 8 9 Muy bueno No requiere mejora 10 Excelente

Extrado planilla de evaluacin de la efectividad del entrenamiento. Caso K

4. Resultados obtenidos o problemas encontrados Adems del problema de las dificultades que encuentra el responsable de capacitacin en evaluar las experiencias denominadas subjetivas, se seala que es muy difcil, por las limitaciones de tiempo, que los jefes de produccin evalen a sus grupos de gente y que cuando lo realizan lo hagan verdaderamente a conciencia. Cada responsable de rea evala el entrenamiento que program. El entrevistado no se encuentra satisfecho con la forma de realizar la evaluacin. El modelo de cuatro niveles de Kirkpatrick no resulta adecuado porque insume muchas horas al destinatario de la capacitacin que no puede responder la evaluacin pues no tiene tiempo. Explica que el instrumento adecuado debera ser de rpida confeccin. "En la medida que la evaluacin de impacto influya sobre el negocio va a mover el negocio, pero no resulta de todo confiable el flujo de planillas." 5. Modalidad de evaluacin, enfoque, modelo En este caso se trabaja solo con traslado a la tarea. Y a travs de la observacin de los jefes pautada por el departamento de capacitacin.

189

C.-Tablas de organizaciones consultadas C. 1.-Tabla resumen de las organizaciones privadas consultadas segn sector y actividad
SEUDONIMO SECTOR DE ACTIVIDADES INDUSTRIA MANUFACTURERA 1 2 3 4 K 5 6 7 8 9 COMERCIO POR MAYOR Y MENOR EXTRACCION DE PETROLEO Y GAS 1 1 2 3 SUMINISTRO DE ELECTRICIDAD GAS Y AGUA 1 2 3 C D F CLASIFICACION CENSAL DE ACTIVIDADES PRODUCTOS ALIMENTICIOS Y BEBIDAS PRODUCTOS ALIMENTICIOS Y BEBIDAS FABRICACION DE PRODUCTOS MINERALES NO METALICOS FABRI CACION DE PARTES, PIEZAS Y ACCESORIOS PARA AUTOMOTORES INDUSTRIAS BASICAS DE HIERRO Y ACERO FABRICACION DE SUSTANCIAS Y PRODUCTOS QUIMICOS FABRICACION DE AUTOMOTORES MAQUINARIA Y APARATOS ELECTRICOS FABRICACION DE SUSTANCIAS Y PRODUCTOS QUIMICOS COMERCIO MINORISTA EXTRACCION DE PETROLEO CRUDO Y GAS NATURAL EXTRACCION DE PETROLEO CRUDO Y GAS NATURAL EXTRACCION DE PETROLEO CRUDO Y GAS NATURAL DISTRIBUCION DE COMBUSTIBLE GASEOSO POR CAERIA DISTRIBUCION DE AGUA DISTRIBUCION ENERGIA ELECTRICA

L N P U X M B G O H I J

190

C. 2.-Tabla resumen de las organizaciones pblicas consultadas que evalan sus actividades de capacitacin de larga duracin
INSTITUCION ADMINISTRACION FEDERAL DE INGRESOS PUBLICOS INSTITUTO NACIONAL DE TECNOLOGIA AGROPECUARIA ESCUELA NACIONAL DE GOBIERNO INSTITUTO NACIONAL DE ADMINISTRACION PUBLICA INSTITUTO NACIONAL DE TECNOLOGIA INDUSTRIAL INSTITUTO DE SERVICIO EXTERIOR DE LA NACION MINISTERIO DE EDUCACION ESCUELA DE ABOGADOS DE LA NACION MINISTERIO DE SALUD SERVICIO NACIONAL DE SANIDAD ANIMAL DEAPARTAMENTO PEDAGOGICO-FCCE

EVALUAN LA CAPACITACION DE LARGA DURACION

AFIP INTA SGP INAP INTI ISEN MEC ECAE SENASA UBA

191

ANEXO I: Matriz de anclaje e instrumentos

a.-Matriz de anclaje de la investigacin
En este apartado se presentan las variables e indicadores utilizados para el relevamiento de datos en la investigacin sobre la que se basa la tesis. VARIABLES Caractersticas del centro de formacin capacitacin Institucin de la que forman parte Cantidad de personal Trabajan articuladamente INDICADORES

Recursos Articulacin entre el centro de capacitacin y la lnea Caractersticas del proceso Motivos que originan la capacitacin de formacin o capacitacin Contenidos de la capacitacin Objetivos Modalidades de capacitacin Educacin formal Educacin a distancia Vnculos con otras organizaciones Desarrolladas por la organizacin Duracin Destinatarios Nivel jerrquico Modalidades del proceso Tipos de evaluacin Evaluacin diagnstica de evaluacin Evaluacin de reaccin Evaluacin de aprendizajes Evaluacin de impacto Grado de institucionalizacin de la evaluacin Se evalan puntualmente algunas actividades
192

Todas las actividades de formacin son evaluadas Objetivos de la evaluacin Metodologas que se emplean en Enfoque cuantitativo, cualitativo o mixto la evaluacin Qu aspectos miden Quin y cmo se definen los aspectos a medir Los resultados obtenidos son comparados con algunos estndares predefinidos, con otras experiencias Instrumentos

Valores (necesidad) Merito (excelencia) Estndares predefinidos Modelos Cuestionarios Observaciones Entrevistas Otros Antes Durante Despus Cuanto tiempo despus Responsables de la capacitacin Organizacin vinculada Agentes externos

Momento en la que se aplica

Quienes evalan

Evaluacin externa o interna

Evalan los responsables de la capacitacin Evalan los jefes Evalan las organizaciones que contribuyen con la capacitacin Con qu estructuras cuentan disponibles para el trabajo de evaluar

Qu dificultades encuentran
193

Personal dedicado especialmente Personal que realiza otras actividades Los jefes participan

Qu resultados obtienen y cules no obtienen Uso que hacen de la informacin obtenida en las evaluaciones Quienes son los usuarios de la informacin

Beneficio de la evaluacin para la organizacin Cul es la utilidad de este proceso de evaluacin para la organizacin en relacin del esfuerzo realizado. Vale la pena?

Resultados esperados Resultados no esperados Retroalimentacin de las actividades de capacitacin Anlisis costo beneficio Jefes Capacitadores Usuarios de la capacitacin

194

b.- Formulario de Entrevista sobre evaluacin de impacto en actividades de formacin del personal de ms de 5 meses de duracin.
a.- Caractersticas del centro de capacitacin 1. Caractersticas de la Institucin de la que forman parte el centro de capacitacin. 2. Cules son los recursos que dispone el centro de capacitacin, cantidad de personal, tareas que realiza.? 3. A travs de qu mecanismos se realiza la articulacin entre el centro de capacitacin y la lnea? b.- Caractersticas del proceso de formacin o capacitacin 1. Caracterice las actividades de capacitacin que realizan en este Centro de Capacitacin? 2. Cules son los motivos que originan la capacitacin? 3. Cules son los contenidos de la capacitacin? 4. Objetivos (pedir documentacin de las actividades de formacin) 5. Con qu modalidades se realizan las actividades de capacitacin 5.1. A travs de cursos presenciales 5.2. Educacin a distancia 5.3. Modalidad mixta 6. La capacitacin se desarrolla en vinculacin con otras organizaciones? Cules? 7. La capacitacin es llevada a cabo por la organizacin? 8. Que duracin tienen las actividades? 9. Quines son los destinatarios de la capacitacin? 9.1. Nivel jerrquico 9.2. Niveles medios 9.3. Niveles operativos 10. Qu acreditacin reciben los capacitandos una vez concluida las actividades? c.- Modalidades del proceso de evaluacin 11. Grado de institucionalizacin de la evaluacin. El centro evala todas las actividades de capacitacin? 11.1. Se evalan puntualmente algunas actividades 11.2. Todas las actividades de formacin son evaluadas 11.3. Desde hace cuanto se evalan las actividades 11.4. Qu incidencia tiene el puntaje obtenido o la capacitacin en la hoja de servicios del sujeto que se capacita

12. La evaluacin de impacto pretende averiguar acerca de los efectos de la capacitacin en las personas, en su
trabajo, etc. Responde a la pregunta "para qu sirvi la capacitacin"? Realizan evaluacin de impacto de las actividades de capacitacin?. 13. Qu tipo de evaluacin emplean para evaluar el impacto de la capacitacin? 13.1. Evaluacin diagnstica
195

13.2. Evaluacin de reaccin 13.3. Evaluacin de aprendizajes 13.4. Evaluacin de la transferencia de los aprendizajes al puesto de trabajo? 13.5. Se realiza algn tipo de evaluacin de la viabilidad o factibilidad de la capacitacin? 14. Cules son los objetivos de la evaluacin de impacto de las actividades de formacin? 15. Qu metodologas se emplean en la evaluacin de impacto? 15.1. Enfoque cuantitativo, cualitativo o mixto 15.2. Que aspectos evalan en cada capacitacin. 15.3. Cmo se definen los aspectos a evaluar, quin los define? 15.4. Los resultados obtenidos son comparados con algunos estndares predefinidos, o con otras experiencias que utilicen como modelo a alcanzar? 15.5. Qu mecanismos emplean para evaluar las actividades de capacitacin? Encuesta de opinin, cuestionario sobre los conocimientos dictados en las actividades de capacitacin. Otro (especifique) 15.6. En qu momento en la que se aplica la evaluacin. (antes de realizar las actividades, durante el proceso, al finalizar las actividades, tiempo despus)?Cuanto tiempo despus? 16. Quienes evalan? 16.1. La evaluacin es realizada por el personal de capacitacin o es realizada en forma externa? 16.2. Evalan los responsables de la capacitacin? 16.3. Los jefes tienen alguna participacin en la evaluacin? 16.4. Evalan las organizaciones que contribuyen con la capacitacin? 17. Con qu estructuras cuentan para el trabajo de evaluar? 17.1. El personal de capacitacin 17.2. Personal de capacitacin especializado en evaluacin 17.3. Los jefes colaboran en la actividad de evaluacin 18. Qu dificultades encuentran en el proceso de evaluar el impacto? 19. Qu resultados obtienen y cules no obtienen de los esperados, a partir de la evaluacin de la capacitacin?. Qu beneficios concretos genera la capacitacin para la organizacin? 20. Cul es el uso que hacen de la informacin obtenida en las evaluaciones? Realizan algn tipo de anlisis costo beneficio? 21. Quienes son los usuarios de la informacin? 22. Cul es la utilidad de este proceso de evaluacin para la organizacin en relacin del esfuerzo realizado. Vale la pena en relacin con el esfuerzo realizado?

196

ANEXO II.-Formulario de Encuesta utilizado por el Instituto Nacional de Tecnologa Agropecuaria para evaluar el impacto de su programa de Capacitacin
SEGUIMIENTO PROGRAMA DE CAPACITACIONEN EL EXTERIOR El Programa de capacitacin institucional tiene como objetivo general Mejorar los conocimientos y el desempeo del grupo en el que acta el tcnico capacitado. El objetivo especfico de dicho Programa es Capacitar para obtener excelencia y eficacia en la tarea individual y de conjunto. De acuerdo a lo expresado en el Plan de Capacitacin del INTA, una propuesta de capacitacin es pensada en trminos de un programa de formacin continua, lo que supone, asimismo, una evaluacin continua como parte del proceso que se inicia con la misma. La necesidad de evaluar tanto los resultados de la formacin recibida, como su posterior aplicacin prctica en la tarea especfica del personal capacitado, como asimismo, si fuera el caso, la transferencia de los conocimientos adquiridos y el consiguiente entrenamiento del grupo de pertenencia, responde, sin lugar a dudas a apreciar: a. Si se fijaron adecuadamente los objetivos de la capacitacin solicitada. b. Si se cumplieron los objetivos propuestos. c. Si ha mejorado el desempeo del entrenado y en la medida necesaria para eficientizar la labor que desarrolla. d. Si el impacto de la aplicacin de la formacin recibida sobre la tarea especfica del beneficiario y el de su grupo de pertenencia resulta significativo. e. Si la relacin de efectividad de la erogacin que la institucin ha realizado con respecto a la capacitacin efectuada y aplicada resulta positiva, referida al desempeo del personal involucrado y los beneficios institucionales a travs de la labor desarrollada. La metodologa a utilizar para la evaluacin de la capacitacin en el exterior y su posterior transferencia al grupo de pertenencia consiste en el relevamiento de una serie de informacin a realizarse a travs de encuestas a ser cumplimentadas en diferentes etapas. La primera etapa se llevar a cabo en forma inmediata a la finalizacin de la capacitacin en el exterior y estar a cargo del tcnico que ha recibido la formacin. La segunda etapa tendr lugar a los seis meses de la reincorporacin del tcnico capacitado a sus tareas especficas y estar a cargo del mismo por una parte y por la otra deber estar acompaada por opiniones vertidas al respecto por el Director de la Unidad correspondiente. La tercera se efectuar a los doce (12) meses desde la finalizacin de la capacitacin y ser cumplimentada por el tcnico capacitado y por el grupo de pertenencia. El objetivo de la primera etapa es el de recabar informacin sobre el programa de capacitacin desarrollado, la calidad del mismo, la eficiencia de la eleccin de la institucin que brind la formacin y el funcionamiento del rea del INTA encargada del desarrollo del programa. El fin es retroalimentar el sistema de capacitacin en el exterior en forma adecuada, respondiendo a las necesidades reales establecidas y priorizadas institucionalmente y ratificar o rectificar el rumbo fijado para la capacitacin
197

de los tcnicos del Organismo, como tambin dotar de mayores elementos de juicio al programa de capacitacin para las siguientes actividades. El objetivo de la segunda etapa es el de recabar informacin sobre la aplicacin de la capacitacin recibida, los logros obtenidos, como tambin los obstculos que pudieron haber surgido en su aplicacin. El objetivo de la tercera etapa es el de recabar informacin sobre la transferencia de conocimientos adquiridos por el tcnico con motivo de su capacitacin en el exterior al grupo de trabajo al que pertenece y a eventuales demandantes relacionados con el rea de conocimientos en la que el profesional se capacit.

198

ENCUESTA N 1
ENCUESTA A CUMPLIMENTAR POR EL TECNICO A LA FINALIZACION DE LA BECA EN EL EXTERIOR
DATOS PERSONALES: Apellido y nombre:.................................................................................................................................. Fecha de nacimiento:............................................................................................................................. Unidad:....................................................................................................................................................

CAPACITACION: Centro capacitador:..............................................................Lugar:...................................................... ................................................................................................................................................................ Tema:...................................................................................................................................................... Nombre Director o Tutor:........................................................................................................................ Perodo:.................................................................................................................................................. Grado obtenido:...................................................................................................................................... Objetivo de la capacitacin:................................................................................................................... ................................................................................................................................................................ ................................................................................................................................................................ ................................................................................................................................................................ ................................................................................................................................................................

199

1)

Considera Ud. que la capacitacin recibida durante la realizacin de la beca ha cubierto sus expectativas en relacin a los objetivos planteados en el momento de su solicitud? SI NO PARCIALMENTE

Indique por qu ........................ ............................................................................................... ...... ..................................................................................................................... ................................................................................................................................ ...........................................................................................................................

2)

Los programas de estudios desarrollados respondieron a la calidad, al contenido y al nivel de la especializacin que Ud. aspiraba recibir? SI NO PARCIALMENTE

Indique por qu ........................ ............................................................................................... ...... ..................................................................................................................... ................................................................................................................................ ........................................................................................................................... 3) Los profesores que dictaron las materias de los estudios realizados estuvieron a la altura acadmica de las expectativas de la capacitacin a que Ud. aspiraba en relacin a los temas de su especializacin? SI NO PARCIALMENTE

Indique por qu ........................ ............................................................................................... ...... ..................................................................................................................... ................................................................................................................................ ................................................................................................................................ ........................................................................................................................... 4) La Institucin donde ha cursado los estudios motivo de la beca se ajusta a la especializacin requerida por Ud.? SI NO PARCIALMENTE

Indique por qu ........................ ............................................................................................... ..................................................................................................................... ...........................................................................................................................

200

5)

En el caso de que algn tcnico del INTA buscara ampliar sus conocimientos en esa especializacin: a) b) Aconsejara realizarlos en la misma institucin donde Ud. estudi? SI NO Sugerira cursarlos en otra Institucin que a su criterio posee mayor competencia en el tema? SI NO

Indique por qu en ambas opciones (a y b) ............................................................................. ....................................................................................................................................................... ....................................................................................................................................................... Si responde a la primera opcin en b), puede sugerir alguna? ............................................................................................................................................ ................................................................................................................................................ ....................................................................................................................................................... ....................................................................................................................................................... 6) Puede detallar brevemente cules son los conocimientos aptitudes y habilidades que en su especializacin ha adquirido o ampliado, con motivo de la capacitacin recibida? .................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... 7) Le interesara profundizar algunos de los temas especficos relacionados con la capacitacin recibida? SI NO PARCIALMENTE Indique cuales y por qu .............................................................................................................. ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... .......................................................................................................................................................
201

8) Ha tenido inconvenientes durante su estada en el exterior referidos al cumplimiento de su beca que obstaculizaron el normal desenvolvimiento de sus estudios? a) Relacionados con el INTA b) Relacionados con la Institucin donde curs sus estudios c) Relacionados con el tutor d) Otros que considere de inters mencionar SI NO PARCIALMENTE SI SI NO NO PARCIALMENTE PARCIALMENTE SI NO PARCIALMENTE

Indique por que en todas las opciones y cuales en la opcin d) ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... 9) Con motivo de su reinsercin en su lugar de trabajo en el INTA en qu medida cree Ud. que va a poder aplicar en su tarea lo aprendido? ALTO MEDIO BAJO

Indique por qu.............................................................................................................................. ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... ....................................................................................................................................................... 9) Mencione brevemente los factores que favorecen u obstaculizan (si fuera el aplicacin de los conocimientos adquiridos con motivo de la presente beca: FAVORECEN A nivel institucional ......................................... ......................................... ..........................................
202

caso) la

OBSTACULIZAN .................................... .................................... ...................................

A nivel de grupo de trabajo .......................................... ........................................... ........................................... A nivel personal .......................................... .................................. .................................. ..................................

.................................. ................................. ..................................

........................................... ...........................................

SUGERENCIAS O COMENTARIOS GENERALES QUE CONSIDERE OPORTUNO MENCIONAR: ...................................................................................................................................................... ... .................................................................................................................................................. ... .................................................................................................................................................. ...................................................................................................................................................... ... .................................................................................................................................................. ... .................................................................................................................................................. ...................................................................................................................................................... ... .................................................................................................................................................. ... .................................................................................................................................................. ...................................................................................................................................................... ... .................................................................................................................................................. ... ..................................................................................................................................................

.................................................. Lugar y fecha

........................................................ Firma Nombre y apellido Legajo

203

ENCUESTA N 2 (Mediata)

ENCUESTA A CUMPLIMENTAR POR EL TECNICO Y POR EL DIRECTOR DE LA UNIDAD, TRANSCURRIDOS SEIS MESES DESDE LA FINALIZACION DE LA CAPACITACION.
OBJETIVO: Recabar informacin sobre la aplicacin de la capacitacin recibida, los logros obtenidos, como asimismo los obstculos que surgieran, con la finalidad de ratificar o rectificar el rumbo de la labor emprendida. 1) En relacin a la capacitacin recibida con motivo de la beca ha podido aplicarla en la tarea que desempea, segn los objetivos planteados en oportunidad de solicitar la formacin realizada? SI NO PARCIALMENTE

En el caso de que su respuesta fuera SI o PARCIALMENTE puede especificar qu aspectos y qu porcentaje de lo aprendido ha podido incorporar? ......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... En el caso de que su respuesta fuera NO puede indicar las causas? ......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... 2) Puede indicar algunos logros en relacin a modificaciones realizadas en las tareas en razn de la incorporacin de la capacitacin recibida? SI NO PARCIALMENTE

En el caso de que su respuesta fuera SI o PARCIALMENTE, seale los ms significativos .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... ..........................................................................................................................................................
204

. En el caso de que su respuesta fuera NO puede indicar las causas? .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... 3) Si hubieran surgido obstculos para la aplicacin parcial o total de los conocimientos adquiridos para la realizacin de su tarea durante esta etapa puede sealarlos? .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... ..........................................................................................................................................................

OBSERVACIONES GENERALES .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... .......................................................................................................................................................... ..........................................................................................................................................................

..................................... Lugar y fecha

................................................. Firma Nombre y apellido/ N legajo

205

ENCUESTA N 3
ENCUESTA A CUMPLIMENTAR POR EL TECNICO Y EN CONJUNTO POR EL GRUPO DE TRABAJO, TRANSCURRIDOS 12 MESES DE LA FINALIZACION DE LA CAPACITACION.
OBJETIVO : Recabar informacin sobre la transferencia de conocimientos adquiridos por el becario, al grupo de trabajo al cual pertenece. a) Para el tcnico becario : 1) Ha transferido al grupo de pertenencia los conocimientos adquiridos en ocasin de la capacitacin recibida? SI NO PARCIALMENTE

Si la respuesta es SI y/o PARCIALMENTE puede sealar en qu grado ha sido posible (expresado en porcentajes) y por qu? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... Si la respuesta es NO indique las causas .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... 2) Qu metodologa ha utilizado para la transferencia? * Seminario * Cursos * Taller * Formacin continua en el puesto de trabajo * Jornadas

Otras formas ........................................................................................

.3) Cunto tiempo expresado en horas, das, etc., le ha dedicado a dicha transferencia? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... 4) Ha observado algn cambio en la tarea a raz de la transferencia de la capacitacin recibida? SI NO
206

PARCIALMENTE

Si la respuesta es SI y/o PARCIALMENTE puede sealar en qu conceptos y en qu porcentajes? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... Si la respuesta es NO indique por qu .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... a) Para el grupo de pertenencia : (respuestas a cumplimentar por el equipo de trabajo) 1) Consideran que la incorporacin de los nuevos conocimientos alcanzados a travs de la transferencia del becario son pertinentes a la labor que desarrolla el equipo de trabajo? SI NO PARCIALMENTE

Si la respuesta es SI y/o PARCIALMENTE, por favor indiquen por qu .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... Si sealan NO pueden identificar las causas? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... 2) Sealen las mejoras que se observan e indiquen en que proporcin, a partir de la incorporacin de los nuevos conocimientos .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... 3) La metodologa utilizada para la transferencia, incluyendo temas, formas, tiempos, etc. Ha sido la adecuada? SI NO PARCIALMENTE

Si la respuesta es SI y/o PARCIALMENTE por favor indiquen por qu .................................................................................................................................................... .................................................................................................................................................... ....................................................................................................................................................
207

Si la respuesta es NO pueden sealar las causas? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... 4) Han observado obstculos en relacin a la transferencia , incorporacin y/o aplicacin de los nuevos conocimientos a las tareas que desempean? SI NO PARCIALMENTE

Si la respuesta fuera SI y/o PARCIALMENTE pueden sealar cules y a continuacin indicar algunas sugerencias para superarlas o evitarlas en las prximas experiencias? .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... .................................................................................................................................................... ....................................................................................................................................................

Lugar y fecha

Firma Nombre y apellido/ Leg.N

208

Bibliografa
ABDALA, Ernesto. Manual de evaluacin de impacto en programas de formacin de jvenes. CINTERFOR /s.f. http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/sala/abdala/manual/m AGUILAR IDAEZ, Mara Jos, ANDER- EGG, Ezequiel. Evaluacin de servicios y programas sociales LUMEN, 1994. AMAYA, Paula. Evaluacin de la capacitacin: clave en el desarrollo de evaluaciones pertinentes orientadas a la satisfaccin y participacin ciudadana. Experiencias de gestin de la capacitacin en la municipalidad de Florencio Varela. VI Congreso Internacional del CLAD sobre Reforma del Estado y Administracin Pblica, Bs. As- Argentina, 5-9 de noviembre del 2001 American Evaluation Association. AEA-Task Force ."Guiding Principles for Evaluators", 2004. http://www.eval.org/Guiding%20Principles.htm American Training and development Association (ASTD) National Human Resources Development Executive Survey. Fourth Quarter Survey Report, 1997 ANGULO, Jos Flix: Evaluacin de programas sociales de la eficacia a la democracia APPLEGARTH, Michael: Programas de capacitacin. Cmo realizar una auditora. Ed. Legis, Colombia, 1992 ARGYRIS, C. Conocimiento para la accin. Una gua para superar los obstculos del cambio en la organizacin. Ed. Granica, Bs.As., 1999 AUCHEY, G. J., LEROY WARD, J., An Evaluation Model for Projet Management training programs .Purdue University, Ws Lafayette, Indiana, Abril, 2000. BALLART, X. "Cmo evaluar programas y servicios pblicos?. Una aproximacin sistemtica y estudios de caso" Ministerio para las Administraciones Pblicas. Madrid, 1992 BARTON, A: El concepto del espacio de propiedades en la investigacin social. En Conceptos y variables en la investigacin social Korn, F. Lazarsfeld, P., Barton, A. Menzel, H. Ed. Nueva Visin, 1984 BECKER, H. Trics Of the trade. How to think about your research while youre doing it University or Chicago Press, 1998. BERTAUX, D. "Biography and Society. The Life History Approach in the Social Sciences", Sage, London, 1981. BERTONI, A., POGGI, M. Evaluacin nuevos significados para una prctica compleja. Ed. Kapelusz, BIENCINTO, CH., CARBALLO, R. (2004). Revisin de modelos de evaluacin del impacto de la formacin en el mbito sanitario: de lo general a lo especfico. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 10, n. 2. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm. Consultado en (poner fecha). BOLLMAN, L, DEAL, T.: Organizacin y Liderazgo. El arte de la decisin, EUA, Addison-Wesley Iberoamericana, 1995 BOVERIE, P., SNCHEZ MULCAHY, D., y ZONDO, J. Evaluating the effectiveness of training programs, 1994. http://www.zondlo.com/access/eval.htm. BRAMLEY, Peter. Evaluating training effectiveness. Translating theory into practice Mac GrawHill Book Company. London, York, San Francisco, 1991 BRINKERHOFF, R. Achieving results from training. How to evaluate human resource development
209

to strengthen programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987. BRIONES, G. Evaluacin Educacional. Formacin de docentes en investigacin educativa. Mdulos de autoaprendizaje. CAB. Colombia, 1998 BROWM, D. "Evaluacin de polticas y programas en la regin del Caribe de habla inglesa: problemas conceptuales y prcticos". Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2001. CAMPBELL, D., STANLEY, J. Diseos experimentales y cuasiexperimentales en la investigacin social. Amorrortu, Bs. As.1993 CARRIN CARRANZA, C. Valores y principios para evaluar la educacin. Piados Educador, Buenos Aires, 2001. CASTRO, Gregorio y CHAVES, Patricio Evaluacin de impacto de proyectos sociales. UNESCO, Caracas, 1994. CASTRO, Gregorio y CHAVES, P. Evaluacin de impacto de proyectos sociales. UNESCO, Caracas, 1994 CERNA, J. :Ventaja Competitiva de la Capacitacin Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile. CHELIMNSKY New dimension in evaluation. En OED-Word Bank: Evaluation and Development. Proceedings of the 1994 World Bank Conference, Washington, 1995. COHEN, E., FRANCO, R.: Evaluacin de proyectos sociales. Ed. Grupo Editor de Amrica Latina, Bs. As. , 1988.
COOK, T.D.; REICHARDT, CH.S. ; Mtodos cualitativas y cuantitativos en investigacin evaluativa. Ed. Morata, Madrid, 1986

DESIMONE, R Y HARRIS, D. Human resource development. E. Duydenn Press, 1998. USA. DEVIA, Sergio xito o fracaso de las polticas pblicas de capacitacin laboral a jvenes? Evaluacin del programa testigo:"Proyecto Joven" de Argentina (1993-2000), Buenos Aires, 2003. DONOVAN, P and HANNIGAN, K Context and Causation in the Evaluation of Training: A Review and Research Outline, Irish Management Institute. 1999 ELOLA, N. TORANZOS, L.. "Evaluacin educativa. Una aproximacin conceptual". 2002 ESCOLAR, C., DOMENCH, P Los proyectos y programas sociales y la evaluacin. Reflexiones en torno a una experiencia, universidad nacional de Quilmes, Primer congreso nacional de polticas sociales, mayo del 2002. ESCUDERO, T. (2003). Desde los tests hasta la investigacin evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluacin en educacin. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 1. http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm. FEINSTEIN, O. N. Seguimiento y evaluacin: aprendizaje de la experiencia y algunos interrogantes. En Feinstein , O (editor) Experiencias Lationamericanas en seguimiento y evaluacin IICA-FIDA, 1995 FELCMAN, I. ; BLUTMAN, G Y MNDEZ PANES, S: Cultura Organizacional en la Administracin Pblica Argentina, Buenos Aires, Ediciones Cooperativas, 2002. FERNNDEZ DE RUIZ, L. El anlisis de lo institucional en la escuela. Un aporte a la formacin autogestionaria para el uso de los enfoque institucionales. Notas tericas. Paidos, Buenos Aires 1998 FORNI, P. WALTER, J. Sntesis realizada del libro de R. E. Stake : The art of case study research. Seminario de Metodologa Cualitatitva. CEIL, 1997. GALLART, M.: La integracin de mtodos y la metodologa cualitativa. Una reflexin desde la
210

prctica de la investigacin en Forni, F. et al "Mtodos cualitativos II. La prctica de la investigacin" Centro Editor de Amrica Latina, n 52. Buenos Aires, 1992. GERWITZ, S. BALL, S. J Y BOWE, R. "Market, choice, and equity in education", Buckingham y Philadelphia, Open University Press, 1995. GNGORA N. "Algunos problemas de la evaluacin de las organizaciones de I.D." en "Seminario Franco Latinoamericano de Gestao Tecnologica" . ALTEC-Universidade de Sao Paulo. Sao Paulo. 1985. GORE, E. "La capacitacin laboral y la construccin del conocimiento en las organizaciones. La generacin de capacidades colectivas a la luz e un anlisis de casos" Tesis doctoral Facultad de Ciencias Econmicas. UBA, Buenos Aires, 2001. GORE, E., VAZQUEZ MAZZINI, M. "Aprendizaje colectivo y capacitacin laboral" Huatana. Aprendizaje en Organizaciones, Marzo de 2003. GUBA E., Lincoln, Y. "Fourth generation evaluation" Sage Publication, Newbury Park, CA, 1989. GUIOT, J "Organizaciones sociales y comportamientos" Ed. Barcelona, 1985. HINTZE, S. "Reflexiones sobre el conflicto y la participacin en la evaluacin de polticas sociales" VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001. HINTZE, S. Problemticas, enfoques y tcnicas en el estudio de las polticas sociales. En Hintze, S (organizadora) Polticas sociales: contribucin al debate terico metodolgico. Ediciones CEA-CBC, Bs.As., 1996 HOFSTEDE, G. "Cultures Consequence. Comparing Values, Behaviors, Institutions and Organizations Across Nations. Sage Publications, Thousand Oaks, CA, 2001 HOUSE, E. HOWE, K. Valores en evaluacin e investigacin social.Ed. Morata, Madrid, 2001. INAP- Instituto Nacional de Administracin Publica, "Gua para la Evaluacin de los Resultados de la Formacin. Programa de Actividades de Formacin Continua". Madrid. Espaa, s.f.. JACKSON, Terence: Evaluation . Relating training to bussiness performance Kogan Page, ,London, 1989 JODICE, E. Evaluacin de programas de formacin de posgrado. En el sector pblico El caso INTA, Buenos Aires, 1997. (mimeo) JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION: Normas de Evaluacin para programas, proyectos y material educativo. Ed. Trillas, Mxico, 1988. AEA JULNES, George "Supporting governmental reform through improved evaluation methods: towards a multinational dialogue on lessons learned". VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001 KIRKPATRICK, D. "Evaluation Training Programs. The Four Levels". -Berrett-Koehler Publishers, Inc. San Francisco. 1998 KIRKPATRICK, D. "Evaluation" en Robert Craig (ed) "Training and development handbook. A guide to human resource development" McGraw-Hill Book Company, NY, 1987 LE BOTERF, G., BARZUCCHETTI, S., VINCENT, F. Cmo gestionar la calidad de formacin. Ed. AEDIPE, Barcelona, 1992. la

LITWIN, Edith "La evaluacin campo de controversias y paradojas o un nuevo lugar para la nueva enseanza". En Camilioni, A., Celman, S. Litwin, E. Y Palou de Mat, M. "La evaluacin de los aprendizajes en el debate didctico contemporneo". E. Paidos Bs. As. 1998 LOPEZ DUKMAK, F. Roi- Retorno de la inversin en programas de capacitacin de personal
211

Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile LOPEZ DUNMAK, Floriz Retorno de la inversin en Programas de capacitacin en el recurso humano ROI en Revista Facultad de Ciencias Econmicas. Universidad de Nueva Granada . Vol. IX, n 2., Bogot Colombia, Dic. 2001 MARTNEZ NOGUEIRA, R. La evaluacin para el anlisis y la planificacin de las organizaciones. Documento disparador preparado para el IV Congreso de Anlisis Organizacional, Buenos Aires, 1999 MINTZBERG, H.: El capitalismo necesita del equilibrio en Revista Gestin, Vol. 1, N 4, Bs.As., julio- agosto de 1996. MORGAN, G Imgenes de la organizacin, Mxico, Alfaomega-Ra-ma, 1993 NAKANO, Silvia, MELILLO, F. Evaluacin de impacto y calidad de la capacitacin. Una propuesta metodolgica. INAP, 1997. NAKANO, Silvia. "La otra cara de la evaluacin". Comunicacin al XV Concurso de Ensayos y Monografas sobre Reforma del Estado y Modernizacin de la Administracin Pblica. CLAD. Agosto, 2001. NEIROTI, N "La funcin de la evaluacin de programas sociales en Chile, Brasil y Argentina"". VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001. , NICKOLS, Frederic, "Evaluating Training". There is no cookbook approach", 2000. NIREMBERG, O. "Nuevos Enfoques en la evaluacin de proyectos y programas sociales" VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001 NIREMBERG, Olga. BRAWERMAN, Josette, RUIZ, Violeta ""Evaluar para la transformacin". Innovaciones en la evaluacin de programas y proyectos sociales, Paidos, Bs. As. 2000. PAIN, A. Abraham: "Evaluer les Actions de Formation" (mimeo). PHILLIPS, J., STONE, R. "How to measure training results" Mc.Graw Hill. 2002. PHILLIPS. J. Handbook of training evaluation and measurement methods Gulf Publishing Company, Texas,1997. PICHARDO MUIZ, A. "Evaluacin del Impacto Social. El valor de lo humano ante la crisis y el ajuste". Ed. Humanitas, Costa Rica, 1993. RAGIN, C. Constructing social research. The unity diversity of method Pine Forge Press. London. ROBBINS, S. Comportamiento organizacional Prentice Hall, Pearson, 1999 ROBINSON, Dana Gaines, y ROBINSON, J. Training for impact. How to link training to business needs and measure the results Josey-Bass Publishers, San Francisco, London, 1989. RUTTY, M. Evaluacin del impacto de la capacitacin en informtica en la administracin pblica nacional Informe Final. Beca Perfeccionamiento de CONICET.- Buenos Aires, julio de 1999. RUTTY, M. G. Proyecto de Investigacin "Prcticas de Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". CONICET. Noviembre de 2000 RUTTY, M.G. "La cultura de la evaluacin y las prcticas de evaluacin de impacto en capacitacin" III Congreso Nacional y I Internacional de Investigacin Educativa. Cipolletti. 22, 23 y 24 Octubre de 2003
212

RUTTY, M: G. "Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". UBA. FCE. IIA. Centro de Investigaciones en Administracin Pblica. Doc. de trabajo N 3. Ao II, Vol. II, N 1 - 1. Semestre de 2002 SACRISTAN, J "La pedagoga por objetivos. Obsesin por la eficiencia" Ed. Morata, Madrid, 1986 SACRISTN, J. Teora de la enseanza y desarrollo del currculo Rei, Argentina, 1986. SANCHEZ AIZCORBE, C., et al Estudio de la productividad del sistema cientfico en el rea de las ciencias geo-heliofsicas en la Repblica Argentina, Universidad del Salvador, Buenos Aires, 1971 SANTOS HERNNDEZ, A. La empresa Fundamentos de Administracin. Universidad Autnoma del Estado de Hidalgo, Mxico, Noviembre-2001.(http://somnus1654.webcindario.com/index.htm) SARTORI, G. y MORLINO, L. La comparacin en las ciencias sociales, Ed. Alianza Universidad, Madrid, 1994 SCHEIN, E: La cultura empresarial y el liderazgo, Barcelona, Ed. Plaza y Jans, 1988. SCHON, D. La formacin de profesionales reflexivos. Hacia un nuevo diseo de la enseanza y el aprendizaje en las profesiones. Ed. Paids, Espaa, 1992 SCRIVEN, Michael. "The nature of evaluation. Part I: Relation to psychology". Practical Assessment, Research & Evaluation. (1999) SHADISH, William. et all "Guiding Principles for Evaluators." A Report from the AEA Task Force on Guiding Principles for Evaluators STAKE, R. "The art of case study research". Sage Publications, USA, 1995 STUFFLEBEAM D, SHINKFIELD, A. "Evaluacin sistemtica. Gua terica y prctica.". Stufflebeam y Shinkfield. Ed. Paidos, Barcelona, 1987. SUREZ, Francisco "Tcnicas de investigacin social" CIDES. Bs. As. 1981. SULBRANDT, J: Evaluacin del impacto social de la accin de las empresas pblicas en Revista Venezolana de desarrollo administrativo. Caracas, octubre de 1983, N.4 SULDBRANDT, J. La evaluacin de los programas sociales, una perspectiva crtica de los modelos usuales. En Kliksberg, B (compilador): Pobreza. Un tema impostergable. CLAD-FCE-PNUD, Caracas, 1993. SULDBRANDT, J. La evaluacin de los programas sociales, una perspectiva crtica de los modelos usuales. En Kliksberg, B (compilador): Pobreza. Un tema impostergable. CLAD-FCE-PNUD, Caracas, 1993. SWANSON, R.; HOLTON, E. Resultados. cmo evaluar el desempeo, el aprendizaje y la percepcin en las organizaciones Mxico: Oxforxd University Press, 2002 TAMKIN, P, YARNALL, J , KERRIN, M. Kirkpatrick and beyond: a review of models of training evaluation, Report 392, The Institute for Employment Studies, IES, UK, 2002. TASCHEREAU, S. Evaluating the impact of training and institutional development programs. A collaborative approach. Economic Development Institute of The World Bank, Washington, 1998. TORANZOS, L. V. Proyecto de investigacin: Programas socioeducativos: herramientas para la evaluacin de impactoUniversidad de Tres de Febrero, 2003. VZQUEZ MAZZINI, M. "Resultados para quin?. Reflexiones sobre la prctica de la evaluacin en la escuela" en Pensar Iberoamrica. Revista de Cultura. Organizacin de los Estados Iberoamericanos para la Ciencia y la Cultura. OEI. N.3, Mayo, 2003. WEICK Psicologa social del proceso de organizacin Fondo educativo interamericano, Colombia, 1982.
213

WIESNER, E. "Funcin de evaluacin de planes, programas, estrategias y proyectos", Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2000.

214