Vous êtes sur la page 1sur 16

Observacin al proceso de la medicin de aprendizajes del programa: Leer es estar adelante 2011

Informe Final
Veedura realizada por Protica Encargada por el Instituto de Estudios Peruanos Programa Leer es estar Adelante Equipo de trabajo: Responsables Carlos Arroyo Vivanco Leonardo Miguel Narvarte Olivares Observadores Maria Elena Jacome Villareal Deysi Carina Flores Vigo Oscar Salas Veliz Cecil Oliver Figueroa Melndez Pedro Edgardo Prez Silva

Lima, 20 de diciembre de 2011

INDICE Pag. Presentacin. I. II. Resumen Ejecutivo. 4 Objetivo, metodologa y actividades. 4 2.1 Objetivo. 2.2 Metodologa. 2.3 Actividades. Reproduccin y Modulado. Capacitacin a Aplicadores. Aplicacin a la Prueba. III. Resultados de la observacin por etapas. 8 3.1. Impresin y modulado de los instrumentos de la medicin del programa Leer es estar adelante. Impresin. Modulado. 3.2. Capacitacin a aplicadores. 3.3. Aplicacin de los instrumentos para la medicin del programa Leer es estar adelante. Observacin directa. Control de llamadas. IV. Conclusiones. 14 Anexos. 3

Presentacin
Leer es estar adelante es un programa desarrollado por la Fundacin BBVA Banco Continental que busca elevar los niveles de comprensin de lectura de los nios de 3 a 6 grado de escuelas primarias pblicas. Actualmente el Programa beneficia a ms de 50 mil nios de Ica, Arequipa, Ayacucho, Ancash, La Libertad, Lima, Loreto y Piura, gracias al apoyo del Ministerio de Educacin y de empresas lderes comprometidas con la responsabilidad social. El Programa Leer es estar Adelante tiene como objetivo mejorar la comprensin lectora de los estudiantes de 3, 4, 5 y 6 de primaria pertenecientes a 927 escuelas pblicas. Esta intervencin se organiza en base a cuatro componentes: Los materiales educativos. Se contempla la elaboracin, impresin y distribucin de libros de comprensin lectora para alumnos y docentes del tercero al sexto grado del nivel primario. Capacitacin y acompaamiento docente. Tiene como objetivo capacitar a los docentes en el uso de los libros Adelante a travs de jornadas pedaggicas, talleres y acompaamiento en el aula. Lo que se busca es que los docentes puedan usar eficientemente los libros Adelante, incorporndolos a su prctica docente. La medicin de los aprendizajes de los alumnos. Mediante la aplicacin de pruebas a los estudiantes, se indaga sobre su avance en los distintos niveles de desempeo de la comprensin lectora. Este componente permite medir la efectividad del Programa. Para el caso de la intervencin en zonas rurales ha habido un proceso de adecuacin al sistema de medicin al contexto urbano y rural de las zonas de intervencin Institucionalizacin, se llevan a cabo un conjunto de acciones que permiten la institucionalizacin del Programa. As, el establecimiento de alianzas -con los actores claves del sector educacin, los gobiernos regionales y la sociedad civil- constituyen el respaldo necesario para la intervencin. En el marco de la medicin de aprendizajes de los alumnos del Programa, el IEP invit a Protica a participar como institucin veedora para que garantice que el proceso se lleve de manera correcta y transparente. El trabajo de observacin solicitado a Protica contempl las etapas de: a) Impresin (reproduccin) y modulado de las evaluaciones.

b) Capacitacin a aplicadores de la prueba. c) Aplicacin de la prueba.

Observacin al proceso de la medicin de aprendizajes del programa: Leer es estar adelante


I. Resumen ejecutivo

Este informe presenta los resultados de la observacin realizada a la medicin de aprendizajes del programa Leer es estar adelante, encargada por la entidad ejecutora del Programa (IEP) a Protica. Luego de una presentacin, se explica cul ha sido la metodologa utilizada en cada una de las tres etapas que se ha observado, as como los instrumentos desarrollados para ello: i) reproduccin y modulado, ii) capacitacin a aplicadores y iii) aplicacin de la prueba. Despus se reporta los hallazgos en cada una de las etapas, que es la informacin que sostiene las siete conclusiones a las que se ha arribado luego de la observacin. La principal conclusin es que hemos observado un cumplimiento ptimo de estndares de integridad en la muestra de instituciones con las que se ha trabajado en la etapa (iii) as como en las dos etapas anteriores. No se ha detectado ninguna posibilidad de que los maestros pudieran conocer el contenido de la evaluacin con anterioridad. La observacin a la aplicacin cont con un componente de aleatoriedad y sorpresa, por lo cual los resultados son un fuerte indicador que el resto del proceso puede haberse desarrollado cumpliendo con la misma calidad procedimental. Sin embargo, hemos detectado problemas puntuales con respecto a la interaccin entre los distintos actores en el momento mismo de la aplicacin, que podran tener un impacto sobre el desempeo de los estudiantes durante la evaluacin, por lo que debieran regularse para la prxima aplicacin. II. Objetivo, metodologa y actividades

2.1. Objetivo La observacin realizada por Protica se ha dirigido a la manera en que el Programa ha manejado la informacin del proceso de evaluacin, particularmente los contenidos de la prueba. Eso significa que se ha estado alerta frente a oportunidades para que los actores involucrados de este proceso manipulen o conozcan con anticipacin los contenidos de la prueba, pues ello podra sesgar los resultados de la evaluacin. 2.2. Metodologa La metodologa usada ha sido la observacin presencial a las actividades de las tres etapas requeridas. En la tercera etapa, de aplicacin de la prueba, se ha complementado los datos recogidos presencialmente, con una verificacin remota a travs de la aplicacin de un cuestionario por la va telefnica a maestros de aulas posteriormente a la fecha de la evaluacin. La observacin presencial a las etapas 1 y 2 fueron recogidas a travs de una ficha de observacin, recogiendo las impresiones generales y el cumplimiento de los protocolos

pre-establecidos por el Programa. Para la observacin de la etapa 3 se elabor una ficha para la actividad presencial y otra para la verificacin remota. Los datos fueron recogidos a travs de ellas. Datos adicionales fueron recogidos por los observadores y se incluyen en este informe. Las dos fichas se incluyen como anexo. 2.3. Actividades En cada etapa se cumpli con una serie de actividades para poder realizar la observacin, sea presencial o remota. Reproduccin y modulado Se revis los protocolos de procedimientos del Programa. Se hizo visitas sorpresa a la empresa que tuvo el encargo de la reproduccin, entre los das 27 de setiembre y 5 de octubre. Se hizo visitas sorpresa a los talleres de la empresa Grfica Tarea lugar donde se realiz el modulado de las pruebas finales, es decir la empaquetadura de las pruebas en sus respectivos sobres (amarillo y rojo) para su correspondiente distribucin a los lugares de aplicacin. Esto se hizo entre los das 06 y 07 de octubre.

Capacitacin a aplicadores Para conocer el proceso de la aplicacin de las pruebas, los observadores junto a los aplicadores de la evaluacin participaron en el taller central y descentralizados de capacitacin. La primera capacitacin se realiz en las oficinas del IEP el 19 de octubre en Lima, luego hubo rplicas en Ica, Ancash y La Libertad entre el 04 y 05 de noviembre.

Aplicacin de la prueba Elaboracin de ficha de observacin para esta etapa. El diseo busc capturar los momentos clave, segn se pudo apreciar a partir de los contenidos de la capacitacin y, particularmente, en base al manual de orientacin para los aplicadores. Se conform y capacit el equipo de observadores: siete en total. Se seleccion una muestra de instituciones educativas donde se realizara la observacin. Esta seleccin fue aleatoria dentro de las siguientes provincias: Chincha, Ica y Pisco (en la regin Ica); Huaraz (en la regin Ancash); Otuzco, Snchez Carrin y Santiago de Chuco (en la regin La Libertad). La nica provincia en donde no se observ fue en El Santa (Ancash). La muestra correspondi a 18 aulas de las 220 evaluadas por el Programa en esta oportunidad (8%). No es un valor estadsticamente representativo. En cada aula, el observador del equipo cubri desde el momento de entrada del aplicador al aula hasta su partida de la escuela. Se realiz una observacin remota complementaria, para lo cual se contact telefnicamente a 25 profesores responsables de aulas donde tambin se aplicaron las evaluaciones. Esta actividad de verificacin se realiz luego de que la evaluacin tuviera lugar. La relacin de aulas es la siguiente:

Observacin presencial N Ubicacin 1 2 Humay, Pisco, Ica 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 C.P San Salvador, Huamachuco, Sanchez Carrin, La Libertad C.P. San Salvador, Huamachuco, Sanchez Carrin, La Libertad. C.P. El Capul, Huamachuco, Sanchez Carrin, La Libertad C.P. Cayanchal, Charat, Otuzco, La Libertad Sartibamba, Sanchez Carrin, La Libertad, C.P. Vctor Ral, Usquil, Otuzco, La Libertad C.P. Sta Rosa,Otuzco, Otuzco, La Libertad C.P. Quillapampa, Quiruvilca, Santiago de Chuco, La Libertad C.P. San Nicols, Huaraz, Huaraz, ncash C.P. Mataquita, Huaraz, Jangas, ncash, C.P. Marian, Independencia, Huaraz, ncash Huaraz, Huaraz, ncash Independencia, Huaraz, ncash Tarica, Huaraz, ncash Huaraz, Huaraz, ncash Pisco, Pisco, Ica Salas, Ica, Ica

IIEE Seccin Botones Rojos 3 A N 22460 Juan Donayre Vizarreta N 3 B 22661 Los Libertadores 3 A N 22444 N 80128 N 80128 El Capul N 80925 N 80660 N 80226 N 81722 N 81682 N 80550 3 B 3 A 3 A 3 A 3 A 3 A 3 A 3 A

Tipo Intervencin Control Intervencin Intervencin Intervencin

Visita 07/11/2011 08/11/2011 07/11/2011 07/11/2011 07/11/2011

Intervencin 08/11/2011 Intervencin 10/11/2011

Intervencin 09/11/2011 Intervencin 07/11/2011 Intervencin 08/11/2011 Intervencin 09/11/2011 Intervencin 07/11/2011 Intervencin 09/11/2011 Intervencin 14/11/2011 Intervencin 07/11/2011 Intervencin 09/11/2011 Intervencin 10/11/2011 Intervencin 07/11/2011

Ricardo Palma 3 A N 86005 N 86103 San Martn de Porras N 86034 La Libertad N 86019 Antonio Raymondi N 86017 Csar Vallejo N 86048 Pedro Pablo 3 A 3 A 3 C 3 D 3 A 3 C

Atusparia N 80016

Verificacin remota va telefnica posterior a la evaluacin N Ubicacin IIEE Seccin Pedro Pablo Palacios N 1 Pira, Huaraz, ncash 86064 3ro A Jose Carlos Mariategui N 2 Olleros, Huaraz, ncash 86047 3ro A Pariacoto, Huaraz, 3 ncash N 86127 3ro A Sabio Antonio Independencia, Huaraz, Raymondi 4 ncash 86017 3ro B 5 Huaraz, ncash N 86070 3ro A Seor de los Independencia, Huaraz, Milagros N 6 ncash 86088 3ro A Cochabamba, Huaraz, N 86115 7 ncash 3ro A Santa Rosa de Viterbo N 8 Huaraz, Huaraz, ncash 86001 3ro C 9 Huaraz, Huaraz, ncash N 86010 3ro A Ricardo Palma Carrillo N 10 Huaraz, Huaraz, ncash 86005 3ro A N 80243 Yamobamba, Otuzco, La 11 Libertad 3ro A N 80236 Sanchique, Otuzco, La 12 Libertad 3ro A N 81682 Sta Rosa, Otuzco, La 13 Libertad 3ro A N 80522 Santiago de Chuco, La 14 Libertad 3ro A Snchez Carrin, La N 82020 15 Libertad 3ro A N 80359 Chaclapampa, Otuzco, La 16 Libertad 3ro A Jos de la Torre Cuyuchugo, Otuzco, La Ugarte N 17 Libertad 80277 3ro A

Tipo Intervencin Control Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin

Aplicacin 10/11/2011 10/11/2011 07/11/2011 09/11/2011 07/11/2011 07/11/2011 09/11/2011 07/11/2011 08/11/2011 07/11/2011 07/11/2011 07/11/2011 08/11/2011 10/11/2011 08/11/2011 09/11/2011 09/11/2011

N 80724 18 19 20 21 22 23 24 25 Francisco Bolognesi, Otuzco, La Libertad Santiago de Chuco, Santiago de Chuco, La Libertad Sartinbamba, Snchez Carrin, La Libertad Paracas, Pisco, Ica Hoja Redonda, El Carmen, Chincha, Ica El Carmen, Chincha, Ica Pisco, Pisco, Ica San Andrs, Pisco, Ica 3ro A N 80561 3ro A N 81626 3ro A "Carlos Noriega Jimenez" N 22716 N 22754 N 22250 San Miguel N 22469 N 22697 3 "B" 3 "A" 3 "A" 3 "B" 3 "A" Intervencin Intervencin Intervencin Intervencin Intervencin Intervencin 09/11/2011 09/11/2011 07/11/2011 08/11/2011 09/11/2011 08/11/2011 Intervencin 08/11/2011 Intervencin 10/11/2011

El proceso que se ha seguido para realizar la observacin, esquemticamente, ha sido el siguiente:

III.

Resultados de la observacin por etapas.

Cabe sealar que anteriormente a la etapa de impresin de los instrumentos de medicin de aprendizajes, el IEP garantiz la confidencialidad de las pruebas a travs de contratos de locacin de servicios para los consultores encargados de la elaboracin, diseo y diagramacin del instrumento. 3.1. Impresin y modulado de los instrumentos de la medicin del programa Leer es estar adelante. Impresin Para la observacin al proceso de impresin, se realiz visitas sorpresa durante los das que dur este trabajo. De esta manera se pudo apreciar, por un lado, el grado de avance y, por el otro, ms relevante para el objetivo de este reporte, el cumplimiento del protocolo diseado para esta fase. El IEP recurri a los servicios de la Asociacin Grafica Educativa Tarea (Tarea) para la impresin del instrumento de evaluacin. Este proceso se llev a cabo entre el 26 y 30 de octubre. La labor especfica que se encomend a Tarea fue imprimir dos tipos de cuadernillos de lectura. El da 26 de octubre el IEP entreg, en formato digital, la diagramacin diseada para la evaluacin a Tarea. Luego, realiz la revisin y correccin. Finalmente puso en consideracin del IEP la prueba y plotter para proceder a la elaboracin de las placas de impresin. El da 27 de octubre, Tarea proces las placas y la impresin de prueba, la cual fue aprobada por el IEP, con lo que se dio inicio a la impresin de todas las evaluaciones. Los das 28 y 29 se realizaron las impresiones, doblez, compaginados engrapados y refilados. Para el da 30 Tarea culmin las impresiones y el 5 de noviembre entreg sus productos bajo acta al encargado del IEP. Al finalizar este proceso, se identificaron los pliegos sobrantes (merma) de las pruebas de los cuadernillos 1 y 2 para ser eliminados en presencia de representantes del IEP. Del mismo modo, el ltimo da de este proceso, fueron eliminados los formatos digitales de los diseos de los cuadernillos de la memoria de la impresora y de la computadora designada para este fin tambin en presencia de representantes del IEP. El da 5 de noviembre TAREA entreg al IEP: Descripcin Cuadernillos Compresin de Lectura 1 de 3er grado Compresin de Lectura 2 de 3er grado CD conteniendo archivos digitales de Cantidad Solicitada 9550 9550 2 Cuadernillos en exceso 81 83 -

cuadernillos 1 y 2 Placas (matrices de impresin offset) de cuadernillos 1 y 2.

Tarea ha garantizado seguridad y confidencialidad de las evaluaciones a travs del contrato de servicios, adems ha demostrado contar con la experiencia, infraestructura y personal para cumplir adecuadamente su labor en impresiones de este tipo. El local es restringido sin posibilidad de acceso pblico por medidas propias de seguridad de la empresa editora. Durante las visitas corroboramos que no han permitido el ingreso de terceras personas sin acreditacin durante el proceso de impresin. Modulado El modulado consisti en organizar y embalar los materiales (cuadernillos de aplicacin 1 y 2, lista de asistencia, lista de verificacin, lpices y borrador) por institucin educativa, distrito, provincia y regin en sus respectivos sobres y colores, luego en cajas etiquetadas para cada regin, para que se haga efectiva la distribucin a las regiones de aplicacin. Para esta Tarea el IEP contrat los servicios del Sr. Miguel Acevedo como consultor externo con quien tambin se firm en los trminos de referencia del contrato la importancia de la confidencialidad de las evaluaciones. El IEP hizo gestiones para que el modulado se realice en las mismas instalaciones de Tarea. Tarea facilit un espacio con condiciones adecuadas para desarrollar este proceso manteniendo la seguridad brindada del mismo modo que en la reproduccin. El modulado se llev a cabo los das 6 y 7 de noviembre y el resultado fue la entrega al responsable del IEP de 38 cajas rotuladas adecuadamente segn el protocolo y selladas con stretch film para su seguridad, de la siguiente forma: SEDE Huaraz Santa Ica Nazca Pisco Otuzco Sanchez Carrin Santiago de Chuco TOTAL 3.2. Capacitacin a aplicadores. La capacitacin a los aplicadores (responsables zonales) se llev a cabo el da 19 de octubre en la ciudad de Lima, en esta actividad se explicaron los procedimientos, el uso del manual aplicacin, las tareas y responsabilidades de los aplicadores. Los responsables zonales replicaron esta capacitacin a los aplicadores locales en sus respectivas provincias. Protica ha participado en los talleres de capacitacin a N CAJA 12 04 02 01 05 03 07 02 38

aplicadores en Otuzco (la Libertad) y Huaraz (Ancash) el da 4 de noviembre, y en Pisco (Ica) el 6 de noviembre, Regin Lugar Fecha Nro. de Participantes Responsable de Capacitacin Hora de Inicio y fin Regin Lugar Fecha Nro. de Participantes Responsable de Capacitacin Hora de Inicio y fin Regin Lugar Fecha Nro. de Participantes Responsable de Capacitacin Hora de Inicio y fin Ancash Huaraz Viernes 4 de noviembre 32 personas/02 capacitadores Rodrigo nio/ Dynnik Asencios 9.00 a.m. A 2.30 p.m. Ica Pisco Domingo 6 de noviembre 12 aplicadores/ 3 capacitadores Rosario Gildemeister / Diego Madueo/Mariana Montes 11:00 a.m. a 7:00 p.m. La Libertad Otuzco Viernes 4 de noviembre 5 aplicadores/2 capacitadores. Fernando Torres 9.00am - 3.00pm

Los talleres se desarrollaron con normalidad, cumpliendo las agendas de capacitacin y dilucidando las dudas que tuvieron los participantes. Tambin en este espacio se socializ a los aplicadores las rutas e instituciones educativas a su cargo donde aplicaran la prueba. Fue muy til el juego de roles que se realiz pues permiti a todos los aplicadores ensayar las presentaciones que tendran que hacer frente a los directores de las instituciones educativas y frente a los estudiantes. Protica no particip en los talleres realizados en Chimbote (Ancash), Sanchez Carrin y Santiago de Chuco (La Libertad). 3.3. Aplicacin de los instrumentos para la medicin del programa Leer es estar adelante. Observacin directa. A. Observacin antes de la aplicacin Las presentaciones y coordinaciones con los directores de las instituciones educativas se dieron con normalidad. No se present ningn caso de impedimento para realizar la evaluacin.

Lo que s se observ, en algunas escuelas de La Libertad, fue el poco inters de algunos directores para coordinar con sus docentes y facilitarles a los aplicadores la realizacin de las evaluaciones. Por ello hubo demoras en el inicio de la aplicacin de las pruebas. Todos los aplicadores contaron con sus credenciales de identificacin y con los materiales completos para realizar las evaluaciones. Cada aplicador cont con: Credencial Manual del Aplicador Cartas de comunicacin para las Instituciones Educativas Actas de no aplicacin Papelgrafos con las indicaciones de la prueba Cinta de embalaje Cronometro/reloj/celular etiquetas para el sellado de bolsas Lapiceros/lpiz Corrector/borrador

Asimismo, se corrobor que todos los materiales para la aplicacin de evaluacin, tanto los contenidos en los sobres amarrillos como en los rojos, llegaron sellados a las instituciones educativas. Estos paquetes contenan: Bolsa amarilla con etiqueta amarilla Cuadernillo 1 Cuadernillos 1 para los alumnos Lista de asistencia para el aplicador Bolsa roja con etiqueta naranja Cuadernillo 2 Cuadernillos 2 para los alumnos

Lista de verificacin para el aplicador Lpices y borrador En la mayora de las instituciones educativas los sobres amarillos y rojos se abrieron en presencia de los docentes. Sin embargo, se tom conocimiento de dos casos, en la Institucin educativa N 22661 - "Juan Donayre Vizarreta" en Ica y en la Institucin Educativa N 22444 - "Los Liberadores" en Pisco, donde los tutores no estuvieron presentes al abrirse la segunda bolsa (roja). En esta misma escuela, la IIEE N 22444 - "Los Libertadores", ocurri otro incidente. En la bolsa amarilla llegaron 14 cuadernillos #1, por lo que se evalu a 14 alumnos. Sin embargo, en la bolsa roja se encontraron 13 cuadernillos # 2 junto con un cuadernillo # 1; claramente hubo una confusin. Este problema gener que a la estudiante que le toc el cuadernillo equivocado se le pidiera que abandonara la evaluacin. B. Observacin durante la aplicacin Durante la aplicacin se constat que todos los aplicadores cumplieron con el llenado adecuado de las listas de asistencia, es decir, basndose en la lista de asistencia de las instituciones educativas. Los aplicadores llenaron de manera completa los datos de los estudiantes en cada una de las pruebas, cuadernillos #1 y #2, antes de cada evaluacin con sus datos completos y cdigos correspondientes segn el procedimiento establecido. Los aplicadores supieron hacer entender que el contenido de las evaluaciones era confidencial. Fue recurrente que los docentes solicitaran acceder a la informacin de las evaluaciones. Se tuvo un caso, en la I.E. Ricardo Palma N 86005 de Huaraz, donde el docente del aula lleg a revisar el contenido de las pruebas. El tutor aprovech el descuido del aplicador mientras este completaba las listas de asistencias. En general los aplicadores lograron que los estudiantes comprendieran de manera correcta las instrucciones de la evaluacin. Sin embargo, debe sealarse que si bien la mayora de ellos eran docentes, no todos tenan experiencia de trabajo con nios. Concretamente se observ en varios casos un trato duro y con poca paciencia para poder obtener orden durante las instrucciones y la aplicacin de la evaluacin. Una experiencia que aparentemente fue positiva, pero que debe evaluarse porque va en contra del procedimiento establecido, fue la acontecida en la institucin educativa Pedro Pablo Atusparia N 80016 en Huaraz. La profesora del aula apoy a dar las instrucciones de la prueba mientras la aplicadora rellenaba nombres y cdigos en las pruebas, luego la docente se qued en el aula en su pupitre dedicndose a cosas personales sin interrumpir el proceso de evaluacin. Se pudo observar que los estudiantes de esa

escuela tomaron atencin y mantuvieron un mayor orden que en los otros casos donde el docente se ausent del aula. Dentro de las aulas el problema ms grave, por el riesgo de perder objetividad en las pruebas, tuvo que ver con la costumbre de los alumnos de copiarse en los exmenes. Esta prctica fue especialmente peligrosa por la dificultad que tuvieron los aplicadores para monitorear el correcto desempeo de todos los alumnos que tenan a su cargo. Asimismo, debe considerarse que las carpetas que son compartidas por ms de un alumno facilitan que se copien entre s. Por lo que debe de plantearse la necesidad de separarlos mientras rindan las pruebas. Los aplicadores manejaron los tiempos adecuadamente para cumplir con la evaluacin, hubo pequeas variaciones, pero todos se desempearon en un rango adecuado (entre 2:30 y 3:30 horas). Sin embargo, se observ que en varias escuelas los alumnos asumieron la prueba como una carrera contra el tiempo. Falt una indicacin que explicara que la prueba no se trataba de quin acababa ms rpido, sino de responder las preguntas lo mejor posible. C. Observacin luego de la aplicacin Terminada la evaluacin, los aplicadores llenaron adecuadamente las listas de verificacin. Asimismo, todos sellaron y rotularon los sobres con las etiquetas que recibieron para garantizar que las evaluaciones no pudiesen ser manipuladas luego de haber sido completadas. Finalmente, los aplicadores cumplieron con recoger los datos de los docentes que acompaaron el proceso y sus respectivas firmas. D. Otro. Se tuvo un caso especial en la institucin educativa N86121 de Rurasca en el distrito de Pariacoto de la provincia de Huaraz. En esta escuela se realiz la aplicacin de la prueba un da antes de lo programado. Esto no slo gener que no se pudiese observar la aplicacin de la prueba, sino que la decisin unilateral de la aplicadora complic a la directora y docentes de la escuela, quienes tuvieron que dejar otras actividades programadas para que se pueda realizar la evaluacin inesperada. Control de llamadas: Las fechas de aplicacin planificadas coinciden en su mayora con las consultadas telefnicamente. Solo queda la duda en aquellos casos donde los docentes entrevistados dudaron de la exactitud de la fecha. Sin embargo, an en esos casos, garantizan que la aplicacin se llev a cabo. Todas las aplicaciones en las instituciones telefnicamente duraron entre 2 y 3 horas y media. educativas consultadas

Al igual que en las escuelas observadas, los sobres llegaron sellados a las escuelas. Slo se report un caso donde el docente no estuvo presente cuando se

abrieron (IE 80561, Santiago de Chuco, La Libertad), y otro donde el docente consultado declar que no se dio cuenta si los sobres llegaron sellados o no. En esta muestra de escuelas, tambin se present un caso en el que un docente habra llegado a observar la prueba. En la entrevista telefnica el docente manifest que las pruebas estaban acorde y bien dirigidas para el nivel de los nios. Sucedi en la institucin educativa en la IE 86115 de Huaraz. IV. Conclusiones. 1. Protica ha podido observar que todo el trabajo realizado por el Instituto de Estudios Peruanos para la medicin de los resultados del programa Leer es estar adelante se ha hecho con estndares ptimos de transparencia y objetividad. 2. Los problemas encontrados durante las observaciones fueron muy puntuales, por lo que no sirven para hacer generalizaciones sobre el Programa. Sin embargo, s ayudan para identificar situaciones que pueden poner en riesgo la correcta aplicacin de las evaluaciones en el futuro. 3. Las consideraciones tomadas por el Programa durante las distintas etapas del proceso de aplicacin de las pruebas de evaluacin han sido pertinentes para asegurar la confidencialidad de la informacin; sobre todo en la impresin y modulado de las pruebas. 4. La observacin detect que es durante la aplicacin de las pruebas donde existen ms situaciones que pueden poner en riesgo la objetividad de la evaluacin. Algunos de los riesgos tienen que ver con la metodologa para la aplicacin, otros con el manejo de grupo que tienen los aplicadores para realizar la evaluacin. 5. Sobre la metodologa: Lo observado permite afirmar que la metodologa para la aplicacin de las pruebas funciona bastante bien. El nico problema identificado tuvo que ver con el momento en el que el aplicador debe de llenar la lista de asistencia. Se tuvo un caso en que el docente aprovech la situacin para revisar la prueba. Se recomienda que una vez abierto el sobre y contadas las pruebas, se vuelvan a guardar en la bolsa hasta que se termine de llenar la asistencia y el aplicador empiece a completar la informacin de las cartulas de las pruebas. 6. Sobre el desempeo de los aplicadores: En lneas generales el trabajo realizado por los aplicadores ha sido muy bueno. Lograron coordinar satisfactoriamente los permisos con los directores para realizar las evaluaciones y, dentro de las aulas, transmitieron correctamente las instrucciones a los estudiantes para que rindieran las pruebas. Sin embargo, llevar a cabo las aplicaciones sin apoyo, sobre todo en aulas con muchos alumnos, fue una tarea que escap de sus capacidades. El problema central fue la supervisin de los estudiantes al momento de rendir las pruebas. En varios casos se reportaron acciones de copiado que

los aplicadores fueron incapaces de controlar. De todos los problemas observados, este es el que genera mayores riesgos de objetividad para la evaluacin de los resultados del Programa, por lo que se tendrn que plantear estrategias para las evaluaciones futuras. Algunas medidas bsicas son la de sentar a los estudiantes en carpetas separadas y cambiarlos de sitios para reducir las posibilidades de que se copien. En general el manejo de los nios y nias fue una debilidad de los aplicadores. En varios colegios se observ desorden y peleas entre estudiantes. Situaciones que no fueron bien manejadas por los aplicadores. A veces con demasiada prepotencia y en otros casos sin la suficiente autoridad. Como recomendacin debe considerarse la posibilidad de contar con el apoyo de los tutores o docentes del aula para que se encarguen del orden de los estudiantes, sobre todo de aquellos que estudiantes que terminan primero de rendir sus pruebas y durante el intermedio entre las dos pruebas. En dos colegios, los docentes se quedaron en las aulas durante la aplicacin de las pruebas. Se quedaron realizando otras actividades sin participar en la aplicacin, pero su presencia contribuy a que los estudiantes mantuvieran el orden. Por otro lado, en una de las escuelas observadas, se dio una pelea entre dos estudiantes que casi impide que uno de ellos pudiese realizar la prueba por lo perturbado que se qued (y aunque dio la prueba, es muy posible que ese hecho haya afectado su desempeo). 7. Finalmente, en las zonas rurales se presentaron desafos especficos para los aplicadores. Por un lado tener que compartir el espacio de evaluacin con estudiantes de otros grados. Por el otro, localidades en donde hubiese sido ptimo que los evaluadores manejaran la otra lengua para la efectividad del manejo de grupo. Estos son factores que deben considerarse en el diseo de la prxima evaluacin. Lima, diciembre de 2011.