Académique Documents
Professionnel Documents
Culture Documents
en foco 78
Evaluacin de programas
de intervencin temprana
Katherine Strasser S.
Evaluacin de programas de intervencin temprana
Introduccin
Pese a que hoy existe acuerdo sobre la importancia de contar con eviden-
cia cientfica que avale la efectividad de las polticas pblicas en educacin,
en nuestro pas son pocas las polticas educativas y de intervencin temprana
que pueden mostrar este tipo de evidencia. Una razn probable para esto es la
resistencia de muchos profesionales de la educacin a la idea de que las prc-
ticas educativas deben estar apoyadas por evidencia emprica. Frente a esto
cabe mencionar varios aspectos. En primer lugar, que existe una desconexin
organizacional entre las universidades y las escuelas, como tambin con el Mi-
nisterio de Educacin y los Municipios. De hecho, los investigadores producen
sus estudios en un lenguaje acadmico, altamente especializado, razn por la
cual los educadores y aquellos que disean las polticas pblicas en educacin
ven tales estudios como poco accesibles o poco relevantes para su trabajo diario.
Segundo, ni los educadores ni quienes disean las polticas estn capacitados
para distinguir entre investigaciones de buena y de mala calidad. En tercer lugar,
existe poca coordinacin entre los distintos grupos que realizan investigacin en
educacin en Chile. Hay mucha gente que investiga, pero poca coordinacin en-
tre los investigadores de distintas facultades y disciplinas. Esto ha hecho difcil
vincular los intereses de investigacin
con las necesidades de los consumido-
res potenciales de los resultados. Aun en aquellos casos donde existe la voluntad de
Sin embargo, en otras disciplinas evaluar la eficacia de las prcticas educativas, estas
como la medicina el vnculo entre evaluaciones suelen encontrar mltiples obstculos
investigacin y prctica es ampliamen- para implementarse y arrojar resultados tiles. Esto
te aceptado. En cambio en educacin
ltimo se explica, en parte, por la falta de previsin
muchos profesionales aceptan una mul-
del diseador de programas y polticas en educa-
tiplicidad de otras fuentes como formas
vlidas de respaldo para sus prcticas cin, ya que es frecuente que se comience a pensar
(entre ellas: la intuicin, la propia expe- en la evaluacin de un programa solo una vez que
riencia y la evidencia anecdtica). este est en marcha.
Aun en aquellos casos donde
existe la voluntad de evaluar la eficacia de las prcticas educativas, estas eva-
luaciones suelen encontrar mltiples obstculos para implementarse y arrojar
resultados tiles. Esto ltimo se explica, en parte, por la falta de previsin del
diseador de programas y polticas en educacin, ya que es frecuente que se co-
1
Evaluacin de programas de intervencin temprana
mience a pensar en la evaluacin de un programa solo una vez que este est en
marcha, lo que da origen a diseos de evaluacin deficientes que no permitirn
obtener toda la informacin que interesara conocer.
En este artculo se examinan algunos de los distintos tipos de informacin que
son relevantes de obtener acerca de los programas de intervencin temprana y se dis-
cuten algunas consideraciones que se deben tener en cuenta para obtener dicha infor-
macin. El trabajo se divide en dos secciones principales. La primera dice relacin
con el qu, o sea, cul es el tipo de informacin que se podra desear obtener acerca
de un programa y por qu es importante cada tipo de informacin. En la segunda
seccin, en tanto, se discute el cmo, esto es, qu decisiones de diseo, muestra,
variables e instrumentos pueden facilitar la obtencin de esta informacin.
2
Evaluacin de programas de intervencin temprana
3
Evaluacin de programas de intervencin temprana
4
Evaluacin de programas de intervencin temprana
semanas al ao(5). Estos programas son muy costosos, por ello es importante conocer
si esta es la nica condicin en la cual se observarn efectos, o si una versin ms
dbil del programa tambin podra ser
eficaz. Por ejemplo, Powell & Grantham-
McGregor (1989)(6), al evaluar los efectos
La mayora de los programas de intervencin temprana
de un programa de visitas familiares, en- que han mostrado efectos importantes y duraderos han
contraron que tres visitas semanales al ho- sido muy intensos. La mayora son de da completo, cin-
gar es el mnimo necesario para observar co das a la semana y por un nmero substancial de se-
un efecto en los nios. manas al ao. Estos programas son muy costosos, por
La pregunta sobre la intensidad
ello es importante conocer si esta es la nica condicin
ideal de una intervencin temprana pue-
de contestarse a nivel del programa o del en la cual se observarn efectos, o si una versin ms
nio individual. A nivel del programa, dbil del programa tambin podra ser eficaz.
sera necesario incluir no solo un grupo
experimental y de comparacin, sino adems grupos de intensidades intermedias
(por ejemplo, menos horas al da o menos das a la semana). A nivel individual, el
problema puede estudiarse al evaluar la dosis real recibida por cada participante
(por ejemplo, la asistencia de los nios al programa o el nmero de visitas reales
recibidas por cada familia).
5
Evaluacin de programas de intervencin temprana
bajo leen a sus hijos, debemos examinar, primero, cul es nuestra teora acerca
del por qu estas madres se involucran poco en esta conducta. Una teora indica
que las familias de bajos recursos tienen poco acceso a libros infantiles y que
por esta razn leen con menor frecuencia a sus hijos(8). Otra plantea que son
las creencias de las madres las que determinan la conducta(9), ya que quienes
pertenecen a un nivel socioeconmico bajo no perciben la lectura compartida
como una actividad relevante para el desarrollo del lenguaje. Ambas teoras
determinan intervenciones diferentes.
Por ello, para entender las razones del xito o fracaso En el primer caso, probablemente,
se entregarn libros, mientras que si
de una intervencin basada en la entrega de informa- adherimos a la segunda teora, se les
cin, sera necesario medir no solo el resultado final (fre- proporcionar informacin orientada
cuencia de lectura compartida), sino tambin la variable a cambiar las creencias. Si bien los li-
mediadora (creencias de las madres acerca de la lectura
bros tendran un efecto directo sobre la
conducta, la informacin poseera uno
compartida). As, si la intervencin fracasa, sabremos
mediado, ya que ella acta sobre las
que fue porque nuestra teora era errada (por ejemplo, creencias, y estas ltimas sern las que
si se modificaron las creencias, pero no la conducta), o modificarn la conducta.
bien, porque la intervencin no tuvo el efecto deseado. Por ello, para entender las razo-
nes del xito o fracaso de una inter-
vencin basada en la entrega de informacin, sera necesario medir no solo
el resultado final (frecuencia de lectura compartida), sino tambin la variable
mediadora (creencias de las madres acerca de la lectura compartida). As, si
la intervencin fracasa, sabremos que fue porque nuestra teora era errada
(por ejemplo, si se modificaron las creencias, pero no la conducta), o bien,
porque la intervencin no tuvo el efecto deseado (es decir, que la entrega de
informacin no modific las creencias de las madres). Estos procesos inter-
medios no constituyen el objetivo final de la poltica, pero se deben medir
para poder comprender a cabalidad los resultados.
6
Evaluacin de programas de intervencin temprana
7
Evaluacin de programas de intervencin temprana
8
Evaluacin de programas de intervencin temprana
9
Evaluacin de programas de intervencin temprana
b) Asignacin aleatoria
Un segundo requisito esencial para la atribucin causal en la evaluacin de
programas de intervencin temprana es contar con un mecanismo que permita
asegurar la equivalencia inicial de los grupos estudiados. El mtodo ideal para
asegurar esto es la asignacin aleatoria de las unidades a los grupos de tratamiento
(experimental y de comparacin). La asignacin aleatoria, aunque puede parecer
problemtica en contextos educativos reales, casi siempre es posible de realizar(12).
Las unidades que se asignen de manera aleatoria pueden ser los nios, sus familias,
los cursos o los centros, lo que depender de la naturaleza de la intervencin. Por
ejemplo, si la intervencin consiste en implementar un nuevo currculum en los
niveles medio menor y medio mayor de los jardines infantiles de JUNJI, la unidad
aleatoria podran ser los nios. Es decir,
Medir un gran nmero de variables en un momen- se asigna a los nios a un jardn con nue-
vo currculum o con uno tradicional.
to previo a la intervencin, nunca logra sustituir a la La equivalencia inicial de los
asignacin aleatoria. Ello se debe a que nuestra me- grupos experimental y de comparacin
dicin se limitar a aquellas variables de conocida es fundamental para poder afirmar que
importancia y dejaremos fuera otras desconocidas,
las diferencias finales en los sujetos se
deben a la intervencin. Al asignar las
pero que tambin podran sesgar los resultados.
unidades de manera aleatoria, reduci-
mos la probabilidad de que existan entre
ellos diferencias iniciales en variables que influirn en el resultado. Medir un gran
nmero de variables en un momento previo a la intervencin nunca logra sustituir
a la asignacin aleatoria. Ello se debe a que nuestra medicin se limitar a aquellas
(12) Slavin (2002).
10
Evaluacin de programas de intervencin temprana
11
Evaluacin de programas de intervencin temprana
c) Diseos longitudinales
Como dijimos en la seccin 1.4, la evaluacin de eficacia y efectividad
de los programas de intervencin temprana requiere de una evaluacin de
los efectos en el largo plazo, es de-
(...) la evaluacin de eficacia y efectividad de los cir, al menos cuatro aos despus de
programas de intervencin temprana requiere de
finalizada la intervencin. Cuando se
hace un seguimiento de los sujetos en
una evaluacin de los efectos en el largo plazo, es
el largo plazo es importante tener en
decir, al menos cuatro aos despus de finalizada la cuenta que, aunque se haya logrado
intervencin. una equivalencia inicial en los grupos,
ello no implica que esta se mantenga
en el tiempo, ya que la mortalidad experimental selectiva puede producir di-
ferencias significativas en los grupos. Por esta razn, es necesario evaluar si
12
Evaluacin de programas de intervencin temprana
d) La muestra
Esta debe ser en lo posible representativa del grupo objetivo del progra-
ma. La relacin entre la composicin de la muestra y la de la poblacin debe
estar clara, para lo cual el grupo objetivo de la intervencin debe estar bien
especificada. Por otro lado, es conveniente identificar los subgrupos al inte-
rior de la muestra y efectuar anlisis separados para ellos. Como se mencion
antes, si la muestra es heterognea en variables que podran interactuar con
el tratamiento (por ejemplo, demogrficas, habilidades de entrada y niveles
de riesgo), se puede llegar a ocultar
efectos significativos cuando consi- (...) si la muestra es heterognea en variables que po-
deramos solo el promedio. Por ello, dran interactuar con el tratamiento (por ejemplo, de-
esta heterogeneidad debe ser medida y
mogrficas, habilidades de entrada y niveles de riesgo),
tomada en cuenta. Por ejemplo, cierta
evidencia sugiere que los efectos del se puede llegar a ocultar efectos significativos cuando
cuidado temprano de calidad son ma- consideramos solo el promedio. Por ello, esta heteroge-
yores para nios que son sometidos a neidad debe ser medida y tomada en cuenta.
mayor riesgo (como es el caso de nios
de hogares monoparentales). Si la intervencin piloto incluye tanto nios de
hogares monoparentales como biparentales, se debera contemplar la medicin
de esta variable en el diseo con el fin de poder evaluar esta interaccin.
Otra consideracin importante respecto de las muestras en estudios de
intervencin temprana tiene que ver con los requisitos que imponen los dise-
os longitudinales. La necesidad de evaluar los efectos de una intervencin
en el largo plazo plantea, a quien disea, el problema de prever la mortalidad
experimental. As, las muestras debern ser lo suficientemente grandes para
soportar la prdida de sujetos y, an as, conservar potencia suficiente para
detectar los efectos de la intervencin.
13
Evaluacin de programas de intervencin temprana
14
Evaluacin de programas de intervencin temprana
a) Fidelidad de implementacin
Adems de tener una descripcin ideal sobre en qu consiste la intervencin,
se debe constatar cmo se implement esta en el grupo experimental y qu fue lo
que ocurri en el grupo de comparacin. No es raro que el grupo experimental y el
de comparacin terminen siendo mucho ms similares de lo que se haba planifi-
cado. Puede suceder que las profesoras del grupo experimental hayan compartido
la informacin con las del grupo de comparacin, o por el contrario, las del grupo
experimental pueden haber continuado trabajando de la misma manera en que lo
hacan antes de la intervencin, porque la capacitacin no fue de la naturaleza o
intensidad necesarias para efectuar un cambio real en sus creencias ni en sus prc-
ticas. Tambin es posible que las condiciones de los centros impidan implementar
algn aspecto esencial del programa.
Por ejemplo, la intervencin pudiese
requerir un mximo de cuatro nios por El acercamiento de los grupos experimental y con-
educadora, pero en la prctica, una de las trol puede ocultar los efectos de la intervencin, por
profesoras presente en sala podra estar lo que debemos contar con medidas sobre qu fue lo
dedicada a ordenar o preparar material, que ocurri efectivamente al interior de los grupos.
con lo que se reduce el nmero real de
Estas ltimas actuarn como mediadoras entre la
maestras a cargo de los nios.
intervencin y las variables de resultado.
El acercamiento de los grupos
experimental y control puede ocultar
los efectos de la intervencin, por lo que debemos contar con medidas sobre qu
fue lo que ocurri efectivamente al interior de los grupos. Estas ltimas actuarn
como mediadoras entre la intervencin y las variables de resultado. Las formas
15
Evaluacin de programas de intervencin temprana
b) Intensidad
Esta variable se refiere a las horas, das y semanas de la intervencin, si
es que esta vara entre los diferentes grupos. Incluso cuando el grupo experi-
mental es uno solo y tiene una intensidad planificada, es posible que no todos
(13) Connor, Morrison & Katch (2004).
16
Evaluacin de programas de intervencin temprana
los centros que forman parte del grupo experimental hayan implementado el
programa con la misma intensidad (por ejemplo, algunos podran exigir al
personal ms horas de tareas administrativas, con lo que se reducen las horas
dedicadas al programa). Depende de la unidad de intervencin, si esta variable
se debe medir a nivel de sala o de individuo. A modo de ejemplo, en una inter-
vencin centrada en visitas al hogar, se deber medir el nmero y duracin de
las visitas que recibi cada familia.
17
Evaluacin de programas de intervencin temprana
en el hogar. Por ello, se aplican todas las consideraciones anteriores sobre las
observaciones (conveniencia de usar mltiples observaciones, importancia de
estudiar la confiabilidad entre codificadores y ceguera de los observadores ante
las hiptesis del estudio y la pertenencia de los sujetos a los grupos).
a) Variables de resultado
Los resultados de los nios que se medirn estn determinados por los ob-
jetivos del programa. En general, los resultados de inters de las intervenciones
tempranas se relacionan con el desarrollo cognitivo, lingstico y socioemocio-
nal. La evaluacin de una intervencin temprana debera incorporar todos estos
aspectos, an si su inters principal es solo uno de ellos, ya que producto de su
relevancia no se debe ignorar ninguno.
En nuestro pas los instrumentos que se han utili- Por ejemplo, podra ser que la atencin
intensiva en centros de educacin pre-
zado para evaluar estas variables del desarrollo tem- escolar de calidad reportara beneficios
prano son muy pocos. Aunque existen numerosas cognitivos y lingsticos a los nios de
bateras extranjeras para medir desarrollo cognitivo, una cierta edad, y a la vez, que estos
socioemocional y lingstico, los investigadores que experimentaran efectos nocivos en su
adaptacin social (lo cual es un dato de
han realizado evaluaciones de intervenciones tem-
suma relevancia para el diseador de
pranas en nuestro pas, generalmente, han restrin- polticas pblicas).
gido sus instrumentos a aquellos que cuentan con En nuestro pas los instrumentos
normas para la poblacin chilena. que se han utilizado para evaluar estas
variables del desarrollo temprano son
muy pocos. Aunque existen numerosas bateras extranjeras para medir de-
sarrollo cognitivo, socioemocional y lingstico, los investigadores que han
realizado evaluaciones de intervenciones tempranas en nuestro pas, general-
mente, han restringido sus instrumentos a aquellos que cuentan con normas
para la poblacin chilena, ya sea aquellos que han sido construidos en Chile,
por ejemplo el Test de Desarrollo Psicomotor (TEPSI), la Escala de Eva-
luacin del Desarrollo Psicomotor (EEDP), la Prueba de Funciones Bsi-
cas, la Prueba de Madurez Escolar, el Test de Vocabulario en Imgenes
(TEVI) o aquellas pruebas extranjeras que cuentan con normas chilenas,
18
Evaluacin de programas de intervencin temprana
19
Evaluacin de programas de intervencin temprana
b) Asistencia
Adems de evaluar las variables de resultado del nio, antes y despus de
la intervencin, es importante contar con variables a nivel del nio que tambin
ayuden a identificar las causas del fra-
Adems de evaluar las variables de resultado del caso o xito de una intervencin. Pro-
bablemente, la ms importante sea la
nio, antes y despus de la intervencin, es im- cantidad efectiva de tratamiento recibi-
portante contar con variables a nivel del nio que da por cada nio, medida a travs de los
tambin ayuden a identificar las causas del fracaso das de asistencia de este al centro en el
o xito de una intervencin. cual se implementa el programa.
b) Variables de proceso
Al igual que en el caso de la sala de clase y de la cuidadora de los centros,
los procesos familiares solo si son medidos y tomados en cuenta en la eva-
luacin de la intervencin contribuirn a explicar los resultados de la misma.
En cuanto a la calidad del cuidado recibido en el hogar, las dimensiones de
20
Evaluacin de programas de intervencin temprana
Conclusin
La decisin de implementar o no una poltica pblica basada en un progra-
ma de intervencin temprana requiere, como mnimo, el conocer si el programa
en cuestin tiene un efecto positivo sobre sus beneficiarios. Por s sola, la pre-
gunta de si las diferencias observadas entre los beneficiarios y no beneficiarios
se deben o no a la intervencin, requiere de un tremendo esfuerzo con el fin de
implementar un diseo de evaluacin riguroso y llegar a la respuesta correcta.
La existencia de un grupo de comparacin, el uso de la asignacin aleatoria, el
empleo de muestras representativas y la administracin de instrumentos vlidos
y confiables, sern casi siempre los requisitos mnimos para hacer una atribucin
causal y reclamar la generalizacin de los hallazgos. Sin embargo, las decisiones
sobre los detalles de implementacin de la poltica (en qu condiciones funcio-
(14) Seccin 2.2.3.
(15) Recart y Mathiesen (2003).
21
Evaluacin de programas de intervencin temprana
22
Evaluacin de programas de intervencin temprana
Referencias
- Aiken, L. S. & West, S. G. (1991). Multiple Regression. Testing and Interpreting
Interactions. Thousand Oaks, CA: Sage.
- Baron, R. M. & Kenny, D. A. (1986). The moderator-mediator variable
distinction in social psychological research: Conceptual, strategic, and statistical
considerations. Journal of Personality and Social Psychology, 51. 1173-1182.
- Belsky, J. (2001). Development risks (still) associated with early child care.
Journal of Child Psychology and Psychiatry, 42, 845-859.
- Currie, J. & Thomas, D. (1995). Does Head Start make a difference?. The
American Economic Review, 85, 341-365.
- DeBaryshe, B.D. (1995). Maternal belief systems: Linchpin in the home reading
process. Journal of Applied Developmental Psychology, 16, 1-20.
- Connor, C. M., Morrison, F. J., Katch, L. E., (2004). Beyond the Reading
Wars: Exploring the Effect of Child-Instruction Interactions on Growth in Early
Reading. Scientific Studies of Reading, 8, 305-336.
- Neuman, S.B. (1996). Children Engaging in Storybook Reading: The influence
of Access to Print Resources, Opportunity, and parental Interaction. Early
Childhood Research Quarterly, 11, 495-513.
- NICHD Early Child Care Research Network (2006). Chile-Care Effect Sizes
for the NICHD Study of Early Chile Care and Youth Development. American
Psychologist, 61, 99-116.
- Penno, J. F., Moore, D. W. & Wilkinson, I. A. G. (2002). Vocabulary Acquisition
from Teacher Explanation and Repeated Listening to Stories: Do They Overcome
the Matthew Effect?. Journal of Educational Psychology, 94, 23-33.
- Ramey, S. L. & Ramey, C. T. (2006). Early Educational Interventions:
Principles of Effective and Sustained Benefits from Targeted Early Education
Programs. In D. K. Dickinson and S. B. Neuman (Eds.). Handbook of Early
Literacy Research, Vol. 2. New York: Guilford Press.
- Shadish, W. R., Cook, T. D. & Campbell, D. T. (2002). Experimental and
Quasi-experimental designs for generalized causal inference. Boston: Houghton
Mifflin Company.
- Slavin, R. (2002). Evidence-based education policies: Transforming educational
practice and research. Educational Researcher, 31, 15-22.
23
Evaluacin de programas de intervencin temprana
24
Evaluacin de programas de intervencin temprana
Autora
Katherine Strasser
Psicloga, Pontificia Universidad Catlica de Chile. Master en Psicologa
del Desarrollo y Doctora en Psicologa de la Educacin, Universidad de
Michigan. Profesora de la Escuela de Psicologa de la Pontificia Universidad
Catlica de Chile.
2006 Expansiva
25