Vous êtes sur la page 1sur 14

EVALUACIN DEL CUESTIONARIO

Boehm 3
Preescolar
RESUMEN DE LA VALORACIN DEL TEST

Descripcin general

Caractersticas Descripcin
Test Boehm de conceptos bsicos-3 Preescolar
Nombre del test
(Boehm-3 Preescolar)
Autor Ann E. Boehm

Departamento I+D de Pearson Clinical and


Autor de la adaptacin espaola Talent Assessment: Ana Hernndez, Elena de
la Gua, Erica Paradell y Frdrique Vallar
Editor de la adaptacin espaola Pearson Educacin

Fecha de la ltima revisin del test en su 2012


adaptacin espaola
Comprensin conceptos bsicos (nios 3-5
Constructo evaluado
aos)
Psicologa Educativa (desarrollo cognitivo-
rea de aplicacin
lingstico)

Administracin oral (cuaderno con dibujos para


Soporte
sealar)

Valoracin general

Caractersticas Valoracin Puntuacin


Calidad de los Materiales y
Buena 4
documentacin
Fundamentacin terica Adecuada 3
Adaptacin Espaola Adecuada 3
Anlisis de los tems No aporta
Validez de contenido Excelente 4.5
Validez de constructo Adecuada 3
Anlisis del sesgo No aporta
Validez predictiva No aporta
Fiabilidad: equivalencia No aporta
Fiabilidad: consistencia interna Buena 3.5
Fiabilidad: estabilidad Buena 4
Baremos Adecuada 3

2
Comentarios generales

El Boehm-3 Preescolar es un test de aplicacin individual y oral que aporta informacin


relevante respecto a un rea importante del desarrollo cognitivo-lingstico infantil: la
comprensin de conceptos bsicos. Se han elegido fundamentalmente tres tipos de conceptos
(espaciales, de cantidad y temporales) centrales en el desarrollo conceptual. Los conceptos
bsicos ligados al tiempo, el espacio y la cantidad exigen una capacidad de abstraccin
importante, ya que requieren generalmente comprender relaciones entre objetos, personas,
ideas, etc., en contextos muy variados que, a diferencia de los conceptos de tipo referencial,
van ms all de la correspondencia entre entidades y palabras. En este sentido la pertinencia
de este test queda justificada, as como las edades de aplicacin, de 3 aos a 5 aos y 11
meses, un rango en el que es importante detectar las posibles dificultades y proceder a una
intervencin temprana. El test es til, por tanto, para profesionales competentes en la
aplicacin de este tipo pruebas en el contexto escolar y en centros de atencin psicolgica y
educativa de poblacin infantil (psiclogos educativos, psicopedagogos, etc.).
En la Presentacin del Test (pg. 2 del Manual) se aporta una definicin de los
conceptos que podra no ser del todo correcta y podra dar lugar a interpretaciones equvocas
por parte del lector/evaluador. Especficamente se indica que Los conceptos bsicos son
palabras que son utilizadas para describir las cualidades de personas u objetos relaciones
espaciales tiempo y cantidad . Los conceptos no son palabras en s, sino nociones o
significados que se expresan en palabras. Ms all de la forma lingstica diferente en cada
lengua los conceptos estn conectados con el significado y la organizacin cognitiva del
mundo. La definicin aportada podra corregirse en la documentacin del test. Sin embargo,
desde la editorial aclaran que la definicin presentada, que no es la nica posible, es la que
presenta la autora en Ann E. Bohem en la versin original del test. Por ello, los adaptadores del
test han mantenido dicha definicin traducindola del original, ya que creen que mediante un
lenguaje sencillo y ejemplos, esta definicin permite describir el tipo de conceptos (significados)
evaluados por el test.
En cuanto a los materiales, hoja de registro y procedimiento de aplicacin de la prueba
cabe resaltar su adecuacin a los objetivos de la misma y a la poblacin a la que va dirigida.
Los materiales estn muy cuidados y son atractivos y de gran calidad grfica. El test es sencillo
de administrar, corregir e interpretar. Los procedimientos de aplicacin y de puntuacin estn
claramente explicados y la hoja de registro de respuestas y puntuaciones es excelente.
En relacin a la adaptacin, un punto fuerte de la prueba es que permite su aplicacin
en tres lenguas: castellano, cataln y euskera. El material del test incluye las consignas que se
piden a los nios, en estas tres lenguas. No obstante, en el apartado de Adaptacin Espaola

3
del Manual slo se hace referencia a la traduccin del ingls al castellano. No se menciona la
traduccin a las lenguas catalana y euskera. Adems, en la Hoja de Anotacin o de
Respuestas solo se pregunta por la/s lengua/s habladas en casa, pero no se pide indicar en
qu lengua se ha aplicado el test, ni se recoge informacin sobre el grado de bilingismo
(equivalente en las dos lenguas, si una lengua es dominante, etc.) de los nios evaluados
inmersos en estos contextos. Tampoco se especifica cuntos nios de la muestra son
hablantes de cada una de las tres lenguas. Esta omisin de informacin debera subsanarse.
Desde la editorial aclaran que la tipificacin del Boehm-3 se llev a cabo slo con nios con
lengua materna espaola. Se indica que cuando se aplica el test a un nio en su segunda
lengua (p. ej., castellano) y el rendimiento en el test es bajo, debe determinarse si el nio
conoce los conceptos en su lengua materna (p. ej., cataln o euskera). Esta es la principal
razn por la que se opt por incluir la traduccin de los tems tambin en cataln y euskera. Si
el nio conoce el concepto en su lengua materna, la intervencin estara orientada a la
enseanza del trmino equivalente en la segunda lengua, si as se desea. Si el nio tampoco
conoce el concepto en su lengua materna, deberan ponerse en marcha actividades dirigidas a
ensear el significado del concepto. Sin embargo, sera deseable que, en un contexto
multilinge, se emplearan muestras de tipificacin que incluyeran nios y nias con distintas
lenguas maternas, especialmente a edades tan tempranas.
En cuanto a las propiedades psicomtricas, el manual ofrece informacin psicomtrica
bsica que muestra que, en general, el test cumple los objetivos para los que est diseado.
Se echa a faltar no obstante, informacin sobre la validacin del test para la versin en
castellano/cataln/euskera. Tambin hubiera sido interesante incluir informacin ms detallada
sobre el comportamiento de cada uno de los tems de la escala en lugar de aportar informacin
nicamente sobre el porcentaje de respuestas correctas.
Un aspecto muy destacable y til es que, ms all de la informacin cuantitativa, es
posible realizar un anlisis cualitativo de las respuestas errneas del nio y planificar la
intervencin/enseanza de los conceptos no adquiridos. Un profesional competente puede
extraer mucha informacin til de este tipo de anlisis. En relacin a este punto fuerte de la
prueba (i.e. informacin cualitativa) sin embargo, es necesario revisar la siguiente cuestin: Los
tems de la prueba se clasifican segn el tipo de concepto (i.e. espacial, de cantidad, temporal y
otros). Si bien los resultados del test y su baremacin hacen referencia a las puntuaciones
totales, la informacin sobre el tipo de tem es relevante de cara a un anlisis de errores. Se ha
detectado que algunos de los tems no se clasifican de forma unvoca. Por ejemplo, el concepto
ms se califica como concepto que expresa cantidad; sin embargo, los conceptos ms
grande y ms pequeo son considerados conceptos espaciales.
Finalmente cabe comentar que el test recoge informacin e instrucciones detalladas
sobre la aplicacin de la prueba con nios mayores de 6 aos que presenten dificultades de
aprendizaje y/o desarrollo. Este es un aspecto claramente positivo que requiere que los

4
profesionales que apliquen la prueba sean competentes para calibrar adecuadamente el peso
de esta informacin. Como aparece claramente en el Manual, el Boehm-3 Preescolar nunca
debera ser el nico procedimiento de evaluacin para determinar si un nio debe recibir
atencin especializada.

5
ANLISIS DETALLADO DE LA PRUEBA
1. DESCRIPCIN GENERAL DEL TEST

1.1. Nombre del test


Test Boehm de conceptos bsicos-3 Preescolar (Boehm-3 Preescolar)
1.2. Nombre del test en su versin original
Boehm Test of Basic Concepts-3 Preschool (Boehm-3 Preschool)
1.3. Autor
Ann E. Boehm
1.4. Autor de la adaptacin espaola
Departamento I+D de Pearson Clinical and Talent Assessment: Ana Hernndez, Elena
de la Gua, Erica Paradell y Frdrique Vallar
1.5. Editor del test en su versin original
NCS Pearson Inc.
1.6. Editor de la adaptacin espaola
Pearson Educacin
1.7. Fecha de publicacin del test original
2001
1.8. Fecha de la publicacin del test en su adaptacin espaola
2012
1.9. Fecha de la ltima revisin del test en su adaptacin espaola
2012
1.10. rea general de la variable que pretende medir el test
Inteligencia
Escalas de desarrollo
Aptitudes

1.11. Breve descripcin de la variable que pretende medir el test


El Test Boehm 3 Preescolar fue diseado para evaluar la comprensin de los
conceptos bsicos que son importantes para el desarrollo del lenguaje y de la cognicin, as
como para el adecuado rendimiento escolar. Los conceptos bsicos (i.e. significados
vehiculados a travs de palabras o expresiones lingsticas) implican un nivel de abstraccin
ms complejo que los conceptos que se refieren a objetos. As, nociones espaciales, como
podra ser el concepto/palabra encima implican relaciones entre objetos para cuya
comprensin hay que tener en cuenta el contexto (i.e. un mismo objeto puede aparecer en
dicha posicin en un contexto y en otra distinta en otro contexto). Los conceptos bsicos que
se incluyen en el Boehm 3 Preescolar hacen referencia a: el tamao (ej. ms alto), la direccin

6
(ej. delante), la posicin en el espacio (ej. ms cerca), el tiempo (ej. antes), la cantidad (ej.
algunas), la clasificacin (ej. todos), y aspectos generales (ej. otro).
El test se aplica individualmente a nios de edades comprendidas entre los 3 aos y los
5 aos y 11 meses. Desde el punto de vista evolutivo, la organizacin de la prueba permite
diferenciar dos niveles de edad: 1) Rango de 3 aos a 3 aos 11 meses, y 2) Rango de 4 a 5
aos 11 meses. El test permite realizar la evaluacin de los conceptos bsicos seleccionados
en tres de las lenguas habladas en Espaa: castellano, cataln y euskera.

1.12. reas de aplicacin


Psicologa Educativa (desarrollo cognitivo-lingstico).
1.13. Formato de los tems
Eleccin mltiple
1.14. Nmero de tems
76 items; 52 para nios de 3 a 3 aos 11 meses (items 1 a 52) y 52 para nios de 4 a
5 aos 11 meses (tems 25 a 76), siendo comunes, por tanto, algunos de los items aplicables a
los dos grupos de edad (del 25 al 52)
1.15. Soporte
Administracin oral (cuaderno con dibujos para sealar)
1.16. Cualificacin requerida para el uso del test de acuerdo con la documentacin
aportada
Nivel A (segn informacin aportada en la pgina web de la editorial)
1.17. Descripcin de las poblaciones a las que el test es aplicable
Nios de edades comprendidas entre los 3 aos y los 5 aos 11 meses, con desarrollo
tpico. Tambin se puede utilizar para la evaluacin de nios con retrasos cognitivo-lingsticos,
distintos tipos de trastornos del desarrollo y/o dificultades de aprendizaje. En el caso de que la
aplicacin se realice con nios de ms de 6 aos, obviamente, las puntuaciones no pueden ser
interpretadas a partir de la muestra de tipificacin.
1.18. Existencia o no de diferentes formas del test y sus caractersticas
No existen versiones abreviadas, ni formas paralelas.
1.19. Procedimiento de correccin
Manual mediante plantilla
1.20. Procedimiento de obtencin de las puntuaciones directas
El sistema de correccin permite obtener:
Puntuacin directa, obtenida como la suma del nmero de tems acertados
Porcentaje de respuestas correctas respecto al total de tems;
1.21. Transformacin de las puntuaciones
Caracterstica no aplicable para este instrumento.

7
1.22. Escalas utilizadas
Adems de las puntuaciones directas y los porcentajes de respuestas correctas, se
puede obtener la diferencia entre la puntuacin directa y el valor de un punto de corte
correspondiente a cada edad. El punto de corte se ha calculado en base al rendimiento del
tercio inferior de los nios de la muestra de tipificacin. Una puntuacin directa por encima del
punto de corte indica que el nio conoce la mayora de los conceptos bsicos en comparacin
con los nios de su edad. Una puntacin directa igual o por debajo del punto de corte indica
que el conocimiento del nio de los conceptos bsicos es bajo en comparacin con los nios
de su edad, y necesita ayuda adicional para desarrollar la comprensin de estos conceptos.
Si bien la presentacin de los tems incluye 4 imgenes o dibujos (tres distractores y
una opcin correcta), no se menciona ningn tipo de procedimiento para controlar la
probabilidad de respuesta correcta por azar. Simplemente se menciona en el Manual que la
inclusin de 4 imgenes o dibujos se introduce para disminuir las respuestas correctas dadas
al azar. Desde la editorial aclaran que, puesto que cada concepto se evala en dos tems
distintos y, por tanto, en dos contextos distintos, las respuestas aleatorias quedan controladas
sin penalizar el conocimiento parcial como estrategia de respuesta. Esta informacin debera
incluirse en futuras ediciones del manual.

1.23. Posibilidad de obtener informes automatizados


No.
1.24. Oferta por parte del editor de un servicio para la correccin y/o elaboracin
informes
No.
1.25. Tiempo estimado para la aplicacin del test
En aplicacin individual: 15-20 minutos en poblacin con desarrollo tpico; mayor en
caso de nios con dificultades de desarrollo.
En aplicacin colectiva: no aplicable en esta condicin.

1.26. Documentacin aportada por el editor


Manual.
1.27. Precio de un juego completo de la prueba*
Juego completo: 83,30
Cuaderno con estmulos: 56,78
Manual: 43,68
1.28. Precio y nmero de ejemplares del paquete de cuadernillos
No procede.
1.29. Precio y nmero de ejemplares del paquete de hojas de respuesta*
30 unidades: 33,85

8
1.30. Precio de la correccin y/o elaboracin de informes por parte del editor

*Los precios estn actualizados con fecha 18 de julio de 2014. Para obtener precios ms
actualizados consultar la pgina web de la compaa editora: www.pearsonpsychcorp.es

1.31. Bibliografa bsica acerca del test aportada en la documentacin


Se aporta una seccin final del manual (Bibliografa:) que recoge publicaciones
relativas al propio test y otras publicaciones relacionadas con el rea de adquisicin de
conceptos bsicos. Todas estas referencias aparecen en las pginas 51-54 del manual, sin
diferenciar unas de otras.

9
2. VALORACIN DE LAS CARACTERSTICAS DEL TEST

Aspectos generales

Contenido
Valoracin Puntuacin
2.1. Calidad de los materiales del test Excelente 5

2.2. Calidad de la documentacin aportada Adecuada 3

2.3. Fundamentacin terica Adecuada 3

2.4. Adaptacin del test Adecuada 3

2.5. Calidad de las instrucciones Buena 4

2.6. Facilidad para comprender la tarea Buena 4

2.7. Facilidad para registrar las respuestas Excelente 5

2.8. Calidad de los tems (aspectos formales) Excelente 4.5

2.9. Datos sobre el anlisis de los tems Adecuada 2.5

Validez de contenido

Contenido Valoracin Puntuacin


2.10. Calidad de la representacin del contenido o
Excelente 4.5
dominio
2.11. Consultas a expertos No se aporta

Validez de constructo

Contenido Valoracin Puntuacin

Correlaciones con otros tests


2.12. Diseos empleados
Diferencias entre grupos
Adecuada con
2.13. Tamao de las muestras algunas 1.5
carencias
2.14. Procedimiento de seleccin de las muestras No se aporta
2.15. Mediana de las correlaciones del test con otros
Excelente 5
tests similares
2.16. Calidad de los test empleados como criterio o
Adecuada 3
marcador

10
2.17. Resultados sobre las diferencias entre grupos Buena 4

2.18. Resultados de la matriz multirrasgo-multimtodo No se aporta

2.19. Resultados del anlisis factorial No se aporta

2.20. Datos sobre el sesgo de los tems No se aporta

Validez predictiva
Criterios empleados y las caractersticas de las poblaciones.

Contenido Contenido Puntuacin

2.21. Diseo de seleccin del criterio No se aporta

2.22. Tamao de las muestras No se aporta

2.23. Procedimiento de seleccin de las muestras No se aporta

2.24. Correlaciones del test con los criterios No se aporta

Comentarios generales sobre validez

En la adaptacin espaola no se realizaron anlisis de validez. En el manual se dice


textualmente que por considerarse una informacin fundamental para el conocimiento del
instrumento . se incluyen los anlisis de la versin estadounidense (pg. 32). Hubiera sido
necesario aadir informacin sobre la validez de la prueba en las adaptaciones al
castellano/cataln/euskera. La valoracin que se ofrece, corresponde por tanto a los datos
sobre validez de los estudios realizados para la versin original en ingls (EEUU). Estos datos
permiten concluir que las evidencias de validez aportadas son satisfactorias:
Por lo que se refiere a la evidencia de validez basada en el contenido del test la versin
inglesa del test presenta una adecuada validez de contenido. Se describe de forma detallada el
proceso seguido para dicha validacin.
Por lo que se refiere a la evidencia de validez basada en las relaciones con otras
variables se presentan los resultados de dos estudios correlacionales donde se examin la
relacin del Boehm-3 Preschool con una versin previa del instrumento (Boehm-Preschool,
slo aplicable a nios a partir de los 4 aos), y con un test que tambin mide conceptos bsicos
(Bracken Basic Concept Scale-Revised). Las muestras utilizadas fueron de 59 nios en el
primer estudio y de 62 nios en el segundo. En ambos estudios se obtuvieron correlaciones
satisfactorias (r >.70).

11
Se ofrece adems un estudio de comparacin entre muestra clnica/no clnica (n=290).
Se aportan las medias de los grupos en el Boehm-3 Preschool. Las diferencias son elevadas,
aunque los autores no aportan informacin sobre la significacin estadstica de estas
diferencias.
En conclusin, se aportan diversas evidencias empricas sobre la validez de la versin
original en ingls del instrumento. Pero queda pendiente la validacin del Boehm 3 Preescolar
(adaptacin al castellano/cataln/euskera), ya que no se ofrece informacin al respecto.

Fiabilidad

Contenido Valoracin Puntuacin


Coeficientes de fiabilidad para
diferentes grupos de sujetos
2.25. Datos aportados sobre fiabilidad
Error tpico de medida para
diferentes grupos de sujetos

Equivalencia formas paralelas

Contenido Valoracin Puntuacin

2.26. Tamao de las muestras No se aporta

2.27. Coeficientes de equivalencia No se aporta

Consistencia interna

Contenido Valoracin Puntuacin

2.28. Tamao de las muestras Adecuada 3


2.29. Coeficientes de consistencia interna Coeficiente alpha
presentados
2.30. Mediana de los coeficientes de consistencia Buena 3.5

Estabilidad (test-retest)

Contenido Valoracin Puntuacin

2.31. Tamao de las muestras Inadecuada 1

2.32. Coeficientes de estabilidad Excelente 5

12
Cuantificacin de la fiabilidad mediante TRI

Contenido Valoracin Puntuacin

2.33. Tamao de las muestras No se aporta

Comentarios generales sobre fiabilidad

La fiabilidad del Boehm 3 Preescolar es analizada con el coeficiente alpha de


Cronbach, el error tpico de medida (ETM), y un diseo test-retest. En todos los casos, los
valores de fiabilidad se ofrecen para submuestras que cubren intervalos de diferentes edades.
La evaluacin de la consistencia interna (alpha de Cronbach) y el clculo del ETM se
realiza con una muestra total de 463 sujetos (la muestra de tipificacin) divididos en 6 grupos
de diferentes edades. Los resultados pueden considerarse adecuados, ya que el alpha de
Cronbach oscila entre .74 y .85, y el ETM entre 1.42 y 2.17.
Los anlisis de estabilidad temporal (test-retest) se hacen con una nica muestra de 53
nios (muestra pequea) divididos en dos grupos de edad. El intervalo medio de aplicacin del
retest fue de una semana. Si bien la muestra es muy pequea, los resultados son
satisfactorios, ya que los coeficientes de estabilidad fueron .80 y .95 para cada grupo de edad
respectivamente.

Baremacin

Contenido Valoracin Puntuacin

2.34. Calidad de las normas Adecuada 3

2.35. Tamao de las muestras Adecuada 3

2.36. Procedimiento de seleccin de las muestras No se aporta

2.37. Actualizacin de los baremos Excelente 5

Comentarios generales sobre baremacin

El sistema de baremacin que permite la interpretacin de las puntuaciones directas


obtenidas tras la aplicacin del Test Boehm 3 Preescolar es muy bsico, pero adecuado a los
objetivos de la prueba. Las Puntuaciones Directas se comparan con un Punto de Corte que

13
cumple la funcin de criterio para diferenciar a los nios con un adecuado nivel conceptual (i.e.
que conocen la mayora de los conceptos bsicos) en relacin a los nios de su edad, de
aquellos otros que no alcanzan dicho nivel. El punto de corte se calcula en base al rendimiento
del tercio inferior de los nios de la muestra de tipificacin, para diferentes intervalos de edad.
Los baremos son actuales, ya que la muestra de tipificacin fue recogida en 2012. Los
autores describen los criterios considerados para llevar a cabo la estratificacin, incluyendo
edad, sexo, nivel educativo de los padres y zona geogrfica. En relacin a la zona geogrfica,
se agruparon las distintas comunidades autnomas en 3 zonas geogrficas: Norte, Este,
Centro y Sur. Las variables tipo de poblacin (urbana o rural) y tipo de escuela no formaron
parte de la estratificacin, pero se aportan datos al respecto.
El tamao de la muestra total de baremacin es adecuado (N=463 nios). Sin
embargo, como la obtencin de los puntos de corte se hace por grupos de edad, el tamao
muestral en estos grupos resulta algo reducido (en torno a 78 nios por grupo).

14