La confiabilidad (o consistencia) de un test es la precisin con que el
test mide lo que mide, en una poblacin determinada y en las condiciones normales de aplicacin. (Las condiciones normales de aplicacin se refieren a las condiciones especificadas en el manual del test). La confiabilidad se refiere a la consistencia de los resultados. En el anlisis de la confiabilidad se busca que los resultados de un cuestionario concuerden con los resultados del mismo cuestionario en otra ocasin. Si esto ocurre se puede decir que hay un alto grado de confiabilidad. Tambin se habla de confiabilidad cuando dos o ms evaluadores evalan al mismo estudiante sobre el mismo material y se obtienen puntuaciones semejantes. En trminos de confiabilidad lo que preocupa es la consistencia de los resultados. Se necesita la confiabilidad para poder hablar de resultados vlidos, puesto que no es posible evaluar algo que cambia continuamente. Sin embargo, es posible que un cuestionario sea confiable, puesto que sus resultados son consistentes, pero que no mida lo que se espera que mida. En ese caso tenemos un ejemplo claro de un cuestionario con confiabilidad pero carente de validez. Se dice que la confiabilidad es una condicin necesaria, pero no suficiente para la validez. Las evidencias de validez siempre han de ir de la mano con las evidencias de confiabilidad. La confiabilidad indica el grado de consistencia, pero no dice si las inferencias que se hacen y las decisiones que se toman partiendo del cuestionario son defendibles. La falta de confiabilidad de un test psicomtrico esta en relacin con la intervencin del error. Se considera que el error es cualquier efecto irrelevante para los fines o resultados de la medicin que influye sobre la falta de confiabilidad de tal medicin. El error es de dos tipos: a) Error constante (sistemtico), que se produce cuando las mediciones que se obtienen con una escala son sistemticamente mayores o menores que lo que realmente deben ser. b) Error causal (al azar o no sistemtico), que se produce cuando las medidas son alternativamente mayores o menores de lo que realmente deben ser. Este ltimo tipo de error interviene cuando se afecta la confiabilidad de un test psicomtrico. Este error tiene que ver con la salud, fatiga, motivacin, tensin emocional, fluctuaciones de la memoria, condiciones externas de luz, humedad, ventilacin, calor, distraccin por problemas del momento, familiaridad con la prueba, que presenta el examinado al momento de dar el test.
Cmo se presenta la confiabilidad de un test psicomtrico?
La confiabilidad se presenta por medio del coeficiente de confiabilidad (rxx) y del error estndar de medida (EEM). A) COEFICIENTE DE CONFIABILIDAD Es un coeficiente de correlacin entre dos grupos de puntajes e indica el grado en que los individuos mantienen sus posiciones dentro de un grupo. Abarca valores desde 0 a 1. Cuanto ms se acerque el coeficiente a 1, ms confiable ser la prueba. El coeficiente de confiabilidad seala la cuanta en que las medidas del test estn libres de errores casuales o no sistemticos. Por ejemplo, un coeficiente de 0.95 quiere decir que en la muestra y condiciones fijadas de aplicacin del test el 95% de la varianza de los puntajes directos se debe a la autntica medida, y slo el 5%, a errores aleatorios. Existen cuatro mtodos bsicos para obtener el coeficiente de confiabilidad (rxx): Mtodo de las formas equivalentes; mtodo del test-retest; mtodo de la divisin por mitades emparejadas o "splithalf method"; y mtodo de la equivalencia racional o de KuderRichardson. A) MTODO DE LAS FORMAS EQUIVALENTES: Se aplican dos formas equivalentes o paralelas del test al mismo grupo de individuos, y las dos series de puntajes resultantes se correlacionan con el coeficiente producto de los momentos de Pearson (r). b) Mtodo del test-retest: Se aplica dos veces el mismo test (el lapso entre las aplicaciones se determina previamente), a una misma muestra de individuos. Las dos series de puntajes resultantes se correlacionan con el coeficiente de correlacin "r" de Pearson. c) Mtodo de la divisin por mitades emparejadas o "split half method": Se aplica el test una sola vez a una muestra. Luego, se califica por separado los temes pares (2, 4, 6, ..., n) y los temes impares (1, 3, 5, ..., n). A continuacin, las dos series de puntajes resultantes se correlacionan con el coeficiente "r" de Pearson, pero por haberse dividido el test en dos partes (temes pares e temes impares), el "r" resultante debe ser "corregido" para arrojar el "r" para todo el test. Esta correccin se efecta con la frmula de profeca de Spearman-Brown: d) Mtodo de la equivalencia racional: En este mtodo se considera que si un test esta formado por un conjunto de temes estos pueden ser considerados como un conjunto de tests paralelos (tantos como temes tenga el test). Luego se deriva una ecuacin para computar el coeficiente de confiabilidad. Kuder y Richardson derivaron varias frmulas para el clculo del coeficiente de 94 Psicometra confiabilidad, son las ms conocidas la KR20 y la KR21. Actualmente, un coeficiente ms utilizado es el coeficiente alfa de Cronbach
B) ERROR ESTNDAR DE MEDIDA
Por medio de este error estndar de medida se estima el intervalo probable de puntajes en el cual se encontrar el puntaje verdadero de un sujeto examinado con un test psicomtrico. El error estndar de medida (EEM) se obtiene a travs de la siguiente frmula: EEM = s 1rxx Donde: s = Desviacin estndar de los puntajes de la distribucin. rxx = Coeficiente de confiabilidad del test. 1 = Constante. Obtenido el EEM, debemos escoger el nivel de confianza: - Nivel de confianza del 68% = PD 1 EEM. - Nivel de confianza del 95% = PD 2 EEM. Para el nivel de confianza del 68% la interpretacin es la siguiente: "Podemos concluir, con un 68% de confianza, que el puntaje verdadero de un sujeto est en la zona o intervalo comprendido entre su puntaje directo u obtenido (PD) y 1 EEM". El nivel de confianza ms usado en psicometra es el del 95%: "el puntaje verdadero de un sujeto se encontrara en el intervalo comprendido entre su puntaje obtenido o directo (PD) y 2 EEM". FACTORES QUE AFECTAN LA CONFIABILIDAD HOMOGENEIDAD DEL GRUPO La confiabilidad es una propiedad del cuestionario para un grupo particular de sujetos. Por lo tanto el coeficiente de confiabilidad se afecta por la variabilidad entre los sujetos. Mientras mayor es la dispersin de las puntuaciones, mayor es la confiabilidad. Esto ocurre pues es difcil que las personas cambien de posicin en rangos cuando las distancias en puntuacin entre ellos es grande. Por lo tanto es posible que un cuestionario que se haya construido con una poblacin heterognea muestre un coeficiente de confiabilidad mucho menor cuando se aplica a una poblacin ms homognea. Es importante, cuando se adquiere un instrumento construid para otra poblacin asegurarse que el coeficiente de confiabilidad se obtuvo con una poblacin semejante a la que va a utilizar el instrumento. TIEMPO Si un cuestionario tiene un tiempo lmite para completarse algunos sujetos van a terminar a tiempo y otros no. Por lo tanto nos encontramos ante otra variable que va a aumentar la dispersin de puntuaciones en el cuestionario. La varianza de
esta variable "rapidez en responder" se aade a la varianza de
las puntuaciones y aumenta la confiabilidad del instrumento. Para evitar este tipo de aumento artificial de la confiabilidad del instrumento, la mejor estrategia es dar suficiente tiempo para que todos o casi todos los sujetos puedan contestar todos los temes. La confiabilidad de los cuestionarios en los que la rapidez para contestar es una variable importante, debe ponerse en duda. TAMAO DEL CUESTIONARIO Mientras ms largo es el instrumento, mayor es la confiabilidad. Esto ocurre por dos razones principales: 1. En un cuestionario ms largo la muestra de temes es mayor y el universo del constructo est mejor representado. 2. La varianza de un cuestionario aumenta cuando aumenta el nmero de temes (Compuesto). Por lo tanto mientras ms temes, ms varianza y por lo tanto ms confiabilidad. Cuando hay varias partes en un cuestionario y se calcula la confiabilidad de cada subparte, estas por lo general son bajas, pues dependen de muy pocos temes. OBJETIVIDAD DEL PROCESO DE ASIGNAR PUNTUACIONES Mientras ms objetivo es el proceso para determinar las puntuaciones, mayor es la confiabilidad. Esto ocurre pues se elimina la variable extraa de la subjetividad de los jueces y con ello la dispersin de las puntuaciones depende de una variable menos. EL GRADO DE CONFIABILIDAD ESPERADO El grado de confiabilidad que se espera de los instrumentos de medicin depende de la decisin que se vaya a tomar con los resultados del instrumento. La confiabilidad puede ser baja si las decisiones no tienen consecuencias importantes.