Validez, confiabilidad y utilidad

Autor: A. Menndez

Antes de utilizar un cuestionario es necesario asegurarse de que ste posee

ciertas caractersticas que satisfacen y que eventualmente servirn para
cumplir con el propsito con que fue creado.

Hasta recientemente se hablaba de dos de estas caractersticas, la validez y

la confiabilidad. La tercera, la utilidad, no se discuta, pues se daba por
sentado que el evaluador construa el cuestionario partiendo de la utilidad
que vea en l. Pero hoy da, existen innumerables cuestionarios y en
muchos casos se hace necesario escoger entre varios, la utilidad debe
considerarse como una de las caractersticas que se toman en cuenta.

Por otra parte, las dos primeras caractersticas se visualizaban como

propiedades intrnsecas de los cuestionarios. Sin embargo, en los ltimos
aos esta visin se ha modificado completamente, sobre todo en lo que
respecta a la validez.

Hay otros aspectos prcticos de los cuestionarios que no deben pasarse por
alto, pues son esenciales en los momentos en que una institucin decide
hacer uno. Entre stos se destacan la dificultad o el costo de la construccin;
la facilidad de su administracin y asignacin de puntuaciones; la claridad de
interpretacin de sus resultados; la facilidad de su administracin, etc. Todos
estos aspectos se pueden recoger bajo la designacin de "utilidad".

14.1 Definicin de la validez

Tradicionalmente la validez de un cuestionario, se haba presentado como la

cualidad del instrumento para medir los rasgos o caractersticas que se
pretenden medir. Por medio de la validacin se trata de determinar si
realmente el cuestionario mide aquello para lo que fue creado.

ltimamente, el concepto de validez se ha modificado considerablemente.

Muy rara vez se oye hablar de la validez de un instrumento.

Los psicmetras se refieren principalmente a la validez de las inferencias

hechas a partir de los resultados del cuestionario. El foco de atencin se ha
desplazado del instrumento a la interpretacin de los resultados y a las
implicaciones en trminos decisionales que estas interpretaciones conllevan.

Cronbach en 1971 sealaba que la validacin es el proceso por medio del

cual el investigador que desarrolla cuestionarios obtiene evidencia para
sustentar sus inferencias. Este proceso de validacin requiere un estudio
emprico dirigido a recolectar la evidencia requerida.

La validez se ve como una evaluacin -ms que una caracterstica- de

cun apropiadas y adecuadas son las interpretaciones y los usos que
se hacen de los resultados del cuestionario.
69

En la evaluacin de la validez de un cuestionario se busca que las

interpretaciones de los resultados se basen en evidencia de que el
cuestionario mide lo que realmente se quiere que mida, que los resultados no
se vean afectados por variables o factores irrelevantes a lo que se quiere
medir. En otras palabras, la evaluacin de la validez de un cuestionario
concierne los resultados y las consecuencias de las decisiones que se toman
con esos resultados.

Por otra parte, Trochim seala que el concepto de validez no debe limitarse
solamente a la validez del cuestionario, sino que debe poder hablarse de la
validez de cualquier tipo de operacionalizacin de un constructo.

La evidencia de validez es lo que permite al investigador estar relativamente

seguro que no ha errado en el proceso de traducir un constructo a una
realidad operante. Segn Trochim, esta visin permite hablar de validez
tanto cuando se trata de cuestionarios, pruebas, programas, tratamientos y
hasta de muestreo (si se considera que la muestra no es otra cosa que la
operacionalizacin de un constructo llamado poblacin).

14.2 Caractersticas de la validez

La validez se refiere a la adecuacidad de la interpretacin de los resultados

para un grupo determinado de individuos. La validez no es una propiedad
del cuestionario; aunque, por costumbre, se sigue hablando de la validez del
cuestionario.

La validez es una cuestin de grado. No existe en trminos absolutos. No se

puede decir que el cuestionario es vlido o invlido. Aumenta o disminuye
dependiendo de la calidad de la evidencia que la sustenta. Nuevas
evidencias pueden incrementarla o reducirla. Hoy da la validacin de una
inferencia se presenta como el proceso de determinar si la teora y las
evidencias empricas respaldan esta inferencia.

La validez se refiere siempre a un tipo de uso o interpretacin especfico. No

se puede hablar de la validez de un cuestionario sea cual fuere su uso. A
veces los usos son muy prximos, pero an as hay diferencias.

La validez es un concepto unitario. No se puede hablar de diferentes tipos de

validez (contenido, constructo, criterio). Se habla ms bien de un concepto
validez- y de diversos tipos de evidencia.

Para hablar de validez se requiere un juicio evaluativo comprensivo que

dictamine si las interpretaciones y usos de los resultados se justifican con la
evidencia producida.

14.3 Clasificacin de la validez

A partir de mediados del siglo pasado se ha enfatizado la clasificacin de la

validez en tres tipos: validez de contenido, validez de constructo y validez de
70

criterio. Este ltimo tipo de validez se ha clasificado en dos subtipos: validez

concurrente y validez predictiva. Se hablaba de un cuarto tipo de validez
validez aparente- que debido a su pobreza en trminos de evidencia, muchas
veces se ignoraba.

Los psicmetras presentaban tres tipos principales de estudios de validacin

en los que se buscaban evidencias de: validez de contenido, validez de
criterio y validez de constructo.

De nuevo, Trochim retoma la nocin de validez para proponer una nueva y

ms amplia clasificacin. Propone que el concepto de validez, visto dentro
del contexto de operacionalizar un constructo, se puede muy bien llamar
validez de constructo. Por lo tanto cualquier proceso de validacin, llmesele
como se le llame no es ms que un aspecto de la validez de constructo.

Partiendo de esta ecuacin validez = validez de constructo, la validez se

puede clasificar en dos grandes categoras: la validez de traduccin que
evala el proceso de operacionalizacin del constructo y la validez de criterio
que compara el instrumento con otros criterios.

En la validez de traduccin, el investigador se concentra en determinar si la

operacionalizacin (el instrumento o cuestionario) es un reflejo adecuado del
constructo. Se asume que el investigador posee una buena y detallada
definicin del constructo y puede comparar el instrumento con esa definicin.
Esta categora de la validez se subdivide en dos tipos o subcategoras:
validez aparente (face validity) y validez de contenido.

En la validez de criterio, el investigador se concentra en determinar si el

instrumento o cuestionario funciona de acuerdo con la teora que se tiene del
constructo. Por lo tanto este tipo de validez est encaminada a comparar el
instrumento con otros criterios que de alguna forma se relacionan con el
constructo. Esta categora, a su vez, se subdivide en: validez predictiva,
concurrente, convergente y discriminante.

Ya sea por medio de la clasificacin de Trochim o las de otros autores,

siempre se llega a las siguientes tipos de validez.
Validez de constructo
Validez de traduccin: aparente, contenido
Validez de criterio: predictiva, concurrente, convergente y
discriminante

14.4 Validez aparente

Este tipo de evidencia de validez es, posiblemente, la ms pobre de todas.

Responde generalmente de forma subjetiva- a la pregunta si el instrumento
parece medir lo que debe medir. En el vocabulario de Trochim se podra ver

71

como si la traduccin que se ha hecho del constructo parece ser

suficientemente convincente.

Por lo general, la evidencia que sustenta este tipo de evidencia es muy

subjetiva. Pero, aun en trminos de subjetividad, tiene niveles y se puede
mejorar. En su nivel ms bajo puede basarse exclusivamente en el juicio
personal del investigador que propone que el instrumento refleja el
constructo. Pero se puede mejorar si es un panel de expertos quienes
declaran que realmente la operacionalizacin responde al constructo.

Este tipo de validacin ocurre muy a menudo durante la construccin de un

cuestionario en que se recurre a un panel de expertos y se habla de la
validacin por expertos. Obviamente esta evidencia tiene ms peso que la
opinin del investigador.

14.5 Validez de contenido

La validez de contenido en un cuestionario, tradicionalmente se ha visto

como dependiente de cuan representativos del universo de contenido que se
pretende medir son los temes del cuestionario. Un estudio de validez de
contenido busca determinar si los temes de un cuestionario representan
adecuadamente el dominio o constructo que se quiere medir.

Esta bsqueda de evidencias es prioritaria sobre todo al inicio del proceso de

construccin del cuestionario. Se puede observar en tres momentos del
proceso:
En la determinacin de los diversos aspectos que se van a
incluir en el cuestionario de forma que stos representen el
universo de contenido.
En la asignacin de importancia a estos diferentes aspectos
del universo de contenido.
En la seleccin de los temes que concuerden con estos
aspectos.

Trochim seala que realmente lo que se hace es determinar si la

operacionalizacin que se ha hecho corresponde a los aspectos ms
relevantes del constructo. En este proceso se da por sentado que se ha
logrado una descripcin adecuada y detallada del contenido del constructo.
Resulta entonces relativamente fcil determinar si los temes del cuestionario
corresponden a esta descripcin. El problema es que la descripcin
detallada del dominio de contenido del constructo raramente se obtiene.

Hay constructos psicolgicos como actitud, ansiedad, satisfaccin, etc. para

los cuales es sumamente difcil determinar los criterios que fundamentan el
dominio de contenido. El grado de validez de contenido de un instrumento se
obtiene al determinar hasta que punto los conceptos explicativos de ese
constructo son los que sostienen el desempeo en el cuestionario.

72

14.5.1 Aspectos importantes de un estudio de validacin de

contenido

Crocker & Algina definen la validacin de contenido como una serie de

actividades que se desarrollan despus que se ha creado una forma inicial
del cuestionario o instrumento y que busca determinar si los temes incluidos
en el cuestionario son adecuados. Estos autores proponen cuatro pasos
esenciales en todo proceso de validacin de contenido:
Definir el dominio o constructo
Seleccionar un panel de expertos en el dominio de contenido
Crear una estructura que permita identificar cada tem con un
aspecto del constructo
Recoger y resumir los resultados de este proceso de identificacin

1. Definicin del constructo

Como parte de la definicin del constructo es necesario determinar si todos

los aspectos del constructo tienen la misma importancia. Por lo general, esto
se da por sentado en cuestionarios.

3. Identificacin de cada tem con un aspecto del constructo

Hay varias maneras de asignar temes a aspectos del constructo
(objetivos). Crocker seala que el proceso, para la mayora de los
expertos, es bsicamente dicotmico, pues el tem se aparea o no.
Hambleton (1970) seala que la decisin no es siempre tan clara y que se
puede establecer una escala de apareamiento entre los temes y los
objetivos. Con esta escala se pueden obtener medidas de las opiniones
de los jueces y basar el apareamiento en este promedio.

4. Resumen de resultados
Este proceso de apareamiento de temes con aspectos del constructo
parece ser un proceso cualitativo. Sin embargo es posible e importante
resumir los resultados por medio de tablas porcentajes o correlaciones
que subrayen si se ha cumplido con el propsito del estudio. Estos
ndices de apareamiento pueden ser:
1. Tablas indicando el porcentaje de temes que se pudieron aparear
adecuadamente
2. Porcentaje de temes que se pudieron aparear con los aspectos del
constructo que se haban indicado como ms importantes.
3. Porcentaje de aspectos del constructo para los cuales no se
encontraron temes

73

14.5.2

Problemas de los estudios de validez de contenido

Los temes corresponden a los objetivos, pero los objetivos no corresponden

al constructo

Aspectos de gnero, raza y etnicidad que afectan el proceso de validacin

El problema aqu no recae en el contenido del cuestionario, sino en las

inferencias que se pueden hacer sobre sujetos que no tienen el mismo
acceso a la informacin que se requiere para poder contestar el cuestionario

La correlacin entre temes no es necesariamente un aspecto de la

validacin de contenido.

A menudo se da por sentado que la correlacin alta de un tem con el resto

del cuestionario es una evidencia de validez de contenido, puesto que la
correlacin implica que el tem mide lo mismo que mide el resto del
cuestionario. Pero este razonamiento tiene sus fallas. Una correlacin alta
puede ocurrir porque se han incluido muchos temes similares, pero ninguno
corresponde al contenido que se quiere incluir. Sin embargo, es conveniente
que la correlacin de un tem con el resto del cuestionario sea relativamente
alto. Si no correlaciona bien, esto puede ser indicativo de que no tiene nada
que ver con el resto de los temes y valdra la pena investigarlo.

14.5.3 Aspectos de contenido que fortalecen la validez en el

desarrollo del cuestionario

La preparacin detallada e informada de una tabla de especificaciones o

aspectos del constructo.

El proceso adecuado de validacin de la tabla. El investigador que construye

el cuestionario debe asegurarse que lo que se mide est de acuerdo con lo
que se quiere medir.

La seleccin apropiada de los temes. Estos deben corresponder a las

especificaciones del constructo.

14.6

Estudios que evidencian la validez de constructo

Anlisis factorial (confirmatorio)

En este tipo de estudio se toman las puntuaciones de un grupo de sujetos en

un instrumento y se aplican ciertos procesos estadsticos (anlisis factorial)
que permiten agrupar los temes de acuerdo a cunto se asemejan en la
forma en que contestaron los sujetos. En el anlisis factorial se crean
conjuntos de temes que se asemejan entre ellos, pero que al mismo tiempo
se diferencian de los temes incluidos en los otros conjuntos. Despus de
finalizado el proceso estadstico por medio del cual se han construido estos

74

conjuntos de temes se hace necesario revisar la informacin obtenida

confrontndola con las especificaciones del constructo.

Realmente se espera que los temes agrupados por el anlisis factorial

correspondan a los mismos subconjuntos que previamente se describieron
tericamente en el conjunto. Mientras ms correspondencia haya entre
ambas agrupaciones, la terica y la estadstica, ms evidencia tenemos de
que el constructo se dise correctamente.

Cuando los constructos son complejos y abstractos, ni esta separacin en

subconjuntos ni la construccin de los temes correspondiente a cada
subconjunto de especificaciones no es tan obvia. Por lo tanto los estudios
factoriales no siempre ofrecen los resultados esperados. La evidencia se
fortalece o se debilita dependiendo de cun cercana a la teora es la
agrupacin producida por el anlisis factorial.

Matriz multirasgo-multimtodo

Este es posiblemente uno de los mtodos ms complejos para evidenciar la

validez de un constructo. El proceso se inicia cuando el investigador
determina dos o ms instrumentos para medir el constructo de inters.
Luego debe seleccionar otros constructos diferentes al que se quiere validar,
pero que se pueden medir con el mismo instrumento. Finalmente, el
investigador debe medir el mismo constructo con los diversos mtodos o
instrumentos y los diferentes constructos con el mismo instrumento.

La evidencia radica en que:

1. la confiabilidad del instrumento sea alta (el mismo constructo
medido con el mismo instrumento)
2. las correlaciones sean altas entre las medidas del mismo
constructo medido con diferentes instrumentos.
3. las correlaciones sean bajas entre las medidas de diferentes
constructos medidos con el mismo instrumento.
4. las correlaciones sean bajas entre las medidas de diferentes
constructos medidos con diferentes instrumentos.

Una tabla de resultados de uno de estos estudios se encuentra en Crocker &

Algina (p.234).

Estudio G (G Study)
Este es un estudio en el que con un mismo grupo de sujetos se mide el
mismo constructo pero con diferentes tipos de temes. Se espera que las
correlaciones entre las medidas de los diversos instrumentos sean altas.

75

14.7 Factores que afectan la validez

No es bueno concluir el recorrido sobre los diversos aspectos de la validez

de un cuestionario sin hacer un resumen apretado de aquellos factores
concretos que la afectan. Los que se presentan a continuacin no
solamente son concretos, sino que en la mayora de los casos tienen una
solucin o pueden experimentar una mejora con un poco ms de atencin
por parte de quienes construyen y administran el cuestionario. Algunos de
estos factores conciernen la construccin del cuestionario en s y otros la
administracin y asignacin de puntuaciones (si las hubiese).

Factores en el cuestionario
Instrucciones confusas
Vocabulario y sintaxis difcil
Ambigedad en las preguntas
Lmites de tiempo inadecuados
temes inadecuados a las especificaciones
temes mal construidos
temes mal ordenados
Cuestionario demasiado corto (no incluye una muestra adecuada del
contenido)
Muy pocos temes (Henerson, p.145)

Factores en la administracin
Condiciones fsicas o psicolgicas adversas.

Factores en las respuestas de los estudiantes

Interpretacin inadecuada de las preguntas debido a factores personales.
Disturbios emocionales
Tensin ante el cuestionario.

Factores en los cuestionarios de actitud

Pobre relacin entre actitudes y comportamiento (Henerson, p.145)
Deseo de agradar (Henerson, p.145)
Poco entendimiento de s mismo (Henerson, p.145)
Inters en sacar provecho de las respuestas (Henerson, p.145)

76