Selltiz Mtodos de la investigacin en las relaciones sociales. Cap. 5 Algunos problemas generales de medida.

La cualidad de la investigacin depende de los resultados de los procedimientos de medida empleados, por eso es necesario conocer en primer lugar que es lo que se quiere medir. Para asegurarnos datos relevantes, debemos saber que cuestiones queremos investigar; la especificacin de tales cuestiones requiere la consideracin del concepto de actitud. Podemos atribuirle a la actitud varios aspectos: importancia del objeto para la persona, el grado de diferencia de su opinin del objeto, su perspectiva temporal con relacin al mismo, etc. Habiendo especificado la definicin de actitud el investigador se hallara en disposicin de formular su problema de investigacin de una forma ms clara decidiendo en que aspectos desea centrar su atencin investigadora. Que se va a medir es un requisito previo a como va a ser medido. Un procedimiento de medida consiste en una tcnica de recogida de datos ms una serie de normas para la utilizacin de estos datos. El objeto de las diversas tcnicas de recogida de datos es el de obtener evidencia comprobada que sea significativa para las preguntas de investigacin que van a ser formuladas. Los datos pueden ser recogidos de muy diversas formas: por observacin de conducta, por cuestionarios o entrevistas, por tcnicas proyectivas, por el examen de informes existentes. La tcnica de recogida de datos y las normas para su utilizacin (para que sean tiles esos datos) deben ofrecer una informacin que no solamente sea significativa sino libre de errores sistemticos, es decir, debe producir una informacin vlida. Un buen procedimiento de medida debe tambin ser seguro, es decir, medidas independientes pero comparables del mismo objeto debera proporcionar resultados anlogos. Adems de ser vlido y seguro, un instrumento de medida debe ser capaz de hacer distinciones lo suficientemente finas para el propsito que sirve. Los instrumentos difieren en la especificidad o exactitud con que tratan de localizar la posicin de cualquier persona con respecto a las caractersticas que van a medirse. Los objeto de investigacin adems, a menudo piden que los procedimientos de recogida de datos nos permitan determinar cuanta gente difiere en una determinada caracterstica. La medida de una persona, objeto, acontecimiento, etc., en trminos de un atributo determinado presupone que la persona o el objeto pueden ser descritos adecuadamente en trminos de tal atributo. En los casos de preguntas sobre opiniones o actitudes, muchas personas pueden ser inducidas a dar respuestas en asuntos acerca de los cuales no tienen realmente opinin o actitud. Los resultados de tales

medidas no tienen significaron alguna o la tienen en muy escasa medida. No existe una solucin sencilla para esta dificultad. Variacin en puntuacin en los instrumentos de medida: Los resultados de la medida reflejan no solamente la caracterstica que es medida, sino tambin otros factores desconocidos que afectan a las caractersticas objeto de medida y al proceso de medida. As la variacin entre puntuaciones individuales con respecto al instrumento de medida administrado a un grupo de sujetos procede de un nmero de distintos factores contribuyentes. El problema bsico en la evaluacin de los resultados de cualquier medida es el de la definicin de lo que han de ser consideradas como verdaderas diferencias en la caracterstica que se esta midiendo y que ah de ser tenido como variaciones debidas a error en la medicin. Las posibles fuentes de diferencias en puntuacin en un grupo de personas son: Verdaderas diferencias en la caracterstica que se esta intentando medir: en la situacin ideal de medidas, todas las diferencias en puntuacin entre individuos serian debidas a sus diferencias en la caracterstica que se tiene que medir. Verdaderas diferencias en otras caractersticas relativamente estables del individuo que afectan su puntuacin: la puntuacin de los individuos en el grupo reflejaran no solamente las diferencias en las caractersticas que se esta midiendo, sino tambin las diferencias en otras caractersticas. Se ah demostrado que el numero de personas que aceptan o estn de acuerdo con una determinada afirmacin en un cuestionario esta altamente relacionada con el grado de deseo social de la posicin presentada en el tem. Las puntuaciones en un test de actitud pueden ser influidas no solamente por las actitudes individuales hacia el objeto en cuestin, sino tambin por el deseo de la persona que contesta a admitir que mantiene opiniones generalmente admitidas como impopulares. Diferencias debidas a factores personales transitorios: diversos factores personales (humor, salud, etc.) pueden variar incluso en un corto espacio de tiempo. El estado de la persona ejercera su influencia sobre las respuestas primordialmente a travs de la forma en que define su situacin de medida. Los instrumentos de medida difieren en el grado en que su aplicacin es afectada por factores personales pasajeros. Diferencias debidas a factores de situacin: las variaciones en la situacin en que la medida tiene lugar, juegan a menudo un importante papel contribuyendo a las diferencias en puntuacin entre un grupo de sujetos, el anonimato a la falta del mismo en la situacin de medida, la

presencia o la falta de ambiente de distensin, la seriedad o ligereza, las distracciones, etc., todo tiende a afectar las respuestas del sujeto. Diferencias debidas a variaciones en la administracin: los mtodos inadecuados y uniformes de administracin de un instrumento de medida pueden contribuir a las variaciones en puntuacin. Los propios realizadores de la entrevista pueden aadir preguntas, cambiar la forma de pregunta, alterar el orden de las mismas, omitir preguntas, etc., de tal forma que una entrevista no sea comparable con otra. Diferencias debidas al mtodo de muestreo de los tems: cualquier instrumento de medida afecta necesariamente a una sola muestra significativa de la caracterstica objeto de medida. Las clasificaciones basadas en muchas observaciones realizadas por muchos observadores son seguras. El aumento del nmero de preguntas o de la cantidad de material relevante sobre el que la puntuacin se basa, hace que la valoracin en puntuacin atribuible a estas causas se haga menor. Diferencias debidas a la falta de claridad del instrumento de medida: si se da el caso de que los sujetos interpreten de modo distinto las preguntas del instrumento de medida, las variaciones en sus respuestas pueden reflejar estas diferencias en interpretacin ms que las diferencias verdaderas en la caracterstica que se intenta medir. Diferencias debidas a factores mecnicos: circunstancias tales como la rotura de lpices o lapiceras, respuestas colocadas en casilleros distinto, instrucciones poco legibles, falta de espacio para anotar enteramente las respuestas, juegan su papel dificultando un funcionamiento mas efectivo del instrumento de medida. Diferencias debidas a factores en el anlisis: con frecuencia se desprecia la posibilidad de errores en los procesos de puntuacin, tabulacin, anlisis, etc. Estos procesos pueden ser fcilmente comprobados, pero, caso de no hacerlo, pueden introducirse en los datos grandes diferentas en puntuacin debidas a tales errores. Estos son algunos de los principales factores que influyen en los resultados obtenidos a travs de cualquier proceso de medida. Es tradicional clasificar a los errores en: constantes (sistemticos o de sesgo) y de azar (o variables). Un error constante es el introducido en la medida por algn factor que sistemticamente afecta a la caracterstica objeto de medida o al propio proceso de medida. Cuando un factor pasa desapercibido, sus efectos no son tomados en consideracin a la hora de evaluar los resultados de la medida. El error de azar es debido a aquellos aspectos

pasajeros de la persona, de la situacin de medida, del procedimiento de medida, etc., que parecan variar de una medicin a otra, aunque la caracterstica que se intenta medir. La estimacin o validez se hallan afectadas por ambos tipos de errores; la estimacin del grado de confiabilidad solo tiene en cuenta (generalmente) los errores de azar. La validez de las medidas: la validez de un instrumento de medida puede ser definida como el grado en que las diferencias en puntuacin reflejan verdaderas diferencias entre individuos, grupos, o situaciones en la caracterstica que se pretende medir, o diferencias ciertas en el mismo individuo, grupo o situacin de una ocasin a otra, ms que los errores constantes o de azar. Algunos de los factores hasta aqu tratados como contribuyentes a las variaciones entre puntuaciones individuales pueden conducir a errores constantes. Por lo general, no sabemos la verdadera posicin de una persona con respecto a la variable que tratamos de medir, no hay una forma directa de determinar la validez de la medida. A la falta de un conocimiento directo de la verdadera posicin del individuo con respecto a la variable que se esta midiendo, la validez de un instrumentos se mide por el grado en que sus resultados son compatibles con otras evidencias significativas. Que sea evidencia significativa depende de la naturaleza y propsito del instrumento de medida. Hay una diferencia en el tipo de evidencia que se considera significativa para la estimacin de la validez. En el caso de los tests cuyo objetivo es proporcionar una base para las predicciones del en trminos de algn criterio determinado, la evidencia sobre la posicin del individuo con respecto a tal criterio provee de una base de estimacin de la validez del test. La investigacin de la validez en estos trminos puede ser descrita como PRAGMTICA; la validez es juzgada en trminos de la exactitud de las predicciones hechas sobre la base de los resultados de test. Los instrumentos designados para medir caractersticas que no conducen a predicciones especficas no pueden ser evaluados tan directamente. Debe buscarse otra evidencia para proporcionar una base para juzgar si el instrumento mide adecuadamente o no el concepto que se intenta medir. Este procedimiento menos directo ah sido descrito como validez CONSTRUCTIVA. Validez Pragmtica: un test que ayude al investigador a distinguir a los individuos que difieren en su status presente se dice que tiene validez CONCURRENTE. La aptitud de un test para distinguir a los individuos que diferirn en el futuro es conocido con el nombre de validez PREDICTIVA. En ambos casos, el intento de validacin es PRAGMTICO. En el intento pragmtico de la validez, el inters se centra en la utilidad del instrumento de medida como indicativo o previsor de alguna otra conducta o caracterstica de la persona. Lo que es esencial en este intento de validacin es que

haya un criterio y razonable con el que las puntuaciones del instrumento de medida puedan ser comparadas. En el plano ideal, debera ser perfectamente vlido y seguro el criterio por el que se comparan las puntuaciones del instrumento de medida. En la prctica, el investigador halla con frecuencia que no existe ningn criterio totalmente comprobado; selecciona el que le parece ms adecuado y trata de tener en cuenta sus limitaciones y, si es posible, complementario con criterios adicionales. Generalmente, la medicin conjunta de las puntuaciones por dos o ms observadores que estn puntuando a los mismos sujetos tiende a aumentar la seguridad y la validez. Validez Constructiva: muchas de las medidas utilizadas en las ciencias sociales operan con construcciones. Las medidas de inteligencia, de actitudes, de autoritarismo, etc., de ansiedad por ejemplo, son de este tipo. Las definiciones de tales construcciones consisten en partes de series e proposiciones acerca de sus relaciones con otras variables otras construcciones o comportamientos directamente observables. Las predicciones son de una naturaleza tal, y sirven una funcin en cierto modo distinta, de aquellas supuestas en la determinacin de la validez pragmtica. En el caso de la validacin pragmtica, la capacidad de la medida de distinguir en trminos de un solo criterio hacia el cual se diriga es el test de su validez; en el caso de la validacin de concepto, todas las predicciones que se haran sobre la base de la serie de proposiciones en las que el concepto esta supuesto (o el mayor numero posible de ellas) entra en la consideracin de la validez. El examen de validez de concepto supone la validacin no solamente del instrumento de medida, sino de la teora que la justifica. Si las predicciones no se confirman, el investigador puede no tener una gua clara de si el fracaso se halla en el instrumento de medida o en la teora. Investigadores (Campbell y Fiske) han sugerido que la investigacin de la validez conceptual puede ser hecha con ms rigor aumentando la atencin hacia la adecuacin de la medida del concepto en cuestin antes de hacerlo con sus relaciones con otras variables. Ambos autores proponen que las dos clases de evidencia acerca de la medida son necesarias antes que se justifique con el examen de las relaciones con otras variables: 1. la evidencia de que distintas medias del concepto llevan a resultados semejantes; y 2. la evidencia de que el concepto tal como ah sido medido puede ser diferenciado de otros conceptos. Con objeto de asegurar tal evidencia, debe medirse el concepto en cuestin por dos o ms procedimientos. La validez del concepto no puede ser comprobada adecuadamente por un solo procedimiento, la evidencia obtenida de un nmero vario de fuentes es significativa: la correlacin con otros tests y

con otros comportamientos, la consistencia interna de las preguntas, la estabilidad a travs del tiempo. Cuanto mayor sea el nmero de relaciones comprobadas y confirmadas, mayor ser el soporte para el instrumento de medida y para la teora que lo sostiene. Relaciones entre los distintos ensayos de validacin: los ensayos pragmticos y e concepto para la validacin no son mutuamente excluyentes. La estimacin de la validez pragmtica puede ser incluida en la evaluacin de la validez conceptual. Por otro lado, aunque muchas medidas presentadas como poseedoras de validez pragmtica han sido alcanzadas sobre la base simple del mtodo de ensayo-error, no hay motivo para no investigar porque dichas medidas son tiles. Tales investigaciones pueden llevar a la demostracin de los conceptos y, eventualmente, a la validacin de los conceptos de tales medias o al desarrollo de medias alternativas que pueden tener validez pragmtica y conceptual a la vez La confiabilidad en las medias: las puntuaciones de los instrumentos de medida reflejan normalmente no solamente la caracterstica que el instrumento trata de medir, sino una variedad de errores constantes y aleatorios. La evaluacin de confiabilidad de cualquier procedimiento de medida consiste en la determinacin de en que medida la variacin de puntuaciones entre los individuos es debida a inconsistencias en la medida. Si un instrumento es vlido, refleja en primer lugar la caracterstica que se supone medir, con un mnimo de distorsin por otros factores, ya sean constantes o transitorios; y as habra escasos motivos para investigar su fiabilidad, es decir, el grado en que se halla influido por factores transitorios. Un investigador se halla raras veces en situacin de saber de antemano que su medida tiene una validez satisfactoria. Raramente ocurre que un instrumento pueda ser presentado como poseedor de una tan alta validez que no sea preciso un perfeccionamiento. Mtodos para la determinacin de la confiabilidad de una medida: la evaluacin del grado de confiabilidad del instrumento de medida requiere una determinacin de la consistencia de las medidas independiente, si bien comparables, del mismo individuo, grupo o situacin. Es decir, seria deseable realizar muchas medidas idnticas de los mismos individuos, bajo las mismas condiciones, como base para la estimacin de los errores aleatorios de medida. Puede estimarse la confiabilidad sobre la base de tan solo dos medias para cada individuo en una muestra de la poblacin sobre la que el instrumento de medida ser utilizado. Distintos mtodos de estimacin de la confiabilidad se centran en diferentes fuentes de variacin de puntuacin. Algunos se ocupan de la estabilidad de la posicin de los individuos en el tiempo que va de una administracin de la

medida a otra, en otras palabras, atienden primordialmente a las fluctuaciones de la caracterstica que se trata de medir o en el cambio personal pasajero o bien en factores ambientales. Utilizaremos el trmino de coeficiente de estabilidad para referirnos a este tipo de estimacin Estabilidad: el coeficiente de estabilidad indica el grado en que la medida refleja las diferencias en caractersticas relativamente persistentes entre individuos y que afectan a la medida. En el grado en que el coeficiente se halla por debajo del valor mximo posible, se supone, bien que existen fluctuaciones especificas en la caracterizacin objeto de medida, bien que la medida se halla sujeta a errores de azar debidos a factores personales pasajeros o a otras condiciones que han cambiado del tiempo de una administracin al de la prxima. El coeficiente de estabilidad no toma en consideracin el muestreo de preguntas como una fuente de inseguridad. Si el personal encargado de administrar y puntuar el test es el mismo en las aplicaciones repetidas, el coeficiente de estabilidad no tiene en cuenta posibles variaciones en la utilizacin del instrumento por distintos administradores o analistas. Equivalencia: el coeficiente equivalencia indica el grado en que concuerdan las medidas de los mismos individuos al mismo tiempo. Las mediciones puede ser realizadas por distintos observadores utilizando el mismo instrumento, o por distintos instrumentos que tratan de medir la misma caracterstica. En la medida en que el coeficiente sea menor que el mximo valor posible se supone, en el caso de distintos observadores utilizando el mismo instrumento, que existen variaciones en la utilizacin del instrumento por distintos observadores. En el caso de distintos instrumentos elaborados con un nmero determinado de tems, se supone que los tems no son medidas equivalentes de la misma caracterstica o que existen errores de azar en las respuestas a las preguntas o ambas circunstancias a la vez. En cualquier caso, el coeficiente de equivalencia no tiene en cuenta la inestabilidad con el peso del tiempo como fuente de inseguridad. Estabilidad y equivalencia: mtodo de procedimientos de medida alternados administrados en distintos tiempos es un intento de tener en cuenta los efectos combinados de estas distintas fuentes de inseguridad. Confiabilidad y validez: es el grado en que las puntuaciones obtenidas por la aplicacin de un instrumento de medida estn influidas por errores de azar, ya no son ndices exactos de la posicin de un individuo en trmino de la caracterstica que se intenta medir. En otras palabras, en el grado en que una medida carece de confiabilidad, se halla falta de validez. Debe anotarse una excepcin; cuando la estimacin de confiabilidad no rebaja necesariamente la validez, puede

llegar incluso a incrementar la validez Descubrimientos de relaciones entre variables: los errores aleatorios en la medicin de una variable, o sea la inseguridad del instrumento de medida, reduce claramente la posibilidad de descubrir en que grado hala relacionada una variable con otra. Si queremos saber cuan estrecha es la relacin entra las dos variables, es necesario poseer instrumentos altamente seguros. Distincin entre individuos y grupos: todos los mtodos de confiabilidad consisten bsicamente en la determinacin de si las medidas en distintos momentos y por distintos protocolos del instrumento sitan a los individuos en la misma situacin en relacin con la totalidad del grupo que ah sufrido las pruebas. Cuando se produce la estimacin de seguridad se obtienen varias consecuencias: la primera es que el grado de seguridad de un procedimiento de medida es siempre contingente al grado de uniformidad de la caracterstica dada dentro de la poblacin sujeta a la medida. En segundo lugar, la seguridad en alto grado es mas importante si deseamos hacer distinciones sutiles entre individuos que si simplemente deseamos la identificacin de los individuos situados en los extremos. En tercer lugar. La estimacin de la confiabilidad supone la confiabilidad media de puntuaciones de los individuos en un grupo. No proporcionan una estimacin de los distintos grados de la confiabilidad de las puntuaciones de cada individuo dentro del grupo. Formas de aumentar la confiabilidad: la confiabilidad de los procedimientos de medida puede con frecuencia ser aumentada tomando las precauciones debidas con relacin a las fuentes de error. As, las condiciones bajo las cuales se aplica el procedimiento puede ser standardizado en alto grado en ocasiones, atendiendo a la iluminacin, grado de ruidos, temperatura, presencia de observaciones, etc., si tales factores son considerados significativos. Cuanto mayor sea el control deseado sobre estas fuentes de inseguridad, mayores son los recursos necesarios para disponer. Existen dos mtodos muy potentes para aumentar la confiabilidad de un procedimiento de medida, que suponen la seleccin y acumulacin de operaciones de medida ms bien que cambios en las condiciones bajo las cuales se efectan las operaciones. Estos mtodos pueden ser ilustrados ms claramente cuando la operacin de medida consiste en la administracin a un sujeto de un determinado tems de un test que supera o fracasa. El primer mtodo para aumentar la seguridad es aadir operaciones de medida del mismo tipo de las utilizadas al principio, y asignar al sujeto una puntuacin basada en la suma de los resultados de todas las operaciones de medida. En la situacin de aplicacin del test significa el aumento de la longitud del test. Un mtodo alternativo

(segundo mtodo) de aumento de confiabilidad comienza por suponer que existen diferencias apreciables en la correlacin de los tems entre si. El problema consiste entonces en seleccionar de entre todos los tems posiblemente disponibles u operaciones de medida aquellos que guardan una correlacin mayor entre si, y aumentar la confiabilidad del procedimiento de medida en conjunto mediante el aumento de su consistencia interna. Este ultimo mtodo a sido raramente utilizado fuera del campo de los test psicologicos.