Utilidad de Los Métodos de Pretest para La Evaluación de Los Cuestionarios en La Investigación Mediante Encuesta

TESIS DOCTORAL
Utilidad de los Métodos de Pretest para la Evaluación de los Cuestionarios en la

Investigación mediante Encuesta
Autor: Miguel Castillo Díaz

Director: Dr. José Luís Padilla García
Co-directora: Dra. Juana Gómez Benito
Tesis presentada en el Programa de Doctorado:

“Análisis Psicológico de los Problemas Sociales”
Investigación desarrollada gracias a la concesión de una beca predoctoral de Formación del

Profesorado Universitario por el Ministerio de Educación y Ciencia.
REFERENCIA: AP2005-4018
Departamento de Psicología Social y Metodología de las Ciencias del Comportamiento.

UNIVERSIDAD DE GRANADA
Granada, 2009.
Editor: Editorial de la Universidad de Granada
Autor: Miguel Castillo Díaz
D.L.: GR 1489-2010
ISBN: 978-84-693-0728-1
AGRADECIMIENTOS
Recuerdo perfectamente la decisión que tomé hace ya muchos años, incluso recuerdo
el momento y el lugar. Tras un día de clase en el segundo curso de la licenciatura de
Psicología, bajaba por la Calle Doctor Oloriz, cuando me dí cuenta que la carrera no iba a ser
suficiente para adquirir todos los conocimientos que yo quería tener sobre la psicología. Allí,
hace unos 9 años, decidí que después de terminar la licenciatura en Psicología, seguiría
estudiando para obtener el título de Doctor.
Tras esa decisión se sucedieron una serie de acontecimientos que facilitaron el haber
llegado hoy hasta aquí. El acontecimiento más importante fue cuando José Luís apareció en
mi vida dando clase de Psicometría y Elaboración de Test. Jamás pude imaginar que aquel
profesor, al que los alumnos rápidamente le sacamos un “parecido razonable” con Javier
Cámara, iba a convertirse en una persona tan importante en los siguientes años. José Luís me
propuso colaborar, por aquel entonces, en el informe de autoevaluación de la Facultad de
Psicología. Aquella colaboración marcó el inicio de mi interés por la investigación. Después,
conseguí unas tres becas durante la carrera que José Luís me tutorizó y que fueron
alimentando ese gusanillo por los estudios y la investigación. Tras todo esto llegaron más
colaboraciones, estudios, congresos, las tutorías en la UNED, la beca predoctoral, estancias,
las clases en la Universidad de Granada, etc. Quiero agradecerte José Luís la dedicación tan
grande que has tenido conmigo, el interés que siempre has mostrado en mi formación y en mi
evolución y sobre todo, te quiero agradecer la enorme confianza que siempre has depositado
en mí.
Durante todo este tiempo he estado trabajando con Andrés, Alba e Isa, a los que
también quiero agradecer su compañía y el aporte que cada uno ha hecho a la tesis. Sobre
todo a Isa, prácticamente hemos sido los únicos becarios del área de metodología y hemos
compartido muchas horas de trabajo, entrevistas, viajes interminables, buenos desayunos,
entregas de proyectos el último día a última hora, reuniones (por decir algo) indescriptibles,
etc., como diría el “matas”: “en menudas plazas hemos toreado”. Muchas gracias por haber
estado ahí Isabelita, y por tu gran amistad.
3
He tenido una base, guía y apoyo incondicional en mi familia. Quiero agradecerles,
sobre a todo a mis padres, el haber estado ahí para escucharme y haberme motivado a seguir,
a seguir y a seguir. Muchas gracias por todo lo que me habeis dado.
Bueno, queda una persona a la que tengo muchísimo que agradecer, aunque ella diría
que no, jeje. Cansado de andar entre vibraciones bajas, crucé la sierra de Parapanda y fui a
buscarla. La busqué porque quería dar luz a mi vida y ella me dio el mejor regalo del mundo.
Se convirtió en mi Imo y consiguió que me encontrara conmigo mismo. Pilarcilla, gracias por
tu alegría, tu transparencia, tu inocencia, tu amor, tu compromiso, tu autenticidad y por haber
estado conmigo en todos y cada uno de los momentos de la tesis.
4
Índice de Contenidos
INTRODUCCIÓN ..................................................................................................................... 8
CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES ..................................................... 18
1. Introducción ................................................................................................................. 19
2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios .................................. 19
3. Origen del Movimiento: Cognitive Aspects of Survey Methodology.......................... 22
4. El Modelo del Proceso Pregunta-Respuesta ................................................................. 24
5. Aplicación del Movimiento CASM.............................................................................. 29
6. Referencias ................................................................................................................... 30
CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE PRETEST DE
CUESTIONARIOS .................................................................................................................. 36
1. Introducción ................................................................................................................. 37
2. Latencia de Respuesta .................................................................................................. 38
3. Respondent Debriefings ............................................................................................... 39
4. Análisis de Viñetas ....................................................................................................... 39
5. Experimentos ................................................................................................................ 40
6. Codificación del Comportamiento ............................................................................... 41
6.1. Esquemas de Codificación ..................................................................................... 42
6.2. Análisis de los Datos .............................................................................................. 48
7. La Entrevista Cognitiva ................................................................................................ 49
7.1. La Validez del Informe Verbal ............................................................................... 50
7.2. Paradigmas de Aplicación ..................................................................................... 53
7.3. Contextualización y Procedimiento ....................................................................... 59
7.4. Análisis de los Datos .............................................................................................. 63
7.5. Errores en los Resultados ...................................................................................... 68
7.6. Limitaciones de la Entrevista Cognitiva ................................................................ 71
8. Referencias ................................................................................................................... 72
CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE PRETEST DE
CUESTIONARIOS .................................................................................................................. 80
1. Introducción ................................................................................................................. 81
2. Estudio 1: Búsqueda Indexada ..................................................................................... 82
2.1. Método .................................................................................................................... 82
2.2. Resultados .............................................................................................................. 84
2.3. Discusión ................................................................................................................ 88
3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida ................................................... 88
3.1. Método .................................................................................................................... 89
3.2. Resultados .............................................................................................................. 90
3.3. Discusión ................................................................................................................ 94
4. Conclusiones ................................................................................................................ 95
5. Referencias ................................................................................................................... 96
CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES DIRECTOS VS.
INFORMANTES PROXY ....................................................................................................... 98
1. Introducción ................................................................................................................. 99
2. Método ........................................................................................................................ 102
2.1. Participantes ........................................................................................................ 102
2.2. Materiales............................................................................................................. 103
2.3. Procedimiento ...................................................................................................... 106
2.4. Esquema de Análisis de las Entrevistas Cognitivas ............................................. 107
3. Resultados ................................................................................................................... 109
5
3.1. Convergencia de las respuestas a las preguntas target ....................................... 109
3.2. Convergencia de los procesos de respuesta ......................................................... 110
3.3. Identificación de las diferencias en los procesos de respuesta ............................ 112
3.4. Procesos de respuesta en función del tipo de pregunta ....................................... 115
3. Discusión .................................................................................................................... 117
5. Referencias .................................................................................................................. 119
6. Anexo .......................................................................................................................... 123
CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA PSICOLÓGICA ........... 136
1. Introducción ............................................................................................................... 137
2. Método ........................................................................................................................ 140
2.1. Participantes ........................................................................................................ 140
2.1. Materiales........................................................................................................... 142
2.2. Procedimiento .................................................................................................... 143
2.3. Esquemas de Análisis ......................................................................................... 144
3. Resultados .................................................................................................................. 147
3.1. Codificación del Comportamiento ..................................................................... 148
3.2. Entrevista Cognitiva........................................................................................... 150
4. Discusión .................................................................................................................... 154
5. Referencias .................................................................................................................. 157
6. Anexo .......................................................................................................................... 160
CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN .......................... 164
1. Conclusiones Generales ............................................................................................. 165
2. Limitaciones ............................................................................................................... 168
2.1. Estudios bibliométricos ........................................................................................ 169
2.2. Procesos de respuesta informantes proxy vs. informantes directos ..................... 170
2.3. Errores de respuesta en una escala psicológica .................................................. 172
3. Futuras líneas de investigación .................................................................................. 175
6
7
INTRODUCCIÓN
8
Introducción
Ya seamos investigadores sociales, geólogos o enfermeros, aplicando la encuesta de

población activa, midiendo la dureza de los minerales o la tensión arterial del paciente,
debemos asegurar que los instrumentos de medida que estamos utilizando sean válidos,
fiables, sensibles y carentes de sesgo. Al igual que el enfermero es capaz de utilizar el
esfingomanómetro para acceder a una medida válida de la tensión arterial del paciente, o el
geólogo utiliza la escala de Mohs para comprobar sin sesgo alguno la dureza de un mineral
frente a otro, el investigador social debe obtener un índice de población activa válido y fiable.
En otras palabras, el investigador social debe asegurar que: (a) las preguntas de la
encuesta miden las conductas o conceptos que realmente él quiere medir; (b) los datos
obtenidos con la encuesta representan los valores “verdaderos” de esas variables y carecen de
algún tipo de variabilidad no debida a dichos valores “verdaderos”; (c) las preguntas de la
encuesta son lo suficientemente sensibles como para medir diferencias o cambios reales en la
persona; y (d) su estudio cubre todas las dimensiones que implica el objeto de medición
(Fowler, 1995).
Durante la primera clase de una asignatura del área de metodología en el grado de

Psicología, pedí a cinco alumnos que estaban sentados en la primera fila del aula que
contestaran a la siguiente pregunta: “¿Está satisfecho con la ayuda que recibe de su familia
cuando tiene un problema? Casi Nunca, A Veces o Casi Siempre”. Esta pregunta fue incluida
en una encuesta de salud que se realizó nivel nacional en el año 2007. Con el fin de ilustrar a
los alumnos una de las problemáticas de la medición por encuesta, a continuación les pregunté
qué habían entendido por la palabra “familia”; es decir, les pedí que me explicaran qué habían
entendido ellos por “familia” y a qué personas incluían en la misma. La variación en el
concepto de familia entre estos cinco alumnos fue considerable. Dos estudiantes afirmaron
que su familia estaba compuesta por las personas que vivían en su casa; estos eran sus padres
y sus hermanos. Otro alumno expuso que su familia eran las personas que vivían en su casa, y
además sus abuelos, sus tíos y primos maternos con los que mantenía un contacto frecuente.
Un cuarto alumno explicó que su familia solamente se componía de su madre. El quinto
incluyó en su concepto de familia a sus amigos, excluyendo a cualquier pariente (“para mí, mi
familia son mis amigos…lo que yo considero familia son tres amigos que siempre estamos
juntos”). Imagínese el lector que los cinco alumnos hubieran contestado, que de hecho lo
hicieron, la misma respuesta: “casi siempre”, ¿sería lícito comparar estas cinco respuestas o
establecerlas al mismo nivel, dadas las diferentes interpretaciones que cada alumno hace del
9
Introducción
concepto “familia”? ¿Estaría esta hipotética medición por encuesta cargada de error? Esta
situación artificial creada en clase ejemplifica una de las fuentes de error con las que
históricamente ha tenido que lidiar la investigación por encuesta. A continuación, se expone
de forma ampliada las fuentes de error en la medición por encuesta por su relevancia en los
objetivos y contenidos de la tesis.
Fuentes de error en las encuestas
Antes de comenzar a tratar los errores en las encuestas, es necesario, en primer lugar,
situar a la encuesta dentro del contexto de investigación científica y social. El uso de la
encuesta ha sido predominante desde la segunda mitad del siglo XX, tanto en las ciencias
sociales, como en el campo de la salud y la economía, e incluso en las disciplinas
representadas por la ciencia “pura” (Converse & Presser, 1986).
El “supuesto” subyacente a toda la historia y evolución de la investigación por

encuesta ha sido la precisión de la información que podemos obtener simplemente
preguntando a una muestra de personas (encuestados) y, posteriormente, usar esta
información para estimar en qué medida se puede generalizar a la población (Stone, Turkkan,
& Bachrach, 1999). La pregunta es obvia, ¿podemos obtener información útil simplemente
preguntando por ella? No obstante, la respuesta no es evidente, y en algunos puntos de la
historia ha sido científicamente puesta en tela de juicio (Willis, 2005).
La primera clasificación de las fuentes de error en las encuestas, dividió a las mismas
en errores de muestreo y errores de no muestreo basándose en los diferentes usos que se
hacía de los datos de las encuestas (Groves, 1989). Tal y como especificó Groves (1989),
había dos grupos fundamentales de usuarios de los datos de las encuestas, estos eran los
describers y los modelers. Por un lado, los describers estaban interesados en conocer alguna
propiedad de un conjunto específico de personas (p. ej., la tasa de desempleo de una
población en Marzo de 1989). Por otro lado, la motivación de los modelers en el uso de la
encuesta venía determinada por las hipótesis propuestas sobre las causas de ciertos fenómenos
sociales (p. ej., ¿poseer un amplio repertorio de habilidades reduce el riesgo de desempleo?).
En base a estos dos diferentes propósitos en el uso de los datos de las encuestas, los dos
grupos de usuarios se interesaron por distintas debilidades y fortalezas de la metodología de
10
Introducción
encuesta. Los describers focalizaron sus esfuerzos en comprobar si la muestra que se utilizaba
en la encuesta era representativa de la población objetivo de la que querían extraer ciertas
características, mientras que los modelers se enfocaron en si las medidas de la encuesta
podían captar los conceptos implicados en sus teorías. De este modo, un grupo de
profesionales de la investigación por encuesta, formado principalmente por estadísticos,
abordó los errores de muestreo buscando obtener una mayor representatividad de la muestra
utilizada, por ejemplo, aumentando el tamaño de la misma, ajustando las probabilidades de
selección de diferentes grupos o utilizando cluster con el fin de aumentar la eficiencia del
muestreo. Otro grupo de profesionales, en este caso formado principalmente por teóricos de
las ciencias sociales o del comportamiento humano, investigaron los errores de no muestreo.
Por ejemplo, buscando la mejor forma de redactar las preguntas de las encuestas para eliminar
ciertos problemas de medición, contactando con las personas seleccionadas para aumentar la
cooperación, y reducir la no respuesta, o entrenando a los encuestadores para obtener
muestras de conducta consistentes de los encuestados.
Basándose en esta primera división de Groves sobre las fuentes de error en los datos
de las encuestas, se han desarrollado diferentes clasificaciones. En este caso, y partiendo de
una amplia aproximación, se va a presentar la clasificación acuñada por Willis (2005) que
contempla la perspectiva de un estadístico (Groves, 1991) y de un diseñador de encuestas
(Oppenheim, 1966). Esta clasificación divide los errores asociados a los procesos de encuesta
en siete categorías principales. La Figura I.1 muestra dicha clasificación. Los diseñadores de
cuestionarios normalmente no se dedican a los errores de muestreo o los errores de
cobertura, siendo estos problemas generalmente tratados por estadísticos. Además, aunque se
puede (y debería) considerar por qué las personas no quieren participar en las encuestas o por
qué un ítem se deja sin contestar, los diseñadores de cuestionarios apenas abordan la
problemática de los errores de no respuesta. De forma similar, tampoco se esfuerzan en
comprobar exactamente qué es lo que se está haciendo con los datos después de ser recogidos,
con la importante excepción de que sí asesoran sobre cómo pueden aparecer los errores de
interpretación. Los diseñadores de cuestionarios principalmente enfocan sus esfuerzos, en
primer lugar, en el estudio de los errores de respuesta y, en segundo lugar, en los errores del
entrevistador.
11
Introducción
Figura I. 1. Principales Fuentes de Error en las Encuestas

1. Errores de no-observación: ¿Estamos encuestando a las personas correctas?
a. Error de Cobertura: Ciertas personas o unidades pueden no ser incluidas en la
encuesta. Por ejemplo, las encuestas telefónicas no cubren a las personas que no
tienen teléfono.
b. Error de Muestreo: Debido a que se realiza una selección de la muestra en lugar
de preguntar a toda la población, podríamos seleccionar a individuos que no son
representativos de la población.
c. Errores de No Respuesta: Si alguna persona que pertenece a la muestra no
contesta la encuesta (porque no sea localizada o renuncia a participar, etc.) o
alguna o pregunta, esta situación produce un sesgo.
2. Errores de observación: ¿Estamos obteniendo la respuesta correcta?
a. Error del Entrevistador: Los entrevistadores pueden leer de forma incorrecta la
pregunta, cometer errores en el registro de la respuesta, etc.
b. Error de Respuesta: Las características de las preguntas y el procesamiento que
lleva a cabo el encuestado de dichas preguntas pueden llevar a respuestas
incorrectas.
3. Errores de post-observación: ¿Estamos tratando de forma correcta los datos?
a. Error de Procesamiento: Los datos pueden ser analizados o procesados de
forma incorrecta.
b. Error de Interpretación: ¿Se llevan a cabo inferencias adecuadas basadas en los
resultados obtenidos?
Fuente: Willis (2005)
Un error de respuesta, a simple vista, es aquel que representa la discrepancia entre una
teórica puntuación “verdadera” y la respuesta que el encuestado ofrece (p. ej., si durante el
último año ha ido al médico de familia cinco veces y sólo dice que ha ido tres) (Willis, 2005).
Estos problemas, debidos a ciertas características incluidas en el texto de las preguntas de la
encuesta y al procesamiento que cada participante realiza de dicha pregunta, son los que
estaban ocurriendo en el ejemplo utilizado al comienzo de la introducción sobre la
interpretación del concepto de “familia”. En ese ejemplo cuatro de los cinco alumnos estaban
realizando una interpretación distinta de un concepto clave (familia) en el texto de la
pregunta. De este modo, el valor “verdadero” que se pretende extraer de cada alumno en la
variable a medir (apoyo familiar) sería difícilmente comparable con el resto. Este tipo de error
12
Introducción
denominado como “errores de respuesta”, también ha sido tratado desde otras disciplinas
comunes, por ejemplo, desde la Psicometría. La concepción del “error de respuesta”, que
llevan a cabo los profesionales de la investigación por encuesta, posee un claro paralelismo
con la definición más común de “error de medida” en Psicometría. Esa necesidad de acceso a
los errores de respuesta y eliminación de los mismos con el fin de obtener los niveles
“verdaderos” de los participantes en las variables a medir en la investigación social, se
corresponde claramente con la necesidad de acceder a la clásica puntuación verdadera que el
participante posee de un atributo psicológico (Guilford, 1954). Con ciertos matices, se puede
establecer que estos errores de respuesta presentados en la Figura I. 1 se corresponden con los
errores de medida establecidos por la Teoría Clásica de Test en la medición psicológica.
Los errores de respuesta con frecuencia se pasan por alto ya que son difícilmente
cuantificables (Groves, 1991). Por ejemplo, si los resultados de una encuesta aparecen en
algún medio de comunicación se suelen establecer afirmaciones, tales como: “el nivel de error
general está alrededor del 3%”. Sin embargo, este nivel de “error general” es realmente una
medida del error de muestreo. Los niveles de otras fuentes de error, principalmente de los
errores de respuesta, son desconocidos y podrían tener tales dimensiones que incluso llegarían
a absorber por completo el error debido a una equivocada selección de la muestra.
Hay una amplia variedad de razones acerca de por qué las preguntas de los
cuestionarios producen errores de respuesta. Existe la posibilidad de que los encuestados no
tengan la información que se les pide, que no puedan recordarla, que no quieran hablar sobre
esta temática, que estén malinterpretando ciertos conceptos de la pregunta o la pregunta por
completo y ofrezcan respuestas erróneas, etc.
Acceder a los errores de respuesta y evitarlos es básico para la utilización de las

encuestas y para la calidad de sus resultados, ya que si la información que ofrece el
encuestado no se ajusta a los niveles “verdaderos” que dicho encuestado posee en las
variables a medir, todos los esfuerzos enfocados a seleccionar una muestra representativa, a
encuestar a todos los individuos de dicha muestra, a que todas las preguntas de los
cuestionarios sean cubiertas, a que los datos se procesen de forma correcta y se apliquen los
mejores métodos de análisis… estarían carentes de utilidad y de valor alguno. De acuerdo con
Willis (2005): “los errores de respuesta son el mayor impedimento para la calidad de los
resultados de la encuesta” y continúa con que “el diseño de cuestionarios, que estén lo
13
Introducción
suficientemente libres de este tipo de error, conlleva un proceso complejo que requiere del uso
de principios sistemáticos tanto para el diseño del cuestionario como para su evaluación”
(p.15).
Objetivo y Estructura
En base a todo lo anteriormente expuesto, el objetivo general de la tesis es mostrar

cómo se puede acceder, identificar y, por tanto, reducir los errores de respuesta mediante los
métodos de pretest de cuestionarios. Se expondrá la utilidad de estos métodos para optimizar:
a) los datos extraídos de los cuestionarios usados en las encuestas, y b) los datos extraídos de
las escalas psicológicas usadas en las encuestas.
La tesis se estructura en cinco capítulos, dos primeros de contenido teórico y tres

restantes de contenido empírico. La estructura es la siguiente:
1. Capítulo I. Antecedentes: El Capítulo I tiene como objetivos: introducir los

antecedentes que dieron origen al desarrollo de los métodos de pretest e
introducir el marco teórico subyacente a los métodos de pretest cognitivos.
2. Capítulo II. Descripción de los métodos: Este capítulo muestra al lector una
amplia revisión de los distintos métodos de pretest de cuestionarios,
centrándose en aquellos utilizados en las investigaciones que componen la
tesis, concretamente, en la entrevista cognitiva y en la codificación del
comportamiento. En otras palabras, este segundo capítulo pretende exponer
una visión general de los métodos de pretest y una detallada descripción de la
entrevista cognitiva y la codificación del comportamiento.
3. Capítulo III. Estado actual de los métodos de pretest cognitivos: Esta

primera investigación se ha situado como punto de partida y conexión entre la
primera parte teórica y la segunda parte empírica de la tesis. El capítulo trata
sobre el estado actual de los métodos de pretest cognitivo. Como por ejemplo,
qué cantidad de profesionales están implicados en el área y dónde trabajan
dichos profesionales, cuáles son los principales centros de producción de
14
Introducción
dichos métodos, cuál ha sido su evolución temporal, qué patrones de

colaboración existe entre los distintos profesionales, etc. Este conocimiento
será de gran ayuda, tanto a la hora de contextualizar el uso de los métodos de
pretest cognitivos, como para interpretar todas las circunstancias que rodean al
uso, aplicación y resultados de estos métodos.
4. Capítulo IV. Procesos de respuesta de informantes directos vs informantes

proxy: El Capítulo IV ilustra una aplicación de la entrevista cognitiva para
optimizar los datos obtenidos por las encuestas que utilizan informantes proxy
e informantes directos. Dicho capítulo muestra cómo a través de la entrevista
cognitiva se puede obtener información sobre las posibles diferencias en los
procesos de respuesta que llevan a cabo informantes directos e informantes
proxy y, con ello, arrojar luz a la pregunta sobre cómo se podría evitar que los
informantes proxy ofrezcan respuestas distintas de las que darían los
informantes directos, reduciendo con ello los potenciales errores de respuesta
presentes en las encuestas que ambos tipos de informantes.
5. Capítulo V. Errores de respuesta en las escalas psicológicas incluidas en

las encuestas: Este estudio trata sobre el uso de la entrevista cognitiva y la
codificación del comportamiento para evaluar la información aportada por una
escala psicológica incluida en una encuesta de salud. El Capítulo V evidencia
cómo estos métodos de pretest se pueden aplicar no sólo para acceder a los
errores de respuesta de los cuestionarios de las encuestas, sino también para
acceder a dichos errores en los datos de las escalas psicológicas insertadas en
las encuestas. Además, se mostrará cómo a través de la entrevista cognitiva se
pueden extraer evidencias de validez del ajuste entre el constructo que la escala
psicológica pretende medir y las estrategias de respuesta llevadas a cabo por
los participantes.
Dada la terminología usada lo largo de la tesis es importante aclarar la diferencia entre

los métodos de pretest de cuestionarios y los estudios pilotos, también conocidos como field
pretesting o field studies. La denominación de métodos de pretest de cuestionarios hace
alusión a los métodos de evaluación de los cuestionarios durante las fases de desarrollo del
mismo. El uso de estos métodos de evaluación es el objeto de estudio de la tesis. Mientras que
15
Introducción
los estudios pilotos hacen referencia a una primera administración de la encuesta a una
muestra representativa cuando se dispone de cuestionarios completamente desarrollados. El
objetivo de los estudios pilotos se centra en el análisis de la distribución de los datos de la
encuesta en dicha muestra.
16
17
CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES
18
Marco teórico. Antecedentes
1. Introducción
Durante los últimos 20 años, los métodos de pretest y evaluación de cuestionarios han
cambiado drásticamente. Por una parte, se han desarrollado y aplicado nuevos métodos y, por
otra parte, otros más antiguos han sido adaptados para nuevos usos. Algunos de estos cambios
se deben a la aplicación tanto de la teoría como de los métodos de la ciencia cognitiva.
Mientras que otros se deben a una creciente concienciación de los beneficios que se podrían
obtener aplicando métodos de pretests más rigurosos. En esta línea, los investigadores
comenzaron a evaluar las fortalezas y debilidades de los distintos métodos de pretest
existentes, y a examinar la fiabilidad y la validez de los resultados de dichos métodos.
Esta evolución ha sido el foco de interés de muchas comunicaciones en congresos y

capítulos de libros. Sin embargo, no ha habido un congreso y un libro dedicado de forma
exclusiva a la evaluación y pretest de encuestas hasta el International Conference on
Questionnaire Development, Evaluation and Testing Methods celebrado en 2002, y la
publicación del correspondiente monográfico.
En la revisión del estado actual de los métodos de pretest se puede apreciar una
paradoja. Por una parte, los métodos de pretest son el único medio para evaluar, por
adelantado, si un cuestionario causa problemas para el entrevistado o para el entrevistador.
Por ello, tanto los manuales sobre investigación como los investigadores experimentados
declaran que es indispensable aplicar los pretests. Sin embargo, la mayoría de los libros de
texto ofrecen mínima o ninguna información sobre los métodos de pretests. Así mismo, los
informes publicados sobre encuestas normalmente tampoco ofrecen información sobre si los
cuestionarios fueron evaluados y, en el caso de que sí lo hicieran, no dan información sobre
cómo y con qué resultados. A esto hay que añadir que hasta hace poco apenas había
investigación sobre la metodología de los pretests (Presser et al., 2004).
2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios
La primera referencia de los pretest en una revista académica data del año 1940. En
ese año, Katz (1940) explicó: “el American Institute of Public Opinion and Fortune evalúa las
19
Capítulo I
preguntas de los cuestionarios con el fin de evitar frases ininteligibles para el público o
cuestiones desconocidas para el hombre de la calle” (p. 279). Katz en esta afirmación está
mostrando su clara intención de eliminar los errores de respuesta.
No se puede establecer con seguridad debido a la ausencia de documentación, pero los

indicios apuntan a que dentro de la historia de la investigación por encuesta ha habido una
forma clásica de pretest; denominado como pretest clásico, pretest convencional o incluso
como debriefing. El pretest clásico consiste fundamentalmente en llevar a cabo un ensayo de
la administración de la encuesta, en el cual los entrevistadores aplican la encuesta como lo
harían en la situación real. Una vez completado un cierto cupo de encuestas por cada
entrevistador, se lleva a cabo un debriefing en el que los entrevistadores relatan su experiencia
con el cuestionario y ofrecen su punto de vista sobre los problemas del cuestionario.
Algunos profesionales de la investigación por encuesta han defendido y depositado su

confianza en esta forma tradicional de pretest, afirmando, por ejemplo, que: “no se necesitan
más de 12-25 entrevistas para revelar las mayores dificultades y debilidades que posee el
cuestionario durante el pretest” (Sheatsley, 1983, p. 226) o como especificó Sudman (1983):
“unas 20-25 son suficientes para descubrir los principales errores de un cuestionario” (p. 181).
Esta confianza depositada en la forma clásica de pretest probablemente se basa en la

experiencia común de que un número reducido de entrevistas convencionales revelan
numerosos problemas, por ejemplo, preguntas que contienen suposiciones injustificadas,
frases mal expresadas o falta de categorías de respuesta. No obstante, no existe evidencia
científica que justifique el supuesto de que este tipo de pretest puede identificar los problemas
más importantes en un cuestionario (Presser et al., 2004). Es decir, no existe evidencia
científica que exponga la utilidad de estos pretest tradicionales para acceder a los errores de
respuesta en las encuestas. Estos pretest tradicionales, principalmente, ofrecían información
sobre problemas durante la administración del cuestionario y problemas sobre la edición del
mismo.
El método de pretest clásico se basa en la suposición de que los problemas del

cuestionario se mostrarán: a través de las respuestas que las propias preguntas provocan y de
la frecuencia de estas respuestas (p. ej., si hay un gran número de respuestas “no sabe” u
omisiones) y a través de otros indicios observables tras la formulación de la pregunta (p. ej.,
20
duda o malestar en el encuestado). Posteriormente el entrevistador puede describir estos

problemas durante el debriefing. Sin embargo, como Cannell y Kahn (1953) apuntaron: “no
hay pruebas exactas que verifiquen estas características; la ayuda de los entrevistadores
experimentados, en este punto, solamente sirve para obtener evaluaciones subjetivas del
cuestionario” (p.353). De forma similar, Moser y Kalton (1971) expusieron que “casi toda la
evidencia útil de la adecuación de un cuestionario se obtiene del informe individual del
entrevistador sobre cómo han ido las entrevistas, qué dificultades se han encontrado y qué
alteraciones deberían realizarse” (p. 50). Moser y Kalton en su afirmación recalcan el
excesivo peso depositado en la percepción del entrevistador durante el pretest clásico.
Aunque los entrevistadores estuvieran ampliamente entrenados en el reconocimiento

de problemas con las preguntas, la forma de pretest clásico aún seguiría sin poder obtener
información de la mayoría de los problemas del cuestionario (Presser et al., 2004). Esto
sucede debido a que ciertos tipos de problemas no son observables a través de la conducta del
encuestado, incluso los encuestados pueden no ser conscientes de dichos problemas. Por
ejemplo, los encuestados pueden malinterpretar el objetivo de una pregunta cerrada sin
ofrecer ninguna evidencia de que lo están haciendo; ya que la forma de pretest clásico es
siempre “no declarada” para el encuestado en lugar de ser un pretest “participante”. Es decir,
los encuestados no son informados acerca del objetivo del pretest ni tampoco se les pregunta
directamente sobre las interpretaciones que están realizando de las preguntas o los problemas
que están surgiendo con el cuestionario (Converse & Presser, 1986). Como resultado, el
pretest clásico parece estar mejor diseñado para identificar problemas con el cuestionario
desde el punto de vista del entrevistador que es el único que conoce el objetivo del mismo.
Además, cuando en un pretest clásico los entrevistadores realizan una descripción de

los problemas que los encuestados han tenido con las preguntas del cuestionario, no hay
reglas para la evaluación de dichos problemas o para determinar qué problemas deberían ser
tratados. Los investigadores normalmente se basan en su experiencia e intuición para juzgar la
problemática de la situación y decidir cómo revisar las preguntas defectuosas (Presset et al.,
2004).
Durante las últimas décadas, este cúmulo de desventajas que estaban mostrando los
pretest clásicos ha provocado la aparición de dos cambios interrelacionados:
21
Capítulo I
1) Ha habido un cambio sustancial en los objetivos de los pretests. Desde un enfoque

exclusivo en la identificación y corrección de los problemas encontrados por los
entrevistadores y los encuestados, se ha pasado a un gran interés por la mejora de
la calidad de los datos, a fin de que las mediciones obtenidas se ajusten a los
objetivos de la encuesta.
2) Se han desarrollado o adaptado nuevas formas de pretests desde otras disciplinas.

Por ejemplo, las entrevistas cognitivas, la codificación del comportamiento, la
latencia de respuesta, el análisis de viñetas, experimentos, debriefings enfocados
en el encuestado y la modelización estadística (Presser et al., 2004). El desarrollo
de todos estos nuevos métodos de pretest suscita cuestiones acerca de cómo
podrían ser combinados para optimizar los resultados del pretests y si, de hecho,
estas nuevas formas de pretests mejoran la calidad de los resultados posteriores de
las encuestas, accediendo y limitando los errores de respuesta. Veamos desde
dónde han surgido la mayoría de estas nuevas formas de pretest.
3. Origen del Movimiento: Cognitive Aspects of Survey Methodology
A comienzos de los años 80, el estudio de los errores en las encuestas se vio afectado
por los avances en un campo emergente, creado por la combinación interdisciplinar de la
metodología de encuesta y la psicología cognitiva, denominado Cognitive Aspects of Survey
Methodology, o CASM (Jabine, Straf, Tanur, & Tourangeau, 1984). El movimiento CASM
ha llegado a dominar el campo del diseño de cuestionarios, su desarrollo, investigación y
evaluación. El principio básico del movimiento CASM es que las respuestas a las preguntas
de los cuestionarios requieren de una serie de complejos procesos cognitivos, en
contraposición a una simple secuencia de estímulo-respuesta en la que se realiza una pregunta
y el encuestado expone una respuesta.
CASM fue propuesto como un marco de trabajo que suplantaría (o incluso suplanta) el
punto de vista tradicional del diseño de cuestionarios, enfatizando la vital importancia de la
cognición en el proceso de respuesta en las encuestas (Willis, 2005). Los investigadores
reconocieron que, en ese momento, las reglas del diseño de cuestionarios eran insuficientes.
22
El mayor problema residía en el hecho de que el diseño de cuestionarios careciera de una

consistente teoría subyacente. La “revolución cognitiva” de los años 70, en la que la
cognición fue aplicada a una amplia variedad de campos, dio el impulso necesario para crear
un cuerpo teórico relevante. De ahí que, la relación cognición y diseño de los cuestionarios
tuviera implicaciones tanto teóricas como prácticas y pudiera incluso dirigir la creación de
una disciplina científica de elaboración de cuestionarios (Herrmann, 1999; Jobe & Mingay,
1991; Sirken & Schechter, 1999; Tanur, 1999).
Siendo justos, la apreciación de que responder las preguntas de las encuestas requiere
procesos de pensamiento, realmente no se originaron con CASM. Tal y como apuntó Willis
en 2005, el punto de vista cognitivo aplicado a las encuestas, remonta su origen hacia la mitad
del siglo XX, antes de que la psicología cognitiva tuviera una influencia preponderante sobre
las ciencias sociales. Por ejemplo, teorías sobre los procesos de respuesta aplicados a las
encuestas, que eran cognitivas por naturaleza pero no por denominación, fueron introducidas
independientemente por investigadores de la Universidad de Illinois (Lansing, Ginsburg &
Braaten, 1961), investigadores de la Universidad de Michigan (Cannell, Marquis & Laurent,
1977; Cannell, Miller & Oksenberg, 1981), en Inglaterra por Oppenheim (1966) y en el US
Census Bureau por Martin (1983).
Aunque CASM podría haberse originado antes, se asume que el movimiento comenzó
a establecerse a raíz de los dos siguientes eventos: el Advanced Research Seminar sobre
Cognitive Aspects of Survey Methodology en los Estados Unidos de América en 1983,
denominado actualmente como CASM I (Jabine et al., 1984) y el congreso sobre Social
Information Processing and Survey Methodology celebrado en 1984 en Alemania (Hippler,
Schwartz & Sudman, 1987).
Quizás uno de los cambios más obvios que el movimiento CASM ha producido, es la
forma en la que los investigadores de encuestas ven los errores de respuesta. Antes de este
movimiento, las investigaciones sobre encuestas tenían un carácter mecanicista: se
catalogaban los problemas, pero el origen de los mismos y las relaciones entre los distintos
tipos de problemas no estaban claras. Por ejemplo, los informes de “calidad” de varias
encuestas nacionales proporcionaban una amplia y detallada información de las distintas
fuentes potenciales de error, pero no hacían ningún esfuerzo a la hora de desarrollar hipótesis
sobre las causas de esos problemas (ver, p. ej., Brooks & Blair, 1978, y Jabine, 1990). Desde
23
Capítulo I
la aparición del movimiento CASM, los investigadores han ligado los errores de respuesta a
los procesos psicológicos de los entrevistados (p. ej., Strack & Martin, 1987; Tourangeau,
1984), al carácter de la interacción entre el entrevistador y el encuestado (Schaeffer, 1991;
Schober, 1999; Suchman & Jordan, 1990) y a los procesos motivacionales implicados en esa
interacción entre el entrevistador y el encuestado (Krosnick, 1991; 1999). Ahora las
discusiones de los problemas en las encuestas se establecen en términos de los componentes
mentales de los procesos de respuesta subyacentes a dichos problemas (p. ej., Groves, 1989).
Los modelos cognitivos de los procesos de respuesta han proporcionado un nuevo paradigma
para la comprensión, o al menos la clasificación, de los diferentes errores de respuesta en las
encuestas (Tourangeau, Rips, & Rasinski, 2000).
4. El Modelo del Proceso Pregunta-Respuesta
Una de las aportaciones más influyentes del CASM I fue la introducción del modelo
del proceso pregunta-respuesta o también denominado modelo cognitivo de 4 fases propuesto
por Tourangeau (1984). La figura I. 2 ilustra las fases de dicho modelo. El modelo presentado
en la Figura I. 2 se compone de cuatro fases que el encuestado debe completar para ofrecer
una respuesta; a saber, debe comprender el significado de la pregunta, recuperar información
de la memoria a largo plazo, realizar un juicio o evaluación sobre la información recuperada y
ofrecer una respuesta. A continuación se detallan estos 4 pasos:
o Interpretación y Comprensión: En esta primera fase se lleva a cabo la

interpretación y comprensión de los distintos conceptos que aparecen en el
texto de la pregunta así como la pregunta en su conjunto. Un aspecto clave de
esta primera fase es si el encuestado está interpretando la pregunta realizada tal
y como los autores de la encuesta esperaban que se interpretara. Esto es muy
importante, ya que si los encuestados están realizando una interpretación de la
pregunta no acorde con la interpretación prevista, los resultados obtenidos y,
por consiguiente, las conclusiones de las respuestas de los encuestados serán
erróneas. Peor aún, si cada encuestado interpreta la pregunta de una forma
distinta las comparaciones entre las respuestas de los encuestados no serán
válidas (ver el ejemplo de la introducción). Por otra parte, si el cuestionario se
24
encuentra en fases iniciales de desarrollo, los autores podrían no tener clara la

interpretación prevista para las preguntas. De este modo, la indagación en esta
fase de interpretación y compresión de la pregunta, podría servir como
exploración de las distintas interpretaciones que realicen los participantes y
como guía para ajustar hacia una interpretación común. Claramente, el objetivo
del investigador debe ser diseñar preguntas que sean interpretadas por todos
los encuestados de la misma forma y además que coincida con la interpretación
prevista por los autores de la encuesta (Collins, 2003).
Figura I. 2: Modelo del Proceso Pregunta-Respuesta
1. Interpretación y Comprensión
 Interpretación de la Pregunta: Interpretación del objetivo de la pregunta
 Compresión de conceptos: Conceptos, expresiones, frases…
2. Recuperación de información
 Información a recuperar
 Estrategia para recuperar la información: Estimación, todo el repertorio, etc.
3. Juicio
 Integración de la información: Motivacion
 Evaluación de la información: Deseabilidad social
4. Comunicación de la Respuesta
 Ajuste a las opciones de respuesta
 Selección de opciones de respuesta
Fuente: Tourangeau (1984).
25
Capítulo I
o Recuperación de Información: Una vez que el encuestado ha comprendido la

pregunta, debe recuperar información relevante de su memoria a largo plazo.
Existen varias formas de recuperar información, por ejemplo, recuperar
recuerdos de forma individual, hacer una estimación de toda la información
almacenada o recuperar todo el repertorio de eventos e información
almacenada. Ciertas características de la pregunta, y de la información a
recuperar, pueden afectar por completo a la fase de recuperación de la
información (Jobe, Tourangeau, & Smith, 1993). En este sentido, existe un
amplio número de factores por los que el encuestado puede tener problemas
para recordar un evento. Por ejemplo, el concepto o evento a recuperar puede
no haberse almacenado nunca en la memoria a largo plazo; puede que sea
irrecuperable, ya que el contexto de recuerdo sea distinto al contexto en el que
se codificó y almacenó; puede ser difícilmente distinguible de otros similares o
que dicho concepto o evento sea bloqueado por la interferencia de otros
similares (Tourangeau, 1984). A la hora de diseñar las preguntas del
cuestionario es importante tener en cuenta y evaluar con qué facilidad pueden
los encuestados recuperar la información requerida, a qué nivel de detalle y si
el uso del contexto facilita las estrategias de recuperación de información de
los encuestados.
o Juicio: La realización de juicios juega un papel muy importante en el proceso

del modelo pregunta-respuesta. En primer lugar, el encuestado debe integrar
toda la información recuperada en la fase anterior. La motivación que posea el
encuestado es clave para que realice el suficiente esfuerzo mental. En segundo
lugar, el encuestado debe evaluar la información ya integrada; dicha
evaluación podría verse afectada por aspectos como la deseabilidad o
sensibilidad social que posea la pregunta del cuestionario. Además, el
encuestado puede valerse de heurísticos para responder a las preguntas; estos
heurísticos son muy usados en las preguntas sobre la frecuencia de
comportamientos (Collins, 2003).
o Comunicación de la respuesta: Esta es la última fase del proceso pregunta-

respuesta. A su vez se compone de dos pasos. En primer lugar, una vez
26
formado el juicio en la fase anterior, el encuestado debe ajustar su posible

respuesta a las opciones preestablecidas por los autores del cuestionario. La
elección que hagan los investigadores de las alternativas de respuesta puede
afectar a la forma en la que el encuestado decide responder a la pregunta del
cuestionario y, por consiguiente, puede afectar a los resultados de la encuesta
(Schwarz & Hippler, 1991). En segundo lugar, el encuestado comunica o
selecciona una de las opciones de respuesta. En este último paso existe la
posibilidad de que el encuestado edite la respuesta para ajustarse al contexto en
el que se está llevando a cabo la entrevista.
Posteriormente, se han introducido distintas variaciones de este modelo cognitivo (ver

Jobe & Herrmann, 1996). Todas ellas mantienen la idea principal de las distintas fases de
procesamiento cognitivo que evocan las preguntas de los cuestionarios. Son bastantes
similares excepto por dos características:
a) Función de la Fase de Comunicación de la Respuesta: En el modelo del

proceso pregunta-respuesta de Tourangeau (1984), la evaluación de la
adecuación y plausibilidad de la información seleccionada en la fase de juicio,
se realiza en la fase de la comunicación de la respuesta; ajustándola, por
ejemplo, a las alternativas de respuesta establecidas. Sin embargo, estas
variantes del modelo proponen que el entrevistado lleva a cabo de forma
consciente esa evaluación de la adecuación y plausibilidad de la información
en la fase de juicio, y además se realiza sobre toda la información recuperada.
b) Secuencilidad o Linealidad del Modelo: Más allá de las diferencias

terminológicas, algunos modelos (p. ej. el modelo introducido por Willis,
Royston, & Bercini, 1991, ahora conocido como el Modelo de Procesamiento
Flexible) explícitamente eliminan la noción de la estricta secuencialidad del
proceso cognitivo. Concretamente más que representar una serie algorítmica de
operaciones, los entrevistados pueden establecer un proceso de toma de
decisiones en fases mucho más tempranas y antes de recuperar información.
Por ejemplo, cuando se pregunta el número de veces que te han puesto una
multa por exceso de velocidad, puedo decidir cortar el proceso de decisión y
ofrecer una respuesta como “¡no es de su incumbencia!” incluso antes de tener
27
Capítulo I
que recuperar información de la memoria. Esta visión está en consonancia

consistente con varias observaciones procedentes de distintos autores,
aludiendo que el proceso de pregunta-respuesta puede estar sujeto a variables
sociales y contextuales y, por tanto, no puede ser totalmente plasmado en un
modelo serial (Ahola, 2004; Collins & Becher, 2001; Snijkers, 2002). Por
ejemplo, Collins (2003) establece que en realidad el proceso pregunta-
respuesta es circular en lugar de lineal; implica un gran número de iteraciones
e interacciones entre las distintas fases del modelo, con una gran característica
circular. Por ejemplo, ella establece que en la fase de juicio (que desde mi
punto de vista es la que aporta esta característica circular) los encuestados
pueden valorar si han comprendido la pregunta, si la pregunta tiene que ver
con su situación actual, si se les está preguntando por información que ellos
realmente poseen, con qué nivel de detalle se les está solicitando esta
información, si necesitan modificar su respuesta para adaptarla a la pregunta
formulada, etc.
Como el lector puede intuir este modelo recoge pormenorizadamente los pasos que
durante el procesamiento cognitivo de una pregunta deben darse. No obstante, apenas incluye
ciertos aspectos motivacionales que pueden llevar al encuestado a ejecutar todos y cada uno
de estos pasos o simplemente a no realizar ninguno de ellos y, por ejemplo, ante una pregunta
de respuesta cerrada elegir la respuesta al azar. Krosnick (1999) estableció un continuo de
“optimización vs. satisfacción” que indica el grado de motivación con el que el encuestado
lleva a cabo los cuatro pasos del modelo del proceso pregunta-respuesta. Por una parte, en el
extremo de “optimización” se encontrarían los encuestados que ejecutan los cuatro pasos del
modelo de forma completa, exhaustiva, con esfuerzo y con una gran implicación. Por otra
parte, en el extremo de la “satisfacción” se sitúan los encuestados que dedican poco esfuerzo a
la fase de interpretación y comunicación de la respuesta, no llevan a cabo ninguna
recuperación de información y, por tanto, tampoco realizan ningún juicio de la información
recuperada.
28
5. Aplicación del Movimiento CASM
La investigación de CASM se basa en estudios controlados de los factores que pueden

influir en la interpretación y las respuestas de las preguntas de las encuestas. Los resultados de
tales investigaciones son, por tanto, objetivos, replicables y proporcionan un rico bagaje sobre
los factores psicológicos de las respuestas a las encuestas. Consecuentemente, el objetivo de
CASM es la evolución de la teoría, de forma que enriquezca nuestra comprensión de los
procesos de respuesta a las encuestas (Willis, 2005). Por ejemplo, en los proceedings de
CASM I, Loftus (1984) consideró cómo los encuestados responden a preguntas sobre eventos
autobiográficos pasados, por ejemplo, las visitas al médico. ¿Se basan en un orden desde el
presente hacia atrás para recordar la información y contestar o comienzan en el pasado y van
hacia delante? Loftus propuso que tal aspecto cognitivo podría ser estudiado a través de un
método de informe verbal, en particular, usando una entrevista think-aloud, como fue descrito
por Ericsson y Simon (1980, 1984). Su aplicación al proceso de respuesta es sencilla, al
menos procedimentalmente: se realiza la pregunta acerca de recordar las visitas al médico, y
no sólo se pide al sujeto que conteste sino que también vocalice todos sus pensamientos;
haciendo esto, podemos determinar en qué orden recuerda las visitas al médico y si aparecen
problemas durante la elaboración de la respuesta. Loftus (1984) haciendo uso del thinking
aloud para evaluar esta pregunta de la encuesta concluyó que: “al menos respondiendo a estas
preguntas, los sujetos tienden a recuperar esta información biográfica, predominantemente
hacia delante, es decir, desde el pasado hacia el presente” (p. 64).
Loftus en 1984 estaba demostrando cómo el uso de simples herramientas cognitivas

durante una entrevista podría facilitar la indagación en el proceso pregunta-respuesta del
encuestado. Como afirma Collins (2003), este es el valor de las teorías que buscan explicar los
procesos de respuesta a las preguntas de la encuesta; el valor que reside en la aplicación al
diseño e implementación de los cuestionarios con el objetivo de reducir los errores de
respuesta. Varios métodos de pretest, en este caso denominados como métodos cognitivos de
pretest por su indagación en el proceso pregunta-respuesta, han sido desarrollados y aplicados
a la evaluación de cuestionarios (Collins, 2003). Estos métodos de pretest cognitivos incluyen
la entrevista cognitiva, el parafraseo, el card sorts, el análisis de viñetas, las evaluaciones de
la confianza en la respuesta y la latencia de respuesta (Czaja, 1998; Jobe & Mingay, 1991). La
entrevista cognitiva es ciertamente una de las manifestaciones más concretas y exitosas del
movimiento CASM, en términos de la amplitud con la que se ha asentado y la aplicación a
29
Capítulo I
través de diversas áreas, campos e investigadores (Blair & Presser, 1993; Sirken & Schechter,
1999).
6. Referencias
Ahola, A. (2004). Cognitive model of the question-answering process and development of

pretesting. Proceedings of the 4th Conference on Questionaire Evalulation Standards,
Zentrum fur Umfragen, Methoden und Analicen (ZUMA), 26-33.
Blair, J. & Presser, S. (1993). Survey procedures for conducting cognitive interviews to
pretest questionnaires: A review of theory and practice. Proceedings of the Section on Survey
Research Methods, American Statistical Association, 370-375.
Brooks, C. & Blair, B. (1978). An error profile: Employment as measured by the Current
Population Survey. Statistical Policy Working Paper 3. Washington, DC: Office of Federal
Statistical Policy and Standards.
Cannell, C. & Kahn, R. (1953). The collection of data by interviewing. En L. Festinger y D.

Katz (eds.). Research Methods in the Behavioral Sciences. Nueva York: Dryden.
Cannell, C., Marquis, K.H., & Laurent, A. (1977). A summary of studies of interviewing
methodology. Vital and Health Statistics, Serie 2. N. 69 (DHEW Publication No. HRA 77-
1343). Washington, DC: US Coverment Printing Office.
Cannell, C., Miller, P.V., & Oksenberg, L. (1981). Research on interviewing techniques. En
S. Leinhardt (Ed.), Sociological methodology (pp. 389-437). San Francisco: Jossey-Bass.
Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality

of Life Research, 12, 229-238.
Collins, D. & Becher, H. (2001). Question testing and archiving of results to make best use of
limited resources. Proceedings of the QUEST 2001 Conference, U.S. Census Bureau, 36-44.
30
Converse, J. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized

Questionnaire. Thousand Oaks, CA: Sage.
Czaja, R. (1998). Questionnaire pretesting come of age. Marketing Bulletin, 9, 52-66.
Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-
251.
Ericsson, K.A. & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge:
MIT Press.
Fowler, F.J. (1995). Improving Survey Questions: Design and Evaluation. Applied Social
Research Methods Series: 38. Thousand Oaks: Sage.
Groves, R.M.(1989). Survey errors and survey costs. Nueva York: John Wiley & Sons.
Groves, R.M.(1991). Measurement errors across the disciplines. En P. Biemer, R.M. Groves,
L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 1-
25). Nueva York: John Wiley & Sons.
Guilford, J.G. (1954). Psychometric Methods. Nueva York: McGraw-Hill.
Herrmann, D.J. (1999). Potential contributions of the CASM movement beyond questionnaire
design: Cognitive technology and survey methodology. En M. Sirken, D. Herrmann, S.
Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp.
267-275). Nueva York: John Wiley & Sons.
Hippler, H., Schwartz, N., & Sudman, S. (1987). Social information processing and survey
methodology. Nueva York: Springer-Verlag.
Jabine, T.B. (1990). Survey of Income and Program Participation (SIPP): Quality profile.
Washington, DC: U.S. Department of Commerce, Bureau of the Census.
31
Capítulo I
Jabine, T.B, Straf, M.L., Tanur, J.M., & Tourangeau, R. (1984). Cognitive aspects of survey
methodology: Building a bridge between disciplines. Washingon, DC: National Academy
Press.
Jobe, J.B. & Herrmann, D.J. (1996). Implications of models of survey cognition for memory
theory. En D. Herrmann, C. McEvoy, C. Herzog, P. Hertel, & M. Jonson (Eds.), Basic and
Applied Memory Research: Vol. 2. Practical application (pp. 193-205). Hillsdale, NJ:
Erlbaum.
Jobe, J.B. & Mingay, D.J. (1991). Cognition and survey measurement: History and overview.
Applied Cognitive Psychology, 5, 175-192.
Jobe, J.B., Tourangeau, R., & Smith, A.F. (1993). Contributions of survey research to the
understanding of memory. Applied Cognitive Psychology, 7, 567-589.
Katz, D. (1940). Three criteria: knowledge, conviction and significance. Public Opinion
Quarterly, 4, 277-284.
Krosnick, J.A. (1991). Response strategies for coping with the cognitive demands of attitude
measures in surveys. Applied Cognitive Psychology, 5 , 213-256.
Krosnick, J.A. (1999). Survey Research. Annual Review of Psychology, 50, 537-567.
Lansing, J.B., Ginsburg, G.P., & Braaten, K. (1961). An investigation of response error.
Urbana: University of Illinois, Bureau of Economic and Business Research.
Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M.

Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a
bridge between disciplines (pp. 61-64). Washington, DC: National Academy Press.
Martin, E. (1983). Surveys as social indicators: Problems in monitoring trends. En P.H. Rossi,
J.D. Wright, & A.B. Anderson (Eds.), Handbook of survey research (pp.677-743). Nueva
York: Academic Press.
32
Moser, C. & Kalton, G. (1971). Survey Methods in Social Investigation, 2nd ed. Londres:
Heineman.
Oppenheim, A.N. (1966). Questionnaire design and attitude measurement. Nueva York:
Basic Books.
Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J., & Singer, E.
(2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley &
Sons.
Schaeffer, N.C. (1991). Hardly ever or constantly? Group comparisons using vague
quantifiers. Public Opinion Quarterly, 55, 395-423.
Schwarz, N. & Hippler, H.J. (1991). Response alternatives: The impact of their choice and
presentation order. En P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz & S.
Sudman (Eds.), Measurement Errors in Surveys (pp.41-56). Nueva York: John Wiley & Sons
Schober, M. (1999). Making sense of questions: An interactional approach. En M. Sirken, D.

Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey
research (pp. 77-93). Nueva York: John Wiley & Sons.
Sheatsley, P. (1983). Questionnaire construction and item writing. En P. Rossi, J. Wright, &
A. Anderson (eds.), Handbook of Survey Research. San Diego, CA: Academic Press.
Sirken, M. & Schechter, S. (1999). Interdisciplinary survey methods research. En M. Sirken,

D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and
survey research (pp. 1-10). Nueva York: John Wiley & Sons.
Snijkers, G. (2002). Cognitive laboratory experiences: On pretesting computerised

questionnaires and data quality. Unpublished doctoral dissertation, Universidad de Utrecht,
Holanda.
Stone, A.A., Turkkan, J.S., & Bachran, C.E. (1999). The science of self-report: Implications
for research and practice. Mahwah, NJ: Lawrence Erlbaum.
33
Capítulo I
Strack, F. & Martin, L. (1987). Thinking, judhing, and communicating: A process account of
context effects in attitude surveys. En H. Hippler, N. Schwarz, & Sudman (Eds.), Social
information processing and survey methodology (pp. 123-148). Nueva York: Springer-Verlag.
Suchman, L. & Jordan, B. (1990). Interactional troubles in face-to-face survey interviews.

Journal of the American Statistical Association, 85, 232-241.
Sudman, S. (1983). Applied sampling. En P. Rossi, J. Wright, & A. Anderson (Eds.),

Handbook of Survey Research. San Diego, CA: Academic Press.
Tanur, J.M. (1999). Looking backwards and forwards the CASM movement. En M. Sirken,
D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and
survey research (pp. 73-100). Nueva York: John Wiley & Sons.
Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T.

Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design:
Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy
Press.
Tourangeau, R., Rips, L.J. & Rasinski, K. (2000). The psychology of survey response.
Cambridge: Cambridge University Press.
Willis, G.B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design.
Thousands Oaks, CA: Sage
Willis, G.B., Royston, P.N., & Bercini, D. (1991). The Use of Verbal Report Methods in the
Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251-
267.
34
35
CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE
PRETEST DE CUESTIONARIOS
36
Nuevos métodos de pretest de cuestionarios
1. Introducción
En el capítulo anterior se remarcaron las grandes desventajas del método de pretest

clásico que impulsaron el desarrollo dos cambios relacionados. Por una parte, se cambió la
meta del pretest pasando de enfocarse en los problemas experimentados por el entrevistador y
el encuestado, a dirigirse hacia el aumento de la calidad de los datos de la encuesta, de forma
que, las mediciones aportadas por dichas encuestas respondieran a los objetivos de medición.
Por otra parte, se desarrollaron nuevos métodos de pretest y otros ya existentes se adaptaron a
este nuevo uso (Presser et al., 2004).
En consecuencia, podemos considerar que existen dos grupos de métodos de pretest.

Un primer grupo compuesto por métodos de pretest ya existentes en otras áreas de
investigación que han sido utilizados para la evaluación de cuestionarios. Otro segundo grupo
conformado por nuevos métodos de pretest que principalmente se han desarrollado como
aplicación del movimiento CASM, y que se pueden denominar cognitivos por su exploración
de los componentes individuales del proceso pregunta-respuesta: interpretación y
comprensión, recuperación de información, juicio y comunicación de la respuesta (Collins,
2003); siendo la entrevista cognitiva la principal manifestación de este segundo grupo de
métodos. Habiendo establecido el objetivo de la tesis como la identificación de los errores de
respuesta a través de los métodos de pretest de cuestionarios, no se va a entrar en la discusión
sobre la existencia de estos dos posibles grupos de métodos, qué métodos se incluirían en
cada uno de estos grupos ni tampoco cuáles serían denominados como métodos cognitivos y
cuáles no. En este sentido se hará una revisión de los métodos de pretest más utilizados en la
evaluación de los cuestionarios y se profundizará en los que se han utilizado para alcanzar el
objetivo de la tesis doctoral; estos son: la codificación del comportamiento y la entrevista
cognitiva. A continuación se hará una revisión de los siguientes métodos de pretest: la latencia
de respuesta, respondent debriefing, el análisis de viñetas, los experimentos, la codificación
del comportamiento y la entrevista cognitiva.
37
Capítulo II
2. Latencia de Respuesta
La latencia de respuesta se utiliza para medir la precisión de las respuestas de los

encuestados y a su vez, de forma indirecta, para evaluar las propias preguntas. Draisma y
Dijkstra (2004) especifican que la latencia se refiere a la demora, al tiempo que transcurre,
entre que el entrevistador termina de leer la pregunta y el encuestado da la respuesta. Estos
autores afirman que demoras largas son indicativas de dudas en el encuestado y de errores en
las respuestas. Además comparan los resultados de la latencia de respuesta con otros
indicadores de dudas o incertidumbre en el encuestado. Draisma y Dijkstra (2004) se basan en
las aportaciones de la psicología cognitiva que asume que la latencia de respuesta es a
menudo un indicador de la dificultad de una tarea (Luce, 1986). Como se puede intuir, una
mayor latencia de respuesta implica una mayor dificultad de la tarea. Estos autores además
establecen que la dificultad de una pregunta puede ser una causa muy importante de los
errores de respuesta, así que a mayor latencia de respuesta, mayor dificultad en la pregunta y
mayor probabilidad de ocurrencia de una respuesta incorrecta. De esta forma con la latencia
de respuesta se obtiene un indicador de la dificultad de la pregunta que a su vez se convierte
en un indicador o identificador de posibles errores de respuesta.
La latencia de respuesta comenzó a usarse como una medida de ejecución de tareas

experimentales en el área de la psicología cognitiva. Aaker, Bagozzi y Carman (1980) y
LaBarbera y MacLachlan (1979) fueron los primeros autores en aplicar el método de la
latencia de respuesta en el contexto de la medición por encuesta. Ellos utilizaron la latencia de
respuesta para comparar pares de productos en un estudio de marketing. Asumieron que una
vez que se daba una respuesta ante dos marcas de productos, las respuestas más rápidas de la
marca escogida eran indicativas de una mayor preferencia por dicha marca. No obstante, el
trabajo más relevante, en la aplicación de la latencia de respuesta a la evaluación de las
preguntas de las encuestas, fue el realizado por John Basili y sus co-autores. Basili y Fletcher
(1991) usaron la latencia de respuesta para ordenar varios tipos de preguntas actitudinales. El
grupo de preguntas que tenía una latencia de respuesta corta estaba compuesto por preguntas
simples mientras que aquellas con una latencia mayor se correspondían con preguntas más
complejas. Además estas preguntas más complejas, especialmente aquellas en las que había
habido problemas durante su elaboración, parecían necesitar más tiempo para ser contestadas
(Basili, 1996). En otro estudio, Basili y Scott (1996) utilizaron la latencia de respuesta como
38
un indicador de problemas con las preguntas, comprobando que preguntas pobremente

formuladas ofrecían una latencia mayor que versiones modificadas y ajustadas de estas
mismas preguntas.
3. Respondent Debriefings
El respondent debriefing es un método participante, en el que se le informa al

encuestado del objetivo del mismo. A diferencia de los debriefing tradicionales que se
recomendaban como un complemento de la forma tradicional de pretest (Kornhauser, 1951)
en la que el entrevistador era quien aportaba la información de los problemas con las
preguntas del cuestionario, este tipo de debriefing llevado a cabo de una forma estandarizada,
puede revelar las interpretaciones y las reacciones que los encuestados realizan de las
preguntas. En este método de pretest una vez que los participantes han contestado las
preguntas de la encuesta, se les pide información sobre cómo han contestado a las preguntas o
cómo las han interpretado, si ha habido algún problema con las mismas, etc. Belson (1981)
usó este método de pretest administrando a una muestra de participantes las preguntas de la
encuesta y realizando al día siguiente, una entrevista con el fin de identificar problemas con la
interpretación de las preguntas. Empleó lo que él llamó doble entrevista. Martin (2004), por
su parte, mostró cómo estos debriefings pueden ser utilizados para obtener evidencias acerca
de en qué medida las preguntas generan omisiones o malas interpretaciones de los
encuestados.
4. Análisis de Viñetas
El uso de las viñetas tiene una larga historia en la investigación social. Podemos
remontarnos hasta los trabajos de Piaget (1932/1965) en los que utilizó pequeñas historias
para estudiar el razonamiento moral en niños. Las viñetas son pequeñas historias o escenarios
que describen hipotéticas situaciones que son presentadas a los participantes para que las
evalúen y/o comenten. Este método de análisis de viñetas es especialmente útil para explorar
temas sensibles para los participantes, ya que se basa en la presentación de escenarios
hipotéticos (Finch, 1987). El análisis de viñetas puede servir para: explorar los pensamientos
39
Capítulo II
de las personas sobre distintos conceptos, para comprobar si las interpretaciones de dichos
conceptos son consistentes con las interpretaciones previstas, para analizar la dimensionalidad
de los conceptos; y para diagnosticar otros problemas en la redacción de las preguntas
(Presser et al., 2004). Un buen ejemplo de aplicación en la evaluación y desarrollo de los
cuestionarios fueron los trabajos de Gerber (1990, 1994). Esta autora llevó a cabo un estudio
exploratorio mediante entrevistas para examinar cómo las personas piensan acerca de su
residencia, el lenguaje que utilizan para describirla y los factores que tienen en cuenta a la
hora de hablar sobre esta temática en las encuestas.
5. Experimentos
La evolución que en las últimas tres décadas ha experimentado el área de la

investigación por encuesta, ha generado un cuerpo de métodos y técnicas de evaluación de
cuestionarios que indudablemente ha mejorado la calidad de las encuestas. Estos métodos se
han enfocado en la identificación y revisión de las preguntas que son difíciles de entender o
difíciles de contestar consiguiendo una mejora en las mediciones de las encuestas. Sin
embargo, como especifica Fowler (2004), existen límites para estas técnicas; pues, dichas
técnicas son capaces de identificar las causas de potenciales problemas que pueden afectar a
la calidad de los datos, pero no proporcionan información acerca de en qué medida esos
potenciales problemas podrían afectar a la calidad de los datos. Es más, cuando se modifican
las preguntas de los cuestionarios, con el fin de evitar los problemas identificados mediante la
aplicación de una de las técnicas, no se proporciona información sobre si ha aumentado o no
la calidad de los datos con respecto a la versión original. En este sentido los experimentos de
campo juegan un papel fundamental a la hora de cubrir este hueco.
El concepto subyacente a los experimentos es bastante simple. Se seleccionan dos

muestras “comparables” de participantes y se les administra diferentes versiones de las
preguntas de la encuesta diseñada con un objetivo de medición común. Fowler (2004)
propone tres formas distintas de comparar las dos versiones de las preguntas:
40
1. Distribución de Respuestas: Esta es la comparación más simple. Si la distribución de

respuestas de las dos versiones de preguntas son idénticas se puede concluir que las
preguntas también son idénticas.
2. Validez: De igual modo se puede comparar la validez de las dos preguntas. Por
supuesto, previamente se debe haber especificado algún tipo de criterio o estándar con
el que evaluar las respuestas de los participantes y poder concluir qué pregunta
presenta mayor validez.
3. Usabilidad: A menudo el pretest cognitivo de los cuestionarios puede identificar

preguntas cuya redacción sea confusa o compleja. Uno de los objetivos de la
evaluación es reelaborar las preguntas de modo que resulten más fáciles de usar para
los entrevistadores y de entender por los encuestados. En este sentido los
experimentos de campo también pueden aportar información sobre ello.
Un ejemplo de la utilización de experimentos de campo en el pretest de encuestas es el

que aplicó Fowler en 1992. En este caso el pretest cognitivo de un cuestionario no aportó
información clara sobre si incluir o no, pasear como una forma de hacer ejercicio. Se elaboró
una versión de la pregunta en la que explícitamente se especificaba que se sí podía incluir
pasear como una forma de hacer ejercicio. La prueba experimental mostró que la inclusión
explícita de pasear como forma de hacer ejercicio, incrementó la tasa en la que los
participantes informaban que hacían ejercicio. De manera que los investigadores concluyeron
que esta última versión de la pregunta tenía mayor validez.
6. Codificación del Comportamiento
La codificación del comportamiento fue desarrollada por Charles Cannell y sus

colegas en los años 60 en el University of Michigan Survey Research Center. Puede ser
utilizada tanto para evaluar preguntas como para evaluar entrevistadores. En sus primeras
aplicaciones se enfocó, casi por completo, en la evaluación de los entrevistadores, de modo
que no tuvo un impacto inmediato en las prácticas de los pretest (Presser et al. 2004). A
finales de los 70 y comienzos de los 80, algunos investigadores europeos utilizaron la
41
Capítulo II
codificación del comportamiento para estudiar preguntas, sin embargo, su aplicación en la

fase de pretest no llegó hasta finales de los 80 en Estados Unidos (Oksenberg, Cannell, &
Kalton, 1991).
La codificación del comportamiento implica la monitorización de las entrevistas, a

través de las transcripciones o las grabaciones en audio y vídeo, de un conjunto de conductas
verbales tanto del entrevistador como del entrevistado durante la interacción entre ambos.
Dentro de dicha interacción se va codificando la conducta realizada por el entrevistador y por
el encuestado. Generalmente, se codifica la conducta realizada por el entrevistador y el
entrevistado en cada una de las preguntas del cuestionario. Cuando ciertas conductas (p. ej. el
entrevistador no lee la pregunta completamente o el encuestado solicita una aclaración) tienen
una alta frecuencia de aparición, se considera que la pregunta debe ser revisada. En un amplio
sentido, la codificación del comportamiento busca identificar las desviaciones de la secuencia
ideal de conductas entre el entrevistador y el entrevistado. El objetivo fundamental es
descubrir cómo estas desviaciones están relacionas, por una parte, con la calidad de los datos
y, por otra parte, con las características del entrevistador, del entrevistado y del diseño del
cuestionario (Ongena & Dijkstra, 2006).
6.1. Esquemas de Codificación
A continuación, se van a explicar dos esquemas de codificación. El primero de ellos,

fue desarrollado por Oksenberg, Cannell y Kalton (1991). Este esquema de codificación ha
sido aplicado con mayor frecuencia por los profesionales del área y es el que hemos utilizado
en la investigación del Capítulo V. Este primer esquema es bastante sencillo y muy enfocado
a cubrir los objetivos del estudio. El segundo de ellos, fue utilizado por van der Zouwen y
Smit (2004). La razón de incluirlo es que estos autores elaboraron un esquema de codificación
muy detallado y, por tanto, creo que es muy útil desde un punto de vista explicativo. Además,
contemplaba las fases del modelo del proceso pregunta-respuesta propuesto por Tourangeau
(1984).
42
Esquema de Oksenberg, Cannell y Kalton (1991)
Oksenberg et al. (1991) tenían como meta elaborar un esquema de codificación que
fuera fácilmente aplicable a lo largo del pretest. Encontraron que había una gran cantidad de
información acerca de la conducta del entrevistador y el entrevistado superflua. Por ello,
desarrollaron un esquema de codificación que se ceñía a la exactitud con la que el
entrevistador leía la pregunta y a la conducta del entrevistado tras esa lectura. La Tabla II. 1
muestra una breve descripción de este esquema de codificación.
Tabla II. 1. Esquema de Análisis de la Codificación del Comportamiento
Conducta Código Significado

Lee la pregunta exactamente como está
Exacto
escrita
Lee la pregunta cambiando ciertas
Entrevistador leyendo la
Cambios ligeros palabras sin alterar el significado de la
pregunta
pregunta
Cambia el significado de la pregunta/No
Cambios grandes
lee completamente la pregunta
La respuesta se ajusta al objetivo de la
R. Adecuada
pregunta (secuencia ideal)
La respuesta es adecuada pero no coincide
R. No Ajustada
con ninguna de las alternativas ofrecidas
La respuesta no está relacionada con la
Entrevistado contestando la R. Inválida
pregunta
pregunta
R. No sé El entrevistado no sabe la respuesta
R. Limitada La respuesta indica duda o incertidumbre

El entrevistado interrumpe la lectura de la
Interrupción
pregunta
Aclaración El entrevistado solicita una aclaración
En función del tipo de conducta que tenga lugar, se pueden especificar distintas
secuencias. Generalmente, las secuencias se clasifican en “paradigmáticas”, “no
paradigmáticas problemáticas” y “no paradigmáticas no problemáticas”. Una secuencia
“paradigmática” es una secuencia ideal, en la que el entrevistador realiza la pregunta tal y
43
Capítulo II
como está establecido, el entrevistado ofrece una respuesta adecuada y el entrevistador

reconoce esa respuesta como adecuada (Ongena & Dijkstra, 2006). Ahora, una secuencia “no
paradigmática” se clasifica como “problemática” o “no problemática” si el investigador
considera que la conducta está afectando de forma problemática a los datos. Es decir, una
conducta se puede establecer como problemática si realmente tiene una influencia en los
datos. Si el investigador cree que la conducta en sí misma, no es la ideal, pero no afecta a los
datos se clasificaría como “no problemática” (ver esquema de análisis del Capítulo V).
Esquema de van der Zouwen y Smit (2004)
El esquema de codificación de van der Zouwen y Smit (2004) (ver Figura II.1) se
divide en las cinco fases siguientes:
1. Selección y formulación de la pregunta.
El proceso de pregunta-respuesta para una pregunta de un cuestionario comienza

con la decisión del entrevistador sobre si formular esa pregunta, al correspondiente
encuestado en el momento requerido. En el caso de que no se formulara la pregunta, se
asignaría el código WS (word skip) indicando que la secuencia de interacción no
comenzó. La omisión de la pregunta, en principio, llevaría a dejar en blanco la matriz
de datos, es decir, no asignar ninguna alternativa de respuesta. Sin embargo, en
algunas ocasiones el entrevistador asigna una alternativa de respuesta a pesar de que la
pregunta no haya sido formulada (flecha 1). Esta conducta se codificaría como CE
(coding error).
Es posible que el entrevistador formule la pregunta de forma que cambie

sustancialmente el contenido del texto de la pregunta del cuestionario. Esta
reformulación (RQ, reformulation) implica que el entrevistado responda a una
pregunta diferente de la prevista, con una alta probabilidad asociada de que ofrezca
información no relevante o no comparable. Este efecto también podría ocurrir cuando
se produce la omisión (OM, omission) de una parte de la pregunta, ya sea del propio
texto o de las alternativas de respuesta.
44
Figura II. 1. Ejemplo Esquema de Codificación
1. SELECCIÓN Y RQ
FORMULACIÓN OM
WS
2. PROCESAMIENTO COGNITIVO MQ
No Ayuda
pregunta 1. Compresión
2. Recuperación de información Entrevistador RE
3. Juicio
2 4. Respuesta 3º persona PT
CA
CH
1
3. EVALUACIÓN DE LA RESPUESTA
Adecuada Inadecuada R. Inadecuada:
RF
IA
DK
MM
4. REPARACIÓN
3
Adecuada Inadecuada
AR
IR
MR
5. ASIGNACIÓN DE ALTERNATIVA
No Sí Alternativa se ajusta Alternativa no se
Alternativa Alternativa a la respuesta ajusta a la respuesta
CE
Códigos
WS: wrong skip; RQ: reformulation; OM: omission; MQ: misinterpretation; RE: request for elucidation;
PT: participation 3rd person; CA: comment to answer; CH: check of answer; IA: irrelevant answer;
RF: refusal; DK: don’t know answer; MM: mismatch; AR: adequate repair; MR: missing repair;
CE: coding error; IR: inadequate repair;
Adaptado de Van der Zouwen y Smit (2004)
2. Procesamiento Cognitivo
Una vez que el entrevistador ha formulado la pregunta, el encuestado pone en

marcha un proceso cognitivo con el fin de ofrecer una respuesta. En línea con el
45
Capítulo II
modelo presentado en el capítulo anterior, este procesamiento se divide en las 4 fases

que aparecen en la Figura II. 1. Dicho procesamiento no es directamente observable.
No obstante, como explican van der Zouwen y Smit (2004) durante la entrevista parte
de este procesamiento puede llegar a ser indirectamente observable. Esto sucede
cuando el encuestado solicita ayuda al entrevistador o a una tercera persona que esté
presente en la entrevista. Esta conducta puede indicar qué parte de la pregunta
ocasiona problemas, convirtiéndose estas interacciones y comentarios en medios de
información muy útiles a la hora de evaluar la pregunta. En el caso de que el
encuestado solicite una repetición o aclaración al entrevistador se aplicaría el código
RE (request for elucidation). Si una tercera persona interrumpiera el proceso de
respuesta, por ejemplo, ofreciendo la información solicitada, se codificaría con PT
(participation of 3rd person). Si el encuestado parafraseaba la pregunta mostrando que
no ha comprendido de forma correcta el objetivo de la pregunta, se aplicaría el código
MQ (misinterpretation). Por último dentro de esta fase, algunas veces el encuestado
comenta las razones de su respuesta o elección; en esas ocasiones se utilizaría el
código CA (comment on answer).
3. Evaluación de la respuesta
Tras la respuesta del encuestado el entrevistador debe evaluar dicha respuesta. En

el caso de que se utilizara un formato de pregunta de respuesta cerrada, el
entrevistador tiene que comprobar la adecuación de la respuesta dada por el
encuestado, con las distintas alternativas de respuesta previstas para la pregunta. Sin
embargo, una respuesta adecuada no siempre es una respuesta correcta. El
entrevistador puede tener dudas sobre si la respuesta es correcta o no y decidir
comprobarlo (CH, check) repitiendo la pregunta (flecha 2). En el caso de que la
respuesta fuera adecuada, el entrevistador marcaría la opción correspondiente y
finalizaría la secuencia de interacción. Por el contrario, si la respuesta es inadecuada
(de acuerdo con los autores), puede ser de cuatro tipos diferentes: a) se niega a dar una
respuesta (RF, refusal); b) la respuesta es irrelevante con respecto a la temática de la
pregunta (IA, irrelevant answer); c) la respuesta es “no sabe” (DK, don’t know) y d) la
respuesta es relevante con respecto a la temática de la pregunta pero no se ajusta a
ninguna de las alternativas previstas (MM, mismatch).
46
4. Reparación
Si el encuestado ofrece una respuesta inadecuada se espera que el entrevistador

intente solucionar la situación y en colaboración con el encuestado “reparar” la
respuesta, con el fin de obtener una respuesta adecuada (flecha 3). En esta situación,
las habilidades del entrevistador juegan un papel crucial para solucionar el problema
sin sesgar al encuestado hacia una respuesta u otra. En el caso de que la respuesta
fuera lo suficientemente “reparada” se aplicaría el código AR (adequate repair). Sin
embargo, puede ocurrir que la situación no se haya solucionado satisfactoriamente y el
entrevistador en el intento de “reparar” la respuesta haya sesgado o dirigido al
encuestado hacia una alternativa de respuesta. De modo que sería una “reparación
inadecuada”, para ello se utilizó el código IR (inadequate repair). Por supuesto,
también puede ocurrir que el entrevistador pese a oír una respuesta inadecuada no
realice ningún intento de solucionar la reparación y marque una alternativa que no se
ajusta con la respuesta ofrecida. A esta última secuencia de conductas se aplicó el
código MR (missing repair).
5. Asignación de respuesta
Esta es la última fase en el esquema de codificación usado por van der Zouwen y
Smit (2004). En la fase de asignación de respuesta no designaron ningún código
específico a una secuencia de conductas sino que el único código posible (CE, coding
error) venía designado por los comportamientos en las fases anteriores.
En base a estos 16 códigos utilizados para analizar la interacción entre el entrevistador

y el encuestado, van der Zouwen y Smit (2004) establecieron tres tipos de secuencias. Estas
son las siguientes: a) “Secuencias Paradigmáticas”, aquellas en las que el entrevistador
selecciona y formula la pregunta de forma adecuada, el encuestado también ofrece una
respuesta adecuada y se selecciona una alternativa que se ajusta a la respuesta; b) “Secuencias
Inadecuadas”, cuando ha ocurrido alguna desviación de la secuencia paradigmática pero dicha
situación ha sido satisfactoriamente resuelta (código AR, adequate repair) o cuando han
ocurrido secuencias como RE (request for elucidation), CH (check) o CA (comment to
answer); c) “Secuencias Problemáticas”, en este tipo de secuencias sucedieron importantes
47
Capítulo II
desviaciones con respecto a la secuencia paradigmática que no fueron resueltas (MR, missing
repair) o que no fueron satisfactoriamente resueltas (IR, inadequate repair).
6.2. Análisis de los Datos
Una vez que los investigadores han establecido los códigos de conducta y qué códigos
forman las secuencias, como por ejemplo la clasificación de van der Zouwen y Smit (2004),
se procede con la administración de las preguntas de la encuesta. Estas sesiones de
administración de las preguntas de la encuesta suelen ser grabadas en audio y/o vídeo para su
posterior análisis.
Se extraen las frecuencias tanto de los códigos como de las secuencias

(“paradigmáticas”, “problemáticas”, etc.). El análisis de frecuencias proporciona información
sobre las preguntas que están presentando dificultades para los encuestados. Por ejemplo, si
en el estudio de van der Zouwen y Smit (2004), una pregunta muestra una alta tasa de
secuencias “problemáticas” o de códigos “inadequate repair” está indicando que los
encuestados no son capaces de dar respuestas ajustadas al objetivo de la pregunta, y pese al
intento del entrevistador de “reparar” la situación, tampoco son capaces de ajustarse a la
pregunta.
Existen aplicaciones informáticas específicamente diseñadas para realizar este tipo de

análisis. Por ejemplo, el software Sequence Viewer versión 4.4a (Dijkstra, 2008) ejecuta el
análisis de la codificación del comportamiento utilizando las transcripciones de las
interacciones entre el entrevistador y el encuestado. Este software ha sido usado en uno de los
estudios empíricos de la tesis.
Por último, hay una amplia variedad de criterios para decidir cuándo la distribución de
frecuencias de las secuencias indica que la pregunta debe ser revisada. Van der Zouwen y
Smit, en el estudio que se ha utilizado de ejemplo, incluyeron una revisión de criterios
utilizados en diversos estudios desde el año 1969 hasta el 2004. Este estudió mostró que el
criterio más utilizado es: revisar la pregunta del cuestionario cuando se ha obtenido un
porcentaje menor del 85% de respuestas categorizadas como adecuadas o paradigmáticas.
48
7. La Entrevista Cognitiva
La entrevista cognitiva posee un gran número de denominaciones distintas en la

literatura: protocolos retrospectivos y concurrentes (Groves, 1996), entrevistas en profundidad
(Snijkers, 2002), entrevistas expansivas (Forsyth & Lessler, 1991), entrevistas intensivas
(Belson, 1981; Fowler, 1992, 1995), entrevistas intensivas cara-a-cara (Campanelli, Martin &
Rothgeb, 1991), entrevistas think-aloud (Forsyth & Lessler, 1991; DeMaio & Rothgeb, 1996),
think alouds (Sudman, Bradburn, & Schwarz, 1996) o entrevistas cognitivas (Presser & Blair,
1994; Presser et al. 2004; Campanelli, 1997; Willis, 2004; Willis, 2005; Beatty & Willis,
2007; Castillo, Padilla, Gómez y Andrés, en prensa). Como se ha venido haciendo en
capítulos anteriores, el término “entrevista cognitiva” será el empleado a lo largo de la tesis.
La entrevista cognitiva ha emergido como uno de los métodos predominantes para la

identificación y corrección de problemas con las preguntas de las encuestas (Beatty & Willis,
2007). Numerosos institutos de investigación por encuesta, agencias estatales y centros
privados de investigación han incorporado la entrevista cognitiva como un procedimiento
habitual en el desarrollo de cuestionarios, y algunas organizaciones han creado laboratorios
de diseño de cuestionarios para facilitar el uso de la entrevista cognitiva (p. ej. Census
Bureau, National Center for Health Statistics, Bureau of Labor Statistics, Westat, RTI
Internacional y Abt Associates).
No obstante, a pesar de todos estos avances y desarrollos en el uso de la entrevista

cognitiva, hoy en día no existe una definición comúnmente aceptada sobre la misma que
incluya en qué consiste y cuál es el método adecuado de aplicación (Presser et al. 2004). Con
el objetivo de incluir en esta tesis una definición de referencia, se va a utilizar la propuesta por
Beatty y Willis en 2007 que parece reflejar el mayor consenso entre los profesionales del área:
“la entrevista cognitiva implica la administración de un borrador de

preguntas de la encuesta mientras se recoge información verbal adicional
sobre las respuestas a las preguntas de la encuesta, dicha información es
usada para evaluar la calidad de las respuestas o para ayudar a determinar
si la pregunta está generando la información que el autor de la encuesta
pretendía” (p. 288).
49
Capítulo II
Mas allá de esta definición general, la entrevista cognitiva potencialmente incluye una
serie de actividades basadas en las distintas suposiciones sobre el tipo de datos que se esta
obteniendo y el rol del entrevistador en el proceso. Por ejemplo, el material verbal generado
por las entrevistas podría consistir en: 1) las elaboraciones de los encuestados acerca de como
ellos construyen sus respuestas, 2) las explicaciones sobre cuál ha sido su interpretación de la
pregunta, 3) la información sobre los distintos problemas que hayan tenido contestando a las
preguntas; o 4) cualquier otra información que arroje luz sobre la amplia variedad de aspectos
que rodea el proceso pregunta-respuesta (Beatty & Willis, 2007).
Desde un punto de vista mucho más práctico, la entrevista cognitiva puede ser
conceptualizada como una modificación y expansión del proceso normal de entrevista en la
encuesta (Willis, 1994; Willis, DeMaio & Harris-Kojetin, 1999). La entrevista se lleva a cabo
por entrevistadores cognitivos especialmente entrenados en la indagación del proceso
pregunta-respuesta, en lugar de por los tradicionales encuestadores. Dichos entrevistadores
pueden usar un protocolo semi-estructurado o dirigir la entrevista de una forma más abierta,
basándose en las distintas cuestiones que surjan en el transcurso de la interacción entre el
entrevistador y el encuestado.
7.1. La Validez del Informe Verbal
La perspectiva cognitiva de la evaluación de cuestionarios ha estado fuertemente

ligada al trabajo de Ericsson y Simon (1980) en Psychological Review, al posterior libro y a
su revisión (1984, 1993). Ericsson y Simon estuvieron, en un principio, interesados en la
evaluación de la utilidad de los informes verbales para obtener información de los procesos de
pensamiento de las personas, en contraposición a la larga tradición de escepticismo, marcada
por el conductismo, sobre la habilidad de las personas a la hora de hablar de sus motivaciones,
procesos de conciencia y procesos cognitivos en general (Lashley, 1923).
Después de una amplia y extensa revisión, Ericsson y Simon presentaron un modelo

de procesamiento cognitivo (siguiendo a Newell y Simon, 1972). La hipótesis principal en la
que se basa el modelo es que la información se almacena en distintas memorias con distintas
capacidades de almacenamiento y distintas características de acceso, estas son:
50
1) Varios almacenes sensoriales de corta duración (p. ej. memorias icónicas o eoicas).
2) Una memoria a corto plazo (MCP) de capacidad limitada y/o duración intermedia.
3) Una memoria a largo plazo (MLP) de gran capacidad y almacenamiento relativamente

permanente.
El modelo del procesamiento de la información establece, de forma sencilla, que la

información recientemente adquirida a través de la interacción con el entorno, se mantiene en
la MCP durante un tiempo limitado. Mientras la información se encuentra en la MCP se
puede procesar para ser utilizada en el mismo momento (p. ej. para producir informes
verbales) o puede pasar a almacenarse en la MLP. Tras un periodo de tiempo limitado la
información en la MCP se pierde. Por otra parte, la información, que tiempo atrás había sido
almacenada en la MLP, tiene que ser transferida a la MCP para poder ser utilizada y poder
informar sobre la misma. Ericsson y Simon (1980) asumen que cualquier verbalización o
informe verbal acerca de un proceso cognitivo tendría que basarse en un subconjunto de
información que se encuentre en alguna de estas dos memorias. En esta línea, concluyeron
que provenga de donde provenga la información, para que una persona exprese sus
pensamientos la información se debe encontrar en ese momento en la MCP, de lo contrario no
podría hacerlo.
En lo que concierne al ámbito de la metodología de encuestas, el aspecto clave del

modelo es dónde se almacena la información: la información contenida en la MCP durante el
transcurso de una tarea de solución de problemas o cualquier otra actividad cognitiva puede
ser verbalizada sin que este acto interfiera en el proceso cognitivo puesto en marcha. Ericsson
y Simon (1980) afirmaron que los informes verbales son verídicos no sólo porque contienen
información pertinente que se encuentra disponible en la MCP, sino porque también, el acto
de verbalizar esta información demanda poca actividad cognitiva adicional y, por tanto, no
interfiere en el proceso de pensamiento sobre el que se está informando.
Los profesionales de la investigación por encuesta no estaban interesados en el uso de

los métodos de informe verbal sobre tareas cognitivas en el contexto de los experimentos
psicológicos, sino en su aplicación en la evaluación cognitiva de las preguntas de las
encuestas. En la medida en que Ericsson y Simon defienden el uso general de los métodos de
51
Capítulo II
informe verbal, los entrevistadores cognitivos asumen que el uso de estos métodos en la
evaluación de las preguntas de los cuestionarios representa una aplicación natural (Willis,
2004). Desde el trabajo inicial de Ericsson y Simon, los métodos de informe verbal se han
extendido al área de la comprensión de los textos escritos (Magliano & Graesser, 1991;
Trabasso & Suh, 1993).
Sin embargo, no todos los procesos de pensamiento son accesibles, existen ciertos
procesos de pensamiento automáticos en los que las personas tienen muy poco o nada que
decir sobre la información procesada (Schneider & Shiffrin, 1977). Conrad y Blair (2009)
ejemplifican esta restricción de la validez de los informes verbales exponiendo dos tareas
cognitivas distintas, una automática y otra no automática:
a) Cuando una persona planifica un movimiento en ajedrez se anticipa una serie

de movimientos posibles, se almacena temporalmente el estado de la tabla de
ajedrez en la MCP, las consecuencias de cada uno de los movimientos, etc.
Además, la persona es capaz de explicar los procesos de pensamiento que han
tenido lugar antes de realizar al movimiento de la figura de ajedrez.
b) Cuando una persona tiene que recordar una contraseña o un correo electrónico
simplemente la información aparece en su MCP desde su MLP, y tiene muy
poco que explicar sobre este proceso de pensamiento. Si se le pidiera a esa
persona que comentara cómo ha llevado a cabo esa tarea cognitiva
probablemente diría: “simplemente he recordado la contraseña”.
Ambas situaciones son aplicables a la entrevista cognitiva. En la medida en que las

preguntas de la encuesta impliquen un procesamiento cognitivo automático, los participantes
de la entrevista apenas podrán ofrecer información sobre dicho procesamiento cognitivo y,
por tanto, la entrevista cognitiva tendrá poca utilidad en la indagación de los procesos de
respuesta en este tipo de preguntas. En cambio, si el procesamiento cognitivo es no
automático, es elaborado, la entrevista cognitiva adquirirá una enorme utilidad para indagar
en los procesos de pensamiento del encuestado.
Veamos a continuación cómo se han usado estos métodos de informe verbal en la

evaluación de las pregunta de las encuestas.
52
7.2. Paradigmas de Aplicación
Todas las formas de aplicación de las entrevistas cognitivas consisten en dos tareas
principales:
a) La administración de las preguntas de la encuesta a potenciales encuestados.
b) Recoger información verbal acerca de los distintos procesos de respuesta que

llevan a cabo los encuestados.
Tradicionalmente existen dos grandes formas de implementar las entrevistas

cognitivas. En una de ellas, el entrevistador tiene el rol de facilitar la verbalización de
pensamientos del participante e intervenir tan poco como sea posible en la generación de esta
información verbal. En la otra, el entrevistador guía la interacción de forma proactiva,
realizando preguntas y pruebas de indagación. Ambas formas han dado lugar a lo que se
puede considerar como dos paradigmas distintos de aplicación. La primera aplicación seguiría
el Paradigma Thinking-aloud mientras que la segunda se corresponde con el Paradigma
Probing Based.
El Paradigma Thinking-aloud
El paradigma thinking-aloud fue la aplicación original de la entrevista cognitiva. En

esta aplicación se anima al participante a que verbalice sus pensamientos mientras va
contestando a las preguntas de la encuesta. Loftus en el congreso CASM I fue la primera
persona que mostró la utilización de esta técnica para indagar en los procesos cognitivos del
participante, mientras contestaba a una pregunta autobiográfica, en relación a cuántas veces
había visitado al médico. Este paradigma de aplicación se consideró como una derivación
directa del trabajo de Ericsson y Simon (1980, 1984) sobre la validez del informe verbal. Es
decir, se asumió que el método think-aloud proporciona información real sobre los procesos
cognitivos que tienen lugar en la MCP del entrevistado. Trabajos cercanos a la fecha de esta
primera aplicación (p. ej. Royston, Bercini, Sirken & Mingay, 1986) sugieren que, las
primeras formas de entrevistas cognitivas, están fuertemente basadas, si no exclusivamente,
53
Capítulo II
en el método think-aloud. La aplicación del think-aloud fue el método predominante y no es

de extrañar que también se convirtiera en el paradigma original de las entrevistas cognitivas.
En algún momento, emergió un paradigma de aplicación de la entrevista cognitiva

como alternativa al uso de un think-aloud puro. En concreto, se defendía el uso de preguntas o
pruebas directas al participante, en lugar de ir animándolo a que hablara de sus pensamientos.
Existen varios precedentes que podían haber marcado el desarrollo de esta nueva aplicación.
Por ejemplo, Streett (1983) había descrito las preguntas “marcos de referencia” sobre cómo
los encuestados interpretan distintos términos o conceptos. Converse y Presser (1986)
propusieron los “pretest participantes” en los que explícitamente se informaba a los
participantes del carácter evaluativo de la entrevista y que se les iba a pedir que explicaran sus
respuestas.
El Paradigma Probing Based
El método probing based implica una técnica de informe verbal que se ha ido
consolidando, y con la que los investigadores cognitivos están mucho más de acuerdo (Willis
et al., 1999). Desde este paradigma se lleva a cabo una entrevista en la que el entrevistador
administra las preguntas de la encuesta a evaluar (preguntas target) y el participante responde
a dichas preguntas. Posteriormente, el entrevistador indaga en la información que el
participante tiene en su MCP, a través de preguntas específicas o pruebas.
Este paradigma ha ido evolucionando gradualmente (Beatty & Willis, 2007). Aunque
algunas primeras descripciones de la entrevista cognitiva (Bercini, 1992; Forsyth & Lessler,
1991; Royston, 1989) se enfocaron en el think-aloud como el paradigma dominante de la
entrevista cognitiva, otras (Royston & Bercini, 1987; Willis, Royston, & Bercini, 1991)
sugirieron que tanto think-aloud como probing based podrían ser alternativas perfectamente
viables. Más tarde, Willis (1994) propuso con énfasis el uso de probing based, principalmente
basando su defensa en la observación de que la técnica think-aloud parece ser difícil y
desbordante para muchos participantes. En esta misma línea DeMaio y Rothgeb (1996)
propusieron que las entrevistas cognitivas podrían incluir una serie de actividades
previamente establecidas, tales como, pruebas sobre la comprensión de ciertos términos o
54
solicitar a los participantes que parafraseen alguna pregunta, en ausencia del uso del think-
aloud.
Artículos posteriores demuestran que esta tendencia hacia el uso del probing based
siguió creciendo. Por ejemplo, Gerber y Wellens en 1997 afirmaron que la entrevista
cognitiva parecía haber evolucionado de su forma original “incluyendo más pruebas, y
muchas de ellas sobre la interpretación de los participantes que las que originalmente se
habían previsto” (p. 35). O’Muircheartaigh continúa en 1999 estableciendo que la práctica de
la entrevista cognitiva había divergido sustancialmente del paradigma original propuesto por
Ericsson y Simon. Para finalizar con esta línea argumental, se incluye la puntualización que
Willis et al. realizaron en 1999, exponiendo que a menudo la entrevista cognitiva es
denominada como “entrevistas think-aloud”, no obstante, dicha denominación debería usarse
con moderación ya que la forma think-aloud de aplicación de la entrevista cognitiva no es
necesariamente la forma dominante de implementación de la entrevista cognitiva.
A continuación, la Tabla II. 2 ilustra algunas categorías de las pruebas “clásicas” en el

diseño probing based de la entrevista cognitiva y ejemplos de cada una de ellas. Esta tabla
sólo muestra un pequeño ejemplo de las distintas pruebas que pueden utilizarse durante la
entrevista cognitiva. No obstante, la aplicación de la entrevista cognitiva de acuerdo a un
diseño probing based es bastante variado y complejo. Tal y como puede observarse en la
Tabla II. 2 las pruebas parecen estar basadas en el sentido común, y por ello, los
entrevistadores suelen estar muy dispuestos a aplicarlas. Sin embargo, desde un punto de vista
teórico, la utilidad de estas pruebas con el objetivo de evaluar las preguntas de la encuesta se
basa en tres puntos claves (Willis, 2005):
1. Las características de las preguntas de las encuestas (p. ej., longitud,

terminología utilizada, etc.) deberían afectar al procesamiento de información
en varios puntos: en las fases de comprensión, recuperación de información,
juicio y respuesta de los encuestados.
2. Se podría aplicar esta técnica de pruebas verbales para, literalmente, “probar”

el sistema de procesamiento. Es decir, se le aplican estas pruebas al
participante con el fin de indagar en alguna de las fases del proceso pregunta-
respuesta, tales como, comprensión o recuperación de información.
55
Capítulo II
Tabla II.2. Típicas Pruebas Cognitivas

Prueba Cognitiva Ejemplo
¿En qué estaba pensando mientras respondía a la
Prueba General pregunta? ¿Qué información le ha venido a la
cabeza mientras respondía?
Prueba sobre Comprensión de conceptos ¿Qué ha entendido por el termino “familia”?
¿Podría repetir la pregunta con sus propias
Prueba de Parafraseo
palabras?
¿Con qué seguridad afirma que… “su seguro
Juicios de Confianza médico cubre el tratamiento del alcohol y las
drogas”?
¿En qué se ha basado para decir que… “fue al
Prueba sobre Recuperación de Información
médico cinco veces durante el año pasado”?
¿Ha sido fácil o difícil responder a la pregunta?
Prueba Especifica Me he dado cuenta que ha dudado al responder,
¿me podría decir qué ha sucedido?
3. La respuesta del participante a estas pruebas, podría ser usada para evaluar el
procesamiento de estas fases. En particular, para evaluar si la pregunta de la
encuesta esta siendo procesada como se esperaba.
Procedimiento de Aplicación
Aquellos entrevistadores que utilizan la aplicación probing based, en contraposición a

la utilización del think-aloud, deben decidir cuándo aplicar dichas pruebas. Es decir, cuándo
introducir dichas pruebas durante la entrevista. Existen fundamentalmente dos opciones,
introducir las pruebas como una parte integrada en la administración de las preguntas del
cuestionario a evaluar, denominadas preguntas “target” (Willis, 2005), o esperar a que se
administren todas las preguntas target y como una actividad separada se realizan las pruebas.
El primer procedimiento se denomina concurrent probing o immediate restropective probing
(Willis et. al 1991); mientras que el segundo se denomina delayed retrospective probing,
retrospective probing o subject debriefing (Willis, 2005). En el marco de esta tesis doctoral,
56
se utilizará el término diseño concurrente para referirse al primer procedimiento, y diseño

retrospectivo para referirse al segundo procedimiento. En el diseño concurrente las pruebas se
llevan a cabo de una forma interactiva y conversacional en la que el entrevistador cognitivo y
el participante se turnan para ir preguntando y contestando tanto las preguntas target como las
pruebas cognitivas. Actualmente, el diseño concurrente es el más utilizado, prueba de ello es
el estudio que realizaron DeMaio y Landreth (2004) sobre tres laboratorios cognitivos
determinando que aproximadamente el 95% de las pruebas fueron administradas de forma
concurrente. En la Figura II. 2 se expone una secuencia típica en la aplicación concurrente de
la entrevista cognitiva, junto a un extracto de trascripción de una entrevista cognitiva real.
Podría parecer más efectivo esperar a que se administraran todas las preguntas target y
posteriormente realizar las pruebas cognitivas, evitando de este modo efectos de reactividad
en el participante debido a la acumulación de pruebas durante la entrevista. Sin embargo, la
mayoría de los entrevistadores cognitivos coinciden con Ericsson y Simon (1980, 1984) en
que la información debería estar fresca en la mente del participante (en su memoria a corto
plazo) para poder ser evaluada correctamente. En otras palabras, si se aplican las pruebas
cognitivas muy tarde, se corre el riesgo de que los participantes no recuerden qué estaban
pensando cuando contestaban a cada una de las preguntas target.
Sería más conveniente utilizar el diseño retrospectivo bajo ciertas circunstancias: (a)
cuando se evalúan preguntas de encuestas auto-administradas, especialmente cuando el
objetivo de la evaluación es determinar la capacidad del participante para utilizar un
instrumento de medida auto-administrado, (b) en las últimas fases del desarrollo de las
preguntas cuando los diseñadores quieren simular las condiciones reales de la administración
de la encuesta sin la interrupción de las pruebas, y (c) cuando junto a la entrevista cognitiva se
aplica otro método de pretest, por ejemplo, la codificación del comportamiento, y se necesita
obtener una secuencia de conductas sobre la interacción del entrevistador y el participante sin
la interrupción de las pruebas cognitivas (ver capítulo V).
57
Capítulo II
Figura II. 2. Ejemplo de diseño concurrente

Secuencia Extracto de la Entrevista Cognitiva
P.1 ¿Tiene dificultad importante para hablar de manera comprensible y
1. El entrevistador decir frases con sentido sin ayudas?
administra la SI
pregunta target NO
2. El participante “Sin ayuda de otra persona, sí, por supuesto, yo me considero bien al hablar
contesta a la pregunta sin ayuda de nadie”
3. El entrevistador
marca la alternativa “Entonces…la respuesta sería, NO”
de respuesta
4. El entrevistador
realiza la prueba
cognitiva ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?
(prueba general en
este caso)
“Porque yo creo que en esta facultad que yo tengo ahora mismo, es la que
tengo sana. Entonces me veo muy desarrollada a la hora de poder…no a lo
5. El participante
mejor el decir cosas que uno quiere…pero creo que sí, que saber escucharlo y
contesta a la prueba
decirlo, me veo preparada porque no me veo con ninguna dificultad en ese
sentido, de adentro interior”
6. La secuencia 3 y 4 ¿Qué significan para Vd. las palabras “hablar de manera comprensible”?
se suele repetir varias “Yo el concepto es saber escuchar y comprender a la persona con la que estás
veces hablando”
P.2 ¿Tiene dificultad importante para comprender el significado de lo
7. El entrevistador que le dicen otras personas sin ayudas?
administra la
siguiente pregunta SI
target NO
58
7.3. Contextualización y Procedimiento
La aplicación de la entrevista cognitiva, como método de pretest, supone una fase en

la amplia secuencia de desarrollo de la encuesta. Es importante no cometer el error de aplicar
la entrevista cognitiva demasiado pronto o demasiado tarde en dicho proceso. Si se aplicara
demasiado pronto aspectos como, la concreción de objetivos de la encuesta o la búsqueda y
localización de encuestas similares podrían interferir en el proceso de evaluación del
cuestionario. Por otra parte, si se aplicara demasiado tarde no se dispondría de suficiente
tiempo para realizar los cambios y ajustes necesarios tras los resultados de la entrevista
cognitiva (Beatty, 2004). La entrevista cognitiva se debe aplicar una vez que se dispone de un
borrador del cuestionario. En base a este borrador del cuestionario se seleccionarán las
preguntas a ser evaluadas mediante la entrevista cognitiva, es decir las preguntas target.
La selección de dichas preguntas se puede llevar a cabo de varias formas. Por una
parte, los autores de la encuesta pueden decidir cuáles son las preguntas que necesitarían ser
evaluadas. Por ejemplo, aquellas que han resultado más complejas durante las fases iniciales
de la elaboración del cuestionario. Por otra parte, los autores de la encuesta con el
asesoramiento de entrevistadores cognitivos pueden decidir qué preguntas pueden ser las más
problemáticas e identificar las potenciales fuentes de error de respuesta que pudieran poseer.
Por supuesto, sin mencionar que para obtener un borrador del cuestionario, previamente y de
forma general, se tuvo que establecer los objetivos de la investigación, llevar a cabo un juicio
de expertos, revisión bibliográfica o cualquier método similar para la concreción y desarrollo
de conceptos o constructos a implementar en el cuestionario, y por último, operativizar dichos
conceptos y constructos hasta poder ser representados en preguntas dentro de la encuesta. La
Figura II. 3 muestra el procedimiento de la entrevista cognitiva una vez que se ha obtenido el
borrador del cuestionario.
Antes de comenzar con la entrevista y una vez seleccionadas las preguntas target, se
debe preparar y/o adaptar el cuestionario para su administración en la entrevista cognitiva. Así
mismo, se deben desarrollar las correspondientes pruebas cognitivas para indagar en el
proceso pregunta-respuesta y, por tanto, obtener evidencias de esas potenciales fuentes de
error de respuesta.
59
Capítulo II
Figura II. 3. Procedimiento de la Entrevista Cognitiva
Borrador del Cuestionario Disponible para ser Evaluado
Preparación de la Entrevista Reclutamiento

Elección de las preguntas target Determinar las características de los
participantes
Preparación del cuestionario para la
entrevista cognitiva Desarrollar e implementar una
estrategia de reclutamiento
Desarrollo de las pruebas (anuncios, bola de nieve…)
Desarrollo del Protocolo de Reclutar y citar a los participantes

entrevista (instrucciones + preguntas
target + pruebas)
Realizar entre 15-20 entrevistas cognitivas
Proceso Análisis de los datos de las entrevistas

(grabaciones, transcripciones, notas…)
de
Informe de Resultados
Entrevista
Reunión con el cliente o autores de la encuesta para
Cognitiva las posibles modificaciones
El cuestionario es revisado por los diseñadores
SI ¿Se necesita llevar a cabo otra ronda de evaluación?
NO
Fase del Pretest de Campo
Administración de la Encuesta
Dichas pruebas junto con instrucciones sobre el objetivo de la entrevista cognitiva, su

desarrollo, y función del entrevistador y el participante suelen ser implementadas en un
protocolo o guión de entrevista. A veces, las preguntas target, también se insertan en dicho
protocolo y, otras veces, se crea un documento independiente con dichas preguntas.
60
A su vez y como una parte muy importante del procedimiento se deben reclutar a los
participantes de la entrevista cognitiva. Actualmente, el ámbito de los participantes
“adecuados” para la entrevista cognitiva y cuestiones tales como la representatividad de los
participantes, su capacidad de comunicación verbal, la utilización de los mismos participantes
en varios pretest cognitivos, etc. se está convirtiendo en un foco de atención por los
profesionales del área; por ejemplo, Willis (2005) dedica varias páginas de su libro a ilustrar
quiénes son los participantes adecuados para la entrevista y cómo podrían ser reclutados.
Basándonos en la experiencia acumulada en la realización de entrevistas cognitivas

podemos apuntar que la característica más importante que deben poseer los participantes no es
tanto la representatividad de la población objetivo sino la posesión de ciertas características
que hagan “saltar” los problemas con las preguntas. Dada la finalidad de la entrevista
cognitiva, que es identificar las causas de los errores de respuesta en las encuestas, se deben
seleccionar potenciales participantes que se espera muestren esos errores de respuesta durante
la administración de las preguntas target en la entrevista cognitiva. Por ejemplo, si se va a
evaluar las preguntas de una encuesta de discapacidad, cuyo objetivo final sea identificar
mediante las respuestas a las preguntas qué personas se consideran con discapacidad y cuales
no. Los participantes de la entrevista cognitiva deberían ser personas que se encuentren en el
margen de la discapacidad; es decir, podrían ser personas con ciertos problemas de movilidad,
con cierto grado de limitación visual, etc. y que en teoría, mostrarían mayores dificultades a la
hora de contestar a las preguntas. En este sentido, los potenciales errores de respuesta en las
preguntas se harían evidentes, “saltarían”, con mayor facilidad. Realizando una analogía con
la disciplina de la Ingeniería Informática, cuando los informáticos quieren “testear” un nuevo
software lo prueban en las condiciones límites para asegurar su futuro rendimiento. En nuestra
disciplina, las condiciones o situaciones límites son aquellos participantes que mostrarían
mayores problemas en la compresión de las preguntas target.
Una vez especificadas las características de los participantes, se lleva a cabo la

estrategia de captación más adecuada, ya sea con anuncios, realizando muestreos tipo bola de
nieve, delegando esta tarea en una organización de estudios de campo, etc. Con los materiales
y los participantes disponibles comienza el propio proceso de la entrevista cognitiva. Se
suelen llevar a cabo alrededor de 15-20 entrevistas, dirigidas por entrevistadores entrenados y
cualificados, en un laboratorio cognitivo, idealmente provisto de sistemas de grabación de
audio y vídeo, con el fin de poder observar y analizar las entrevistas cuantas veces se requiera.
61
Capítulo II
La realización de las entrevistas cognitivas en un laboratorio cognitivo es una práctica

no extendida y ni compartida por todos los profesionales del área. Prueba de ello, es que
existen ciertos grupos de investigación, en su mayoría europeos, que defienden la aplicación
de la entrevista cognitiva en el mismo contexto en el que posteriormente se aplicaría la
encuesta, es decir, en los hogares. No obstante, nuestro grupo de investigación comparte la
perspectiva americana acerca de realizar la entrevista cognitiva en una situación más
controlada evitando las interrupciones que podrían surgir al realizarla en los hogares, aunque
a pesar de ello se pueda perder cierta validez “ecológica” de los datos.
El número de entrevistas cognitivas puede ser variable por distintas razones. En primer
lugar, en función de la temática de la encuesta y, por lo tanto, de las preguntas target se
pueden necesitar más o menos entrevistas para la obtención de evidencias empíricas de los
potenciales errores de respuesta en dichas preguntas. En segundo lugar, la realización de
entrevistas cognitivas conlleva un alto coste económico y temporal, de modo que, los recursos
económicos, humanos y temporales disponibles son un factor muy determinante del número
de entrevistas cognitivas.
Los datos de la entrevista cognitiva se pueden obtener a través de las grabaciones de la

entrevista y a través de las notas tomadas por el entrevistador durante la entrevista cognitiva.
Con respecto a esta última aproximación DeMaio y Landreth (2004) aportaron evidencias
sobre una reducción de la capacidad de la entrevista cognitiva a la hora de identificar
problemas con las preguntas del cuestionario, ya que supone una demanda cognitiva excesiva
para el entrevistador: administrar el cuestionario, aplicar y guiar las pruebas para la
indagación en el proceso pregunta-respuesta del participante y además tomar notas de los
resultados principales de forma comprensible e inteligible. El análisis de estos datos se suele
trasladar a un informe de resultados en el que se detallan información sobre los procesos de
respuesta de los participantes en cada una de las preguntas target, además de evidencias sobre
los problemas de las preguntas evaluadas y sobre las fuentes de error de dichas preguntas, y
recomendaciones para evitar estos errores de respuesta. Basado en los resultados de las
entrevistas cognitivas se realizan las modificaciones oportunas al cuestionario. Si fuera
necesario, se llevaría a cabo otra ronda de entrevistas cognitivas con la nueva versión del
cuestionario o de lo contrario comenzaría la fase del pretest de campo y finalmente la
administración de la versión final de la encuesta.
62
7.4. Análisis de los Datos
El análisis de los resultados de la entrevista cognitiva implica un gran esfuerzo a nivel

de interpretación y juicio de los informes verbales de los participantes.
Miller en 2007 estableció un sistema piramidal invertido compuesto por tres niveles de
análisis que idealmente los resultados de las entrevistas cognitivas debían alcanzar. Este
sistema piramidal se puede observar en el Diagrama II. 1.
Diagrama II. 1. Niveles de Análisis
1. Procesos de Respuesta a la Pregunta Análisis Individual

(descripción individual)
2. Patrones de los Procesos de Respuesta Comparación de las Entrevistas
3. Diferentes Patrones entre Grupos Comparación de los Grupos de Entrevistas

(descripción trans-cultural)
El sistema desarrollado por Miller (2007) se basa en la generalización de los

resultados de la entrevista cognitiva. El sistema parte de la cúspide de la pirámide, como el
nivel más elemental de análisis, y se va abriendo hasta la base, donde se sitúa el mayor nivel
que pueden alcanzar los resultados de la entrevista cognitiva.
El primer nivel de análisis sucede en el transcurso de la entrevista, específicamente,

cuando el entrevistador intenta recabar información sobre el proceso de respuesta del
entrevistado ante una pregunta de la encuesta: cómo ha interpretado la pregunta, en qué
información se ha basado para dar esa respuesta, etc. El entrevistador debe comportarse como
un analista durante la entrevista, evaluando la información que el participante le va ofreciendo
e indagando si existen ciertas incongruencias en las explicaciones del entrevistado o si
63
Capítulo II
necesita más información para identificar problemas con la pregunta de la encuesta. Además
el entrevistador debe evaluar la calidad de la información que está recabando durante la
entrevista cognitiva. Si esta información no es útil para cubrir el objetivo de la entrevista, el
entrevistador debe cambiar y adaptar la técnica de indagación. En este nivel de análisis se
pueden identificar problemas con las preguntas de la encuesta de forma exclusivamente
individual.
El segundo nivel de análisis tiene lugar cuando se examinan todas las entrevistas
realizadas con el fin de extraer patrones sobre el modo en el que los participantes interpretan y
procesan las preguntas. Es decir, a través de la comparación de todas las entrevistas se
intentan extraer patrones de los procesos de respuesta a las preguntas, y además, conocer la
consistencia de estos patrones. Este nivel de análisis es, también, muy importante a la hora de
saber en qué medida los participantes están realizando la misma interpretación de ciertos
conceptos claves en el texto de la pregunta. Por ejemplo, si ante una cláusula temporal como
“en los últimos 12 meses” o “en las últimas dos semanas” los entrevistados usan, de forma
consistente, esta cláusula para responder a la pregunta. Este nivel de análisis es fundamental
para entender el procesamiento cognitivo general que subyace a las respuestas de los
entrevistados.
El último nivel ideal de análisis implica la comparación de los patrones de

procesamiento cognitivo entre distintos grupos de participantes. Esta comparación entre
diversos grupos de participantes es esencial para comprobar si los problemas con las
preguntas de la encuesta son específicos a un grupo o comunes entre grupos con distintas
características. Este nivel es particularmente necesario en el contexto de la medición por
encuesta en estudios trans-culturales.
Los datos de la entrevista cognitiva se pueden analizar de tres formas distintas. En

función de las características de cada uno de los tres métodos de análisis, se podrá alcanzar un
nivel u otro de los propuestos por Miller (2007). Estas son:
1. Revisión y documentación de las entrevistas de forma individual. Este método de

análisis requiere la trascripción y análisis individual de cada entrevista. Se analiza de
forma detallada cada una de las entrevistas, extrayendo resultados por cada uno de los
participantes. Proporciona una revisión completa de la evaluación de cada pregunta,
64
representando la forma más detallada de análisis. No obstante, una revisión y análisis

tan pormenorizado dificulta llegar a conclusiones generales sobre los problemas de las
preguntas de las encuestas. Esta situación se ejemplifica con la famosa frase: “los
árboles impiden ver el bosque”. Esta forma de análisis sólo alcanzaría el primer nivel
propuesto por Miller (2007).
2. Compilación de resultados a lo largo de las entrevistas. Este método de análisis

combina los resultados de todas las entrevistas. Normalmente, el análisis se estructura
en base a cada una o grupo de preguntas target. Es decir, en cada pregunta target se
comparan todos los comentarios de los entrevistadores o informes verbales de los
participantes y, por último, se obtienen conclusiones acerca de los problemas y los
errores de respuesta en dicha pregunta. Se puede extraer tanto información de carácter
cualitativo como cuantitativo. Por una parte, se extrae información cualitativa en el
sentido de que permite ver qué tipo de problemas surgen en cada pregunta o cuáles son
los errores de respuesta presentes en las preguntas y, además, si son consistentes a lo
largo de las entrevistas. Por otra parte, se obtiene información cuantitativa en el
sentido de que se puede cuantificar la severidad del problema en función de su
frecuencia de aparición entre los participantes. Sin embargo, algunos centros de
investigación, como por ejemplo, el National Centre for Social Research, a pesar de
utilizar esta estrategia de análisis, sólo extraen los resultados a un nivel cualitativo.
Los investigadores de este centro de investigación asumen que la entrevista cognitiva
es una herramienta de obtención de datos de naturaleza cualitativa siendo no admisible
la cuantificación.
El método de compilación de resultados a lo largo de las entrevistas se sitúa en

el segundo nivel del sistema piramidal. Posteriormente, si el patrón de procesamiento
de respuesta obtenido se comparara con otros grupos se estaría llegando al último
nivel del sistema de Miller (2007).
3. Esquema de codificación. Esta forma de análisis de los datos de la entrevista cognitiva

se asemeja a la utilizada en la codificación del comportamiento. En primer lugar, se
establece un sistema de códigos que se asociará al informe verbal del participante.
Generalmente, se asignan códigos conceptuales a las porciones de información verbal
65
Capítulo II
que son muestra de problemas con las preguntas del cuestionario. Por ejemplo, Presser
y Blair (1994) crearon el esquema de codificación que aparece en la Figura II. 4.
Figura II. 4. Ejemplo Esquema de Codificación
 Código1: El entrevistador tiene un problema leyendo la pregunta o

marcando la alternativa de respuesta.
 Código2: El participante tiene dificultad para comprender el

significado de la pregunta.
 Código3: El participante tiene dificultad para recordar la pregunta.
 Código4: El participante tiene dificultad para entender el significado de

algunas palabras o conceptos dentro de la pregunta.
 Código5: Distintos participantes llevan a cabo distintas interpretaciones

de la misma pregunta.
 Código6: El participante tiene dificultad recuperando información o

exponiendo su respuesta.
En relación al modelo del proceso pregunta-respuesta (Tourangeau, 1984), el

esquema de codificación de Presser y Blair está muy desproporcionado. De las seis
categorías, expuestas en la Figura II. 4, cuatro de ellas, desde el Código2 hasta el
Código5, implican la fase de comprensión del modelo. Mientras que para la fase de
recuperación de información, juicio y comunicación de respuesta sólo se ha
designado una categoría, el Código6. Presser y Blair encontraron que las categorías
entre el Código2 y el Código5 (problemas semánticos) fueron las más frecuentes en
los resultados de las entrevistas cognitivas.
Willis et al. (1999) y de forma independiente Conrad y Blair (1996)

desarrollaron esquemas de codificación similares, que posteriormente Collins (2007)
los denominó esquemas de codificación estandarizados. Estos esquemas de
codificación estandarizados reflejan el modelo del proceso pregunta-respuesta
dominante, ajustándose totalmente al modelo de 4 fases del proceso pregunta-
respuesta (Tourangeau, 1984). Estos esquemas de codificación estandarizados
proponen la identificación de los siguientes tipos de problemas:
66
(1) Comprensión, que refleja cuando el participante no comprende el objetivo

de la pregunta o lo que se le está preguntado.
(2) Recuperación de la información, el participante tiene problemas para

recuperar la información o recordar la información necesaria para contestar a la
pregunta.
(3) Juicio, que incluye los problemas en la fase de evaluación de esa

información recuperada.
(4) Categoría de Respuesta, cuando el participante tiene un problema a la hora

de dar su respuesta. Por ejemplo, cuando ofrece una respuesta que no se corresponde
con ninguna de las opciones de respuesta establecidas en la pregunta.
El resultado de estos elaborados sistemas de análisis de los datos de la

entrevista cognitiva es un informe en el que se indica la frecuencia de aparición de
cada código conceptual o categoría en todas las entrevistas. Estos sistemas de análisis,
basados en esquemas de codificación, han sido utilizados en mayor medida para
alcanzar objetivos de investigación y comprobación de hipótesis de investigación que
para objetivos aplicados de revisión, mejora y modificación de las preguntas de los
cuestionarios (Rothgeb, Willis, & Forsyth, 2001).
Las principales variaciones entre los distintos esquemas de codificación

utilizados, generalmente, se basan en el número de códigos y en la asociación de
dichos códigos con informes verbales o conductas del entrevistador y el participante.
Es decir, en el grado en el que se enfocan en distintos momentos del procesamiento
cognitivo que tiene lugar durante la entrevista (DeMaio & Landreth, 2004). Al igual
que ocurre con el método anterior, este método se situaría en el segundo nivel de
análisis del sistema de Miller (2007), pudiendo alcanzar el tercer nivel si se establecen
comparaciones de los resultados de los esquemas de análisis entre distintos grupos.
Independientemente del método utilizado para analizar las entrevistas cognitivas y del
nivel al que se sitúe cada método, los resultados que se pueden obtener a través de las
67
Capítulo II
entrevistas cognitivas principalmente se clasifican en cinco tipos distintos. De acuerdo con

Willis (2005), estas cinco categorías de resultados son las siguientes:
1. Recomendaciones específicas en el texto de las preguntas (defectos de las preguntas

basados en problemas cognitivos, lógicos/estructurales o culturales). Esta categoría
constituye el resultado más acorde con el objetivo principal de la entrevista cognitiva,
como es, proporcionar información que sea usada para realizar recomendaciones y
cambios en las preguntas de los cuestionarios.
2. Re-especificación de objetivos. Necesidad de una especificación mayor del objetivo de

la pregunta o el modo en el que la pregunta intenta cubrir dicho objetivo.
3. Problemas relativos al orden (preguntas, secciones, etc.) y otras interacciones entre

las preguntas de la encuesta. Aunque la entrevista cognitiva está enfocada en la
evaluación de preguntas de forma individual, a menudo, los resultados transcienden a
otros niveles, como los efectos de orden de las preguntas o interacciones entre dichas
preguntas.
4. Problemas relativos a la reducción de la longitud o carga del instrumento. Esta

categoría de resultados incluye evidencias sobre los problemas, que pueden generar en
los entrevistados, la longitud o la carga de la encuesta. Concluyendo en una propuesta
de reducción de la encuesta evaluada.
5. Limitaciones sobre qué debe ser estudiado a través de la encuesta. No todo lo que se
pretende medir en una encuesta es necesariamente medible. Los resultados de la
entrevista cognitiva pueden ofrecer información sobre la complejidad del objeto de
medición a través de los informes verbales de los participantes.
7.5. Errores en los Resultados
La entrevista cognitiva puede llevar a conclusiones incompletas, erróneas o

incorrectas. Existen distintos tipos de error ligados al uso de este método de pretest. Por
ejemplo, la entrevista cognitiva puede identificar problemas que posteriormente no ocurran en
68
la aplicación “real” de la encuesta o, por el contrario, puede no identificar problemas que

posteriormente sí ocurran en la administración de la encuesta. Además, los resultados podrían
ser inconsistentes cuando se llevan a cabo por grupos independientes de investigadores. Los
dos primeros errores en los resultados de las entrevistas cognitivas hacen referencia a la
validez del método, y serían clasificados como errores de comisión y errores de omisión,
respectivamente; mientras que el último tipo de error haría referencia a la fiabilidad del
método (Beatty & Willis, 2007).
Con respecto a los errores de comisión, los profesionales del área admiten que la
entrevista cognitiva identifica problemas que posteriormente ocurrirán en las encuestas. Se
han llevado a cabo, al menos, dos estudios que verificaron cómo los resultados de las
entrevistas cognitivas fueron ratificados por los datos de campo y, por tanto, carecían de
errores de comisión (Beatty, Fowler, & Cosenza, 2006; Willis & Schechter, 1997). En ambos
estudios administraron, en dos grupos independientes, las preguntas originales de la encuesta,
y estas mismas preguntas con las modificaciones realizadas tras la entrevista cognitiva. Los
resultados mostraron un mayor ajuste estadístico de las preguntas modificadas tras la
entrevista cognitiva.
En relación a los errores de omisión, no sería razonable pensar que la entrevista

cognitiva pueda identificar y resolver todos los problemas del cuestionario. La utilidad del
método se basa en la suposición de que, los problemas más relevantes se harán evidentes en la
mayoría de los grupos de participantes apropiados, en función de la temática de la encuesta
(Beatty & Willis, 2007).
La frecuencia de aparición de estos errores de omisión y de comisión ha sido

relacionada con el tipo de diseño de aplicación de la entrevista cognitiva en el estudio de
Conrad y Blair (2009). Aquellos entrevistadores que llevaron a cabo la entrevista cognitiva de
una forma mucho más abierta, menos estructurada y con una aplicación de pruebas cognitivas
dependiente de los informes verbales que iban aportando los participantes, identificaron un
gran número de problemas con las preguntas de las encuestas que resultaron ser en muchos
casos falsas alarmas (errores de comisión). De forma contraria, aquellos entrevistadores que
aplicaron la entrevista cognitiva bajo un diseño más cerrado y ceñido a pruebas cognitivas
previamente establecidas, obtuvieron un menor número de errores de comisión pero
69
Capítulo II
igualmente identificaron una menor cantidad de problemas reales con las preguntas de la
encuesta, por tanto, obteniendo más errores de omisión.
Por último, siempre existe la posibilidad de que grupos independientes de

entrevistadores cognitivos no obtengan las mismas conclusiones en relación a la misma
pregunta del cuestionario (ver DeMaio & Landreth, 2004; Forsyth, Rothgeb, & Willis, 2004).
Especialmente si un grupo está trabajando bajo un paradigma “investigador” y otro grupo está
trabajando bajo un paradigma “aplicado” (Beatty & Willis, 2007). No obstante, cuando los
resultados no coinciden no quiere decir que sean contradictorios. Esta falta de coincidencia
puede ser indicativa de que los resultados de la entrevista cognitiva no han sido extraídos
completamente y se necesita de una revisión más exhaustiva. Por ejemplo, la no coincidencia
podría indicar un mal procesamiento y razonamiento de los analistas de la entrevista cognitiva
o que las entrevistas no han indagado correctamente en los procesos de respuesta asociados a
las preguntas (Beatty & Willis, 2007). En la primera situación se necesitaría de una nueva
revisión de los datos mientras que en la segunda se debería realizar una segunda ronda de
entrevistas. De cualquier forma, tal y como especifican Conrad y Blair (2009), en la medida
en que las respuestas a las preguntas de las encuestas deberían ser independientes del
entrevistador que realice la pregunta, la detección de problemas mediante las entrevistas
cognitivas debería ser también independiente de la persona que analice los informes verbales
de los participantes. Estos autores sugieren que el uso de varios revisores, que alcanzaran un
consenso en relación a los problemas identificados, podría mitigar esta debilidad de la
entrevista cognitiva. Así como, en base a los resultados hallados en su estudio, sugieren que el
aumento del número de informes verbales en cada una de las preguntas mejoraría la
identificación de aquellas preguntas que necesitan una revisión posterior.
En definitiva, parafraseando a Conrad y Blair (2009), toda actividad de medición

conlleva un error inherente y la entrevista cognitiva no es una excepción. La clave radica en
diseñar, en cada caso, la aplicación de la entrevista cognitiva, de tal forma que, maximice la
identificación de problemas con las preguntas de las encuestas y minimice el error inherente a
la técnica.
70
7.6. Limitaciones de la Entrevista Cognitiva
La entrevista cognitiva no es la panacea para la identificación de errores de respuesta

en las preguntas de las encuestas; por supuesto, posee una serie de limitaciones que deben ser
tenidas en cuenta. De acuerdo, con Willis (2005), las principales limitaciones son cuatro:
1. Los participantes de la entrevista cognitiva no son los encuestados. Los participantes

de las entrevistas cognitivas son, por definición, auto-seleccionados y, por tanto, poco
representativos de la población objetivo de la encuesta.
2. El contexto del laboratorio cognitivo es diferente del contexto en el que se aplica la

encuesta. Las condiciones físicas y sociales no son una réplica de las condiciones de
campo.
3. Los entrevistadores cognitivos no son (generalmente) los encuestadores. La entrevista

de campo y la entrevista cognitiva requieren distintos tipos de habilidad y prioridad, y
en general, la entrevista cognitiva no es útil para detectar errores de medición
atribuibles al encuestador (Von Thurn & Moore, 1994). De todas formas, no es una
limitación inherente al proceso de la entrevista cognitiva, ya que se puede tratar este
tipo de problemas si se atiende a los mismos.
4. La muestra utilizada en la entrevista cognitiva es muy pequeña. Debido a esto, a veces

se discute su capacidad de inferencia. No obstante, se deben tener en cuenta tres
aspectos antes de limitar la capacidad de inferencia de la entrevista cognitiva: (a) el
objetivo de la entrevista cognitiva no es la estimación estadística, de modo que no es
necesario conseguir muestras lo suficientemente grandes como para dar precisión y
relevancia a algún contraste estadístico; (b) la naturaleza de la entrevista cognitiva es
cualitativa más que cuantitativa, no se evalúan las preguntas de las encuestas
simplemente contando el número de entrevistas en las que ha ocurrido problemas, la
cuantificación de las entrevistas cognitivas sólo se usa para tener una idea del tamaño
del problema que está sucediendo; y (c) la aparente superioridad cuantitativa en los
prestest de campo puede ser ilusoria. Willis demostró en un estudio en 1989 cómo,
debido a las preguntas filtro y los routings que poseen las encuestas, en un pretest de
campo de unos 300 hogares solamente 12 personas contestaron a una sección muy
71
Capítulo II
importante, como es el uso de dispositivos de ayudas (perros-guía, sillas de ruedas,

etc.). Esta sección recibió muy poca atención en el debriefing posterior al estudio de
campo, mientras que en la entrevista cognitiva previa al estudio de campo se habían
reclutado participantes con las características específicas para contestar a esas
preguntas y, en consecuencia, evaluarlas. Como resultado la proporción de muestra
efectiva fue sustancialmente mayor en el pretest cognitivo que en el pretest de campo.
8. Referencias
Aaker, D., Bagozzi, R. & Carman, J. (1980). On using response latency to measure
preferences. Journal of Marketing Research, 17, 237-244.
Basili, J. (1996). The how and why of response latency measurement in telephone surveys. En
N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining
cognitive and communicative processes in survey research (pp. 319-346). San Francisco:
Jossey-Bass.
Basili, J. & Fletcher, J. (1991). Response-time measurement in survey research: a method for
CATI and a new look at nonattitudes. Public Opinion Quarterly, 55, 331-346.
Basili, J. & Scott, B. (1996). Response latency as a signal to question problems in survey
research. Public Opinion Quarterly, 60, 390-399.
Beatty, P., Fowler, F.J. & Cosenza, C. (2006). Do Questionnaire Design Recommendations
Lead to Measurable Improvements? Some Experiments with Alternate Versions of Complex
Survey Questions. Proceedings del Q2006 European Conference on Quality in Survey
Statistics. Disponible online en:
http://www.statisctics.gov.uk/events/q2006/dowloads/T04_Beatty.doc.
Beatty, P. (2004). The Dynamics of Cognitive Interviewing. En S. Presser, J. Rothgeb, M.P.

Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and
Evaluating Survey Questions (pp. 45-66). Nueva Jersey: John Wiley & Sons.
72
Beatty, P. & Willis, G.B. (2007). Research synthesis: The practice of cognitive interviewing.
Public Opinion Quarterly, 71, 287-311.
Belson, W. (1981). The Design and Understanding of Survey Questions. Aldershot, Reino
Unido: Gower.
Campanelli, P. (1997). Testing Survey Questions: New Directions in Cognitive Interviewing.

Bulletin de Methodologie Sociologique, 55, 5-17.
Campanelli, P.E., Martin, E. & Rothgeb, J. (1991). The Use of Respondent and Interviewer
Debriefing Studies as a Way to study Response Error in Survey Data. The Statistician, 40,
253-264.
Castillo, M., Padilla, J.L., Gómez, J. y Andrés, A. (en prensa). Mapa de productividad de los
métodos de pretest cognitivos para optimizar las preguntas de las encuestas. Psicothema.
Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality

of Life Research, 12, 229-238.
Collins, D. (2007). Analysing and interpreting cognitive interviewing data: A qualitative

approach. Proceedings del QUEST 2007 (pp. 64-73), Abril, Ottawa.
Conrad, F.G. & Blair, J. (1996). From impressions to data: Increasing the objectivity of
cognitive interviews. Proceedings of the Section on Survey Research Methods, American
Statistical Association, 1-9.
Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion
Converse, J.M. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized
Survey Questionnaire. Newbury Park, CA: Sage.
73
Capítulo II
DeMaio, T.J. & Landreth, A. (2004). Do different cognitive interview techniques produce
different results? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin &
E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 89-108). Nueva
Jersey: John Wiley & Sons.
DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: In the lab and in
the field. En N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for
determining cognitive and communicative processes in survey research (pp. 177-195). San
Francisco: Jossey-Bass.
Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam, Países
Bajos.
Draisma, S. & Dijkstra, W. (2004). Response Latency and (Para) Linguistic Expressions as
Indicators of Response Error. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin,
J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 131-
148). Nueva Jersey: John Wiley & Sons.
Ericsson, K.A & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-
251.
Ericsson, K.A & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge:
MIT Press.
Ericsson, K.A. & Simon, H.A. (1993). Protocol analysis: Verbal reports as data. 2ª edición.
Cambridge: MIT Press.
Finch, J. (1987). Research note: the vignette technique in survey research. Sociology, 21, 105-
114.
Forsyth, B.H., Rothgeb, J. & Willis, G.B. (2004). Does Questionnaire Pretesting Make a
Difference? An Empirical Test. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E.
Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions
(pp. 525-546). Nueva Jersey: John Wiley & Sons.
74
Forsyth, B.H. & Lessler, J.T. (1991). Cognitive Laboratory Methods: A Taxonomy. En P.P.
Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement
Error in Surveys (pp. 393-418). Nueva York: John Wiley & Sons
Fowler, F.J. (1992). How unclear terms affect survey data. Public Opinion Quarterly, 56, 218-
231.
Fowler, F.J. (1995). Improving Survey Questions. Thousand Oaks, CA: Sage.
Fowler, F.J. (2004). The Case for More Split-Sample Experiments in Developing Survey
Instruments. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.
Singer. Methods for Testing and Evaluating Survey Questions (pp. 173-188). Nueva Jersey:
John Wiley & Sons.
Gerber, E.R. (1990). Calculating residence: a cognitive approach to household membership

judgements among low income Blacks. Report para el U.S. Census Bureau. Washington, DC:
US. Census Bureau.
Gerber, E.R. (1994). The Language of Residence: Respondent Understandings and Census
Rules. Center for Survey Methods Research, U.S. Census Bureau.
Gerber, E.R. & Wellens, T.R. (1997). Perspectives on Pretesting: ‘Cognition’ in the Cognitive
Interview? Bulletin de Methodologie Sociologique, 11, 18-39.
Groves, R.M. (1996). How do we know what we think they think is really what they think. En
N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining
cognitive and communicative processes in survey research (pp. 389-402). San Francisco:
Jossey-Bass.
Kornhauser, A. (1951). Constructing questionnaires and interview schedules. En M. Jahoda,

M. Deutsch & S. Cook (Eds.), Research Methods in Social Relations: Part two. Nueva York:
Dryden.
75
Capítulo II
LaBarbera, P. & MacLachlan, J. (1979). Response latency in telephone interviews. Journal of

Advertising Research, 19, 49-55.
Lashley, K. (1923). The behavioristic interpretation of consciousness II. Psychological

Bulletin, 30, 329-353.
Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M.

Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge
between disciplines (pp. 61-64). Washington, DC: National Academy Press.
Luce, R. (1986). Response Times: Their Role in Inferring Elementary Mental Organization.
Nueva York: Oxford University Press.
Magliano, J. & Graesser, A. (1991). A three-pronged method for studying inference

generation in literary text. Poetics, 20, 193-232.
Martin, E. (2004). Vignettes and Respondent Debriefing for Questionnaire Design and
Evaluation. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.
Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 149-170). Nueva
Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing.
Congreso de la European Survey Research Association. Praga, Checoslovaquia.
Newell, A. & Simon, H. (1972). Human Problem Solving. Englewood Cliffs, NJ: Prentice
Hall.
Oksenberg, L., Cannell, C. & Kalton, G. (1991). New strategies for prestesting survey
questions. Journal of Official Statistics, 7, 349-356.
76
Ongenga, I.P. & Dikstra, W. (2006). Methods of Behavior Coding of Survey Interviews.
Journal of Official Statistics, 22, 419-451.
O’Muircheartaigh, C. (1999). CASM: Successes, Failures, and Potential. En M. Sirken, D.

Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.), Cognitive and survey
research (pp. 39-62). Nueva York: John Wiley & Sons.
Piaget, J. (1932/1965). The Moral Judgment of the Child. Nueva York: Free Press.
Presser, S. & Blair, J. (1994). Survey Pretesting: Do different Methods produce different
Results? Sociological Methodology, 24, 73-104.
Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E.
(2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley &
Sons.
Rothgeb, J. Willis, G.B. & Forsyth, B. (2001). Questionnaire pretesting methods: Do different
techniques and different organizations produce similar results? Proceedings of the Section on
Survey Research Methods, American Statistical Association [CD-ROM].
Royston, P.N. (1989). Using Intensive Interviews to Evaluate Questions. En F.J. Fowler (Ed.),
Conference Proceedings: Health Survey Research Methods. Rockville, MD: National Center
for Health Services Research.
Royston, P.N. & Bercini, D. (1987). Questionnaire Design Research in a Laboratory Setting:
Results of Testing Cancer Risk Factor Questions. Proceedings of the Section on Survey
Research Methods, 829-833. Alexandria, VA: American Statistical Association.
Royston, P. N., Bercini, D., Sirken, M. & Mingay, D.D. (1986). Questionnaire Design
Research Laboratory. Proceedings of the Section on Survey Research Methods, 703-707.
Alexandria, VA: American Statistical Association.
Schneider, W. & Shiffrin, R.M. (1977). Controlled and Automatic Human Information
Processing: 1. Detectcion, Search, and Attention. Psychological Review, 84, 1-66.
77
Capítulo II
Snijkers, G. (2002). Cognitive laboratory experiences: on pretesting computarised

questionnaires and data quality. Tesis doctoral, Universidad de Utrecht, Países Bajos.
Streett, A.R. (1983). Investigating Respondent’s Interpretations of Survey Questions. En T.J.

DeMaio (Ed.), Approaches to Developing Questionnaires. Statistical Policy Working Paper
10. Washington DC: Statistical Policy Office, U.S. Office and Management and Budget.
Sudman, S., Bradburn, N. & Schwarz, N. (1996). Thinking about answers. The application of
cognitive processes to survey methodology. San Francisco: Jossey-Bass.
Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T.

Jabine, M. Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design:
Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy
Press.
Trabasso, T. & Suh, S. (1993). Understanding text: achieving explanatory coherence through
on–line inferences and mental operations in working memory. Discourse Processing, 16, 3-
34.
Van der Zouwen, J. & Smit, J. (2004). Evaluationg Survey Questions by Analyzing Patterns
of Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser,
J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin, & E. Singer (Eds.), Methods for
Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons.
Von Thurn, D. & Moore, J. (1994). Results from a cognitive exploration of the 1993
American Housing Survey. Proceedings of the Section on Survey Research Methods,
American Statistical Association, 1210-1214.
Willis, G.B. (1989). Evaluation of 1990 NHIS pretest findings. Unpublished manuscript,
National Center for Health Statistics, Hyattsville, MD.
78
Willis, G.B. (1994). Cognitive Interviewing and Questionnaire Design: A training Manual.
Cognitive Methods Staff Working Paper Series, 7. Hyattsville, MD: National Cancer for
Health Statistics.
Willis, G.B. (2004). Cognitive Interviewing Revisited: A useful Technique, in Theory? En S.

Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.),
Methods for Testing and Evaluating Survey Questions (pp. 23-44). Nueva Jersey: John Wiley
& Sons.
Thousands Oaks, CA: Sage
Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the
methodological promised land? Evaluating the validity of cognitive interviewing techniques.
En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.),
Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons.
Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing,

expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey
Willis, G.B., Royston, P.N. & Bercini, D. (1991). The Use of Verbal Report Methods in the
Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251-
267.
Willis, G.B. & Schechter, S. (1997). Evaluation of Cognitive Interviewing Techniques: Do

the Results Generalize to the Field? Bulletin de Methodologie Sociologique, 11, 40-66.
79
CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE
PRETEST DE CUESTIONARIOS
80
Estado actual de los métodos de pretest de cuestionarios
1. Introducción
Existe un amplio consenso entre los profesionales implicados en la investigación por

encuesta en considerar el uso de los métodos de pretest como uno de los mayores desarrollos
en las tres últimas décadas (Beatty, 2003). Estos procedimientos, que son normalmente
agrupados bajo el término “métodos cognitivos para la evaluación de cuestionarios”
(Woolley, Bowen & Bowen, 2006), son entre otros: la entrevista cognitiva, la codificación del
comportamiento, la latencia de respuesta, el análisis de viñetas y el debriefing enfocado en el
encuestado (Presser et al., 2004). El modelo analítico de Tourangeau (1984) ha sido uno de
los fundamentos teóricos más citados para describir cómo los encuestados responden a las
preguntas de los cuestionarios. Hoy día, el campo de la evaluación de encuestas ha llegado a
desarrollarse tanto, hasta incluir los métodos de pretest como una importante herramienta
compañera de métodos tales como la revisión de expertos y los usability tests (Cosenza,
2002).
En los últimos años, ha habido un creciente interés en la materia, que se ha reflejado

en la creación de congresos, libros especializados, recomendaciones y guías específicas
desarrolladas tanto por entidades públicas como por privadas, etc. Además, existen libros y
artículos de investigación dedicados al uso de los métodos de pretest (Beatty & Willis, 2007;
Willis, 2005; Presser et al. 2004).
En términos generales, la utilización de los métodos de pretest parece que se ha

concentrado en organizaciones cuya principal misión no es la investigación ni la circulación
del conocimiento, sino el uso de estos métodos en proyectos aplicados. Esta situación, unida
al hecho del corto período de tiempo que ha transcurrido desde el desarrollo de los nuevos
métodos de pretest, hace tremendamente difícil describir el estado actual de su producción
científica. Sin embargo, la ciencia como tal no existiría si los resultados científicos no fueran
publicados (van Raan, 1999). De modo que, una forma útil de analizar el nivel de
conocimiento en un campo de estudio, es analizar las características de sus resultados
científicos. Hoy en día, se puede disponer de una herramienta capaz de obtener información
sobre los resultados científicos en el campo de los métodos de pretest de cuestionarios. Esta
herramienta es conocida como “Bibliometría”.
81
Capítulo III
Actualmente, la Bibliometría está presente en un gran número de disciplinas

científicas y se considera de enorme utilidad en el mundo de la investigación y de la ciencia
en general, ya que se considera como una herramienta eficiente que utiliza apropiadamente las
fuentes de investigación (Moreno & Sánchez, 1998; Zulueta & Bordons, 1999); y cuyo
principal objetivo es el almacenamiento y recuperación de la información (Guilera, Gómez y
Hidalgo, 2006).
El objetivo del primer estudio empírico incluido en la tesis es ilustrar las

características de la situación actual de los métodos de pretest a través de dos estudios
bibliométricos. El primer estudio analizó los documentos obtenidos mediante una búsqueda
indexada. El segundo estudio completó el cuerpo de documentos hallados en el Estudio 1, con
documentos localizados a través de una búsqueda dirigida. En ambos estudios se analizaron:
la evolución de los resultados científicos, los distintos tipos de documentos publicados, las
fuentes de publicación, los centros de investigación y países, y el tipo de colaboración entre
los profesionales del área.
2. Estudio 1: Búsqueda Indexada
El objetivo del Estudio 1 consistió en analizar los resultados científicos en el campo de

los métodos de pretest de cuestionarios a través de los documentos indexados en las
principales bases de datos bibliográficas.
2.1. Método
Las publicaciones incluidas en este estudio fueron identificadas a través de la base de

datos Web of Science (WoS) del Institute for Scientific Information (ISI-Thomson Scientific,
Philadelphia, PA, USA), concretamente a través del Expanded Science Citation Index (SCI-
EXPANDED), Arts and Humanities Citation Index (A&HCI) y el Social Sciences Citation
Index (SSCI). Los documentos indexados fueron también localizados usando las bases de
datos bibliográficas PsycINFO, Medline, Sociological Abstract y Cinahl.
82
La búsqueda bibliográfica se limitó al periodo de tiempo comprendido entre 1980 y

2007. Se decidió comenzar la búsqueda en 1980, ya que el desarrollo de los métodos
cognitivos aplicados a los pretest de encuestas no ocurrió hasta los congresos de CASM a
comienzos de los 80 (Jabine, Straf, Tanur & Tourangeau, 1984) (ver Capítulo I).
Dada la amplia variedad de denominaciones que poseen los métodos de pretest de

cuestionarios, y después de varios intentos de búsqueda usando palabras claves, tales como,
“cognitive pretest”, “cognitive method”, “survey pretest”, “pretest”, “questionnaire pretest”,
etc., se decidió que la palabra clave más adecuada para obtener el mayor número de
publicaciones era “pretesting”. De este modo, la palabra clave “pretesting” fue insertada
como criterio de búsqueda en las bases de datos bibliográficas, tanto en el campo de los
títulos, como en los abstracts y las key words. Todo ello con el fin de localizar artículos en
revistas, libros, capítulos de libros, presentaciones de congresos, tesis doctorales, etc.
Codificación de los documentos y análisis
El uso de una palabra clave tan general como “pretesting” demandó un minucioso y
cuidadoso proceso de selección de documentos. Dos codificadores independientes, en dos
rondas consecutivas, filtraron la búsqueda inicial leyendo los títulos y abstracts de los
documentos. Dichos codificadores fueron instruidos en seleccionar solamente aquellos
trabajos en los que se refería explícitamente al uso de los métodos de pretest de cuestionarios.
Seleccionaron documentos en los que se había utilizado alguno de los métodos de pretest
usuales (la entrevista cognitiva, la codificación del comportamiento, la latencia de respuesta,
el análisis de viñetas y el debriefing enfocado en el encuestado) en el diseño o evaluación de
cuestionarios. El uso de cualquiera de estos métodos de pretest tenía que haber sido previo a
la realización de los tradicionales estudios pilotos o estudios de campo, para recoger
información sobre la “carga de trabajo” de los entrevistadores, los ratios de respuesta y
omisiones, etc.
Los codificadores trabajaron de forma independiente y la selección final se obtuvo tras

dos rondas. En la segunda ronda, cada codificador revisó los documentos seleccionados por el
otro codificador. Tras esto, se llevó a cabo una reunión en la que se volvieron a revisar
83
Capítulo III
aquellos documentos en los que no había habido un acuerdo sobre su inclusión en el grupo de
documentos a analizar. La reunión finalizó cuando el acuerdo fue total.
Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes
variables: año de publicación, número de autores, nombres de los autores, institución y país de
pertenencia, tipo de publicación y fuente de publicación. Los análisis aplicados fueron
fundamentalmente descriptivos: análisis de frecuencias y porcentajes.
Hay que recalcar que se tuvo especial cuidado en no repetir documentos que
aparecieran en más de una base de datos bibliográfica.
2.2. Resultados
Las búsquedas bibliográficas en las distintas bases de datos generaron un total de

1119 publicaciones, de las cuales los codificadores seleccionaron sólo 75 documentos (6.7%).
El 93.3% restante, en su mayoría, hacía referencia a pretest en el contexto de estudios
experimentales, pretest no aplicados a encuestas o pretest referidos a análisis psicométricos de
los ítems. A continuación se presentan los principales resultados de los análisis realizados.
Evolución de los resultados científicos y número de autores
La evolución de los resultados científicos fue analizada a través del cálculo de la

frecuencia del número de trabajos publicados en el período comprendido entre 1980 y 2007.
Dicho periodo fue dividido en siete intervalos de cuatro años cada uno. La Figura III. 1
muestra la evolución temporal del número de publicaciones. Durante el período de tiempo
analizado, sólo un intervalo, 2000-2003, tuvo una frecuencia de publicaciones menor que el
anterior. En términos generales ha habido un constante crecimiento en el número de
publicaciones. Este incremento ha sido más notable en la segunda mitad de los años 90. En
contraposición, durante los años 80, el número de estudios que utilizaron los métodos de
pretest fue muy reducido.
84
Figura III. 1
Evolución del Número de Publicaciones
25
Número de Publicaciones
20
15
10
0
1980-1983 1984-1987 1988-1991 1992-1995 1996-1999 2000-2003 2004-2007
Año
Los 75 documentos incluidos en la base de datos fueron escritos por 194 autores
distintos. El número de autores que contribuyó a cada una de las publicaciones varió entre uno
y diez (M = 3.07; DT = 2.18). Además, la mayoría de los artículos han sido creados por uno o
dos autores, 26.7% y 24% respectivamente; seguido del 21.3% de los documentos que fueron
escritos por tres autores. Después de tres autores, el número de publicaciones desciende
considerablemente, con sólo un 27.9% de publicaciones escritas por cuatro autores o más.
Tipos de documentos y fuentes de publicación
Los tipos de documentos encontrados fueron artículos de revistas, capítulos de libros,

libros y conference papers. La Tabla III. 1 ofrece las frecuencias y porcentajes de cada tipo de
documento. El grupo de 75 documentos analizados fue en su mayoría compuesto por artículos
publicados en revistas. El resto de los documentos representa un bajo porcentaje, sólo el 20%
son capítulos de libros, libros y conference papers.
85
Capítulo III
Tabla III. 1
Distribución del Tipo de Documento
Tipo de Documento Frecuencia Porcentaje
Artículo 60 80.0
Capítulo de libro 6 8.0
Libro 5 6.7
Conference paper 4 5.3
Total 75 100.0
Con respecto a las fuentes de publicación, los resultados muestran que existe una gran
dispersión, incluyendo fundamentalmente tres tipos: editoriales, revistas de investigación por
encuesta y revistas de salud. Los 75 documentos han sido publicados por 57 diferentes
fuentes. A continuación, se exponen las fuentes más productivas y junto a cada una se indica
el número de publicaciones entre paréntesis: Public Opinion Quarterly (4), Bulletin de
Methodologie Sociologique (3), Medical Care (3), Research in Nursing and Health (3) y
Quality of Life Research (3).
Centros de producción
El análisis establece que los autores pertenecen a una gran variedad de organizaciones.
Los 194 autores trabajaban en 76 organizaciones distintas. La Tabla III. 2 presenta las
organizaciones más productivas en el campo de los métodos de pretest. Entre las
organizaciones más productivas se encuentran tres principales tipos de instituciones: (a)
universidades, tales como, Massachusetts o Michigan; (b) centros de investigación públicos,
tales como el US Census Bureau y; (c) centros públicos de investigación, tales como el
National Cancer Institute.
86
Tabla III. 2
Instituciones Más Productivas
Instituciones Frecuencia Porcentaje
US Census Bureau 10 13.2
Universidad de Massachusetts 9 11.8
Universidad de Michigan 8 10.6
National Cancer Institute 6 7.9
McMaster University 4 5.3
Gte Laboratories Incorporation 3 3.9
Universidad de Carolina del Norte 3 3.9
Universidad de Maryland 3 3.9
Otras 30 39.5
En relación a la productividad de los países, los resultados muestran que la producción

científica está distribuida en 18 países. No obstante, hay que tener en cuenta que autores de
distintos países pueden haber contribuido en el mismo artículo.
Tabla III. 3
Países Más Productivos
País Frecuencia Porcentaje
Estados Unidos 55 64.7
Reino Unido 6 7.1
Canadá 4 4.7
Italia 3 3.5
Alemania 2 2.4
Holanda 2 2.4
Otros 13 15.3
Como se puede apreciar en la Tabla III. 3, hay una concentración de trabajos

producidos en Estados Unidos, donde se ha generado más de la mitad (64.7%) de la
producción científica en materia de los métodos de pretest. El 35.3% restante de la producción
está distribuida entre 17 países, entre los que destaca Reino Unido con seis documentos.
87
Capítulo III
2.3. Discusión
En el Estudio 1, se ha llevado a cabo un análisis de los resultados científicos en el área

de los métodos de pretest de cuestionarios con respecto al número de documentos publicados.
Después de valorar los pros y los contras, se decidió usar la palabra clave “pretesting” como
criterio de búsqueda, con el fin de obtener el mayor número de documentos. Para minimizar el
número de falsos positivos, es decir, documentos localizados por la base de datos pero no
relacionados con los métodos de pretest, dos codificadores independientes en dos rondas
realizaron un meticuloso proceso de depuración y selección de documentos.
Buscando a través de cinco de las bases de datos bibliográficas más comunes, sólo se
hallaron 75 documentos indexados en un período de tiempo de 28 años. La mayoría de dichos
documentos (80%) estaban publicados en revistas. El número tan reducido de documentos
indexados podría indicar que una gran parte de los estudios aplicados sobre los métodos de
pretest no se estén publicando a través de las revistas. Por tanto, usando solamente
documentos indexados como indicadores de la productividad científica, podemos estar
cometiendo el error de obtener una representación parcial de la productividad científica en el
área.
Se llevó a cabo una “búsqueda dirigida” para solventar este problema y completar el
conjunto de documentos obtenidos en la búsqueda indexada. La búsqueda dirigida se enfocó
en otros medios de difusión de los resultados científicos, tales como, comunicaciones en
congresos del área, informes de investigación, redes de comunicación entre los profesionales
del área, revistas no-indexadas comúnmente usadas por los profesionales del área, etc.
3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida
El objetivo del Estudio 2 fue ampliar el banco de documentos del Estudio 1 y volver a
analizar la nueva base de documentos.
88
3.1. Método
Se utilizaron las siguientes estrategias de búsqueda para completar el conjunto de

documentos previamente analizados en el Estudio 1:
1) Conference papers en los Quest Workshops Conference en 2005 y 2007.
2) Una búsqueda en la base de datos bibliográfica de la Web of Science basada en los

autores más productivos de acuerdo a los datos del Estudio 1.
3) Una búsqueda orientada en las revistas más productivas en el área, tales como
Public Opinion Quarterly, Bulletin de Methodologie Sociologique, Quality of Life
Research, Quality and Quantity, Field Methods, Research in Nursing and Health,
Medical Care y Journal of Official Statistics.
Codificación de los documentos y análisis
La búsqueda dirigida se limitó, igualmente, al periodo de tiempo comprendido entre

1980 y 2007. Se siguió un procedimiento muy similar al del Estudio 1. Dos codificadores
seleccionaron de forma independiente los documentos leyendo los títulos y los abstracts.
Dichos codificadores fueron instruidos en seleccionar sólo aquellos trabajos en los que se
hacía referencia explícita al uso de los métodos de pretest. Los codificadores seleccionaron,
una vez más, sólo aquellos documentos en los que algún método de prestest (entrevistas
cognitivas, codificación del comportamiento, análisis de viñetas, etc.) había sido utilizado
durante el diseño o evaluación de los cuestionarios.
De nuevo, se mantuvo una reunión en la que se revisaron los documentos que

originaban desacuerdo entre ambos codificadores y finalmente se obtuvo un nuevo conjunto
de documentos a analizar.
Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes
variables: año de publicación, número de autores, nombres de los autores, institución y país de
pertenencia, tipo de publicación y fuente de publicación.
89
Capítulo III
3.2. Resultados
Evolución temporal de la producción científica y número de autores
El Estudio 2 generó un total de 205 publicaciones. La evolución temporal de la

productividad científica se analizó calculando la frecuencia de trabajos publicados en el
periodo de tiempo comprendido entre 1980 y 2007. Dicho periodo fue dividido en siete
intervalos de cuatro años cada uno, al igual que en el Estudio 1. La Figura III. 2 muestra dicha
evolución temporal.
Figura III. 2
Evolución del Número de Publicaciones
80
Número de publicaciones
70
60
50
40
30
20
10
0
1980-1983 1984-1987 1988-1991 1992-1995 1996-1999 2000-2003 2004-2007
Año
Existe un progresivo aumento en el número de documentos a lo largo del periodo de

tiempo analizado. Este incremento es más pronunciado durante la segunda mitad de los años
90.
Los 205 documentos analizados en el Estudio 2 fueron escritos por 356 autores
distintos. El número de autores que contribuyó a cada publicación varía entre 1 y 10 (M =
2.64; DT = 1.873), aunque la gran mayoría de los documentos han sido escritos por 1 o 2
autores (59.5%).
90
Tipo de documentos y fuentes de publicación
El tipo de documentos encontrado en el Estudio 2 coincide con algunos encontrados

en el Estudio 1, tales como, artículos en revistas, capítulos de libros, libros y conference
papers. No obstante, también se han encontrado siete nuevos tipos de documentos, estos son:
ponencias, papers no publicados, proceedings, memorandums, informes de resultados,
comunicaciones doctorales y libros de abstracts. La Tabla III. 4 presenta la frecuencia y
porcentajes de aquellos tipos de documentos que superan el 5% de representación.
Tabla III. 4
Distribución del tipo de documento
Tipo de Documento Frecuencia Porcentaje
Artículo 94 45.9
Libro 25 12.2
Comunicación 25 12.2
Conference paper 21 10.2
Capítulo de libro 14 6.8
Paper no publicado 11 5.4
Otros 15 7.3
El porcentaje de artículos publicados en revistas decrece casi un 35%, debido al

incremento relativo de otros documentos, tales como, libros, conference papers y
comunicaciones. Estas últimas con un relevante porcentaje del 12.2% durante el periodo
analizado.
Con respecto a las fuentes de publicación, los resultados reflejan la gran dispersión
existente en el área, ya que los 205 documentos han sido publicados por 115 fuentes distintas.
La mayoría de las mismas están relacionadas con el área de la investigación por encuesta y la
salud. Dentro de esta sección, es importante resaltar que en el Estudio 2 se han localizado dos
nuevos tipos de fuentes de publicación, estas son: revistas no-indexadas (p. ej. Journal of
Official Statistics) y centros públicos de investigación (p. ej. US Census Bureau).
91
Capítulo III
Centros de producción y patrones geográficos de colaboración
El análisis establece que los 356 autores pertenecen a 94 organizaciones distintas. Los
resultados de las organizaciones más productivas en el área de los métodos de pretest
aparecen en la Tabla III. 5.
Tabla III. 5
Organizaciones Más Productivas
Organizaciones Frecuencia Porcentaje
US Census Bureau 44 14.5
Statistics Canada 23 7.6
Universidad de Michigan 22 7.2
Universidad de Massachusetts 17 5.6
National Cancer Institute 13 4.3
National Centre for Health Statistics 11 3.6
Statistics Norway 10 3.3
Otras 163 53.8
El resultado más destacable es el incremento en el número de centros públicos de

investigación, tales como, el National Cancer Institute, el National Centre for Health
Statistics, el Statistics Norway, etc. La productividad de estos centros de investigación supera
incluso a las universidades.
En relación a los países de origen de los autores, la productividad científica esta

distribuida en 19 países, una más que en el Estudio 1. La Tabla III. 6 muestra los resultados
de los análisis. Los profesionales de los centros de producción localizados en Estados Unidos
generaron más de la mitad (62%) de la producción científica en el área.
92
Tabla III. 6
Países Más Productivos
País Frecuencia Porcentaje
Estados Unidos 126 62.0
Canadá 23 11.3
Holanda 13 6.4
Reino Unido 8 3.9
Alemania 6 2.9
Noruega 6 2.9
Otros 21 10.3
Finalmente, se llevó a cabo un análisis más detallado, con el fin de extraer los patrones
de colaboración. La productividad total de los seis anteriores se dividió en documentos de un
solo autor, colaboraciones intranacionales y colaboraciones internacionales; pudiendo
identificar de este modo el patrón geográfico de colaboración. La Figura III. 3 ilustra la
distribución de los tipos de colaboración.
Figura III. 3
Tipo de Colaboración
100%
90%
80%
70%
Porcentaje
60% Internacional
50% Intranacional
40% Un autor
30%
20%
10%
0%
EEUU Canadá Holanda Reino Alemania Noruega
Unido
País
93
Capítulo III
La Figura III. 3 muestra que la mayoría de los documentos son fruto de colaboraciones
intranacionales en todos los países, entre los que destacan los porcentajes de Estados Unidos,
Canadá y Alemania; a excepción de Reino Unido donde el mayor porcentaje corresponde a
colaboraciones internacionales.
3.3. Discusión
En el Estudio 2 se llevó a cabo una “búsqueda dirigida” con el fin de completar el

conjunto de documentos obtenidos a través de la búsqueda indexada en el Estudio 1. La
búsqueda dirigida se realizó incluyendo otras formas de difusión de los trabajos científicos,
tales como, conference papers en el área, informes de investigación, redes de comunicación
entre los profesionales del área, revistas no indexadas, etc. Con el objetivo de recoger en la
búsqueda dirigida a gran parte de los profesionales más activos en el área, se decidió incluir
las comunicaciones de los congresos del QUEST de 2005 y 2007. A su vez, se incluyó en esta
búsqueda dirigida revistas no indexadas pero de nombrado prestigio entre los profesionales
del área, como Journal of Official Statistics.
El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los

documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de
este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir
de la segunda mitad de los 90. La distribución del número de autores es bastante similar en
ambos estudios, ya que la mayoría de los documentos han sido publicados por 1 o 2 autores
tanto en el Estudio 1 (50.6%) como en el Estudio 2 (59.5%). No obstante, se identificaron
nuevos tipos de documentos en el Estudio 2: comunicaciones, papers no publicados,
proceedings, memorandums, informes de resultados, comunicaciones doctorales y libros de
abstracts, y como resultado, decreció el porcentaje de publicaciones en revistas desde un 80%
(Estudio 1) a un 45.9% (Estudio 2). Con respecto a los centros de producción, los resultados
establecen que centros públicos de investigación, tales como, el National Cancer Institute, el
National Centre for Health Statistics, etc., juegan un papel importante en el área. Por último,
en relación a los países más productivos, Estados Unidos es, con diferencia, el país más
productivo en materia de los métodos de pretest de cuestionarios, seguido de Canadá y
Holanda. Los seis países más productivos poseen un patrón de colaboración
94
predominantemente intranacional, a excepción de Reino Unido en el que predomina el

carácter internacional.
4. Conclusiones
El objetivo del Capítulo III de la tesis era contextualizar y caracterizar la producción

científica en el campo de los métodos de pretest de cuestionarios a través de evidencias
bibliométricas. Este estudio es útil tanto para conocer el estado actual de estos métodos como
para anticipar su evolución, y facilitar la compresión de aquellos utilizados en la presente
tesis, como son la entrevista cognitiva y la codificación del comportamiento. En el Estudio 1
se obtuvieron los documentos a través de las bases de datos bibliográficas más comúnmente
usadas, mientras que en el Estudio 2 se completó este primer conjunto de datos con una
búsqueda dirigida. La separación de ambos estudios presenta dos beneficios: (1) se reducen
parcialmente las limitaciones de las bases de datos bibliográficas (criterios de indexación,
tiempo de demora para la publicación, etc.) y (2) se puede comparar los resultados obtenidos
mediante una búsqueda tradicional (bases de datos bibliográficas) con una búsqueda “experta”
(búsqueda dirigida). Hay que tener en cuenta que el objetivo de la búsqueda dirigida no es ser
exhaustivos en la localización de los documentos, sino complementar y mejorar el alcance del
primer grupo de documentos analizados. El patrón de documentos obtenidos en ambos
estudios es muy similar, lo que refuerza la conveniencia de la búsqueda dirigida del Estudio 2.
Los resultados obtenidos en ambos estudios nos permiten predecir que el incremento
en los documentos sobre los métodos de pretest continuará su ascenso en los próximos años.
Este incremento podrá equiparar la producción científica en el área de los métodos de pretest
con otras áreas metodológicas. Adicionalmente, la consolidación de los grupos de
investigación, de los departamentos en universidades y de los centros públicos de
investigación europeos generará un aumento mayor de la producción científica. Por último, la
actividad científica de las universidades, junto al deseo de los centros públicos de
investigación de publicar en revistas especializadas, podría aumentar la visibilidad de la
producción científica en el área de los métodos de pretest a través de los medios habituales de
difusión del conocimiento científico.
95
Capítulo III
5. Referencias
Beatty, P.C. (2003). Answerable questions: advances in the methods for identifying and
resolving questionnaire problems in survey research. Doctoral Dissertation. Universidad de
Michigan, Michigan, USA.
Beatty, P.C. & Willis, G.B. (2007). Research synthesis: the practice of cognitive interviewing.
Public Opinion Quarterly, 71, 287-311.
Cosenza, C. (2002). Not Your Grandparent’s Cognitive Testing: Exploring Innovative

Methods in Cognitive Evaluation of Questions. Paper presentado en la International
Conference on Questionnaire Development, Evaluation and Testing Methods (QDET).
Noviembre, Charleston, Carolina del Sur, EEUU.
Guilera, G., Gómez, J. e Hidalgo, M.D. (2006). Funcionamiento Diferencial de los Items: un
análisis bibliométrico de las revistas editadas en español. Psicothema, 18, 841-847.
Jabine, T.B., Straf, M.L., Tanur, J.M. & Tourangeau, R. (1984). Cognitive Aspects of Survey
Methodology: Building a Bridge between Disciplines. Washington, DC: National Academy
Press.
Moreno, S. y Sánchez, A. (1998). Análisis Bibliométrico de la Revista Psicothema (1989-

1997). Psicothema, 10, 23-27.
Presser, S., Rothgeb, J.M., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E.
(2004). Methods for Testing and Evaluating Survey Questionnaires. Nueva York: John Wiley.
SPSS. 2007. SPSS for Windows (Version 14.0.5) [Computer Software]. Chicago, IL: Author.
Tourangeau, R. (1984). Cognitive science and survey methods. En Jabine, T., Straf, M.,
Tanur, J. & Tourangeau, R. (Eds), Cognitive aspects of survey methodology: Building a
bridge between disciplines (pp. 73-100). Washington, DC: National Academy Press.
96
Van Raan, A. (1999). Advanced bibliometric methods for the evaluation of Universities.
Scientometrics, 45, 417-423.
Sage: Thousand Oaks, CA.
Woolley, M.E., Bowen, G.L. & Bowen, N.K. (2006). The development and evaluation of
procedures to assess child self-report item validity. Educational and Psychological
Measurement, 66, 687-700.
Zulueta, M.A. y Bordons, M. (1999). La producción científica española en el área

cardiovascular a través del Science Citation Index (1990-1996). Revista Española de
Cardiología, 52, 751-764.
97
CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES
DIRECTOS VS. INFORMANTES PROXY
98
Informantes directos vs informantes proxy
1. Introducción
En muchas situaciones, tanto en clínica como en investigación, es necesario utilizar

información que no proviene directamente de la persona objeto de estudio, sino a través de
otros informantes, normalmente un familiar o una persona con la que se convive. Por ejemplo,
cuando se selecciona un hogar para una encuesta, la primera persona con la que se contacta
proporciona información de todos los miembros del hogar estén o no presentes, en lo que
comúnmente se denomina “tabla de composición del hogar”. En la medida en la que esta
primera persona está ofreciendo información de otros miembros del hogar, se está
convirtiendo en un informante “indirecto” o proxy. Mientras que si proporciona información
sobre sí mismo desarrolla el papel de informante “directo”. Es decir, en este contexto, un
informante proxy es aquella persona que responde las preguntas de la encuesta pensando o
poniéndose en el lugar de una tercera persona, ya sea un miembro del hogar o de su entorno
cercano. Por el contrario, un informante “directo” es aquella persona que responde las
preguntas de la encuesta pensando en sí mismo. Los informantes proxy a menudo son
utilizados en la investigación por encuesta, en el ámbito de la salud y de la epidemiología,
cuando el sujeto de interés no puede dar información por sí mismo. La introducción de este
tipo de informantes en los estudios por encuesta aporta ciertos beneficios, por ejemplo,
aumenta el tamaño de la muestra y la potencia del estudio (Campbell, Sloan & Kreiger, 2000).
No obstante, como se puede intuir, también plantea algunas desventajas, siendo la más
evidente el aumento del error de respuesta con respecto a los datos obtenidos de los
informantes directos. En este sentido, la decisión del uso de los informantes proxy se basa en
sopesar las desventajas, como el aumento del error de respuesta y las ventajas, como la
reducción del error de muestreo y de los costes de la encuesta (Sunghee, Mathiowetz &
Tourangeau, 2007).
El uso de los informantes proxy es una práctica común en la investigación por

encuesta, especialmente en las encuestas de salud. No obstante, el documento de la Eurostat
Task Force, que refleja el consenso de los profesionales de la investigación por encuesta sobre
las directrices y criterios de calidad para el diseño de encuestas de salud, desaconseja el uso
de informantes proxy. Este consenso recomienda que el uso de informantes proxy debiera
limitarse solamente a dos situaciones. En primer lugar, cuando se trata de reemplazar a
aquellas personas que son incapaces de responder a las preguntas de la encuesta debido a
99
Capítulo IV
graves problemas de salud (p. ej. demencia, discapacidad física o mental severa, etc.), y en
segundo lugar, cuando no es posible encuestar a ciertos grupos de personas por motivos
legales, por ejemplo, menores de edad (Tafforeau, Lopez, Tolonen, Scheidt-Nave & Tinto,
2006).
Esta práctica del uso de informantes proxy se ha convertido en un importante foco de

estudio; concretamente, en relación a la calidad de la información proporcionada por dichos
informantes proxy. Varios estudios han encontrado diferencias entre la información ofrecida
por un informante directo y un informante proxy, con respecto a ciertos aspectos de salud
(Bassett, Magaziner & Hebel, 1990; Epstein, Hall, Tognetti, Son & Conant, 1989;
Mathiowetz & Groves, 1985; Rothman, Hedrick, Bulcroft, Hickarn & Rubenstein, 1991). Por
ejemplo, Magaziner, Bassett, Hebel y Gruber-Maldini (1996) hallaron que aunque los
participantes proxy pueden ser menos precisos aportando información sobre síntomas de salud
(a menudo no observables y no compartidos con otros), son capaces de proporcionar
información con bastante exactitud sobre áreas de la salud que son observables y
probablemente compartidas con otras personas, tales como, problemas con actividades físicas
de la vida cotidiana o limitaciones crónicas. En este sentido, Grootendorst, Feeny y Furlong
(1997) afirmaron que el estado emocional, el dolor y otras dimensiones de salud no
directamente observables, son generalmente menos adecuadas para ser medidas utilizando
informantes proxy, que aquellas que son directamente observables. En esta línea, los estudios
sobre informantes proxy, principalmente, han descrito dos tipos de error asociado con su uso:
“el efecto proxy” que consiste en subestimar los eventos debido a una falta de conocimiento,
y “el principio de saliencia” que sucede cuando los participantes proxy informan con mayor
exactitud sobre aquellos eventos que consideran más relevantes (Rajmil et al., 1999). Rajmil
et al. (1999) apuntaron que, típicamente los principales factores estudiados que pueden influir
en las respuestas de los informantes proxy han sido: el contenido de la propia pregunta, las
características del informante proxy y la relación entre el informante proxy y la persona
seleccionada.
El lector ha podido comprobar que existe evidencia suficiente para afirmar que la
información aportada por un participante proxy y un participante directo puede ser distinta. Es
decir, las respuestas dadas a las preguntas de las encuestas por parte de un informante proxy
pueden ser muy distintas de las ofrecidas por un informante directo. Desde un punto de vista
del procesamiento de la información, estas respuestas son la resultante observable o la
100
conducta observable que se deriva de varios procesos cognitivos anteriores (ver modelo del
proceso pregunta-respuesta en el Capítulo II). En la medida en que las respuestas de ambos
tipos de informantes son distintas, se puede asumir que los procesos mentales subyacentes a
dichas conductas también pueden ser distintos. De este modo, tanto la información disponible
en la que el informante directo y el informante proxy se han basado para realizar juicios y
proporcionar una respuesta, como las estrategias de formación de dichos juicios, también
pueden ser diferentes (Bickart, Menon, Schwarz & Blair, 1994; Kuiper & Rogers, 1979;
Schwarz & Wellens, 1997; Sudman, Bradburn & Schwarz, 1996).
Todorov y Kirchner expusieron (2000) que al realizar juicios sobre otra persona, se
puede recuperar información sobre las conductas de dicha persona, es decir, se puede
recuperar información observable; pero difícilmente se puede acceder a la información sobre
su estado interno. Por ejemplo, una expresión de una discapacidad física puede ser la
limitación que una persona tenga para subir el bordillo de una acera. No obstante, aunque esta
información, en la que el discapacitado tiene algunos problemas para solventar el obstáculo,
puede estar disponible para otras personas; el dolor que la persona con discapacidad pueda
experimentar en el intento de subir el bordillo, sólo es totalmente accesible para esa persona.
Esta diferencia, en la disponibilidad de la información, puede llevar a realizar distintos juicios
sobre lo que constituiría una discapacidad cuando uno está respondiendo por uno mismo
(informante directo) que cuando uno está respondiendo por otra persona (informante proxy).
Dada esta diferencia en la disponibilidad de la información, y la posibilidad de que los

informantes estén llevando a cabo distintos juicios, es fundamental comprobar dónde se
encuentran estas diferencias en los procesos de respuesta, y de qué forma se podrían
minimizar esas diferencias para optimizar la convergencia entre las respuestas de ambos tipos
de informantes. En base a la evidencia empírica sobre la utilidad de la entrevista cognitiva
para indagar en los procesos de respuesta (Willis, 2004), el objetivo de este estudio es
identificar, a través de la entrevista cognitiva, las posibles diferencias en los procesos de
respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una
vía para optimizar la coincidencia entre las respuestas de los informantes, reduciendo con ello
los potenciales errores de respuesta.
La consecución de este objetivo se llevó a cabo realizando una serie de entrevistas

cognitivas a parejas compuestas por informantes directos e informantes proxy. El material
101
Capítulo IV
utilizado para estas entrevistas cognitivas fueron las preguntas de un cuestionario de una
encuesta de discapacidad.
2. Método
2.1. Participantes
El número de participantes en el estudio fue de 24 personas, 8 hombres y 16 mujeres,

con edades comprendidas entre los 18 y los 65 años. La Tabla IV. 1 presenta los valores de
ambas variables en cada grupo de informantes.
Tabla IV. 1. Edad y Género de los Participantes
Género Edad (Media)

Grupo
Hombre Mujer 18-35 36-50 51-65
Informante Directo 2 10 1 (33) 7 (46.7) 4 (57.5)
Informante Proxy 6 6 7 (24) 4 (43.7) 1 (51)
La distribución de los participantes se basó en parejas en las que un miembro asume el

rol de informante proxy mientras que el otro hace de informante directo. El requisito
fundamental para participar en el estudio fue que el informante directo padeciera una
limitación para realizar las actividades que la gente habitualmente hace debido a un problema
de salud. De este modo, la distribución de las causas de las limitaciones de los 12 informantes
directos fue la siguiente: dos participantes padecían problemas emocionales, seis participantes
tenían problemas de movilidad, dos participantes presentaban problemas sensoriales, un
participante padecía problemas hormonales y un participante tenía problemas cardíacos. Los
miembros de cada pareja vivían juntos y poseen una relación familiar directa (padres-hijos,
marido-mujer, etc.). En todos los casos, los participantes debían mostrar un nivel funcional de
español, es decir, suficiente como para poder comunicarse en cualquier situación.
102
La decisión de utilizar solamente a parejas de participantes en las que el informante

directo padeciera una limitación radica en una argumentación lógica: la riqueza de
información disponible. Aquellas parejas en las que el informante directo posee algún tipo de
limitación podrían aportar una mayor riqueza de información en cuanto a las situaciones,
eventos, recuerdos, etc. en los que este informante directo sufriera la limitación. Por tanto, los
informes verbales de ambos miembros de la pareja serían mucho más variados y amplios, y
facilitarían la indagación y la comparación entre los procesos de respuesta de sendos
miembros de la pareja. Favoreciendo de este modo alcanzar el objetivo del estudio.
La captación de los participantes fue realizada mediante el procedimiento de “bola de

nieve” a través de los contactos de miembros del equipo de investigación, alumnos de la
Universidad de Granada, así como miembros de la Federación Granadina de Discapacitados
Físicos. Los participantes fueron informados sobre su colaboración en el pretest de un
cuestionario de discapacidad, sobre el procedimiento de las entrevistas y la confidencialidad
de los datos. No obstante, no sabían cuál sería el papel a desempeñar, es decir, no sabían que
uno de ellos sería el informante directo y otro el informante proxy. Así mismo, durante la fase
de reclutamiento, se fueron balanceando entre los participantes variables como sexo, edad,
nivel de estudios y tipo de limitación del informante directo. Además, se tuvo especial
cuidado en que las personas seleccionadas no hubiesen participado con anterioridad en
estudios para el pretest de cuestionarios. Cada pareja fue entrevistada el mismo día y en
momentos consecutivos, es decir, en primer lugar se entrevistaba a un miembro de la pareja y
a continuación al siguiente, balanceando el orden entre informantes directos e informantes
proxy. Cada participante recibió una gratificación de 20€ como compensación por gastos de
transporte, tiempo empleado en la entrevista, etc.
2.2. Materiales
Antes de comenzar a hablar de los “materiales” es preciso mencionar, que en el

contexto del presente estudio, se llevó a cabo un juicio de expertos para seleccionar las
preguntas del cuestionario que iban a ser administradas en la entrevista cognitiva (preguntas
target) y para desarrollar las pruebas de indagación pertinentes, con el fin de indagar en el
proceso pregunta-respuesta de los informantes. De este modo, se seleccionaron 11 preguntas
103
Capítulo IV
target, y fueron aquellas relacionadas con dificultades en la realización de actividades de la

vida cotidiana, dificultades de comunicación, dificultades de movilidad, dificultades de
aprendizaje y dificultades en la relación con otras personas. La Figura IV. 1 muestra una de
estas preguntas y las correspondientes pruebas de indagación.
Figura IV. 1. Pregunta Target y Pruebas de Indagación
P.14 ¿Debido a problemas de naturaleza cognitiva o intelectual, tiene

dificultad importante para utilizar intencionadamente los sentidos? Por
ejemplo, prestar atención con la mirada, mantener la atención con el
oído, etc.
Pruebas de Indagación
Pregunta General:
 ¿Qué significa esta pregunta para Vd. y por qué ha contestado
así?
Preguntas Específicas:
 Dígame con sus propias palabras ejemplos de “problemas de
naturaleza cognitiva o intelectual”.
 Imagine que tiene que explicar a otra persona qué es “utilizar
intencionadamente lo sentidos”, ¿qué le diría?
De las preguntas target y las pruebas de indagación mencionadas anteriormente, se

derivan los dos tipos de materiales utilizados:
a) El cuestionario adaptado: es el cuestionario que se utiliza en la entrevista cognitiva. Se

compone de todas las preguntas target que se van a evaluar y algunas preguntas
sociodemográficas. Se puede decir que el cuestionario adaptado contiene las preguntas
más problemáticas de la versión original.
b) El protocolo de entrevista: es la guía de la entrevista cognitiva. Este protocolo incluye

las instrucciones de la entrevista y las pruebas para indagar en los procesos de
respuesta de los participantes.
104
Cuestionario Adaptado
El cuestionario adaptado contenía unas preguntas sociodemográficas en la primera

sección y las preguntas target en el resto del cuestionario. Estas preguntas target provenían de
un cuestionario de discapacidad y habían sido desarrolladas a partir de la Clasificación
Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF) (ver Anexo). Se
utilizaron dos versiones del cuestionario adaptado, en las que la única diferencia aparece en el
texto de las preguntas. Es decir, las preguntas para los informantes directos se conjugaron en
segunda persona del singular, utilizando el sujeto “usted”; mientras que las preguntas para los
informantes proxy se conjugaron en tercera persona del singular, sustituyendo el sujeto
“usted” por “alguna persona del hogar”. La Figura IV. 2 ilustra con un ejemplo esta
diferencia.
Figura IV. 2. Preguntas Informante Directo vs. Proxy
Informante P. 8 ¿Tiene dificultad importante para hablar de

manera comprensible y decir frases con sentido sin
Directo ayudas?
Informante P. 8 ¿Alguna persona del hogar tiene dificultad

importante para hablar de manera comprensible o
Proxy decir frases con sentido sin ayudas?
Protocolo de Entrevista
El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluyó

la descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las instrucciones
que se le debían dar al participante al comenzar la entrevista cognitiva y las pruebas de
indagación (ver Anexo). Al igual que con el cuestionario adaptado también se generaron dos
versiones del protocolo de entrevista, una para informantes directos y otra para informantes
proxy.
105
Capítulo IV
2.3. Procedimiento
Se utilizó un diseño concurrente en la entrevista cognitiva, es decir, primero el

entrevistador formulaba la pregunta de la misma forma que se realizaría en la administración
real de las preguntas de la encuesta y, después, procedía con la aplicación de las pruebas de
indagación.
Figura IV. 3. Procedimiento de la Entrevista Cognitiva
Cuestionario Procedimiento Protocolo de

Adaptado Entrevista
Instrucciones
P. Sociodemográficas
P. Dificultad en Actividades de la Vida

Cotidiana
P. Dificultad de Comunicación
P. Dificultad de Aprendizaje
P. Dificultad de Movilidad
P. Dificultad de Relación con otras personas
106
Tal y como muestra la Figura IV. 3, tras cada grupo de preguntas target se aplicaban
las distintas pruebas para la indagación en los procesos de respuesta de los informantes.
Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores
(una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas
cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los
participantes, y tuvieron lugar en un laboratorio cognitivo que está equipado de un sistema de
grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de
Granada.
2.4. Esquema de Análisis de las Entrevistas Cognitivas
El análisis de las 24 entrevistas cognitivas realizadas se basó en un esquema de

codificación establecido por Willis, Schechter y Whitaker en 1999. Este esquema de
codificación, estructurado de acuerdo al modelo del proceso pregunta-respuesta (Tourangeau,
1984), propone la identificación de problemas con las preguntas de las encuestas durante la
entrevista cognitiva en las cuatro fases del modelo pregunta-respuesta:
1. Compresión, refleja cuando el participante no comprende el objetivo de la

pregunta, lo que se le está preguntado o algún término o expresión del texto de la
pregunta.
2. Recuperación, el participante tiene problemas para recuperar la información o

recordar la información necesaria para contestar a la pregunta.
3. Juicio, incluye aquellos problemas que tienen lugar en la fase de evaluación de la

información previamente recuperada.
4. Respuesta, cuando el participante ofrece una respuesta que no se corresponde con

las opciones de respuesta establecidas en la encuesta.
107
Capítulo IV
En el contexto del presente estudio, se utilizó este esquema de codificación para

identificar en qué parte del proceso pregunta-respuesta existían diferencias entre el informante
directo y el informante proxy. La identificación de las diferencias entre los procesos de
respuesta del informante proxy y el informante directo se llevó a cabo por dos analistas
independientes en dos rondas sucesivas. En la primera ronda, ambos analistas leyeron o
escucharon los informes verbales de los participantes de forma independiente. En la segunda
ronda, cada analista revisó la clasificación de las diferencias del proceso pregunta-respuesta
realizada por el otro. Por último, se llevó a cabo una reunión en la que se revisaron aquellos
informes verbales, en los que no había habido acuerdo sobre en qué parte del proceso
pregunta-respuesta incluir la diferencia hallada, entre el informante directo y el informante
proxy. La reunión finalizó con el total acuerdo entre ambos analistas.
El análisis de las entrevistas se estructuró por parejas, comparando las respuestas y los
informes verbales de cada miembro de la pareja, en cada uno de los conjuntos de preguntas
target y pruebas de indagación. Para el análisis de los datos de las entrevistas se utilizó el
software AQUAD 6 (Huber, 2008). Este software permite el análisis de las entrevistas a partir
de los archivos de vídeo y además facilita enormemente la visualización de la pareja de
entrevistados al mismo tiempo.
La interfaz que muestra la Imagen IV. 1 es la que utiliza AQUAD 6 para llevar a cabo
la asignación de códigos y anotaciones a las porciones de vídeo de la entrevista. En la parte de
la derecha de la imagen, se puede observar el archivo de vídeo, y debajo de este los
controladores para ir marcando las porciones de vídeo o frames a las que asignar los códigos.
En la parte de la izquierda de la imagen, se puede ver los códigos que ya han sido asignados y
entre qué números de frames se encuentra cada código.
El análisis en AQUAD 6 se ejecutó del siguiente modo. En un primer lugar, se

asociaron anotaciones a los frames que se corresponden con los informes verbales de los
participantes ante las pruebas de indagación. Estas anotaciones simplemente consistieron en la
interpretación que cada analista realizó sobre el informe verbal del participante. Al mismo
tiempo, el analista también asignaba un código a la anotación y, por tanto, al informe verbal
correspondiente, designando en qué parte del proceso pregunta-respuesta estaba ocurriendo
una diferencia entre el informante directo y el informante proxy.
108
Imagen IV. 1. Interfaz de AQUAD 6
En segundo lugar, todas las anotaciones y códigos establecidos en el primer paso en

cada una de las entrevistas eran revisados por el otro analista. El software AQUAD 6 fue
clave para que ambos analistas pudieran trabajar de forma independiente y simultánea, y
pudieran revisar con facilidad el análisis realizado por el otro analista.
3. Resultados
3.1. Convergencia de las respuestas a las preguntas target
En primer lugar, se va a presentar la distribución de las respuestas de cada pareja de

participantes a las preguntas target. El número total de respuestas que se podían obtener de 12
parejas de participantes contestando a 11 preguntas es de 132. La distribución de estas 132
respuestas aparece representada en la Tabla IV. 2. Dicha tabla muestra la frecuencia de las
respuestas coincidentes (Sí/Sí; No/No), las no coincidentes (Sí/No; No/Sí), los datos perdidos
109
Capítulo IV
y las respuestas con distinta graduación. Esta última categoría se ha introducido para designar
a aquellas respuestas en las que ambos participantes responden “Sí” pero con distinta
graduación; por ejemplo, “Sí, estoy gravemente limitado”, “Sí, mi marido esta limitado, pero
no gravemente”.
Tabla IV. 2.Tipos y Frecuencias de Respuestas

Respuestas Informante Respuestas Informante Directo
Proxy Sí No
Sí 13 (9.8%) 9 (6.8%)
No 18 (13.6%) 76 (57.6%)
Distinta Graduación 3 (2.3%)
Perdidos 13 (9.9%)
Total 132 (100%)
Con la finalidad de “poner en situación” al lector sobre la problemática del uso de los
informantes proxy, se establece como primer resultado que las respuestas de los informantes
directos e informantes proxy coincidieron solamente en un 67.4% de las 132 respuestas,
mientras que ofrecieron respuestas distintas en un 22.7%. No obstante, un resultado mucho
más interesante y relacionado con el objetivo del presente estudio, como es la diferencia en
los procesos de respuesta, aparece a continuación.
3.2. Convergencia de los procesos de respuesta
La Tabla IV. 3. expone por columnas el binomio de respuesta que puede ofrecer cada
pareja de participantes (Sí/Sí, No/No, Sí/No, etc.), la frecuencia de cada uno de estos
binomios de respuesta y, por último, las veces que se identificó una diferencia en el proceso
pregunta-respuesta entre ambos miembros de la pareja, en cada uno de estos binomios de
respuesta.
110
Tabla IV. 3. Diferencias en el Proceso Pregunta-Respuesta
Respuesta: Proxy / Directo Frecuencia Diferencias en Proceso P-R
Sí / Sí 13 4
No / No 76 5
Sí / No 9 9
No / Sí 18 18
Sí / Sí (diferente graduación) 3 3
Perdidos 13 0
Total 132 39
En primer lugar, con respecto a las respuestas coincidentes, pese a que ambos
miembros de la pareja están ofreciendo la misma respuesta a la pregunta target (Sí/Sí, No/No)
no siempre coinciden sus procesos de respuesta. De hecho, de las 13 veces que ambos
miembros de la pareja responden “Sí/Sí”, en cuatro ocasiones el proceso de respuesta del
informante proxy es distinto al del informante directo; y de las 76 veces que ambos miembros
de la pareja responden “No/No”, en cinco de ellas los procesos de respuesta generados
también son distintos. La problemática de esta situación radica en que, a pesar de que las
respuestas ante la misma pregunta son iguales, a través del informante proxy no se está
accediendo a la información “real”. Es decir, el informante proxy no tenía la misma
información que el directo para responder, ni tampoco comprendía la pregunta de la misma
manera, pero finalmente coincidían sus respuestas. En esta situación igualmente se está
cometiendo un error de respuesta.
En segundo lugar, una vez que la respuesta de ambos informantes es distinta (Sí/No,
No/Sí, Sí/Sí distinta graduación) existe una diferencia subyacente en los respectivos procesos
de respuesta. Independientemente si el binomio de respuesta (en orden Proxy/Directo) es
“Sí/No”, “No/Sí” o “Sí/Sí” con distinta graduación, siempre existe una diferencia subyacente
en el proceso pregunta-respuesta.
111
Capítulo IV
3.3. Identificación de las diferencias en los procesos de respuesta
Hubo 39 respuestas a las preguntas target en las que hubo diferencias en el modelo del
proceso pregunta-respuesta (Tourangeau, 1984) entre ambos tipos de informantes. La mayoría
de esas diferencias se identificaron en la fase de compresión y recuperación de la
información, y seguidamente en la fase de juicio. La Figura IV. 4 ilustra gráficamente los
resultados del análisis.
Figura IV. 4. Identificación de las Diferencias en las Fases del Modelo P-R
Compresión
23 (59%)
Diferencias en el
Respuesta Recuperación
0 (0%) Proceso P-R 22 (56%)
(39)
Juicio
16 (41%)
Es necesario recalcar, para facilitar la compresión de los datos de la Figura IV. 4, que
una vez que se ha producido una diferencia en el proceso de respuesta a una pregunta, dicha
diferencia se puede encontrar en varias fases; es decir, las fases del proceso pregunta-
respuesta no son mutuamente excluyentes. A continuación, se exponen dos ejemplos de
transcripciones de entrevistas en las que se encontraron diferencias en el proceso pregunta-
respuesta.
112
Ejemplo IV. 1
P. ¿(Alguna persona del hogar) Tiene dificultad importante para mover el

cuerpo de un sitio a otro sin cambiar la posición, sin ayudas y sin
supervisión? Por ejemplo, pasar de estar sentado en una cama a sentarse en
una silla.
 Informante Proxy: “Sí”

 Entrevistador: “¿En qué ha pensado para responder a la pregunta,
por qué ha contestado así?”
 Informante Proxy: “…mi madre tiene una dificultad para
levantarse por un pinzamiento que tiene en la columna, pero no le
ocurre siempre…”
 Informante Directo: “No”

 Informante Directo: “…tengo dificultad puntual…pero no
siempre…como ahí pone importante…dificultad importante no
tengo…es puntual no continua. A veces me quedo encajada y no
puedo levantarme del sofá pero no ocurre siempre…me ocurre dos
o tres veces todos los días”
El Ejemplo IV. 1 incluye una pareja de participantes en la que el informante directo

posee una limitación física, para realizar las actividades que la gente habitualmente hace
debido a un pinzamiento lumbar. El proceso de respuesta es el siguiente: a) Compresión:
ambos informantes comprenden el objetivo de la pregunta; b) Recuperación de información:
recuperan la misma información en la que a veces el informante directo tiene problemas para
cambiar de postura; c) Juicio: por una parte, el informante proxy evalúa la información
generada como lo suficientemente grave como para responder “Sí”. Por otra parte, el
informante directo evalúa la información generada como que es una dificultad puntual y no
importante y, por tanto, en acorde con la pregunta target responde que “No”; y d) Respuesta:
el informante directo responde “No” y el informante proxy “Sí”. La diferencia fundamental
del proceso pregunta-respuesta radica en la fase de juicio.
No obstante, esta trascripción ejemplifica la dificultad que puede haber a la hora de

identificar en qué parte del proceso pregunta-respuesta existe una diferencia. Por ejemplo, se
podría considerar que el informante directo interpreta el concepto “importante”, de forma
distinta al informante proxy y, por ello, las respuestas son distintas. En este caso la diferencia
estaría en la fase de interpretación, en lugar de en la fase de juicio. En el proceso de la
113
Capítulo IV
entrevista no se indagó sobre la interpretación de dicho concepto, de modo que no podemos

concluir que también existiera diferencia en la fase de interpretación.
Ejemplo IV. 2
P. ¿Debido a problemas de naturaleza cognitiva o intelectual, (Alguna

persona del hogar) tiene dificultad importante para utilizar
intencionadamente los sentidos? Por ejemplo, prestar atención con la
mirada, mantener la atención con el oído, etc.
 Informante Proxy: “Sí”

 Informante Proxy: “…mi madre tiene una limitación visual así que
no puede utilizar el sentido de la vista…”
 Informante Directo: “No”

 Informante Directo: “…porque debido a mi limitación visual, a
veces intento usar los otros sentidos y poner más atención a lo que
estoy escuchando”
El caso del Ejemplo IV. 2 incluye una pareja de participantes en la que el informante
directo tiene una limitación visual. Esta trascripción es un gran ejemplo de los principales
resultados que se han encontrado en el estudio. La base de las diferencias en las respuestas a
las preguntas target, entre los dos tipos de participantes, se encuentran en los errores de
compresión de dichas preguntas target y en la distinta información generada por cada uno de
los participantes. El proceso de respuesta es el siguiente: a) Comprensión: ambos participantes
están mostrando errores en la fase de compresión, ya que la pregunta se refiere a “una
dificultad importante por problemas de naturaleza cognitiva e intelectual” y ninguno de ellos
introduce esta referencia en sus procesos de respuesta; b) Recuperación de información: el
informante directo está recuperando información acerca de situaciones, en las que debido a su
limitación visual, pone más atención a los estímulos externos usando (de forma intencionada)
otros sentidos como el oído; mientras que el informante proxy recupera información sobre
situaciones en las que su madre no es capaz de usar el sentido de la vista debido a su
limitación; c) Juicio: no hay informes verbales para la fase de juicio. Podemos suponer que en
114
ambos informantes evalúan la información recuperada como adecuada para responder; y d)

Respuesta: cada informante ofrece una respuesta distinta.
3.4. Procesos de respuesta en función del tipo de pregunta
Por último, se llevó a cabo un análisis de las diferencias en el proceso pregunta-

respuesta en función del tipo de preguntas target incluida en el estudio. Este análisis se realizó
ya que la bibliografía revisada especifica la dificultad a la hora de medir ciertos aspectos de la
salud a través de informantes proxy (Grootendorst et al., 1997), concretamente, sobre la
problemática existente a la hora de utilizar informantes proxy cuando se está preguntando
sobre ámbitos de la salud que no son directamente observables por dichos informantes.
Tabla IV. 4. Diferencias en el Proceso Pregunta-Respuesta por el Tipo de Preguntas Target
Tipo de Preguntas Target Frecuencia Diferencias en el Proceso P-R
Dificultad en Actividades de la Vida Cotidiana 11 6
Dificultad de Comunicación 31 10
Dificultad de Movilidad 24 10
Dificultad de Aprendizaje 21 7
Dificultad en las Relaciones con los demás 32 6
Perdidos 13 0
Total 132 39
La Tabla IV. 4 presenta en las columnas: cada tipo de pregunta target, la frecuencia de
las respuestas y cuándo han aparecido diferencias en el proceso pregunta-respuesta entre las
respuestas de los participantes. Los resultados del análisis de las entrevistas cognitivas
muestran que las preguntas relacionadas con dificultad en actividades de la vida cotidiana y
dificultad de movilidad son las que presentan mayores diferencias entre los informantes (6
diferencias en 11 respuestas y 10 diferencias en 24 respuestas, respectivamente). En
115
Capítulo IV
contraposición, las preguntas, que menores diferencias generan, son aquellas relacionadas con
problemas de aprendizaje (7 diferencias en 24 respuestas), comunicación (10 diferencias en
31 respuestas) y, por último, relación con los demás (6 diferencias en 32 respuestas).
Estos resultados están en disonancia con la bibliografía, ya que tanto las dificultades
en actividades de la vida cotidiana como las dificultades de movilidad se consideran ámbitos
de la salud directamente observables y accesibles por los informantes proxy. Mientras que las
dificultades en las relaciones con los demás, donde se ha encontrado una mayor convergencia
entre los procesos de respuesta, implican procesos emocionales que a priori se consideran no
directamente observables por dichos informantes proxy. A continuación, se expone el informe
verbal de una pareja de participantes como ejemplo de estos resultados.
Ejemplo IV. 3
P. (Alguna persona de su hogar) ¿se ha visto limitado/a para realizar las

actividades que la gente habitualmente hace, debido a un problema de
salud? La limitación debe durar más de un año.
 Informante Proxy: “Sí, gravemente limitado”

 Entrevistador: “¿Qué entiende por actividades de la vida
cotidiana?”
 Informante Proxy: “…por ejemplo, levantarse por la mañana, ir al
servicio, asearse sin que nadie te diga dónde está el cepillo o la
pasta de dientes, si no encuentra el jabón que nadie te tenga que
decir dónde está...no puede salir solo a la calle, tiene que ir con
alguien...”
 Informante Directo: “Sí, pero no gravemente limitado”

 Entrevistador: “¿Qué entiende por actividades de la vida
cotidiana?”
 Informante Directo: “…actividades de la vida cotidiana son,
levantarse, desayunar, ir al servicio, vestirse...esas puedo hacerlas,
pero hay otras actividades de la vida cotidiana como es salir a la
calle, cruzar la calle, ir a la tienda en estas sí que necesito ayuda”
La pareja del Ejemplo IV. 3 incluye un participante directo con una grave limitación
visual y su mujer como participante proxy. En la transcripción se puede observar el siguiente
proceso de respuesta: a) Comprensión: no hay informes verbales específicos de esta fase, pero
se puede apreciar que ambos participantes comprenden correctamente la pregunta; b)
Recuperación de información: el informante directo recupera dos tipos de actividades: una en
las que no tiene problemas (podríamos denominar de “puertas para adentro”) como levantarse,
116
desayunar, ir al servicio, vestirse, etc., y otras actividades en las que sí tiene problemas
(podríamos denominar de “puertas hacia fuera”) como salir a la calle, cruzar la calle, ir a la
tienda, etc.. El informante proxy recupera información de todas las actividades en las que su
marido tiene problemas, sin diferenciar entre ellas; es decir, problemas en actividades como
levantarse, ir al servicio y asearse, y en actividades como salir a la calle; c) Juicio, cada
informante evalúa la información generada y prepara una respuesta; y d) Respuesta, el
informante directo establece que está “limitado pero no gravemente”, ya que hay algunas
actividades que puede realizar por sí solo, y el informante proxy comunica que su marido
“está gravemente limitado” porque necesita ayuda para todas las actividades.
3. Discusión
El objetivo de este estudio fue identificar las posibles diferencias en los procesos de
respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una
vía para optimizar la coincidencia entre las respuestas de los informantes. La consecución de
este objetivo se ha implementado en el marco de un estudio, en el que se utilizaron
informantes directos e informantes proxy para responder a preguntas de un cuestionario de
una encuesta de discapacidad. El análisis de los procesos de respuesta de ambos tipos de
informantes se realizó en base al esquema de codificación propuesto por Willis et al. (1999).
Este esquema permite la identificación de problemas en cada una de las fases del modelo de
pregunta-respuesta (Tourangeau, 1984).
Los resultados del estudio han mostrado:
a) A pesar de que los informantes directos y los informantes proxy coincidan en sus
respuestas, los procesos de respuesta subyacentes, en ocasiones, son distintos. Es
decir, el informante proxy puede estar comprendiendo la pregunta de forma
distinta que el informante directo, recuperando distinta información y evaluándola
también de forma distinta aunque finalmente ofrezca la misma respuesta. Esta
situación supone un problema de error de respuesta en la medida en la que no se
está accediendo al valor “real”; en términos de evaluación psicométrica clásica, en
la medida en la que, a pesar de haber obtenido el mismo valor “observado” no se
117
Capítulo IV
está accediendo al valor “verdadero” del informante directo, a través del

informante proxy.
b) Una vez que ambos informantes han ofrecido una respuesta distinta existe una
diferencia subyacente en el proceso de pregunta-respuesta. La mayoría de estas
diferencias subyacentes se encuentran en la fase de compresión y recuperación de
información del modelo del proceso de pregunta-respuesta (Tourangeau, 1984). En
la bibliografía se establecía que, las diferencias en las respuestas se deben a la
distinta información disponible para realizar juicios y a las distintas estrategias de
formación de dichos juicios (Bickart et al., 1994; Kuiper & Rogers, 1979; Schwarz
& Wellens, 1997; Sudman, et al., 1996); sin embargo, el estudio ha mostrado que
las diferencias se deben, en gran medida, a las diferentes interpretaciones que
realizan los participantes de las preguntas del cuestionario; concretamente, a los
errores de interpretación del objetivo de estas preguntas.
El primer paso, para evitar que los informantes proxy ofrezcan respuestas distintas a
los informantes directos, es asegurar una interpretación común de la pregunta del
cuestionario. Es esencial conseguir que todos los participantes comprendan la pregunta de la
misma forma, y que esa interpretación coincida con el objetivo de medición de dicha
pregunta, es decir, coincida con la interpretación prevista por los autores del cuestionario. De
este modo, se debe realizar un esfuerzo a la hora de elaborar preguntas claras, sencillas,
cognitivamente accesible para la población objeto de medición y que reflejen nítidamente el
objetivo de medición de la misma. Este primer paso es tan importante que si no se ejecuta es
indiferente utilizar informantes directos e informantes proxy en las encuestas, ya que los
propios informantes directos van a mostrar una gran divergencia en las respuestas entre sí
mismos. No habría que esperar a introducir informantes proxy para que aumentaran los
errores de respuesta en los datos de las encuestas. El segundo paso, consistiría en tratar de
conseguir que, los informantes proxy se basaran en la misma información que los informantes
directos, a la hora de contestar a las preguntas.
Con respecto al tipo de preguntas, varios autores apuntaron que las respuestas de los
informantes proxy son más exactas en ámbitos de la salud que son directamente observables y
probablemente conocidos por otros (Magaziner et al., 1996), tales como, problemas con
actividades de la vida cotidiana y limitaciones crónicas. No obstante, los resultados del
118
presente estudio han puesto de manifiesto, que la mayoría de las diferencias de los procesos
de respuesta aparecen en las preguntas relacionadas con limitaciones en las actividades
cotidianas y con problemas de movilidad. De forma contraria, la mayor convergencia de los
procesos de respuesta se ha encontrado en las preguntas relacionadas con dificultades en la
relación con los demás, que implican a la hora de responder un acceso a información
emocional (ver Anexo). La explicación de esta situación no está clara. Se podría hipotetizar,
que por efectos de deseabilidad social, ambos informantes hayan restringido la información
aportada durante la entrevista cognitiva, con respecto a problemas emocionales y problemas
de relación con otras personas, ofreciendo respuestas e informes verbales en los que muestran
que no existen problemas de relación con otras personas y todo está bien. De hecho, la mayor
frecuencia de respuestas entre ambos informantes fue “No/No”. Este hallazgo podría abrir una
nueva línea de investigación que comprobara la causa de este resultado, y arrojara luz sobre el
grado de convergencia en las respuestas entre informantes directos e informantes proxy en
función de la temática de la pregunta.
Finalmente, en este estudio se ha demostrado, una vez más, cómo el uso de la

entrevista cognitiva nos permite saber cómo están interpretando y respondiendo a las
preguntas de las encuestas los participantes e identificar los tipos de error que se están
cometiendo (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler, & Brown, 1999; Nápoles-
Springer, Santoyo-Olsson, O’Brien, & Stewart, 2006). A través del uso de la entrevista
cognitiva es posible identificar fuentes de error en los procesos de respuesta a las preguntas de
la encuesta, tales como, problemas en la comprensión del objetivo de la pregunta o conceptos
insertados en la pregunta, o diferencias en la recuperación de la información y en el juicio
realizado por distintos tipos de informantes; y en base a estas evidencias proponer
modificaciones en dichas preguntas para asegurar la calidad de los datos obtenidos y reducir
los errores basados en los procesos de respuesta.
5. Referencias
Bassett, S.S., Magaziner, J. & Hebel, J.R. (1990) Reliability of proxy response on mental
health indices for aged, community-dwelling women. Psychology and Aging, 5, 127-132.
119
Capítulo IV
Bickart, B., Menon, G., Schwarz, N. & Blair, J. (1994). The use of anchoring strategies in
constructing proxy reports of attitudes. International Journal of Public Opinion Research, 6,
375-379.
Campbell, P.T., Sloan, M. & Kreiger, N. (2000). Utility of Proxy versus Index Respondent
Information in a Population-Based Case-Control Study of Rapidly Fatal Cancers. Annals of
Epidemiology, 17, 253-257.
DeMaio, T.J. & Rothgeb J.M. (1996). Cognitive interviewing techniques: in the lab and in the
field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for Determining
Cognitive and Communicative Processes in Survey Research. San Francsico: Jossey-Bass, 177–
196.
Epstein, A.M., Hall, J.A., Tognetti, J., Son, L.H. & Conant, L. (1989). Using proxies to
evaluate quality of life. Medical Care, 27, 91-98.
Grootendorst, P.V., Feeny, D.H. & Furlong, W. (1997). Does it matter whom and how you
ask? Inter- and intra-rater agreement in the Ontario Health Survey. Journal of Clinical
Epidemiology, 50, 127-135.
Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to
develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans
Study. Medical Care, 37, 10–21.
Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1).
Universidad de Tübingen, Alemania: Ingeborg Huber Verlag.
Kuiper, N.A. & Rogers, T.B. (1979). Encoding of personal information: self-other
differences. Journal of Personality and Social Psychology, 37, 499-514.
Magaziner, J., Bassett, S.S., Hebel, J.R. & Gruber-Maldini, A. (1996). Use of Proxies to
Measure Health and Functional Status in Epidemiologic Studies of Community-dwelling
Women Aged 65 Years and Older. American Journal of Epidemiology, 143, 283-292.
120
Mathiowetz, N.A. & Groves, R. M. (1985). The effects of respondent rules on health survey
reports. American Journal of Public Health, 75, 311-316.
Nápoles-Springer, A.M., Santoyo-Olsson, J., O’Brien, H. & Stewart, A.L. (2006). Using
cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30.
Rajmil, L., Fernández, E., Gispert, R., Rúe, M., Glutting, J.P., Plasencia, A. & Segura, A.
(1999). Influence of proxy respondents in childrens’ health interview survey. Journal of
Epidemiology and Community Health, 53, 38-42.
Rothman, M.L., Hedrick, S.C., Bulcroft, K.A., Hickarn, D.H. & Rubenstein, L.Z. (1991). The
validity of proxy-generated scores as measures of patient health status. Medical Care, 29,115-
124.
Schwarz, N. & Wellens, T. (1997). Cognitive dynamics of proxy responding: the diverging
perspective of actors and observers. Journal of Official Statistics, 13, 159-179.
Sudman, S., Bradburn, N.M. & Schwarz, N. (1996). Thinking about answers: The Application
of Cognitive Processes to Survey Methodology. San Francisco, CA: Jossey-Bass.
Sunghee, L., Mathiowetz, N.A. & Tourangeau, R. (2007) Measuring disabilities in surveys:
Consistency over the time and across respondents. Journal of Official Statistics, 23, 163-184.
Tafforeau, J., Lopez, M., Tolonen, A., Scheidt-Nave, C. & Tinto, A. (2006). Guidelines for
the development and criteria for the adoption of Health Survey instruments. Eurostat Working
Papers and Studies.
Todorov, A. & Kirchner, C. (2000). Bias in Proxies’ Reports of Disability: Data From the
National Health Interview Survey on Disability. American Journal of Public Health, 90,
1248-1253.
Tourangeau, R. (1984). Cognitive science and survey methods: a cognitive perspective. En:
T. Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive Aspects of Survey
121
Capítulo IV
Methodology: Building a Bridge Between the Disciplines (pp. 73-100). Washington, DC:
National Academy Press.
Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S.

& Sons.
Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing,

expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey
122
6. Anexo
CUESTIONARIO ADAPTADO INFORMANTE PROXY
Código de entrevista:
Fecha: dd/mm/aa Entrevistador/a Entrevistado/a1 Sexo (H ó M)

1
Códigos: E1_01 a E1_03; o E2_04 a E2_05
A) Datos del encuestado
“Para empezar, necesito conocer algunos datos personales que nos ayudarán a interpretar
sus respuestas”.
(A partir de aquí, el entrevistador debe preguntar al encuestado)
P.1 ¿Cuál es su edad?
P.2 ¿Cuál es su país de nacimiento? País de nacimiento:
P.3 ¿Vive con otras personas en su domicilio actual? No 1 Sí 2_

(Si la respuesta es “No” se anula la entrevista, el entrevistado tenía que vivir en domicilio familiar).
P.4 Alguna persona de su hogar, ¿se ha visto limitado/a para realizar las actividades que la gente
habitualmente hace, debido a un problema de salud? La limitación debe durar más de un año.
Sí, gravemente limitado 1 → Entrevistador pase a P.5
Sí, limitado pero no gravemente 2 → Entrevistador pase a P.5
No 3 PRUEBA 4 DE INDAGACIÓN (PROTOCOLO)
P.5 ¿Cuál es su relación de parentesco con esta/s persona/s?

Parentesco
(1) ¿Cuál es su edad?
PRUEBA 4 DE INDAGACIÓN (IR A PROTOCOLO)
B) Núcleo de la entrevista
123
Capítulo IV
Entrevistador/a: Léale al informante: "Ahora voy hacerles unas preguntas para identificar a las
personas de su vivienda que tienen dificultades o limitaciones importantes para realizar actividades
de la vida cotidiana, debido a un problema de salud”.
“Por favor, tenga en cuenta para responder a las preguntas que se considera que un problema de
salud es de larga duración cuando las dificultades duran ya más de un año o se espera que duren
más de un año”.
“Incluya también a las personas que para hacer las actividades cotidianas necesitan ayudas
técnicas externas o que alguien las supervise mientras están haciéndolas.
Entrevistador/ a: Léale al informante: “Empecemos por las dificultades de comunicación cuya

duración supere un año.
P.6 ¿Alguna persona del hogar tiene dificultad importante para hablar de manera
comprensible o decir frases con sentido sin ayudas?
SI → ¿Cuál es su relación de parentesco con esta/s persona/s?

(1) (2) (3) (4)
NO
P.7 ¿Alguna persona del hogar tiene dificultad importante para comprender el significado
de lo que le dicen otras personas sin ayudas?

(1) (2) (3) (4)
NO
P. 8. ¿Alguna persona del hogar tiene dificultad importante para utilizar el teléfono u
otros dispositivos o técnicas de comunicación sin ayudas y sin supervisión? Incluya la
máquina para escribir Braille y la lectura labial.

(1) (2) (3) (4)
NO
Entrevistador/ a: léale al informante: “Ahora voy a hacer unas preguntas sobre dificultades de
aprendizaje que duren más de un año”.
124
P. 9. ¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del

hogar tiene dificultad importante para utilizar intencionadamente los sentidos? Por
ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc.

(1) (2) (3) (4)
NO
P.10 ¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del

hogar tiene dificultad importante para aprender a leer, a escribir, a contar (o calcular), a
copiar o dificultad para aprender a manejar utensilios de uso cotidiano?

(1) (2) (3) (4)
NO
Entrevistador/ a: Léale al informante: “El siguiente bloque incluye preguntas sobre dificultades
de movilidad que duren más de un año”.
P.11 ¿Alguna persona del hogar tiene dificultad importante para mover el cuerpo de un
sitio a otro sin cambiar la posición sin ayudas y sin supervisión? Por ejemplo, pasar de
estar sentado en una cama a sentarse en una silla.

(1) (2) (3) (4)
NO

P.12 ¿Alguna persona del hogar tiene dificultad importante para cambiar de postura sin
ayudas y sin supervisión? Por ejemplo levantarse de una silla, tumbarse en una cama,
arrodillarse, etc. Excluye la acción de transferir el propio cuerpo planteada en la
pregunta anterior.

(1) (2) (3) (4)
NO
125
Capítulo IV
Entrevistador/ a: Léale al informante: “Para terminar este bloque, las siguientes preguntas
tratan sobre dificultades por problemas de salud en las relaciones con otras personas, en las
relaciones familiares, etc., de más de 1 año de duración”
P.13. ¿Alguna persona del hogar tiene dificultad importante para mostrar a otras
personas afecto, respeto o para transmitir sentimientos incluyendo el contacto físico,
como besos, caricias, etc.?

(1) (2) (3) (4)
NO
P.14. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener
relaciones familiares?

(1) (2) (3) (4)
NO
P.15. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener
relaciones sentimentales, de pareja o sexuales?

(1) (2) (3) (4)
NO
Protocolo Informante PROXY
 Debe realizar la entrevista igual que se administra un cuestionario tradicional:

empiece por el principio, avance a través de cada página hasta el final del
protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta
exactamente como aparecen.
126
 La información para dar al encuestado está escrita con un estilo de fuente en

cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de
fuente en negrita, las preguntas con las pruebas de indagación con un estilo
normal. También pueden aparecer instrucciones para Vd. que no debe leer al
entrevistado. Estas instrucciones aparecen (entre paréntesis).
 A continuación, se describen los diferentes tipos de preguntas incluidas en el

protocolo junto con algunas indicaciones para el entrevistador:
 Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se

pretenden examinar mediante la entrevista cognitiva. El resto de las
preguntas del protocolo están diseñadas para analizar como funcionan
estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas
de respuesta exactamente como aparecen escritas. Debe también registrar
la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS
PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA
RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas
cognitivas es conocer como los encuestados interpretan las preguntas.
También se pretende averiguar el grado de dificultad que conlleva
contestar a las preguntas, sin la ayuda de un entrevistador.
 Pregunta general de indagación. Inmediatamente después de la
pregunta objeto de análisis, aparece una pregunta abierta diseñada para
obtener información sobre como el entrevistado ha interpretado la
pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta
pregunta en cuanto detecte que el entrevistado ha terminado de responder
a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO
QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.
 Preguntas específicas de indagación. Tras la pregunta general debe

hacer una serie de preguntas diseñadas para obtener información
específica sobre el proceso de “pregunta-respuesta” seguido por el
entrevistado. Interesa conocer en detalle como el entrevistado ha
“construido” la respuesta. Estas preguntas son fáciles de responder. No
obstante, también puede recurrir a las habituales estrategias de indagación
para profundizar en las respuestas: “Puede repetirme lo último…”; “Me
parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o
repitiendo las últimas palabras o frases del encuestado.
127
Capítulo IV
Información previa al encuestado
Tras la presentación inicial y después de que ocupen las posiciones adecuadas en

la sala1, proporcione la siguiente información:
 “La Universidad de Granada está probando unas preguntas de un cuestionario que

posteriormente se utilizarán en una encuesta. La información obtenida con la
encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida
de los ciudadanos".
 “El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario
que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS
PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO
VD. La información que Vd. proporcione es muy valiosa para mejorar el
funcionamiento del cuestionario”.
 “Primero responderá a un cuestionario y después le pediré que me diga COMO HA

CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que
información ha tenido en cuenta para responder, como ha recordado la
información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”
 “Toda la información que proporcione es muy importante para nosotros. Por tanto,
siéntase libre de decir todo lo que crea que puede ayudar a mejorar el
cuestionario haciendo bien las preguntas.” “Para no perder nada de sus
respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son
confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene
alguna duda?... Pues vamos a empezar.”
Desarrollo de la entrevista cognitiva
PRUEBA P.4 DE INDAGACIÓN (“ACTIVIDADES HABITUALES”)
1 1
Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el
entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible
las caras y el cuerpo de ambos.
128
 GENERAL
P. 4. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?
 ESPECÍFICAS
P. 4. 2 ¿Qué entiende Vd. por “actividades de la vida cotidiana”?
PRUEBA P.6 (“HABLAR DE MANERA COMPRENSIBLE”)

 GENERAL
 ESPECÍFICAS
P. 6. 2 ¿Qué significan para Vd. las palabras “hablar de manera comprensible”?
 ESPECÍFICAS PARA QUIENES RESPONDAN “SÍ” A LA PREGUNTA P.6. DEL

CUESTIONARIO
P. 6. 3. Vd. ha contestado que su (Nombrar por el

parentesco a la persona 1), tiene dificultad importante para hablar
de manera comprensible y decir frases con sentido, cuénteme con
sus propias palabras una situación en la que su (la
persona 1), tenga una dificultad importante para hablar de manera
comprensible y decir frases con sentido.
PRUEBA P.7 DE INDAGACIÓN (“COMPRENDER EL SIGNIFICADO”)
 GENERAL
 ESPECÍFICAS
129
Capítulo IV
P. 7. 2 ¿Qué entiende Vd. por “… comprender el significado de lo que dicen otras

personas”?
 ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A

LA PREGUNTA P.7 DEL CUESTIONARIO
P. 7. 3 Vd. ha contestado que su (Nombrar por el

parentesco a la persona 1), tiene dificultad importante para
comprender lo que dicen otras personas, cuénteme con sus propias
palabras una situación en la que su (la persona 1), tenga
una dificultad importante para comprender lo que dicen otras
personas.
PRUEBA P.8 DE INDAGACIÓN (“UTILIZAR EL TELÉFONO”)
 GENERAL
 ESPECÍFICAS PARA TODOS
P. 8. 2 ¿Qué significan para Vd. las palabras “utilizar el teléfono”?
P. 8. 3 ¿… y “dispositivos o técnicas de comunicación”?


parentesco a la persona 1), tiene dificultad importante para utilizar
el teléfono u otros dispositivos o técnicas de comunicación,
cuénteme con sus propias palabras una situación en la que su
(la persona 1), tenga una dificultad importante para
utilizar el teléfono u otros dispositivos o técnicas de comunicación.
PRUEBA P.9 DE INDAGACIÓN (“USAR LOS SENTIDOS”)
130
 GENERAL
 ESPECÍFICAS
P. 9. 2 Dígame con sus propias palabras ejemplos de “problemas de naturaleza

cognitiva o intelectual”.
P. 9. 3 Imagine que tiene que explicar a otra persona qué es “utilizar

intencionadamente lo sentidos”, ¿qué le diría?
 ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.9 DEL

CUESTIONARIO

parentesco a la persona 1), tiene dificultad importante para utilizar
intencionadamente los sentidos, cuénteme con sus propias palabras
situaciones en la que su (la persona 1), tenga dificultades
para utilizar intencionadamente los sentidos.
PRUEBA P.10 DE INDAGACIÓN (“APRENDER A LEER…”)

 GENERAL
 ESPECÍFICAS
P. 10. 2 ¿Qué entiende Vd. por “utensilios de uso cotidiano”?
 ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.10 DEL

CUESTIONARIO

parentesco a la persona 1), tiene dificultad importante para
aprender a leer, a escribir, a contar, a copiar o a manejar utensilios
de uso cotidiano, cuénteme con sus propias palabras situaciones en
131
Capítulo IV
la que su (la persona 1), tenga dificultades para

aprender.
PRUEBA P.11 DE INDAGACIÓN (“MOVER EL CUERPO”)
 GENERAL
 ESPECÍFICAS
P. 11. 2 ¿Qué ha entendido por “mover el cuerpo de un sitio a otro sin cambiar de
posición”?
P. 11. 3 La pregunta era sobre si una persona de su hogar tenía una dificultad
importante para mover el cuerpo… sin ayudas y sin supervisión ¿Qué significan
para Vd. las palabras “sin supervisión”?


parentesco a la persona 1), tiene dificultad importante para mover
el cuerpo de un sitio a otro sin cambiar de posición, cuénteme con
sus propias palabras situaciones en las que su (la
persona 1), tenga una dificultad importante para mover el cuerpo de
un sitio a otro sin cambiar de posición.
PRUEBA P.12 DE INDAGACIÓN (“CAMBIAR DE POSTURA”)
 GENERAL
 ESPECÍFICAS
132
P. 12. 2 ¿Qué ha entendido por la expresión “transferir el propio cuerpo”?


parentesco a la persona 1), tiene dificultad importante para cambiar
de postura, cuénteme con sus propias palabras situaciones en la
que su (la persona 1), tenga una dificultad importante
para cambiar de postura sin transferir el propio cuerpo.
PRUEBA P.13 DE INDAGACIÓN (“MOSTRAR AFECTO”)
 GENERAL

LA PREGUNTA P.13.1 DEL CUESTIONARIO

parentesco a la persona 1), tiene dificultad importante para mostrar
a otras personas afecto, respeto o sentimientos, cuénteme con sus
propias palabras situaciones en la que su (la persona 1),
tenga una dificultad importante para mostrar a otras personas
afecto, respeto o sentimientos.
PRUEBA P.14 DE INDAGACIÓN (“RELACIONES FAMILIARES”)
 GENERAL
 ESPECÍFICAS
133
Capítulo IV
P. 14. 2 ¿Qué ha entendido por la expresión “crear o mantener relaciones

familiares”?


parentesco a la persona 1), tiene dificultad importante para crear y
mantener relaciones familiares, cuénteme con sus propias palabras
situaciones en la que su (la persona 1), tenga una
dificultad importante para crear y mantener relaciones familiares.
PRUEBA P.15 DE INDAGACIÓN (“RELACIONES DE PAREJA”)
 GENERAL


parentesco a la persona 1), tiene dificultad importante para crear y
mantener relaciones sentimentales, de pareja o sexuales, cuénteme
con sus propias palabras una situación en la que su (la
persona 1), tenga una dificultad importante para crear y mantener
relaciones sentimentales y de pareja.
¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS
AYUDAN A MEJORAR EL CUESTIONARIO
134
135
CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA
PSICOLÓGICA
136
Errores de respuesta en una escala psicológica
1. Introducción
Las escalas psicológicas están siendo frecuentemente utilizadas en las encuestas, con
el fin de evaluar constructos psicológicos o de salud. Ejemplos de ello son, el Cuestionario
General de Salud en la Encuesta Nacional de Salud, las escalas SF-12 en la Encuesta Europea
de Salud, o el uso de grupos de ítems politómicos en diversas rondas de la Encuesta Social
Europea. Este creciente uso de las escalas psicológicas en las encuestas suscita, al menos, dos
cuestiones metodológicas importantes en cuanto al pretest de dichas escalas. En primer lugar,
la pertinencia a la hora de aplicar análisis psicométricos en el contexto de la investigación por
encuesta. En segundo lugar, la utilidad de los métodos de pretest, tales como la entrevista
cognitiva y la codificación del comportamiento, en la evaluación de estas escalas. La base de
estas dos discusiones metodológicas es la misma: la aportación y utilidad que pueden ofrecer
cada método de evaluación de instrumentos, en un contexto muy distinto de aquel para el que
fueron diseñados.
Con respecto a la aplicación de evaluaciones psicométricas a escalas insertadas en las

encuestas, se plantean una serie de problemas metodológicos evidentes. Por ejemplo, habría
que resolver cómo llevar a cabo una evaluación psicométrica de la escala, dentro de la
encuesta y junto al resto de cuestionarios que no miden atributos psicológicos. Imaginemos
que la evaluación psicométrica se realiza en el estudio piloto. En esta situación, podría habere
una confrontación de objetivos. Por una parte, los estudios pilotos suelen tener como objetivo
el análisis de las distribuciones de respuestas de los entrevistados y las cargas de los
entrevistadores; mientras que la evaluación psicométrica (basada en un paradigma estadístico
“clásico” o en la “teoría de respuesta al ítem”) tendría como objetivo la identificación de
ítems adecuados para la escala psicológica a través de sus características métricas. Una
práctica mucho más común, es realizar la evaluación psicométrica de la escala de forma
aislada o basándose en la información de evaluaciones psicométricas anteriores realizadas por
otros investigadores, para justificar la calidad de la escala psicológica. Posteriormente
insertarían la escala psicológica junto al resto de cuestionarios en la encuesta, asumiendo
erróneamente que dicha escala psicológica mantendría sus propiedades métricas en un
contexto muy diferente de aquel en el que fue evaluada.
137
Capítulo V
De cualquier forma, la Psicometría presenta varias desventajas que restringen su uso

en el contexto de la evaluación cuestionarios de encuestas. Por una parte, los análisis
psicométricos son tremendamente dependientes de los datos cuantitativos que se obtienen una
vez que se ha administrado la encuesta, por tanto, no es posible usar estos análisis
psicométricos en fases previas del desarrollo de las preguntas (Willis, 2005). Por otra parte, la
Psicometría esta más basada en las consecuencias de los errores de las encuestas que en las
causas (Tourangeau, 2003).
En relación a la segunda discusión metodológica, se ha demostrado ampliamente la

utilidad de los métodos cognitivos en la optimización de la información obtenida en las
encuestas (Willis, 2004; Conrad & Blair, 2004). Sin embargo, el problema es que los métodos
cognitivos fueron desarrollados para evaluar preguntas individuales de los cuestionarios de las
encuestas, preguntas individuales que cada una de ellas conforma una variable de medición,
pero no para evaluar instrumentos de medición de atributos psicológicos en los que la variable
está compuesta por todos los ítems del instrumento.
Esta es una problemática que parece no haber sido resuelta aún por la comunidad
científica, ya que a pesar del creciente interés en los aspectos cognitivos de los procesos de
respuesta, tal y como se demostró en el Capítulo III, hay poca evidencia de estudios que
hayan indagado en dichos aspectos cognitivos durante la evaluación de escalas psicológicas
incluidas en encuestas (van der Veer, Ommundsen, Hak & Larsen, 2003). Ante este
obstáculo, una posible solución es hipotetizar que los participantes desarrollan procesos de
respuesta equivalentes cuando están contestando las preguntas de una encuesta y cuando están
contestando los ítems de una escala psicológica. Equivalentes en el sentido de que estos
procesos de respuesta son accesibles para los métodos cognitivos y, por tanto, permiten la
identificación de los problemas con los ítems de las escalas psicológicas mediante ese acceso
a los procesos de respuesta de los participantes. Por ejemplo, la teoría subyacente a la
entrevista cognitiva parte del trabajo de Ericsson y Simon (1980). En este esquema teórico, el
componente clave es que las personas pueden informar de forma precisa de los procesos de
pensamientos a los que tienen acceso. Dichos procesos de pensamiento son aquellos que
tienen lugar en la memoria a corto plazo, utilizando información proveniente de la memoria a
largo plazo, de las memorias sensoriales o que ya se encontrara en la memoria a corto plazo
(ver Capítulo II).
138
Siguiendo a Conrad y Blair (2009) en la medida en que estos procesos de pensamiento

no sean automáticos, y requieran “realmente” de un procesamiento, los participantes podrán
ofrecer información verbal de los mismos y, por tanto, serán susceptibles de indagación a
través de los métodos cognitivos. En contraposición, en la medida en que sean automáticos,
los participantes tendrán poco o nada que decir sobre estos procesos de pensamiento. Si se
asumimos que los procesos de respuesta ante los ítems de las escalas psicológicas no son
automáticos, podemos hipotetizar que a través de la entrevista cognitiva, al igual que se puede
acceder a los procesos de pensamiento que desarrollan las personas mientras contestan las
preguntas de una encuesta, también se podría acceder a los procesos de pensamiento que
desarrollan mientras contestan a los ítems de una escala psicológica.
Miller en el 2007 afirmó que la entrevista cognitiva es el método más útil para
investigar cómo funcionan las preguntas de las encuestas en los entrevistados. El método de la
entrevista cognitiva proporciona información sobre la compresión de conceptos en las
preguntas, fallos en la recuperación de información, errores en el texto de las preguntas, etc.
Este tipo de información tan útil en la evaluación de las preguntas de los cuestionarios de las
encuestas, también puede ser tremendamente útil en la evaluación de los ítems de las escalas
psicológicas incluidas en las encuestas.
El método de la codificación del comportamiento, al contrario que la entrevista

cognitiva, se podría aplicar a la evaluación de las escalas psicológicas, a priori, sin ningún
problema. No habría que hipotetizar que los procesos de respuesta sean equivalentes a los
procesos de respuesta en los cuestionarios. Este método puede identificar desviaciones de las
secuencias “ideales” (paradigmáticas), con cierta independencia del tipo de pregunta que se
haya realizado. La categorización de cada tipo de secuencia, durante la interacción entre el
entrevistado y el entrevistador, se puede llevar a cabo tanto en la evaluación de las preguntas
de cuestionarios insertados en las encuestas, como en la evaluación de las preguntas de las
escalas psicológicas insertadas en las encuestas; obteniendo, de este modo, información sobre
cómo las desviaciones a la secuencia ideal de conductas puede afectar a la calidad de los datos
de la escala psicológica.
Por último, hay que mencionar que un método de pretest, como la entrevista cognitiva,
puede jugar un papel crucial en respuesta a la demanda actual sobre la realización de análisis
empíricos y teóricos de los procesos de respuesta, con el fin de obtener evidencias de validez
139
Capítulo V
sobre el ajuste entre el constructo que se supone mide el test o el cuestionario y las respuestas
dadas por los participantes. Esta demanda está claramente reflejada en los Standards for
Educational and Psychological Testing (APA, AERA, NCME, 1999). De acuerdo con los
Standards for Educational and Psychological Testing (APA et al., 1999): “la evaluación de
las estrategias de ejecución, o estrategias de respuesta de los encuestados a las preguntas,
puede ofrecer evidencia que enriquezca la definición del constructo, y estas evidencias de
validez basadas en los procesos de respuesta generalmente provienen del análisis de las
respuestas individuales” (p. 12). La entrevista cognitiva puede ser de gran utilidad a la hora de
obtener información de las estrategias de respuesta de los encuestados y, por tanto, ofrecer
información sobre el ajuste entre el constructo y las respuestas de los participantes.
En base a todo lo anteriormente escrito, el presente estudio tiene dos objetivos

principales. Por una parte, mostrar cómo la entrevista cognitiva y la codificación del
comportamiento también puede ser utilizados en el pretest de las escalas psicológicas
incluidas en los cuestionarios de las encuestas. Por otra parte, mostrar la utilidad de la
entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta de
estas escalas psicológicas. La consecución de sendos objetivos se va a implementar en el
marco del pretest de la escala psicológica de Percepción de la Función Familiar (APGAR)
insertada en una encuesta de salud.
2. Método
2.1. Participantes
En este estudio participaron 21 personas, 10 hombres y 11 mujeres con edades

comprendidas entre 20 y 67 años. Se seleccionarion potenciales participantes que podrían ser
entrevistados para la encuesta de salud, en la que fue insertada la escala psicológica APGAR.
Las variables de distribución que se tuvieron en cuenta en la selección de participantes fueron
las siguientes: a) equivalente distribución de genero; b) rango de edad entre 18-70 años; c)
equivalente distribución del estado civil; d) equivalente distribución del nivel de estudios y e)
tipo de vivienda, a saber, participantes en vivienda uni-personal (personas que viven solas) y
140
vivienda multi-personal. La Tabla V.1 ofrece la distribución de valores de las variables nivel
de estudios y tipo de vivienda.
Tabla V. 1. Características de los Participantes

Tipo de Nivel de Estudios
Vivienda Básico Medio Superior Total
Unipersonal 3 3 3 9
Multipersonal 6 3 3 12
Total 9 6 6 21
Es necesario resaltar que la razón de la utilización de la variable “tipo de vivienda” se

basó en la temática de la escala APGAR y en la validez de la información proporcionada por
participantes provenientes de ambos tipos de viviendas. La escala APGAR tiene como
objetivo medir el apoyo emocional que las personas reciben de su familia. De este modo, el
tipo de información que ofrecen las personas que vivan solas podría ser muy distinta de
aquellas personas que conviven con su familia; es decir, era indispensable tener en cuenta la
variable tipo de vivienda ya que podría constituir una diferencia en los procesos de respuesta
de los participantes.
La captación de los participantes fue realizada mediante el procedimiento de “bola de

nieve”, a través de los contactos de miembros del equipo de investigación de la Universidad
de Granada. Los participantes eran completamente informados sobre el objetivo del estudio,
el procedimiento de las entrevistas y su función. A todos ellos se les informó sobre el objetivo
del estudio y se les garantizó la confidencialidad de los datos. Se tuvo especial cuidado en que
las personas seleccionadas no hubiesen participado es estudios con estos métodos de pretest
de cuestionarios. Por último, en todos los casos era indispensable poseer un nivel funcional de
español para participar, y las personas seleccionadas recibieron una gratificación de 20€ como
compensación por gastos de transporte, tiempo empleado en la entrevista, etc.
141
Capítulo V
2.1. Materiales
Los dos instrumentos utilizados en el estudio fueron, por una parte, la escala
psicológica a ser evaluada y, por otra parte, la guía de la entrevista; es decir, la escala APGAR
y el Protocolo de Entrevista.
La escala APGAR
La escala APGAR fue diseñada por Smilkestein en 1978 para evaluar la percepción de
los miembros de la familia sobre el apoyo familiar, examinando su satisfacción con las
relaciones familiares. Esta escala psicológica ha sido incluida en las prácticas clínicas por
médicos de familia, como una herramienta útil para obtener información sobre la situación
familiar y su posible papel en el origen y solución de conflictos (Bellón, Delgado, Lunay y
Lardelli, 1996). La escala APGAR es una técnica rápida y sencilla que sirve para explorar la
función familiar evaluando 5 componentes: adaptabilidad (adaptability), cooperación
(partnertship), desarrollo (growth), afectividad (affection) y capacidad resolutiva (resolve)
(Smilkstein, 1978). Se compone de cinco ítems con tres alternativas de respuesta (p. ej. “¿Esta
satisfecho con la ayuda que recibe de su familia cuando tiene un problema? Casi Nunca, A
Veces o Casi Siempre”, ver Anexo). Su traducción al español se llevó a cabo mediante el
método de traducción inversa. El valor de Alpha de Cronbach de las respuestas de la escala
APGAR en los estudios que se ha utilizado se sitúa alrededor de .84, así como, los análisis
factoriales aplicados muestran una solución de un solo factor (Bellón et al., 1996).
Es importante resaltar que toda esta información de las propiedades métricas de la

escala se circunscribe a su uso en prácticas clínicas. Una vez que la escala APGAR ha sido
introducida junto a una serie de cuestionarios, para conformar una encuesta de salud, cambia
considerablemente su contexto de aplicación. Estas propiedades métricas dejan de tener
validez en la medida en que el nuevo contexto de medición es muy distinto de aquel en el que
se llevaron a cabo las evaluaciones de la calidad de los datos. De este modo, se hace aún más
necesaria una nueva evaluación de la escala.
142
Protocolo de Entrevista
El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluye

información y descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las
instrucciones que se le deben dar al participante al comenzar la entrevista cognitiva y las
pruebas de indagación. En la siguiente figura se muestra un ejemplo de dos preguntas target y
varias pruebas de indagación. En el Anexo se incluye el protocolo completo de la entrevista
cognitiva utilizado en este estudio.
Figura V. 1. Ejemplo de Pregunta Target y Pruebas de Indagación
1. ¿Está satisfecho con la ayuda que recibe de su familia cuanto tiene un

problema?
…
5. ¿Siente que su familia le quiere?
Pregunta General:
 Por favor, cuénteme en qué ha pensado mientras respondía a
estas preguntas sobre apoyo afectivo y su percepción de la
función de la familia
Preguntas Específicas:
 ¿Cuántas personas forman su familia más cercana?
 ¿Con qué personas de su familia tiene un contacto frecuente?
 ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se
tiene un problema”?
2.2. Procedimiento
En este estudio se decidió seguir el paradigma probing based de aplicación de la

entrevista cognitiva, descartando la utilización del paradigma think-aloud en todo momento.
En el método think-aloud durante la administración de las preguntas se incita al entrevistado a
que verbalice los pensamientos que van sucediendo en su mente mientras responde a dichas
143
Capítulo V
preguntas. Esta situación, en la que el entrevistado está respondiendo y a la vez va hablando

sobre todo lo que se le va pasando por la cabeza, dificultaría enormemente la aplicación de la
codificación del comportamiento, ya que impediría por completo que sucedieran las
secuencias ideales (paradigmáticas) de comportamiento. La utilización de la codificación del
comportamiento hace necesario que la administración de todas las preguntas de la escala se
haga en las mismas condiciones que ocurrirían en la administración real de la encuesta,
evitando cualquier tipo de interrupción. Del mismo modo, y de nuevo con el fin de evitar
interrupciones en las secuencias de comportamiento entre el entrevistador y el entrevistado,
una vez decidido que se aplicaría el paradigma probing based también se decidió que sería de
acuerdo a un diseño retrospectivo. Es decir, en primer lugar se administró por completo la
escala APGAR y tras la última respuesta del participante al último ítem de la escala
comenzaron a aplicarse las diversas pruebas de indagación.
Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores
(una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas
cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los
participantes, y tuvieron lugar en un laboratorio cognitivo equipado de un sistema de
grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de
Granada.
2.3. Esquemas de Análisis
Codificación del Comportamiento
Existen diferentes esquemas de análisis de las secuencias de conductas que ocurren

durante la interacción entre el entrevistador y el entrevistado. En este estudio nos hemos
basado en el esquema de codificación establecido por Oksenberg, Cannell y Kalton (1991),
por dos razones fundamentales: (a) responde a los objetivos del presente estudio y (b) ha sido
el esquema de análisis más frecuentemente usado por los profesionales del área. La Tabla V. 2
especifica los tipos de secuencia, los códigos asignados y la conducta que corresponde a cada
código y a cada secuencia.
144
Tabla V. 2. Esquema de Análisis de la Codificación del Comportamiento
Secuencia Código Conducta

La respuesta se ajusta al objetivo de la
Paradigmática R. Adecuada
pregunta (secuencia ideal)
La respuesta es adecuada pero no coincide
R. No Ajustada
con ninguna de las alternativas ofrecidas
La respuesta no está relacionada con la
Problemática R. Inválida
pregunta
No
R. No se El entrevistado no sabe la respuesta
Paradigmática
R. Limitada La respuesta indica duda o incertidumbre
El entrevistado interrumpe la lectura de la
No Interrupción
pregunta
Problemática
Aclaración El entrevistado solicita una aclaración
En este estudio se han considerado como secuencias “no paradigmáticas” y a su vez

“problemáticas” las respuestas no ajustadas, las respuestas inválidas, las respuestas no se y
las respuestas limitadas. Se decidió que tanto las interrupciones como las aclaraciones serían
codificadas como conductas “no problemáticas”.
El análisis de la codificación del comportamiento se llevó a cabo utilizando el

programa Sequence Viewer versión 4.4.a (Dijkstra, 2008). Este programa, usando las
transcripciones de las entrevistas, clasifica las conductas en base al esquema de análisis
especificado. Tras la clasificación, se obtiene un análisis de frecuencias de los códigos y, por
tanto, de la ocurrencia de cada tipo de secuencia (paradigmática, no-paradigmática
problemática y no-paradigmática no problemática).
Entrevista Cognitiva
Los autores de la encuesta de salud, en la que fue insertada la escala APGAR,

establecieron las interpretaciones previstas para las mediciones aportadas por dicha escala.
Estas son: a) los encuestados deberían mantener en mente un concepto constante de “familia”
145
Capítulo V
mientras responden a todos los ítems de la escala, y b) la interpretación prevista para el

concepto “familia” es aquella que incluye a las personas con las que se convive, es decir, las
respuestas de los entrevistados a los ítems del APGAR sólo debían tener en cuenta e incluir a
aquellas personas con las que conviven los entrevistados. De este modo el esquema de análisis
de las entrevistas cognitivas estaba totalmente enfocado a la obtención de evidencias de
validez de estas interpretaciones previstas y, por consiguiente, a la identificación de los
potenciales errores de respuesta de la escala APGAR.
Mediante una revisión de expertos se identificaron las fuentes potenciales de error de

la escala APGAR que podrían cuestionar las interpretaciones previstas. Así como, basándonos
en el paradigma probing based, se desarrollaron las pruebas de indagación necesarias para
obtener evidencias de validez del ajuste entre el constructo y las estrategias de respuesta de
los participantes.
La Tabla V. 3 muestra las fuentes potenciales de error, las interpretaciones previstas

de la escala APGAR y las pruebas designadas para indagar sobre la presencia de dichos
errores. Las potenciales fuentes de error identificadas por los expertos son: conceptos clave
como “familia”, “recibir ayuda de la familia” o “tomar decisiones juntos”; la capacidad de los
entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de
respuesta de la escala; la compresión del objetivo de medición de la escala y la aceptación del
rol como entrevistado.
El esquema de análisis de los datos de la entrevista cognitiva simplemente consistió en

comprobar, gracias a la aplicación de las distintas pruebas, si los entrevistados llevaban a cabo
en sus procesos de respuesta las interpretaciones previstas para cada una de las fuentes
potenciales de error y, en el caso de que no lo hicieran, cuáles eran sus interpretaciones.
El análisis de los datos de las entrevistas cognitivas se llevó a cabo utilizando el

programa AQUAD, versión 6.8 (Huber, 2008). Dicho programa facilita la identificación de
patrones de respuesta de los entrevistados mediante el uso de códigos y anotaciones tanto en
las transcripciones en texto como mediante los archivos de vídeo de las entrevistas. En este
estudio el programa AQUAD se utilizó para asignar códigos a los informes verbales de los
participantes ante las pruebas de indagación. Para cada una de las pruebas de indagación se
asignaba un código que reflejaba si se llevaba a cabo la interpretación prevista para la fuente
146
potencial de error y, si no era así, qué interpretación tenía lugar. Mediante esta asignación de
códigos a esas porciones de entrevistas en los que los participantes respondían a las pruebas
de indagación y, por tanto, ofrecían información sobre las fuentes potenciales de error, se
pudo extraer los patrones de respuesta de los participantes en el estudio.
Tabla V. 3. Esquema de Análisis de la Entrevista Cognitiva
Fuentes
Potenciales de Interpretación Prevista Pruebas de Indagación
Error
Se refiere a las personas con las que ¿Cuántas personas forman tu familia más
Concepto de Familia
convive cercana?
Menciona problemas, situaciones o ¿Qué has entendido por “recibir ayuda de la
Recibir ayuda de la eventos específicos familia cuando tiene un problema”?
familia Se refiere a las personas con las que ¿De qué miembros de su familia recibe
convive ayuda cuando tiene un problema?
Dime, con tus propias palabras, ejemplos
Menciona problemas, situaciones o
de decisiones que se tomen en conjunto en
Tomar olinómic eventos específicos
la casa
importantes juntos
Se refiere a las personas con las que ¿Qué miembros de su familia toman en
convive aunque no sea a todos conjunto esas decisiones?
En la pregunta, ‘¿siente que su familia le
Graduación de las Capaz de ajustar y graduar la quiere?’ ha contestado ‘…’. ¿En qué
respuestas respuesta a un sistema politómico situación contestaría ‘(alternativa superior o
inferior a la respuesta dada)’?
Función del objetivo Comprende el objetivo de medición ¿Cuál cree que es el objetivo de estas
de la pregunta de las preguntas preguntas sobre su familia?
Perspectiva y rol del ¿Cómo se ha sentido respondiendo a estas
No expresa malestar
entrevistado preguntas sobre su familia?
3. Resultados
Los resultados del estudio se presentan divididos en función de las evidencias

aportadas por cada uno de los métodos de pretest utilizados.
147
Capítulo V
3.1. Codificación del Comportamiento
En primer lugar, el porcentaje de secuencias paradigmáticas durante la

administración de la escala APGAR es del 48.5% mientras que el de secuencias no
paradigmáticas es del 51.5%, componiéndose estas últimas de problemáticas en un 41.2% y
no problemáticas en un 10.3%. Es necesario apuntar que el porcentaje total de estas
secuencias no paradigmáticas se sitúa por debajo del 60%, un criterio frecuentemente usado
para designar problemas con el funcionamiento de las preguntas (van der Zouwen & Dijkstra,
2002). La Tabla V. 4 expone los resultados por cada ítem de la escala.
Tabla V. 4. Porcentaje de los códigos

Tipo de Item de la Escala APGAR
Código Item 1 Item 2 Item 3 Item 4 Item 5
R. Adecuada 66.67 80.95 47.62 76.47 76.47
R. No Ajustada 33.33 14.29 47.62 17.65 17.65
R. Inválida 9.52 0 4.76 11.76 5.88
R. No se 0 0 0 5.88 0
R. Limitada 0 4.76 4.76 0 0
Interrupción 9.52 0 9.52 0 0
Aclaración 14.29 9.52 0 0 0
Los datos de la Tabla V. 4 muestran tres principales resultados. En primer lugar, el

porcentaje de respuestas adecuadas es muy alto en los ítems 2, 4 y 5; lo que indica un buen
ajuste de la respuesta y el comportamiento del entrevistado a dichas preguntas. En segundo
lugar, los ítems 1 y 3 tienen el porcentaje más reducido de respuestas adecuadas; esta falta de
ajuste del comportamiento del entrevistado se corresponde con una ocurrencia mayor de
respuestas no ajustadas, sobre todo para el ítem 3, y en la aparición de interrupciones durante
la lectura de las preguntas. Es decir, para los ítems 1 y 3 existe un considerable número de
veces en los que el entrevistado está ofreciendo una respuesta adecuada al objetivo de la
pregunta pero que no coincide con ninguna de las respuestas previamente establecidas y, a su
vez, responde interrumpiendo la lectura de la pregunta o antes de que el entrevistador lea las
alternativas de respuesta. En tercer lugar, con respecto al resto de códigos, es destacable la
aparición de aclaraciones en los ítems 1 y 2, implicando que una vez resultas y aclaradas las
dudas en el comienzo de la escala no se volvieron a repetir.
148
Con el fin de ilustrar las causas del mayor porcentaje de respuestas no ajustadas en el
ítem 1 y 3, se inserta un ejemplo del tipo de interacciones que principalmente han ocurrido
durante la administración de dichos ítems.
Ejemplo V. 1. Respuesta No Ajustada
 Entrevistador: “¿Las decisiones importantes se toman en conjunto en la

casa? Casi Nunca, A Veces o Casi Siempre”
 Entrevistado: “Sí”
Durante la administración de la escala APGAR, para todos los ítems de la misma,

existió un considerable porcentaje de respuestas no ajustadas, que consistieron en respuesta
“Sí” o “No”. Este porcentaje fue aún mayor para los ítems 1 y 3. Esto pudo deberse a que el
texto de los ítems de la escala se basa en oraciones interrogativas simples o totales, en las que
la respuesta común es “Sí” o “No” y, por ello, los sujetos tienden “naturalmente” a ofrecer
estas respuestas en lugar de elegir una de las alternativas previstas.
Por último, en relación a la variable tipo de vivienda (uni-personal vs. multi-personal)

la Tabla V. 5 expone los principales resultados de la codificación del comportamiento.
Tabla V. 5. Porcentaje de Secuencias por Tipo de Vivienda

Tipo de Vivienda
Tipo de Secuencia Total Secuencia
Uni-personal Multi-personal
Paradigmática 51.35 46.67 48.45
No Problemática 10.81 10.00 10.31

Paradigmática No Problemática 37.84 43.33 41.24
Total 100 100 100
El patrón de distribución de porcentajes de secuencias en los dos tipos de hogares es

idéntico. En los dos tipos de hogares, por una parte, existe un mayor número de secuencias
paradigmáticas que de no paradigmáticas; y por otra parte, dentro de las secuencias no
149
Capítulo V
paradigmáticas el porcentaje mayor corresponde a aquellas no problemáticas. Sólo existe una

ligera diferencia en la que los participantes que viven en hogares multi-personales ofrecen un
mayor número de secuencias no problemáticas.
3.2. Entrevista Cognitiva
Los resultados de la entrevista cognitiva se han dividido en tres secciones para facilitar
la comprensión de los datos de la entrevista cognitiva. En primer lugar, se expondrá las
interpretaciones generales que han sido extraídas de los informes verbales de los participantes.
En segundo lugar, se mostrarán los resultados obtenidos sobre la interpretación de conceptos
claves en el texto de los ítems, sobre la función y objetivo de la pregunta, y sobre la
perspectiva y rol del entrevistado. En tercer lugar, se ilustran las evidencias obtenidas acerca
de la capacidad de los participantes para graduar sus respuestas.
Interpretaciones Generales
El análisis de las respuestas de los entrevistados a las pruebas generales de indagación

mostró que dichos entrevistados habían pensado, durante la administración de la escala
APGAR, en diversas situaciones con su familia, en las relaciones dentro de la familia, en los
miembros de la misma, en problemas (accidentes, problemas laborales, etc.) en los que
recibieron ayuda de su familia, etc. En el Ejemplo V. 2 se muestran algunos extractos de
transcripciones.
Estos informes verbales evidencian dos resultados principales. En primer lugar, desde
un punto de vista metodológico, las transcripciones corroboran la hipótesis de que se puede
acceder a los procesos de respuesta de los participantes ante los ítems de la escala a través de
la entrevista cognitiva. Los participantes están ofreciendo información sobre sus procesos de
respuesta, de modo que, la entrevista cognitiva es útil para evaluar este tipo de ítems. En
segundo lugar, los informes verbales ilustran que los participantes, en términos generales, han
comprendido la temática del texto de los ítems e incluso comienzan a ofrecer información
150
sobre la interpretación de algunos conceptos clave en el texto de los ítems, como es el caso
del tercer entrevistado.
Ejemplo V. 2. Interpretaciones Generales
 Entrevistador: “Por favor, dígame en que ha pensado mientras

respondía a estas preguntas sobre apoyo afectivo”
 Entrevistado: “Mayormente he pensado después de mi accidente.
Antes del accidente teníamos una buena relación familiar pero
después, fue mucho mejor. Para mi es como si me hubiera tocado
la lotería con mi familia, ellos me dan una ayuda incondicional…”

 Entrevistado: “Bueno…pues no se, estaba pensando en mi situación
familiar…mi hijo mayor esta casado y nos visita todos los sábados,
el menor se va a casar este viernes…somos una familia
unida…intentamos mantenernos en contacto…”

 Entrevistado: “…para mi la familia es un valor muy importante,
tienes que ayudar a todos, tus hermanos, tus hermanas, padres,
abuelos…la familia es algo importante…”
Informes verbales sobre conceptos claves, objetivo y rol del entrevistado
En primer lugar, con respecto a la interpretación prevista para el concepto de

“familia”, los análisis de los informes verbales han mostrado que los participantes mantienen
el concepto de familia constante a lo largo de las respuestas de la escala. Sin embargo, llevan
a cabo una interpretación del concepto distinta a la que previamente se había establecido. Es
decir, los participantes incluyen en su concepto de familia no sólo a las personas con las que
conviven sino que también incluyen a otros parientes e incluso amigos. Este efecto es mucho
mayor en los participantes provenientes de hogares uni-personales. Los siguientes extractos
de transcripciones son ejemplos de esta situación.
151
Capítulo V
Ejemplo V. 3. Concepto de Familia en Participantes Uni-personales
 Entrevistador: “¿Cuántas personas forman tu familia más

cercana?”
 Entrevistado: “Tres hermanos, tres nietos y tres abuelos”

cercana?”
 Entrevistado: “Somos siete, y 4 sobrinos…once, y contando los
maridos y mujeres, somos entonces catorce”

cercana?”
 Entrevistado: “cuatro o cinco”
 Entrevistador: “¿y quienes son?”
 Entrevistado: “Mis amigos: Diego, Tomás, Jimena, Claudia y
Fernanda”
En segundo lugar, con respecto a los conceptos “recibir ayuda de la familia” o “tomar
decisiones juntos”, el discurso de los participantes demostró que sus procesos de respuesta
coincidían con las interpretaciones previstas para cada uno de estos conceptos. Los
participantes mencionaron problemas en los que habían recibido apoyo familiar o situaciones
específicas en las que se tomaron decisiones en conjunto en la familia.
En tercer lugar, en relación a la compresión del objetivo de medición de la escala y la

aceptación del rol como entrevistado, los participantes comprendieron el objetivo de medición
de la escala y mostraron haberse sentido muy cómodos contestando a los ítems de la escala.
En el Ejemplo V. 4 se pueden apreciar algunos de estos informes verbales.
Aunque cada participante aportó su idiosincrasia al explicar cuál creía que era el
objetivo de los ítems de la escala APGAR, mantuvieron una interpretación común y que
coincidía con el objetivo real de la escala. Este es, conocer el apoyo afectivo recibido desde la
familia. A su vez, como muestran las transcripciones, los participantes asumieron sin ningún
problema el rol de entrevistado.
152
Ejemplo V. 4. Compresión del Objetivo y Rol del Entrevistado
 Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas

sobre su familia?”
 Entrevistado: “Pues tal vez para ver hasta qué punto influye la
familia en el estado de ánimo de un paciente que esté enfermo, o en
el tratamiento que pueda llevar…”
 Entrevistador: “¿Cómo se ha sentido respondiendo a estas
preguntas sobre su familia?”
 Entrevistado: “Bien”
 Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas

sobre su familia?”
 Entrevistado: “Pues para captar mi ámbito familiar, mis relaciones
con mis padres, si tengo algún problema, si se preocupan en
general, y si me ayudan a mi con los problemas -aunque sean
pequeños-, pero si me ayudan, es importante”
 Entrevistador: “¿Cómo se ha sentido respondiendo a estas
preguntas sobre su familia?”
 Entrevistado: “Muy bien. Nos llevamos muy bien todos, no hay
ningún problema”
Informes verbales sobre la graduación de las respuestas
Por último, dado los resultados hallados en la codificación del comportamiento sobre
el desajuste entre las respuestas de los participantes y el sistema de respuesta establecido,
queremos resaltar las evidencias obtenidas desde la entrevista cognitiva sobre la capacidad de
los entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de
respuesta. El Ejemplo V. 5. ilustra los hallazgos con extractos de transcripciones.
Tal y como puede observarse, los participantes son perfectamente capaces de graduar
su respuesta en lo que se refiere al apoyo familiar y sentimientos recibidos desde su familia, y
ajustar dichas respuestas a un sistema politómico de respuestas. Este hallazgo, al contrario de
como se podría pensar, no se contradice con los resultados de la codificación del
comportamiento, sino que los complementa.
153
Capítulo V
Ejemplo V. 5. Capacidad de Graduación de las Respuestas
 Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha

contestado ‘casi siempre’, ¿en que situaciones contestaría ‘a
veces’?”
 Entrevistado: “Pues hubiese tenido que pasar, que pasen de mi, que
no mostrasen interés en mi o que hubiera una ruptura muy fuerte.
Algo así”
 Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha

contestado ‘casi siempre’, ¿en que situaciones contestaría ‘casi
nunca’?”
 Entrevistado: “Pues pasar tres días fuera de casa sin avisar, y que
ni te llamen ni se preocupen por ti, ni nada; eso seria un síntoma
de que no les importas para nada, y no se preocupan por ti. Y si no
se preocupan por ti, pues…no te quiere, supongo”.
Desde la codificación del comportamiento, se identificó la dificultad para que los

participantes se ajustaran a un sistema politómico de respuestas. Se propuso que el problema
podría estar en haber asociado respuestas múltiples a oraciones interrogativas simples o
totales cuya respuesta “natural” es “Sí” o “No”. Por su parte, desde la entrevista cognitiva se
ha comprobado que los participantes pueden graduar el concepto de apoyo familiar y variar
sus respuestas de acuerdo a un mayor o menor apoyo familiar recibido, corroborando y
concluyendo que la problemática del desajuste encontrada en la codificación del
comportamiento no reside en la capacidad de los participantes sino en el texto de los ítems de
la escala.
4. Discusión
Los objetivos del presente estudio fueron, por una parte, mostrar cómo la entrevista
cognitiva y la codificación del comportamiento también puede ser utilizados en el pretest de
las escalas psicológicas incluidas en las encuestas contribuyendo a la optimización de la
calidad de la información obtenida por dichas escalas, y, por otra parte, mostrar la utilidad de
la entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta
154
de estas escalas psicológicas. Ambos objetivos se han alcanzado en el marco del pretest
cognitivo de la escala psicológica APGAR incluida en una encuesta de salud.
Desde la codificación del comportamiento se encontró una adecuada distribución de

secuencias de interacción entre el entrevistador y el entrevistado, siendo el número de
secuencias no paradigmáticas menor del 60%, un criterio frecuentemente usado para designar
problemas y revisión de las preguntas (van der Zouwen & Dijkstra, 2002). Por otra parte,
también se identificó un alto porcentaje de conductas problemáticas de los participantes, en
las que sus respuestas no coincidían con las opciones de respuesta previamente establecidas
en la escala APGAR. Desde el método de la entrevista cognitiva, principalmente, se han
obtenido evidencias de que la interpretación prevista para el concepto de “familia” no
coincide con la que llevan a cabo los entrevistados. Los entrevistados no sólo incluyen en su
concepto de familia a las personas con las que conviven sino que además incluyen a otros
parientes cercanos e incluso a amigos. Con respecto al resto de las potenciales fuentes de
error, los datos han mostrado que los participantes llevan a cabo las interpretaciones previstas,
tales como, mencionar problemas en los que habían recibido apoyo familiar o situaciones
específicas en las que se tomaron decisiones en conjunto en la familia, comprenden el
objetivo de medición de la escala y muestran haberse sentido muy cómodos contestando a las
preguntas de la escala. A su vez son capaces de graduar la percepción de apoyo familiar de
acuerdo a un sistema politómico de respuestas, corroborando con ello que las conductas
problemáticas halladas en la codificación del comportamiento se deben a la introducción de
un sistema múltiple de respuestas en oraciones interrogativas simples o totales.
Desde un punto de vista metodológico este estudio ha ilustrado cómo dos métodos de
pretest, tales como la codificación del comportamiento y la entrevista cognitiva, diseñados y
utilizados para la evaluación de los cuestionarios insertados en las encuestas también pueden
ser usados en el pretest de escalas psicológicas incluidas en encuestas. En relación a la
entrevista cognitiva, el estudio ha expuesto la utilidad de la entrevista cognitiva para obtener
evidencias de validez de los procesos de respuesta de los participantes, consiguiendo con ello
un mayor ajuste entre el constructo que se quiere medir y las estrategias de respuesta que
llevan a cabo los participantes durante la medición de dicho constructo. De forma paralela
este estudio ha corroborado la hipótesis previa sobre la posibilidad de acceder a los procesos
de respuesta implicados en los ítems de una escala psicológica mediante la entrevista
cognitiva. Los informes verbales de los participantes ante la pregunta general de indagación
155
Capítulo V
han puesto de manifiesto que los participantes son capaces de hablar sobre esos procesos de
pensamiento que han tenido lugar en sus memorias a corto plazo. Con ello, se ha solventado
una de las mayores problemáticas de la entrevista cognitiva que establecieron Conrad y Blair
(2009).
Este uso conjunto de ambos métodos de pretest muestra la riqueza y utilidad de la

información obtenida durante el pretest no sólo para detectar problemas con el
funcionamiento de los ítems sino también para comprender la naturaleza de dichos problemas
(Willis, DeMaio & Harris-Kojetin, 1999). De hecho, podemos establecer una propuesta sobre
la relación entre ambos métodos:
a) Las conductas problemáticas identificadas mediante la codificación del

comportamiento pueden estar apuntando a problemas con los procesos de
respuesta de los entrevistados, susceptibles de ser investigados mediante la
entrevista cognitiva.
b) La falta de resultados problemáticos durante el análisis de la interacción entre

el entrevistador y el entrevistado no garantiza que los entrevistados
comprendan las preguntas de acuerdo a la interpretación prevista para las
mismas y ofrezcan respuestas basadas en el objetivo de medición de dichas
preguntas.
A pesar de que es fácilmente asumible que los participantes desarrollen similares

procesos de respuesta mientras contestan a preguntas de cuestionarios y preguntas de escalas
psicológicas, los métodos de pretest son muy escasamente aplicados a la evaluación de dichas
escalas. Esta situación se debe a la errónea creencia de que las propiedades métricas son
inherentes a las escalas psicológicas, dando la validez de sus mediciones por sentado, y
asumiendo que dichas propiedades métricas no van a variar una vez que se ha cambiado por
completo el contexto de medición y, por tanto, de aplicación de dicha escala. Desde esta
perspectiva, los profesionales de la investigación por encuesta pueden hacer valiosas
contribuciones para cambiar esta errónea concepción establecida (Willis, 2005)
Este último capítulo ha demostrado una nueva aplicación de los métodos de pretest en
la evaluación de una escala psicológica insertada en una encuesta y de la entrevista cognitiva
156
como método para obtener evidencias de validez de los procesos de respuesta a los ítems de
dicha escala psicológica. Una vez más se expone cómo la aplicación de los métodos de pretest
permiten la identificación de errores de respuesta que los entrevistados pueden cometer y
cómo están interpretando las preguntas (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler &
Brown, 1999; Nápoles-Springer, Santoyo- Olsson, O´Brien & Stewart, 2006).
5. Referencias
American Psychological Association, American Educational Research Association &

National Council on Measurement in Education. (1999). Standards for Educational and
Psychological Testing. Washington, D.C.: American Psychological Association.
Bellón, J. A., Delgado, J., Luna, P. & Lardelli, P. (1996). Validez y fiabilidad del cuestionario
de función familiar Apgar-familiar. Atención Primaria, 18, 289-296.
Conrad, F.G. & Blair, J. (2004). Data Quality in Cognitive Interviews: The Case of Verbal
Reports. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.
Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion
DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: in the lab and in
the field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for
Determining Cognitive and Communicative Processes in Survey Research. (pp. 177-196). San
Francsico: Jossey-Bass.
Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam,

Netherlands.
157
Capítulo V
Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-
251.
Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to
develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans
Study. Medical Care, 37, 10–21.
Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1).
Universidad de Tübingen, Alemania: Ingeborg Huber Verlag.
Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing.
Paper presentado en el European Survey Research Association Conference, Junio, Praga.
Nápoles-Springer, A.M., Santoyo-Olsson, J., O´Brien, H. & Stewart, A.L. (2006). Using
cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30.
Oksenberg, L., Cannell, C. & Kalton, G. (1991). New Strategies for Pretesting Survey
Questions. Journal of Official Statistics, 7, 349-365.
Smilkstein, G. (1978). The Family APGAR: A proposal for family function test and its use by
physicians. Journal of Family Practice, 6, 1231-1239.
Tourangeau, R. (2003). Cognitive Aspects of Survey Measurement and Mismeasurement.

International Journal of Public Opinion Research, 15, 3-7.
Van der Veer, K., Ommundsen, R., Hak, T. & Larsen, K.S. (2003). Meaning Shift of Items in
Different Language Versions. A Cross-National Validation Study of the Illegal Aliens Scale.
Quality and Quantity, 37, 193-206.
Van der Zouwen, J. & Dijkstra, W. (2002). Testing Questionnaires Using Interaction Coding.
En D.W. Maynard, H. Houtkoop-Steenstra, N.C. Schaeffer & J. Van der Zouwen (Eds.),
Standardization and Tacit Knowledge: Interaction and Practice in the Survey Interview (pp.
427-447). Nueva York: John Wiley & Sons.
158
Van der Zouwen, J. & Smit, J. (2004). Evaluating Survey Questions by Analyzing Patterns of
Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser, J.
Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for
Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons.
Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S.

& Sons.
Willis, G. B. (2005). Cognitive interviewing. Thousand Oaks: Sage Publications.
Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the
methodological promised land? Evaluating the validity of cognitive interviewing techniques.
En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.),
Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons.
159
Capítulo V
6. Anexo
Ítems de la Escala APGAR*
Casi Nunca A Veces Casi Siempre
1. ¿Está satisfecho con la ayuda que recibe de

su familia cuando tiene un problema? 0 1 2
2. ¿Conversan entre ustedes los problemas

que tienen en casa? 0 1 2
3. ¿Las decisiones importantes se toman en

conjunto en la casa? 0 1 2
4. ¿Está satisfecho con el tiempo que usted y

su familia pasan juntos? 0 1 2
5. ¿Siente que su familia le quiere?

0 1 2
*Tomado de Bellón, Delgado, Luna y Lardelli (1996)
Protocolo Entrevista Cognitiva
 Debe realizar la entrevista igual que se administra un cuestionario tradicional:

empiece por el principio, avance a través de cada página hasta el final del
protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta
exactamente como aparecen.
 La información para dar al encuestado está escrita con un estilo de fuente en

cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de
fuente en negrita, las preguntas con las pruebas de indagación con un estilo
normal. También pueden aparecer instrucciones para Vd. que no debe leer al
entrevistado. Estas instrucciones aparecen (entre paréntesis).
160
 A continuación, se describen los diferentes tipos de preguntas incluidas en el

protocolo junto con algunas indicaciones para el entrevistador:
 Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se

pretenden examinar mediante la entrevista cognitiva. El resto de las
preguntas del protocolo están diseñadas para analizar como funcionan
estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas
de respuesta exactamente como aparecen escritas. Debe también registrar
la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS
PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA
RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas
cognitivas es conocer como los encuestados interpretan las preguntas.
También se pretende averiguar el grado de dificultad que conlleva
contestar a las preguntas, sin la ayuda de un entrevistador.
 Pregunta general de indagación. Inmediatamente después de la
pregunta objeto de análisis, aparece una pregunta abierta diseñada para
obtener información sobre como el entrevistado ha interpretado la
pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta
pregunta en cuanto detecte que el entrevistado ha terminado de responder
a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO
QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.
 Preguntas específicas de indagación. Tras la pregunta general debe

hacer una serie de preguntas diseñadas para obtener información
específica sobre el proceso de “pregunta-respuesta” seguido por el
entrevistado. Interesa conocer en detalle como el entrevistado ha
“construido” la respuesta. Estas preguntas son fáciles de responder. No
obstante, también puede recurrir a las habituales estrategias de indagación
para profundizar en las respuestas: “Puede repetirme lo último…”; “Me
parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o
repitiendo las últimas palabras o frases del encuestado.
Información previa al encuestado
161
Capítulo V
Tras la presentación inicial y después de que ocupen las posiciones adecuadas en

la sala , proporcione la siguiente información:
2
 “La Universidad de Granada está probando unas preguntas de un cuestionario que

posteriormente se utilizarán en una encuesta. La información obtenida con la
encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida
de los ciudadanos".
 “El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario
que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS
PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO
VD. La información que Vd. proporcione es muy valiosa para mejorar el
funcionamiento del cuestionario”.
 “Primero responderá a un cuestionario y después le pediré que me diga COMO HA

CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que
información ha tenido en cuenta para responder, como ha recordado la
información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”
 “Toda la información que proporcione es muy importante para nosotros. Por tanto,
siéntase libre de decir todo lo que crea que puede ayudar a mejorar el
cuestionario haciendo bien las preguntas.” “Para no perder nada de sus
respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son
confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene
alguna duda?... Pues vamos a empezar.”
PRUEBAS DE INDAGACIÓN (“FUNCIÓN FAMILIAR”)

 GENERAL
2 2
Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el
entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible
las caras y el cuerpo de ambos.
162
P. 1. 1 Por favor, cuénteme en qué ha pensado mientras respondía a estas preguntas

sobre apoyo afectivo y su percepción de la función de la familia.
 ESPECÍFICAS
P. 1. 2 ¿Cuántas personas forman su familia más cercana?
P. 1. 3 ¿Con qué personas de su familia tiene un contacto frecuente? (SI EXPRESA

DUDAS O PIDE ACLARACIÓN: “… es decir, habla, se ven habitualmente, etc.)?
P. 1. 4 ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se tiene un

problema”?
P. 1. 5 ¿De qué personas de su familia recibe ayuda cuando tiene un problema??
P. 1. 6 Habitualmente, ¿Cuánto tiempo pasan juntos Vd. y su familia?
P. 1. 7 En la pregunta ¿Siente que su familia le quiere?, ha contestado

(INDIQUE LA OPCIÓN ELEGIDA), ¿en qué situación contestaría (ELIJA LA
CATEGORÍA INTERMEDIA, SI HA CONTESTADO LA CATEGORÍA INTERMEDIA,
ELIJA CUALQUIERA DE LAS OPCIONES EXTREMAS).
P. 1. 8 Dígame con sus propias palabras ejemplos de decisiones que en una

familia se toman en conjunto en la casa.
P. 1. 9 ¿Qué personas de su familia toman en conjunto una de esas decisiones?
P. 1. 10 ¿Cuál cree que es la razón para hacerle estas preguntas sobre su familia?
P. 1. 11 ¿Cómo se ha sentido al tener que hablar de su familia?
¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS
AYUDAN A MEJORAR EL CUESTIONARIO
163
CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN
164
Conclusiones Generales
1. Conclusiones Generales
El objetivo general de la tesis fue mostrar la utilización de los métodos de pretest de

cuestionarios para identificar y reducir los errores de respuesta en las preguntas de los
cuestionarios utilizados en las encuestas. Para alcanzar este objetivo, en primer lugar, se
analizó la situación actual de los métodos de pretest de cuestionarios, a través de dos estudios
bibliométricos. Posteriormente, se expuso la aplicación de la entrevista cognitiva para
investigar el problema de la convergencia entre los informantes proxy y los informantes
directos. Finalmente, se mostró la utilidad de la entrevista cognitiva y la codificación del
comportamiento para optimizar y obtener evidencias sobre la validez de las mediciones
aportadas por una escala psicológica.
El objetivo general de los dos estudios bibliométricos fue conocer el tamaño,

crecimiento y distribución de los documentos científicos, en el campo de los métodos de
pretest de cuestionarios. En el primer estudio, se realizó una amplia búsqueda bibliográfica a
través de las bases de datos más usadas. Se obtuvieron 1119 publicaciones de las que sólo 75
correspondían a los métodos de pretest de cuestionarios. La mayoría de dichos documentos
(80%) estaban publicados en revistas. Un número tan reducido de documentos indexados
podría indicar que una gran parte de los estudios aplicados sobre los métodos de pretest no se
estén difundiendo a través de las revistas científicas indexadas en las bases bibliográficas
habituales. Por tanto, usando solamente documentos indexados como indicadores de la
productividad científica, podríamos haber cometido el error de obtener una representación
parcial de la productividad científica en el área.
Mediante este primer estudio no se consiguió representar el estado “real” de la

producción científica de los métodos de pretest. La causa de ello podría radicar en una
característica propia de la actividad profesional en esta área: la mayoría de los profesionales
trabajan en institutos oficiales de Estadística o centros privados de investigación
fundamentalmente orientados a la realización de estudios mediante encuestas, bien por
iniciativa propia o contratados por otros organismos.
165
Esta situación tiene dos consecuencias:
a) Los profesionales de estos organismos están más interesados en el uso de los métodos
de pretest para el desarrollo de encuestas de calidad, que en la divulgación de sus
hallazgos a través de los medios habituales de difusión del conocimiento científico.
b) Estos centros de investigación, al no estar en su mayoría ligados a universidades u

organismos de investigación, utilizan otros medios de difusión de su producción
distintos a los usados por el resto de las disciplinas científicas.
Por tanto, la búsqueda a través de las bases bibliográficas pudo no ser suficiente para
caracterizar de forma adecuada el estado actual de los métodos de pre-test. Para paliar esta
situación, se decidió realizar un segundo estudio en el que se completó la base de
publicaciones del primero. La localización de la producción fue totalmente dirigida hacia los
profesionales que trabajan en dichos centros de investigación y hacia unos medios de difusión
concretos. Con esta segunda búsqueda dirigida se consiguió completar la base de
publicaciones y, por consiguiente, analizar las características del estado actual de los métodos
de pretest de cuestionarios.
El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los

documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de
este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir
de la segunda mitad de los 90. Se identificaron nuevos tipos de documentos en el Estudio 2:
comunicaciones, papers no publicados, proceedings, memorandums, informes de resultados,
comunicaciones doctorales y libros de abstracts, y como resultado, decreció el porcentaje de
publicaciones en revistas desde un 80% (Estudio 1) a un 45.9% (Estudio 2). Con respecto a
los centros de producción, los resultados establecieron que centros públicos de investigación,
tales como, el National Cancer Institute, el National Centre for Health Statistics, etc., juegan
un papel importante en el área. En conclusión, los resultados de los estudios del Capítulo III
han sido muy interesantes para indagar en la estructura y dinámica de los grupos, que
producen y “consumen” los documentos relacionados con los métodos de pretest de
cuestionarios.
166
Una vez revelada la imagen actual del área de los métodos de pretest de cuestionarios,
se decidió ilustrar la potencialidad del procedimiento de entrevista cognitiva, abordando el
estudio de la convergencia de los datos entre los informantes directos y los informantes proxy.
El objetivo del estudio de Capítulo IV fue identificar, a través de la entrevista cognitiva, las
posibles diferencias en los procesos de respuesta que llevan a cabo informantes directos e
informantes proxy y, con ello, ofrecer una vía para conseguir la coincidencia entre las
respuestas de los informantes, reduciendo con ello los potenciales errores de respuesta. En la
medida en que ambos tipos de informantes no están ofreciendo las mismas respuestas sería
necesario indagar en las causas de esas diferencias. La entrevista cognitiva fue tremendamente
útil para conocer las causas de las diferencias en los procesos de respuesta. Se comprobó que
la mayoría de las causas de estas diferencias se encontraban en la fase de compresión y
recuperación de información del modelo del proceso de pregunta-respuesta. Es decir, ambos
informantes comprendían de forma distinta la pregunta y también recuperaban distinta
información para contestar. Por tanto, el primer paso, para conseguir esa convergencia, es
asegurar una interpretación de la pregunta común para todos los encuestados y, en segundo
lugar, facilitar que ambos tipos de informantes recuperen la misma información para
responder a la pregunta. Desde un punto de vista metodológico, el Capítulo IV ha mostrado
las dos características más importantes y diferenciadoras de la entrevista cognitiva: a) la
capacidad para indagar en los procesos de respuesta de los entrevistados y b) la capacidad
para conocer las causas de los errores de respuesta.
Por último, en el Capítulo V, se llevó a cabo un estudio en el que se usó la entrevista

cognitiva y la codificación del comportamiento para optimizar los datos y obtener evidencias
de validez de las mediciones aportadas por una escala psicológica incluida en una encuesta.
Este estudio demostró que los investigadores que asumen la creencia de que las propiedades
métricas son inherentes a las escalas psicológicas están totalmente equivocados. Por ejemplo,
pese a que anteriores estudios indicaron buenos índices de calidad de la escala, no se pudo
mantener el supuesto de que todos los participantes comprendieran el concepto de familia de
la misma forma.
Por una parte, a través de la entrevista cognitiva, se obtuvieron evidencias de validez

de los procesos de respuesta de los participantes. Consiguiendo con ello, un mayor ajuste
entre el atributo psicológico que se quería medir y las estrategias de respuesta que llevaron a
cabo los participantes durante la medición de dicho atributo. Por otra parte, la codificación del
167
comportamiento sirvió para identificar los ítems (o las características de los ítems) de la
escala psicológica que provocaban desviaciones de la secuencia ideal de conductas entre el
entrevistador y el entrevistado. Estas desviaciones de la secuencia ideal de conductas no son
errores en sí mismas, pero aumentan considerablemente la probabilidad de cometer un error.
De este modo, el estudio ilustró cómo estos dos métodos de pretest, diseñados y
utilizados para la evaluación de los cuestionarios insertados en las encuestas, también pueden
ser usados en el pretest de escalas psicológicas incluidas en encuestas. Además, el uso
conjunto de ambos métodos de pretest, mostró la riqueza y utilidad de la información obtenida
durante el pretest, no sólo para detectar problemas con el funcionamiento de los ítems sino
también para comprender la naturaleza de dichos problemas. De hecho, se estableció una
propuesta sobre la relación entre ambos métodos, en la que la codificación del
comportamiento se convierte en un indicador de problemas del funcionamiento de los ítems, y
posteriormente, a través de las herramientas de la entrevista cognitiva, se puede indagar en las
causas de dichos problemas.
Las investigaciones de esta tesis han demostrado la posibilidad de identificar las

fuentes de error en los procesos de respuesta a las preguntas de la encuesta, a través de los
métodos de pretest de cuestionarios. Mediante el conocimiento de los posibles errores de
respuesta que pueden actuar, y de las causas por las que se generan estos errores, se podrán
proponer modificaciones a las preguntas de la encuesta, avanzar en el desarrollo de
instrumentos de medición fiables, válidos, sensibles y carentes de sesgo, y, en consecuencia,
asegurar un nivel de calidad en las mediciones sociales.
2. Limitaciones
No sería lógico pensar que los tres capítulos empíricos de la tesis carecen de
restricciones que pueden condicionar el alcance de las conclusiones. A continuación se
presentarán las limitaciones más importantes en cada uno de los estudios.
168
Limitaciones
2.1. Estudios bibliométricos
Limitaciones Generales
Los indicadores bibliométricos proporcionan información sobre los resultados del

proceso investigador, su volumen, evolución, visibilidad y estructura. Así permiten valorar la
actividad científica, y la influencia (impacto) tanto del trabajo como de las fuentes. No
obstante, los indicadores bibliométricos son válidos en aquellas áreas en las que las
publicaciones son un resultado esencial de la investigación. Por esta razón, su validez es de
máxima relevancia en el estudio de las áreas básicas, donde predominan publicaciones
científicas, y menor en las áreas tecnológicas o aplicadas.
En general, estos estudios sólo aportan información sobre la cantidad de

publicaciones, pero no sobre su calidad, por lo que tendría mucho interés combinar estos
indicadores con los de impacto y/o juicio de expertos.
Otra limitación importante de los estudios bibliométricos está relacionada con el

idioma. En la mayoría de las bases de datos internacionales, el inglés es el idioma
predominante, quedando la producción de los países de habla no inglesa escasamente
representada. Es importante tener en cuenta que los indicadores bibliométricos, obtenidos a
partir de estas bases de datos, representan la vertiente más internacional de la ciencia y no la
producción total de un país o institución.
Limitaciones específicas del estudio
El problema principal, con el que nos hemos encontrado en el estudio, es que a través
de las herramientas bibliométricas no se puede acceder a la producción de las áreas aplicadas.
Los centros públicos de investigación o los institutos oficiales de estadística generan informes
de resultados internos que en la mayoría de las situaciones jamás son publicados. Estos
informes se entregan a las organizaciones que contrataron los servicios de los centros de
investigación y en raras ocasiones se comparten con la comunidad científica. Aún en el caso
de que sí se difundan los resultados, los profesionales del área suelen utilizar unos medios de
169
Limitaciones
difusión diferentes a los habituales, como son: revistas no indexadas (p. ej. Journal of Official
Statistics), redes de comunicación específicas (p. ej. QUEST workshops o congresos de la
European Survey Research Association), etc. Esta limitación de los indicadores
bibliométricos se intentó solventar con la búsqueda dirigida del Estudio 2. No obstante, haber
resuelto o no el problema depende del alcance de la búsqueda dirigida. En la medida en que la
búsqueda dirigida haya conseguido representar la actividad científica del área, el problema se
habrá resuelto. Habría que esperar a que se realizaran otros estudios sobre la productividad del
área de los métodos de pretest de cuestionarios; comparar los patrones de resultados y así
obtener una medida del alcance de nuestro estudio.
Por otra parte, a través de estos estudios se ha obtenido una imagen de la

productividad del área, su estructura, su visibilidad, número de documentos, evolución
temporal, autores, países, fuentes, etc. Es decir, se han analizado “quién lo ha hecho, dónde se
ha generado y dónde se ha publicado” pero, también, hubiera sido interesante saber “qué se ha
hecho”. En relación a qué tipo de método de pretest se ha utilizado en cada estudio, en qué
fase del desarrollo de cuestionarios, qué técnica se ha aplicado, qué resultados se han
obtenido, etc., información mucho más sustancial teóricamente hablando.
2.2. Procesos de respuesta informantes proxy vs. informantes directos
Limitaciones de la técnica empleada
La entrevista cognitiva como cualquier otro método de evaluación de cuestionarios

posee una serie de limitaciones. Las limitaciones más importantes son las siguientes:
a) La fiabilidad del método. No se comprueba empíricamente la fiabilidad del método.

Cuando se aplica la entrevista cognitiva a la evaluación de un cuestionario se da por
hecho que va a identificar una serie de problemas inherentes al cuestionario. No
obstante, la entrevista cognitiva, por una parte, puede estar cometiendo errores de
omisión al no identificar todos los problemas que realmente posee el cuestionario y,
por otra parte, puede cometer errores de comisión al identificar problemas que en la
aplicación real del cuestionario podrían no aparecer.
170
Limitaciones
b) Impacto de los errores. Cuando se acceden a ciertos errores de respuesta a través de la

entrevista cognitiva, tampoco se sabe el impacto que esos errores pueden tener en la
calidad de los datos del cuestionario. Está ampliamente demostrada la utilidad de la
entrevista cognitiva para identificar esos errores de respuesta pero apenas existe
información, si de hecho los errores suponen un gran impacto en la calidad de los
datos.
c) El contexto de la entrevista cognitiva. Las condiciones físicas y sociales de la

entrevista cognitiva son distintas de las condiciones de aplicación de la encuesta. Los
entrevistadores cognitivos no son los encuestadores, los participantes en la entrevista
cognitiva no son los encuestados y el lugar de realización de la entrevista cognitiva
también suele ser distinto al de la encuesta. El contexto de la entrevista cognitiva no es
una replicación “natural” del contexto de aplicación de la encuesta y, por tanto, la
validez ecológica de la entrevista cognitiva se reduce.
d) Dependencia del analista. Los resultados de la entrevista cognitiva se basan en el

análisis de los informes verbales de los participantes. Este análisis del discurso puede
ser muy distinto en función de la persona que realice el análisis. Es fundamental
obtener una medida de acuerdo entre diversos analistas para asegurar la imparcialidad
de los resultados de la entrevista cognitiva.
Desde nuestro punto de vista, la investigación del Capítulo IV tiene dos tipos de
limitaciones:
 Limitaciones en función del material utilizado (las preguntas). En la literatura

revisada se anticipaba que la mayor diferencia, entre ambos tipos de informantes,
estaría en el tipo de información disponible. Los informantes directos poseen toda la
información necesaria para contestar a las preguntas mientras que los informantes
proxy sólo poseen un subconjunto de información observable y/o accesible. En el
estudio, se halló que una gran parte de las diferencias se debe a que ambos
171
Limitaciones
informantes están comprendiendo de forma distinta, y en muchas ocasiones

erróneamente las preguntas del cuestionario. Si esos errores de interpretación no
hubieran existido, se hubiera podido comprobar con mayor seguridad cuál es el tipo de
información que provoca las diferencias en las respuestas. Una alternativa posible,
habría sido mejorar la redacción de las preguntas para evitar esos errores de
interpretación y volver a repetir el estudio con las nuevas preguntas.
 Limitaciones en función de los participantes. Los resultados de la entrevista cognitiva

poseen una cierta dependencia de las características de los participantes. De tal forma
que los resultados podrían estar circunscritos a las características de la muestra de
participantes utilizada. En nuestro caso, el grupo de participantes del estudio fue
bastante heterogéneo. Cada informante directo tenía una dificultad muy distinta para
realizar las actividades de la vida cotidiana (dificultades físicas, sensoriales,
hormonales, cardíacas, etc.), así que ofrecían mucha información en las preguntas
relacionadas con su dificultad pero poca información en las no relacionadas con su
dificultad. Además el número de participantes fue reducido dada la heterogeneidad de
la muestra, con lo que no se pudo comprobar si participantes con dificultades similares
ofrecerían los mismos patrones de respuestas. De modo que el siguiente paso lógico
sería aplicar las entrevistas cognitivas a otro grupo de personas y comparar los
patrones de resultados en ambos grupos. Esto llevaría a alcanzar el tercer nivel de
análisis propuesto por Miller (2007) y establecer con mayor seguridad las diferencias
en los procesos de respuesta entre los informantes directos y los informantes proxy. De
cualquier forma, el estudio del Capítulo IV tiene un carácter exploratorio, así que se
necesitarían realizar estudios posteriores que confirmaran los resultados hallados.
2.3. Errores de respuesta en una escala psicológica
Limitación de la técnica empleada
En el estudio de los errores de respuesta en una escala psicológica se aplicó tanto la

entrevista cognitiva como la codificación del comportamiento. En este apartado nos vamos a
ceñir a la técnica de la codificación del comportamiento ya que las limitaciones de la
172
Limitaciones
entrevista cognitiva ya han sido comentadas. Las restricciones más importantes son las
siguientes:
a) No acceso a las causas de los errores. El principal problema que posee la

codificación del comportamiento es que no accede a las causas de los errores
de respuesta. La técnica realiza una exhaustiva descripción de la interacción
entre el entrevistador y el entrevistado. Analiza la frecuencia de aparición de
códigos, secuencias, códigos en función de las características de los
participantes o en función del tipo de preguntas, etc. Incluso se puede saber si
las secuencias problemáticas son estadísticamente significativas con respecto al
número total de secuencias posibles. Sin embargo, la codificación del
comportamiento no es capaz de ofrecer información sobre las causas de esas
desviaciones de la secuencia ideal de conductas. A diferencia de la entrevista
cognitiva, informa del impacto de los errores inherentes a las preguntas del
cuestionario pero no informa sobre el por qué ocurren dichos errores.
b) Dependencia del esquema de codificación. El momento crítico en la aplicación

de la codificación del comportamiento sucede cuando se selecciona o
desarrolla un esquema de codificación, ya que ahí se va a decidir qué
conductas son adecuadas, cuáles son problemáticas y cuáles son no
problemáticas. La codificación del comportamiento depende tanto del esquema
diseñado que si hubiera que realizar alguna modificación o alteración al
esquema, todos los análisis se deben repetir desde el principio.
c) Fases finales del desarrollo del cuestionario. La codificación del

comportamiento se aplica en fases muy tardías del desarrollo del cuestionario.
Esto implica que si la codificación del comportamiento descubriera errores
graves en el cuestionario habría que repetir el proceso del desarrollo del mismo
casi por completo.
173
Limitaciones
La utilización de los dos métodos de pretest en la evaluación de la escala psicológica

implicó una serie de dificultades. Estas son:
 Número de ítems de la escala psicológica. En nuestro caso, la escala APGAR

tiene un número reducido de ítems haciendo que las evidencias obtenidas por
ambos métodos de pretest solamente sean generalizables a escalas con
características similares. Sin embargo, suele ocurrir justo lo contrario, la
mayoría de las escalas psicológicas tienen un alto número de ítems, por
ejemplo, entre 20 y 40 ítems. Esto supone una gran restricción a la hora de
aplicar la entrevista cognitiva a la evaluación de las escalas psicológicas. Es
imposible evaluar los 20 o 40 ítems en una sola entrevista; en primer lugar, se
necesitaría realizar entrevistas de, al menos, dos horas de duración y, en
segundo lugar, la demanda cognitiva que se le exigiría al participante y la
interferencia que se produciría entre los ítems de la escala sería enorme.
 Tipo de ítem. La utilidad de la entrevista cognitiva depende del tipo de

pregunta que se vaya a evaluar. Esta técnica sólo es útil para aquellas preguntas
que implican un proceso de respuesta no automático. Los ítems de la escala
APGAR mostraron este tipo de procesamiento y pudieron ser evaluados
mediante la entrevista cognitiva. Para la evaluación de otros ítems de otras
escalas es necesario mostrar que reúnen las condiciones necesarias para ser
evaluados.
 Momento de aplicación. La codificación del comportamiento y la entrevista

cognitiva fueron diseñadas para ser aplicadas en fases distintas del desarrollo
de instrumentos de medición. La entrevista cognitiva se suele aplicar en fases
más iniciales del desarrollo, mientras que la codificación del comportamiento
se utiliza cuando, prácticamente, se posee la versión final del cuestionario. De
este modo, aplicar la entrevista cognitiva y la codificación del comportamiento
en el mismo momento, y durante la misma entrevista, dificulta la obtención de
resultados. Concretamente, en este estudio, se tenía una versión final de la
174
Limitaciones
escala psicológica y, por tanto, la contundencia de los resultados de la

entrevista cognitiva fue ligeramente diezmada.
 Comparación de resultados. Existe una dificultad añadida a la hora de

comparar los datos aportados por ambos métodos. La codificación del
comportamiento genera datos de naturaleza cuantitativa mientras que la
entrevista cognitiva aporta datos de carácter cualitativo. La convergencia de
ambos tipos datos requiere un paso más en la abstracción de resultados en el
que se pueden cometer algunos errores. Por ejemplo, a la hora de concluir, si
los informes verbales de la entrevista cognitiva corroboran la distribución de
frecuencias de las secuencias de la codificación del comportamiento, o si estos
informes verbales no concuerdan con la distribución de frecuencias de las
secuencias, o si simplemente ambos tipos de datos no son, a ningún nivel,
comparables.
3. Futuras líneas de investigación
Contribuyendo al proceso de evolución del conocimiento científico, los estudios que

componen esta tesis son la base de las siguientes líneas de investigación:
1. Estudio bibliométrico: Está previsto realizar un nuevo estudio bibliométrico,

actualizando la base de datos de la investigación del Capítulo III y analizando los
documentos bajo una propuesta de codificación que ofrezca información sobre el
“qué se ha hecho”, qué método de pretest se aplicó, con qué procedimiento, en qué
tipo de estudio, etc.
2. Convergencia de los procesos de respuesta entre informantes proxy e informantes

directos con las preguntas “mejoradas”: La continuidad de la línea de
investigación sería replicar el estudio de los procesos de respuesta de ambos tipos
de informantes, tras una revisión de la redacción de las preguntas target y con una
muestra de participantes más amplia.
175
Futuras líneas de investigación
3. Modelo para identificar ítems “target”: Se ha planteado como un objetivo de

investigación desarrollar un modelo para seleccionar los ítems target de las escalas
psicológicas y con ello solucionar el problema del alto número de ítems a ser
evaluados.
4. Fiabilidad de la entrevista cognitiva: Otra investigación posible es el estudio de la

fiabilidad de la entrevista cognitiva, en relación a los errores de omisión y los
errores de comisión que se pueden cometer. Tras la evaluación de un cuestionario
mediante esta técnica se realizaría un estudio piloto en el que se comprobaría la
tasa de ambos tipos de errores.
5. Convergencia del análisis psicométrico clásico y los resultados de la entrevista

cognitiva: El siguiente paso, tras la aplicación de la entrevista cognitiva a la
evaluación de una escala psicológica, es comprobar cómo se corresponden los
errores de respuesta que identifica la entrevista cognitiva con las características
métricas de los ítems y las propiedades psicométricas de la escala. Para ello
bastaría con aplicarle a la misma versión de la escala psicológica una evaluación
psicométrica y una evaluación mediante la entrevista cognitiva.
6. Comparación entre grupos: Esta nueva línea de investigación implica comprobar

el nivel de dependencia de la entrevista cognitiva del grupo de participantes.
Comparando los patrones de resultados entre grupos de participantes con
características muy distintas se podría saber el nivel real de esta dependencia. Los
estudios trans-culturales serían el marco ideal para llevar a cabo esta investigación.
Las investigaciones de esta tesis han demostrado la posibilidad de identificar las

fuentes de error en los procesos de respuesta a las preguntas de los cuestionarios y las escalas
psicológicas. Mediante el conocimiento de los posibles errores de respuesta que pueden
actuar, y de las causas por las que se generan estos errores, se podrán proponer
modificaciones a las preguntas, avanzar en el desarrollo de instrumentos de medición fiables,
válidos, sensibles y carentes de sesgo, y, en consecuencia, asegurar un nivel de calidad en las
mediciones sociales.
176

Utilidad de Los Métodos de Pretest para La Evaluación de Los Cuestionarios en La Investigación Mediante Encuesta

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Utilidad de Los Métodos de Pretest para La Evaluación de Los Cuestionarios en La Investigación Mediante Encuesta

Transféré par

Droits d'auteur :

Formats disponibles

TESIS DOCTORAL

Utilidad de los Métodos de Pretest para la Evaluación de los Cuestionarios en la

Autor: Miguel Castillo Díaz

Tesis presentada en el Programa de Doctorado:

Investigación desarrollada gracias a la concesión de una beca predoctoral de Formación del

Departamento de Psicología Social y Metodología de las Ciencias del Comportamiento.

Ya seamos investigadores sociales, geólogos o enfermeros, aplicando la encuesta de

Durante la primera clase de una asignatura del área de metodología en el grado de

Fuentes de error en las encuestas

El “supuesto” subyacente a toda la historia y evolución de la investigación por

Figura I. 1. Principales Fuentes de Error en las Encuestas

Acceder a los errores de respuesta y evitarlos es básico para la utilización de las

En base a todo lo anteriormente expuesto, el objetivo general de la tesis es mostrar

La tesis se estructura en cinco capítulos, dos primeros de contenido teórico y tres

1. Capítulo I. Antecedentes: El Capítulo I tiene como objetivos: introducir los

3. Capítulo III. Estado actual de los métodos de pretest cognitivos: Esta

dichos métodos, cuál ha sido su evolución temporal, qué patrones de

4. Capítulo IV. Procesos de respuesta de informantes directos vs informantes

5. Capítulo V. Errores de respuesta en las escalas psicológicas incluidas en

Dada la terminología usada lo largo de la tesis es importante aclarar la diferencia entre

Esta evolución ha sido el foco de interés de muchas comunicaciones en congresos y

2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios

No se puede establecer con seguridad debido a la ausencia de documentación, pero los

Algunos profesionales de la investigación por encuesta han defendido y depositado su

Esta confianza depositada en la forma clásica de pretest probablemente se basa en la

El método de pretest clásico se basa en la suposición de que los problemas del

duda o malestar en el encuestado). Posteriormente el entrevistador puede describir estos

Aunque los entrevistadores estuvieran ampliamente entrenados en el reconocimiento

Además, cuando en un pretest clásico los entrevistadores realizan una descripción de

1) Ha habido un cambio sustancial en los objetivos de los pretests. Desde un enfoque

2) Se han desarrollado o adaptado nuevas formas de pretests desde otras disciplinas.

3. Origen del Movimiento: Cognitive Aspects of Survey Methodology

El mayor problema residía en el hecho de que el diseño de cuestionarios careciera de una

4. El Modelo del Proceso Pregunta-Respuesta

o Interpretación y Comprensión: En esta primera fase se lleva a cabo la

encuentra en fases iniciales de desarrollo, los autores podrían no tener clara la

Fuente: Tourangeau (1984).

o Recuperación de Información: Una vez que el encuestado ha comprendido la

o Juicio: La realización de juicios juega un papel muy importante en el proceso

o Comunicación de la respuesta: Esta es la última fase del proceso pregunta-

formado el juicio en la fase anterior, el encuestado debe ajustar su posible

Posteriormente, se han introducido distintas variaciones de este modelo cognitivo (ver

a) Función de la Fase de Comunicación de la Respuesta: En el modelo del

b) Secuencilidad o Linealidad del Modelo: Más allá de las diferencias

que recuperar información de la memoria. Esta visión está en consonancia

5. Aplicación del Movimiento CASM

La investigación de CASM se basa en estudios controlados de los factores que pueden

Loftus en 1984 estaba demostrando cómo el uso de simples herramientas cognitivas

Ahola, A. (2004). Cognitive model of the question-answering process and development of

Cannell, C. & Kahn, R. (1953). The collection of data by interviewing. En L. Festinger y D.

Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality

Converse, J. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized

Czaja, R. (1998). Questionnaire pretesting come of age. Marketing Bulletin, 9, 52-66.

Guilford, J.G. (1954). Psychometric Methods. Nueva York: McGraw-Hill.

Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M.

Schober, M. (1999). Making sense of questions: An interactional approach. En M. Sirken, D.

Sirken, M. & Schechter, S. (1999). Interdisciplinary survey methods research. En M. Sirken,

Snijkers, G. (2002). Cognitive laboratory experiences: On pretesting computerised

Suchman, L. & Jordan, B. (1990). Interactional troubles in face-to-face survey interviews.

Sudman, S. (1983). Applied sampling. En P. Rossi, J. Wright, & A. Anderson (Eds.),

Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T.

En el capítulo anterior se remarcaron las grandes desventajas del método de pretest

En consecuencia, podemos considerar que existen dos grupos de métodos de pretest.