MTODOS DE ENCUESTA EN LA SOCIEDAD DIGITAL:

LA BSQUEDA DE LA CALIDAD M ngeles Cea DAncona

Universidad Complutense de Madrid

CARACTERSTICAS ESENCIALES
1. Estandarizacin en la recogida y anlisis de la informacin (restringe errores de medicin y favorece la comparabilidad) 2. Representatividad de la muestra y de la informacin respecto al objeto de estudio (incide en criterios de validez; depende de errores de encuesta)

VENTAJAS DE LA ENCUESTA
1. Obtencin de informacin variada de un conjunto amplio de personas 2. Permite la comparacin de los datos en contextos sociotemporales diferentes 3. Generalizacin de los resultados. Depender de los errores en su realizacin

INCONVENIENTES DE LA ENCUESTA
1. Desaconsejable en poblacin con dificultades para la comunicacin verbal 2. Informacin condicionada a la formulacin de la pregunta y la veracidad de la respuesta 3. Reactividad en la respuesta por presencia del entrevistador
4. Imprecisin en el estudio de la causalidad

ARTICULACIN DE LA ENCUESTA CON OTRAS ESTRATEGIAS

S. D. Sieber (1973) Integrating fieldwork and survey methods. American Journal of Sociology, 78: 1335-1359 Ventajas: 1. Elaboracin marco terico 2. Validacin de los resultados 3. Mejora interpretacin datos de encuesta 4. Identificacin de personas a ser encuestadas 5. Elaboracin del cuestionario Tambin imprescindible el uso de datos disponibles 1. Elaboracin marco terico 2. Operacionalizacin problema de estudio 3. Interpretacin de los datos

FASES DE LA ENCUESTA
Revisin bibliogrfica 1. Estructurar idea originaria 2. Ayuda a disear la encuesta Se quiere:
1. 2. 3. Prevenir errores No ser redundantes Extraer ideas para el diseo de la muestra y del cuestionario Objetivo Transparente Fidedigno

Concluye con la redaccin del informe:

Crucial la especificacin de los lmites de la investigacin (datos

vlidos y fiables)

ANTECEDENTES EN EL ESTUDIO ERRORES DE ENCUESTA

J. L. Gillin (1915): The social survey and its further development. Journal of the American Statistical Association, 14: 603-610. Estudios experimentales de A. Hobson (1916) y H. Cantril (1944: Gauging Public Opinion. Princeton University Press) W. E. Deming (1944): On errors in surveys. American Sociological Review, 9: 359-369. P. C. Mahalanobis (1946): Recent experiments in statistical sampling in the Indian Statistical Institute, Journal of the Royal Statistical Society,19: 325-378. M. H. Hansen, W. N. Hurwitz y W. G. Madow (1953): Sample survey methods. Wiley.

ERROR TOTAL DE ENCUESTA

R. M. Groves (1989): Survey errors and survey costs. John Wiley & Sons. P. P. Biemer y L. E. Lyberg (2003): Introduction to survey quality. John Wiley & Sons.
M A. Cea DAncona (2005): Mtodos de encuesta. Teora y prctica, errores y mejora. Sntesis. - (2005) La senda tortuosa de la calidad de la encuesta. REIS, n 111: 75-103.

E R R 0 R E S
E N C U E S T A

No cobertura

NO OBSERVACIN

Muestreo No respuesta Mtodo de encuesta Diseo del cuestionario

OBSERVACIN O MEDICIN

Intervencin entrevistador

Actitud del encuestado Tratamiento informacin

ERROR DE NO COBERTURA
Idoneidad del marco muestral Listados con errneas inclusiones u omisiones por: No actualizacin Duplicidades No correspondencia con objeto de estudio Su influencia depender de: Tasa no cubiertos Caractersticas diferenciales

ACTUACIONES ANTE ERRORES DE NO COBERTURA

1. Evaluar la calidad del marco muestral 2. Restringir poblacin de estudio 3. Utilizar varios marcos muestrales

4. Identificar omisiones y utilizarlas como variables de cuota

Uso de hogares transitorios (Keeter, 1995)

5. Aplicacin otros mtodos de encuesta 6. Ponderacin

ERROR DE MUESTREO
Presente en toda encuesta Su magnitud depende de:
Tamao de la muestra Representatividad

Remedios:
Incrementar el tamao de la muestra

Aplicacin de diseos muestrales aleatorios que garanticen la heterogeneidad de la muestra

ERROR DE NO RESPUESTA
El reto de la plena participacin Incide:
1. Magnitud no respuesta (especificar en el informe)
2. Composicin: caractersticas diferenciales

Informacin no respondientes:
1. De no respondientes 2. 3. 4. 5. Imputndoles de respondientes Preguntando a personas prximas Extrayendo informacin de marco muestral Comparacin con datos censales

FACTORES QUE INCIDEN EN LA NO PARTICIPACIN

1. Contexto social Responsabilidad, legitimidad, prestigio centro

Saturacin de encuestas e imagen

Cambios sociales No respuesta diferencial en cada mtodo

2. Mtodo de encuesta

Tema encuesta e inters que suscite

Complejidad y extensin cuestionario

3. Caractersticas del encuestado 4. Caractersticas del entrevistador

ACTUACIONES EN LA REDUCCIN ERROR DE NO RESPUESTA

1. Adecuacin a peculiaridades poblacin
2. 3. 4. 5. 6. 7. 8. Prenotificacin de la encuesta Seguimiento de la muestra Gratificacin de la participacin Mejorar la presentacin de la encuesta Otro mtodo en no respondientes Convertir negativas en aceptacin Incrementar el tamao muestral

9. Sustitucin por unidades equiparables 10. Ajustes estadsticos:ponderacin e imputacin

ERRORES POR MTODO DE ENCUESTA

Su pertinencia en la consecucin objetivos Captacin diferencial de encuestados

1. Eleccin razonada del mtodo de encuesta:

Objetivos investigacin Complejidad del tema, extensin y dificultad del cuestionario La poblacin a encuestar Tiempo disponible para la recogida de informacin Recursos disponibles Nivel deseado de calidad

2. Mejoras en el diseo del cuestionario 3. En su aplicacin

ERRORES POR DISEO CUESTIONARIO

ERRORES MOTIVO
De especificacin No correspondencia con objetivos Desigual interpretacin de la pregunta Su redaccin, introduccin y formulacin
De medicin Las opciones de respuesta Qu alternativas ofrezca En qu orden Deseabilidad social

Orden y contexto de la pregunta Tema de la pregunta

Errores de memoria, comunicacin

ERRORES POR ENTREVISTADOR

Fuentes de error: Caractersticas Actuaciones:

sociodemogrficas Factores psicolgicos Formacin y disponibilidad Actuacin inadecuada

Aumentar nmero de entrevistadores

Adecuar su seleccin a la encuesta

Mayor efecto en encuestas sobre temas sensitivos; cara a cara; preguntas subjetivas; abiertas; en respuestas no opinin; encuestados de menor nivel educativo y mayor edad

Mejorar su formacin
Estandarizar su actuacin

Intensificar su supervisin y
control

ERRORES POR ENCUESTADO

Por voluntad y/o incapacidad:
1. Mala redaccin pregunta 2. Desconocimiento del tema 3. Precipitacin en respuesta 4. Errores de memoria

La realizacin de la entrevista
Actuaciones: 1. Mejorar el diseo del cuestionario 2. Su aplicacin

ERRORES POR TRATAMIENTO DE INFORMACIN

1. Automatizacin del procedimiento de

encuesta
2. Mejorar la formacin y el control de

responsables

APORTACIN DE LAS NUEVAS TECNOLOGAS

1. Reduccin costes y tiempo 2. Errores en la administracin del cuestionario 3. Errores en grabacin de respuestas
4. En orden de las preguntas y las respuestas 5. Mayor control del entrevistador 6. Imagen de mayor profesionalidad

7. Menor inhibicin en entrevistados

8. Incrementa ayudas visuales 9. Facilita encuestas complejas

ERROR DE NO COBERTURA
Idoneidad del marco muestral

Su influencia depender de: Tasa no cubiertos Caractersticas diferenciales

ERROR DE MUESTREO
Presente en toda encuesta Su magnitud depende de:
Tamao de la muestra Representatividad

Remedios:
Incrementar el tamao de la muestra

Aplicacin de diseos muestrales aleatorios que garanticen la heterogeneidad de la muestra

DISEOS MUESTRALES PROBABILSTICOS

1. 2. 3. 4. 5. 6.

Aleatorio simple Sistemtico Estratificado (proporcional, no proporcional) Por conglomerados reas y rutas aleatorias Mtodos seleccin persona en una misma vivienda
No seleccin Mtodo de Kish de seleccin aleatoria Mtodo de cuota sistemtica Mtodo del cumpleaos

DISEOS MUESTRALES NO PROBABILSTICOS

1. Por cuotas 2. Estratgico o de juicio 3. Muestreos circunstanciales:
De voluntarios Bola de nieve

ERRORES POR DISEO CUESTIONARIO

ERRORES MOTIVO
De especificacin No correspondencia con objetivos Desigual interpretacin de la pregunta Su redaccin, introduccin y formulacin
De medicin Las opciones de respuesta Qu alternativas ofrezca En qu orden Deseabilidad social

Orden y contexto de la pregunta Tema de la pregunta

Errores de memoria, comunicacin

ACTUACIONES EN LA REDUCCIN ERRORES POR CUESTIONARIO

Ampliar actuaciones previas:
1. Indagacin exploratoria cualitativa 2. Revisin bibliogrfica
3. Entender procesos sociopsicolgicos

Antes de formular nuevas preguntas:

1. Especificar objetivos encuesta

2. Identificar conceptos centrales y operacionalizarlos 3. Elegir mtodo de encuesta y poblacin 4. Concretar los anlisis

RECOMENDACIONES PARA REDUCIR EL ERROR DE ESPECIFICACIN

1. Seleccionar conceptos clave 2. Descomponer el concepto en

dimensiones 3. Buscar indicadores para cada dimensin

Operacionalizacin mltiple

RECOMENDACIONES PARA REDUCIR ERRORES POR INTERPRETACIN TRMINOS DE LA PREGUNTA

1. Emplear vocabulario sencillo, evitando trminos abstractos 2. Palabras familiares 3. Escalas numricas 4. Comprobar traduccin de preguntas en
otro idioma

RECOMENDACIONES PARA REDUCIR ERRORES POR REDACCIN DE LA PREGUNTA

1. Preguntas breves y fciles de comprender 2. Redaccin precisa de la pregunta 3. Pregunta objetiva o neutra 4. No redactar la pregunta en forma negativa 5. Pregunta de forma personal y directa 6. Ni preguntas ni alternativas referidas a varias cuestiones

RECOMENDACIONES PARA EVITAR ERRORES POR OPCIONES DE RESPUESTA

1. Redaccin de la pregunta neutral y equilibrada 2. Adecuar el nmero de categoras 3. Rotar orden lectura alternativas respuesta

4. Respuestas intermedias slo mencionadas 5. No explicitar opciones de no respuesta

RECOMENDACIONES PARA EVITAR ERRORES POR ORDEN Y CONTEXTO DE LA PREGUNTA

1. Preguntas con secuencia lgica 2. En temas complejos, tcnica del embudo invertido
3. Una pregunta abierta entre dos cerradas 4. Preguntas iniciales interesantes y sencillas

5. Preguntas clave en el centro del cuestionario 6. Preguntas amenazantes al final 7. Un cuestionario no muy extenso, que no fatigue

ACTUACIONES PARA REDUCIR SESGO DE DESEABILIDAD SOCIAL

1. Motivar encuestado para que responda con sinceridad 2. Ocultar la intencionalidad de la pregunta 3. Pregunta abierta, larga y sencilla 4. Respuestas flexibles o atenuar gravedad de la pregunta 5. Evitar palabras con reaccin estereotipada 6. Dar mayor privacidad a la respuesta 7. Cargar deliberadamente la pregunta:
Todo el mundo lo hace ; Asumir la conducta; Uso de la autoridad; Razones de por qu no Escoger marcos de tiempo apropiados

8. Ubicar la pregunta al final del cuestionario

RECOMENDACIONES EN PREGUNTAS REFERIDAS AL PASADO

1. En la introduccin destacar importancia de responderla con precisin 2. Preguntas largas a cortas

3. Aproximar en el tiempo preguntas de eventos poco notorios 4. Uso de procedimientos de ayuda al recuerdo 5. Realizar varias preguntas. Aquellas de ms difcil recuerdo al final

ADECUAR EL FORMATO DE LA PREGUNTA ABIERTA

Ventajas: fciles de elaborar; ocupan menos espacio; permiten responder con sus propias palabras; respuestas no previstas; captar lo ms saliente. Inconvenientes: caras; expuestas a errores de registro; actuacin entrevistador; ms esfuerzo y tiempo del encuestado; respuestas irrelevantes; ms dificultad reglas de codificacin. Utilidad: estudios exploratorios; respuestas no previstas; respuesta inmediata; mayor especificacin; valor numrico exacto; en temas delicados

ADECUAR EL FORMATO DE LA PREGUNTA CERRADA

Requisitos:exhaustividad; exclusividad; precisin. Ventaja: rapidez; mayor estandarizacin; centrar respuestas; menos esfuerzo encuestado. Inconvenientes: coartan respuesta; influencia en respuesta; ms laborioso; dificulta significado de respuesta; posible respuesta no meditada; respuesta con distintas interpretaciones; incrementa la amenaza a la pregunta

RECOMENDACIONES UBICACIN DE LAS PREGUNTAS

1. Preguntas iniciales interesantes y sencillas 2. Preguntas clave en el centro 3. Distribuir secuencialmente preguntas que formen una batera 4. Preguntas amenazantes al final

RECOMENDACIONES DISEO DEL CUESTIONARIO

1. Cuestionario no extenso

2. Evitar largas series de preguntas con un mismo formato

3. Mejorar el mensaje de presentacin 4. Dejar espacio para observaciones y datos de control al final

RECOMENDACIONES FORMATO DEL CUESTIONARIO

1. De libro en papel buena calidad 2. A doble cara, dos columnas 3. Preguntas ordenadas y numeradas 4. Preguntas cerradas en vertical y codificadas 5. Preguntas abiertas espaciadas 6. Evitar preguntas partidas 7. Pregunta larga no seguida de corta 8. Instrucciones al entrevistador precisas 9. Preguntas filtro bien definidas 10. Preparar cuestionario para procesamiento Precomprobacin del cuestionario

LA PRUEBA DEL CUESTIONARIO

1.

Pretest
Preguntas tienen sentido, se comprenden, respuestas esperadas
Cubren la variedad de lo que se analiza

Permite comprobar:

Disposicin conjunta de las preguntas: secuencia lgica, no afecta a la respuesta Instrucciones se entienden
Duracin no afecta a la respuesta Porcentaje aproximado no respuesta Idoneidad marco muestral Variabilidad poblacin tema de estudio Preparacin entrevistadores Coste trabajo de campo

LA PRUEBA DEL CUESTIONARIO

2. Observacin de la entrevista
Fallos administracin cuestionario: El entrevistador no lee la pregunta exactamente: mala

redaccin pregunta

Omite pregunta: especificaciones incorrectas preguntas filtro, mala ubicacin pregunta Encuestado solicita aclaracin: pregunta no clara
Entrevistado interrumpe: pregunta larga Tarda mucho tiempo en responder: pregunta compleja

Respuestas inadecuadas: fallos en la pregunta

LA PRUEBA DEL CUESTIONARIO

3. Valoracin de los encuestados
Incluir preguntas al final del cuestionario: inters, extensin, dificultad respuesta, aclaraciones, mejoras a introducir Grupo discusin

4. Valoracin entrevistadores

Datos control: anotar incidencias

Grupo discusin

5. Consulta a expertos (individual o grupal)

Identificar errores especificacin y medicin

6. Entrevistas cognitivas
Piensa en alto Retrospectiva: no introduce sesgos respuestas posteriores

Olvido

LA VALIDEZ DATOS DE ENCUESTA

1.
2.

Adecuacin objetivos de investigacin

Validez interna: control explicaciones alternativas
Grupos de comparacin equiparables Varias mediciones: encuestas panel

3. Validez externa: generalizacin

Representatividad muestra

4. Validez de conclusin estadstica: significatividad anlisis

Incrementar muestra
Grupos internamente heterogneos Adecuar anlisis a objetivos

LA VALIDEZ DATOS DE ENCUESTA

5. Validez de constructo: medicin conceptos
Delimitacin clara conceptos medir Operacionalizacin mltiple

Validez concurrente Validez predictiva

Validez medidas establecidas Congruencia respuesta - conducta

Problemas:

PROCEDIMIENTOS PARA COMPROBAR VALIDEZ MEDICIN

1.
2. 3.

Experimentos split-ballot
Contrastacin informes administrativos Observacin de la encuesta
Mala actuacin entrevistador Mal diseo cuestionario

Informacin entrevistadores y encuestados Entrevistas cognitivas Reentrevista

4.

Evaluacin cuestionarios
Consulta a expertos Revisin de cada pregunta Contrastacin preguntas: anlisis multivariable

5.

Estudios de grupo de criterio

COMPROBACIN DE LA FIABILIDAD
Consistencia medicin

1.

Mtodo test retest

Efectos de memoria

Reactividad del test

2.

Mtodo alternativo
Dificultad crear tems comparables Distincin cambio verdadero de infiabilidad

3.

Mtodo de las dos mitades

Mitades homogneas

4. 5.

Mtodo de consistencia interna alfa de Cronbach Anlisis factorial y discriminante

RECOMENDACIONES PARA MEJORAR LA FIABILIDAD

1. Seleccionar una muestra amplia y heterognea

2. Operacionalizacin mltiple
Eliminar tems no relevantes

3. Aumentar varianza variables 4. Estandarizar el proceso de recogida de la informacin

5. Reducir la incidencia de todos los errores de encuesta

GRACIAS