30/4/2020 Interacción Humano-Computadora

Interacción Humano-Computadora (IS-438)

5.- Evaluación de la interacción

Evaluación:
Qué deseas saber y por qué?
Evaluaciones Formativas: contribuyen al desarrollo del sistema
Evaluaciones Sumarias: Valoran / Verifican un producto terminado

El proceso de evaluación esta íntimamente relacionado con la fase de diseño. Se puede realizar en
cualquier punto del ciclo de diseño.

Cada evaluación se lleva a cabo en un contexto definido, determinado por las características de los
usuarios, las actividades que realizarán, el sistema que esta siendo evaluado y el ambiente en el que
sitúa el estudio.

Razones principales para realizar evaluaciones:

1. Comparar diseños
2. Entender el mundo real
3. Ingeniería hacia un objetivo
4. Verificar que conforme a un estándar determinado.

Clasificación de los métodos de evaluación:

Observación y Monitoreo
Experimentación y establecimiento de puntos de comparación (Benchmarking)
Recolección de opiniones de usuarios
Predicción de usabilidad
Varios de los métodos utilizan los mismos mecanismos de captura de datos (video, notas, bitácoras
automáticas, etc.), pero varían significativamente las condiciones bajo las cuales se colectan y
analizan los datos.

Una prueba piloto es un estudio pequeño que evalúa procesos/procedimientos que se utilizarán en
pruebas de mayor escala.

A los usuarios que participan en evaluaciones se les debe explicar y aclarar sus derechos, incluso de
anonimato y de retirarse de la prueba cuando así lo deseen.

5.1 Métodos para evaluar interfaces

Observación y monitoreo

a) Observar a los usuarios

Observación Directa
Observación Indirecta (video)
Análisis de los datos: Enfocado a la tarea o al desempeño.

b) Protocolos verbales
ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 1/6
30/4/2020 Interacción Humano-Computadora

Repaso de un proceso en forma hablada (durante un evento)

Protocolos posteriores al evento (usuarios revisan con el evaluador los
videos de ellos mismos y comentan las razones de diferentes acciones,
sentimientos, pensamientos, todos lo que pueda esclarecer el por qu’e de
sus acciones y que un video no puede capturar.

c) Registro automático de bitácoras (Software logging)

Registro del estado de una aplicación en determinados instantes, cuando el
usuario realiza determinadas acciones (presionar un botón, cerrar una
ventana, etc.).
Registro de la interacción completa en tiempo real, indicando cuándo
sucedió cada evento registrado.

b) Opiniones de usuarios: Entrevistas y Cuestionarios

o Entrevistas estructuradas: un conjunto de preguntas son hechas en
un orden predeterminado, sin explorar actitudes individuales.
o Entrevistas semi-estructuradas: el entrevistador tiene un conjunto de
preguntas para guiar la entrevista en una dirección deseada pero es
mas flexible.
o Entrevistas Flexibles: Tienen un tema pero no una secuencia
determinada de preguntas. El entrevistador puede aprovechar una
respuesta de usuario y explorar más a fondo los gustos, actitudes o
necesidades de cada entrevistado (Análisis de requerimientos).
o Cuestionarios de preguntas de respuestas exactas (opciones
predefinidas, checklist, si/no, etc.)
o Cuestionarios de preguntas abiertas
o Encuestas escritas, en entrevista directa, por teléfono o en-línea.

Experimentación y establecimiento de puntos de comparación (Benchmarking)

a) Experimentos Tradicionales
Experimentos se realizan generalmente para probar aspectos muy específicos
de una interfaz.
Lo importante en un experimento es que el desarrollador puede manipular
diferentes factores y mantener algunos constantes y variar otros. Antes de un
experimento son cuidadosamente definidos el tipo de usuario, su experiencia
previa, etc.
Un experimento debe tener
o un objetivo claro,
o metodología,
o tiempo de aplicación,
o esquemas de acción,
o resultados esperados,
ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 2/6
30/4/2020 Interacción Humano-Computadora

o método de análisis de los resultados obtenidos,

o reporte de resultados,
o conclusiones.
Variables: La variable independiente es la que el experimentador manipula. La
variable dependiente es la que depende de la variable manipulada
Selección de usuarios: Deben seleccionarse cuidadosamente para evitar
sesgos, tendencias que afecten la objetividad de los experimentos.
Diseño de experimentos:
o Diseño de sujetos independientes: un grupo de personas (sujetos) se
obtienen y se asignan aleatoriamente a diferentes condiciones del
experimento.
o Diseño con pares de sujetos: las personas se juntan en parejas (por
ejemplo hombre y mujer) para evitar sesgos y estas parejas se
asignan aleatoriamente a los experimentos.
o Diseño de medidas repetidas: En este diseño se someten a todos los
sujetos a todas las condiciones del experimento. Esto reduce el
número necesario de sujetos para los experimentos pero podría
influenciarlos en cuanto a que la segunda vez que se enfrenten al
experimento bajo otras condiciones, pueden estar influenciados por
su experiencia en el primer experimento.
o Diseño de un único sujeto: Todos los experimentos son desarrollados
con unas sóla persona.

Revisión crítica del procedimiento: Debe revisarse cuidadosamente que el

procedimiento para validar si se obtuvieron los resultados buscados
inicialmente. Debe considerarse en esta revisión la preparación de los
usuarios (se les dieron instrucciones previamente? o no?), impacto de las
variables (significado de las variaciones en las variables independientes),
estructura de las tareas, tiempo de duración (si fue muy largo y pudo causar
aburrimiento o fatiga en los sujetos).
Revisión crítica de los resultados: Se debe establecer exactamente qué
resultados se lograron con los experimentos. Para ello se debe tomar en
cuenta: el tamaño del efecto (impacto), interpretaciones alternas, consistencia
entre las variables dependientes, generalización de resultados

b) Ingeniería de Usabilidad
Usabilidad

Estudio sistemático de propiedades del software claves para su aceptación por el

usuario:

· Facilidad de aprendizaje
· Eficiencia ( productividad)
· Memorabilidad (facilidad para recordar)
· Manejo de errores
ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 3/6
30/4/2020 Interacción Humano-Computadora

· Satisfacción del usuario

¿Cómo medir?

Laboratorios de usabilidad
·
Software para usabilidad
·
Algunas heurísticas:
· Aun el mejor diseño puede refinarse
· El usuario siempre tiene la razón
· El usuario no siempre tiene la razón
· El usuario no es un diseñador
· El diseñador no es un usuario
· Los directores no son usuarios (típicos)
· Entre menos, mejor (no al "fatware")
· Entre menos ayuda (se necesite), mejor
Proceso de la Ingeniería de Usabilidad
o Definir las metas de usabilidad
o Establecer los niveles de usabilidad planeados que deben lograrse
o Analizar el impacto de diferentes soluciones de diseño
o Incorporar la retroalimentación derivada del usuario al diseño del producto
o Iterar a través del ciclo diseño-evaluación-rediseño hasta conseguir los niveles planeados

Métricas y especificación de usabilidad

Las métricas son medidas que son utilizadas para describir los niveles de aceptabilidad de
aspectos clave del diseño.
Una especificación de usabilidad documenta los valores a alcanzar, estados actuales, niveles de
comparación de productos anteriores etc. Siempre es útil una especificación que está al alcance
de todo el equipo de desarrollo para conocer el estado actual de desarrollo y de usabilidad.
Una especificación de usabilidad representa un consenso y las metas comunes para un
producto.

Ejemplo de una especificación de usabilidad de un sistema de conferencias [Preece et al., 1994]:

El atributo de uso inicial puede provenir de un producto previo, la columna de nivel actual
contiene los valores del estado actual o de la versión que se evaluó previamente cuando se está
desarrollando una nueva versión.

Atributo Concepto de Método de Peor Caso Nivel Mejor Caso Nivel

medición medición planeado actual
Uso Inicial Tarea de la Número de 1-2 3-4 8-10 2
conferencia interacciones
exitosas en 30
minutos
Uso no Tarea después % de errores Igual a 50% mejor 0 errores ¿?
frecuente de 1-2 producto X
semanas sin
usarlo
Rapidez de Tarea El primero vs. iguales 50% mejor “mucho” ¿?
aprendizaje El segundo mejor (>60%)
Pref. sobre Calificación del Razón de Igual a X Nadie prefiere ¿?
producto X cuestionario calificaciones X
Recuperación Análisis de % de 10% 50% 100% ¿?
del error incidentes incidentes
críticos registrados
Evaluación Cuestionario Calificación 0 (neutral) 1 (positivo) 2(altamente ¿?
Inicial de actitud semántica positivo)

ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 4/6
30/4/2020 Interacción Humano-Computadora
diferencial
Evaluación de Cuestionario Calificación 0 (neutral) 1 (positivo) 2(altamente ¿?
dominio de actitud semántica positivo)
diferencial
Temor de Cuestionario Obstáculos muchos pocos ninguno …
parecer tonto relacionados a
la interfaz

Evaluaciones estandarizadas (benchmark tasks)

Estas evaluaciones son pruebas estandarizadas cuidadosamente construidas en las que
se monitorea el desempeño del usuario.
Para estandarizar una evaluación se deberán diseñar experimentos en los que se
controlen el mayor número posible de variables.
Los datos recopilados se analizan posteriormente y se convierten a métricas para la
especificación de usabilidad.

Opiniones de los usuarios

Se obtienen a través de cuestionarios y se utilizan para crear métricas de actitud.

Establecimiento de prioridades y toma de decisiones con un análisis

de impacto(Trade-offs)
Las prioridades se establecen a través de in análisis de impacto. A menudo es
necesario decidir entre varios atributos y decidir en cuál se aceptarán estándares bajos
para poder lograr buenos niveles en otros atributos.
Este proceso de análisis generalmente es muy tedioso pero se puede aprender mucho
de él.
El análisis de impacto consta en listar los atributos de usabilidad junto con las
soluciones de diseño propuestas, luego se añade el porcentaje de impacto de cada una
mostrando las fortalezas y debilidades de las soluciones en relación a uno o varios
atributos.

Recolección de opiniones de usuarios

Otro enfoque para evaluar es a través de métodos de interpretación. Si en los métodos anteriores el
evaluador controla lo que el usuario debe probar y las preguntas que debe contestar, en una
evaluación menos formal, son el evaluados y el usuario que juntos deciden la agenda del estudio
dependiendo del contexto. Este tipo de evaluación enfatiza la utilidad de los descubrimientos durante
una evaluación, y es importante para entender mejor cómo interactúan actores humanos en la
construcción del conocimiento sobre un aspecto determinado de lo que se va a evaluar.

Los siguientes métodos son formas de evaluación en la que usuarios y evaluadores participan en la
identificación y entendimiento de problemas de usabilidad en una ambiente normal de trabajo, en
situaciones críticas, permiten al evaluador entrar más en contacto con la realidad del usuario y
permiten al usuario externar más opiniones y opciones que tal vez no estaban contemplados en otros
métodos de evaluación.

a) Encuestas contextuales
b) Evaluación cooperativa y participativa
c) Etnografía o evaluaciones “in situ”

ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 5/6
30/4/2020 Interacción Humano-Computadora

Evaluación Predictiva

Para reducir los costos de pruebas de usabilidad, se pueden tratar de predecir diferentes aspectos de
usabilidad, en lugar de observarlos directamente.
La mayoría de estos métodos no involucran usuarios ni pruebas lo cual hace este proceso
relativamente rápido y de bajo costo.

a) Métodos de inspección
Inspección de aspectos técnicos por parte de personas que conocen la tecnología y a los
usuarios potenciales.
El objetivo es crear una lista de posibles problemas de usabilidad para que se puedan atacar
en las etapas tempranas de diseño.
Las inspecciones pueden ser de 2 tipos: inspección de estándares, dónde se busca que la
interfaz concuerde con ciertos estándares; y la inspección de consistencia, donde se revisa la
consistencia del diseño de cada proyecto.

b) Simulaciones de uso
Expertos usan el sistema en simulaciones de uso en diferentes situaciones.

c) Revisiones estructuradas con expertos

Estas son revisiones de expertos más estructuradas que los dos métodos mencionados
anteriormente y son: Evaluación heurística, pruebas de usabilidad simplificadas y seguimiento
de las rutas de cada tarea en forma hablada con escenarios simplificados y prototipos de baja
fidelidad.

d) Modelado de la funcionalidad del sistema

Este tipo de evaluación requiere una especificación de la funcionalidad del sistema y una lista
de todas las tareas propuestas.
Los modelos pueden ser planos o de múltiples niveles.

[Preece et al., 1994] Human-Computer Interaction. Jenny Preece et al. 1994. Addison-Wesley.

[Shneiderman, 1997] Designing the User Interface: Strategies for Effective Human-Computer Interaction, Ben
Shneiderman, 3a. Edición, Addison Wesley Longman, 1997.

ict.udlap.mx/people/ingrid/Clases/IS438/IHC_5.html 6/6