Prototipado y Evaluacin

Estudio de casos
Jesus Lors Toni Granollers Universidad de Lleida

Prototipado y evaluacin

Objetivos
n n n n

Saber que es el prototipado Conocer los diferentes tipos de prototipos Saber que es la evaluacin Conocer los diferentes mtodos de evaluacin y sus diferencias Saber mejorar la usabilidad del sistema que estamos evaluando Aprender de casos reales

Modelo de proceso

Diseo centrado en el usuario

Usabilidad
n

La medida en la cual un producto puede ser usado por usuarios especficos para conseguir objetivos especficos con efectividad, eficiencia y satisfaccin en un contexto de uso especificado
ISO 9241-11

Contenidos
n n n n

Estudio de casos Prototipado y evaluacin Prototipos Mtodos de evaluacin

Estudio de casos

Cafeteria
Prototipo de un sistema interactivo De supervisin de las mesas De una cafetera

Estudio de casos

Check-in

Diseo y desarrollo Prototipo de un sistema interactivo de registro de entrada (check-in) en un hotel

Estudio de casos

Recogida selectiva de basuras

Diseo de un prototipo de un sistema interactivo de recogida selectiva de basuras

Estudio de casos

Entorno de recepcin ubicuo

Estudio de casos

Web del Centro Excursionista

Contenidos
n n n n

Estudio de casos Prototipado y evaluacin Prototipos Mtodos de evaluacin

Prototipado
n

No podemos hacer una implementacin a gran escala a partir del diseo inicial de la interfaz Para poder realizar evaluacines de la usabilidad en las etapas iniciales necesitamos prototipos Son documentos, diseos o sistemas que simulan o tienen implementadas partes del sistema final Es una herramienta muy til para hacer participar al usuario en el desarrollo y poder evaluar el producto ya en las primeras fases del desarrollo

Evaluacin
n

La evaluacin es una parte bsica de un diseo de un sistema centrado en el usuario. Sin hacer ningn tipo de evaluacin es imposible conocer o no si un diseo o un sistema cumple las expectativas de los usuarios y que se adapta a su contexto social, fsico y organizativo. Vamos a conocer diferentes mtodos de evaluacin y como se realizan, donde, como hacerlos y como analizar sus resultados.
.

Contenidos
n n n n

Estudio de casos Prototipado y evaluacin Prototipos Mtodos de evaluacin

Prototipado Qu es un

prototipo?

Prototipo es una representacin limitada de un diseo y que permite a los usuarios interaccionar con el y explorar sus posibilidades

Prototipo Clasificacin
n

Poca-fidelidad
q

Son rpidos, baratos y diseados para obtener informacin del usuario lo mas pronto posible Los prototipos de alta fidelidad son ms costosos e implican generalmente programacin aunque son ms aproximados al diseo final

Alta-fidelidad
q

Horizontal prototype

Prototipos

Clasificacin
Vertical prototype

Scenario Full interface

nPrototipos
q q

verticales

Incluye una parte de las funcionalidades Sirve para realizar evaluaciones ms verdicas

nPrototipos
q q

horizontales

Interfaz completa sin funcionalidades subyacentes Simulacin: No se puede realizar trabajo real

nEscenarios

Nielsen, J. (1993) Usability Engineering, p93-101, Academic Press.

Prototipado

Tipos
n n n n n n n

Prototipo de papel Maqueta electrnica Storyboard Escenario Vdeo Prototipo de software Simulacin

Prototipo de Papel

Check-in

Prototipo de Papel

Recogida selectiva de basuras

Prototipado

Prototipo en papel
n

Este tipo de prototipo se basa en la utilizacin de papel, tijeras, lpiz o instrumentos que se puedan utilizar para describir un diseo en un papel. Este sistema nos permite una gran velocidad y flexibilidad Para poder simular las diferentes interacciones que vamos a realizar con el sistema, realizaremos una hoja para cada uno de las diferentes posibles interacciones que podemos realizar Apilaremos estas hojas que nos permitirn simular la aplicacin

WEB Prototipado

Maqueta electrnica

StoryBoard

Check-in

StoryBoard

Recogida selectiva de basuras

Prototipado

Escenario
n n

Una historia de ficcin con representacin de personajes, sucesos, productos y entornos Ayuda al diseador a explorar ideas y las ramificaciones de decisiones de diseo en situaciones concretas. Es interesante pensar en diferentes escenarios para reflejar las diferentes situaciones y puntos de vista diferentes Elementos
q q q

Configuracin (setting) Agentes o actores Diagrama de secuencia de acciones y eventos

Prototipado

Escenario en vdeo

Prototipo de software

Recogida selectiva de basuras

WEB Arquitectura informacin Centro excursionista

Ordenacin de tarjetas ( Card sorting)

Contenidos
n n n n

Estudio de casos Prototipado y evaluacin Prototipos Mtodos de evaluacin

Evaluacin
n

La evaluacin son diversas metodologas y tcnicas que estudian la usabilidad de un sistema interactivo en diferentes etapas del ciclo de vida Aplicar los mtodos de evaluacin de la usabilidad permite crear mejores productos y ayudar a los usuarios a realizar sus tareas mas productivamente

Evaluacin

Ventajas

Una reduccin de los costes de produccin Reduccin de los costes de mantenimiento y apoyo Reduccin de los costes de uso Mejora en la calidad del producto

Mtodos de evaluacin
n n n

Inspeccin Indagacin Test

Mtodos de evaluacin
n

Inspeccin

Recorridos cognitivos Heurstica

n n

Indagacin Test

Mtodos de evaluacin

Inspeccin

Evaluacin heurstica
n

Un conjunto reducido de evaluadores evalan la interfaz teniendo en cuenta los principios reconocidos de usabilidad la heurstica Se utilizan expertos para validar la interfaz, porque es difcil que un evaluador pueda encontrar todos los problemas de usabilidad en una interfaz a partir de unos criterios definidos

Inspeccin - Evaluacin heuristica

10 reglas heursticas
n n n n n n n n n n

El estado del sistema ha de estar siempre visible Se ha de utilizar el lenguaje de los usuarios El usuario tiene control y libertad Hay consistencia y se siguen estndares Existe prevencin de errores Se minimiza la carga de la memoria del usuario Existe flexibilidad y eficiencia de uso Los dilogos son estticos y diseo minimalista Al utilizar la ayuda, se reconocen, diagnostican, y se recuperan Existe ayuda y documentacin

Mtodos de evaluacin

Inspeccin

Evaluacin heurstica

Inspeccin

Recorrido cognitivo
n n

Es un mtodo de inspeccin que se evala la facilidad de aprendizaje Est basado en los recorridos estructurales de la ingeniera de software Se evalua una propuesta de prototipo de interfaz en el contexto de una o ms tareas Es idnea en la etapa de diseo, per se puede aplicar en el resto

Recorrido cognitivo

CEL: Tarea

y web

Mtodos de evaluacin
n n

Inspeccin Indagacin

Observacin de campo Focus Groups Entrevistas Grabacin del uso (Logging) Estudio de campo proactivo Cuestionarios

Test

Indagacin

Grabacin del uso (Logging)

n

Implica disponer en el ordenador de una ampliacin del sistema que recoja automticamente estadsticas sobre el uso detallado del sistema El registro se realiza generalmente modificando los drivers del sistema, por ejemplo del ratn o del teclado u otras partes del sistema que permitan el registro de las acciones del usuario o modificando la aplicacin que estamos probando

Indagacin

Observacin de campo
n n

Se realiza en el lugar de trabajo de usuarios representativos Se les observa trabajando para entender cmo estn utilizando el sistema para lograr sus tareas y qu clase de modelo mental tienen sobre el sistema Este mtodo se puede utilizar en las etapas de la prueba y del despliegue del desarrollo del producto Artefactos
q

Objetos fsicos en uso en el sitio ( blocs de notas, formularios, informes, espacios, paredes ) Rasgos fsicamente identificables que marcan o caracterizan el sitio (tamao de los cubculos, tamao de las pizarras y que es lo que est escrito en ellos, tipos de uniformes).

Afloramientos
q

Indagacin

Grupo de discusin dirigido

n

El focus group o grupo de discusin dirigido es una tcnica de recoleccin de datos donde se rene de 6 a 9 usuarios para discutir aspectos relacionados con el sistema Un moderador que tiene que preparar la lista de aspectos a discutir y recoger la informacin que necesita de la discusin. Esto puede permitir capturar reacciones espontneas del usuario y ideas que evolucionan en el proceso dinmico del grupo.

Evaluacin

Tcnicas de interrogacin
n

Las tcnicas de interrogacin se basan en que la mejor manera de saber si un sistema se adapta a los requisitos, es interrogar al usuario. La ventaja que ofrece este mtodo es de tener directamente el punto de vista del usuario y por tanto encontrar opciones no contempladas en el diseo. Uno de los posibles problemas es que esta informacin es subjetiva y puede ser difcil conseguir respuestas a posibles alternativas en el diseo, porque el usuario no tiene experiencia. Los dos tipos mas importantes son:
q

Entrevistas y cuestionarios

Tecnicas de interrogacin

Entrevistas
n

n n

Entrevistar a los usuarios respecto de su experiencia en un sistema interactivo resulta una manera directa y estructurada de recoger informacin. Adems las cuestiones se pueden variar con tal de adaptarlas al contexto. Normalmente, en una entrevista se sigue una aproximacin de arriba abajo Las entrevistas pueden ser efectivas para una evaluacin de alto nivel, particularmente para extraer informacin sobre las preferencias del usuario, impresiones y actitudes Puede ayudar a encontrar problemas no previstos en el diseo Para que la entrevista sea lo ms efectiva posible, ha de ser preparada con antelacin, con todo un conjunto de preguntas bsicas. El revisor puede adaptar la entrevista al entrevistado y obtener el mximo beneficio.

Tcnicas de interrogacin

Cuestionarios
n

n n

Es menos flexible que la entrevista, pero puede llegar a un grupo ms numeroso, pero se puede analizar con ms rigor Se pueden realizar diferentes tipos de preguntas Tipos
q

Pre-test
n

Informacin y perfil de los participantes Recoger opiniones y valoraciones de cada tarea Recoger opiniones y valoraciones despues que los participantes completen las tareas

Post-tarea
n

Post-test
n

Cuestionarios

Tipos de preguntas...
n

General q Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la poblacin en estudio q Incluye cuestiones como edad, sexo, ocupacin, lugar de residencia y otras. Abierta q Preguntas tiles para recoger informacin general subjetiva Pueden dar sugerencias interesantes y encontrar errores no previstos.

Cuestionarios

Tipos de preguntas...
n

Escalar
q

Nos permite preguntar al usuario sobre un punto especfico en una escala numrica

n n

Por ejemplo:
El diseo de las iconas es comprensible poco 1 2 3 4 5 mucho

Opcin mltiple
q q

En este caso se ofrecen una serie de respuestas y se nos pide responder a una de las opciones o a varias Que tipo de software has de utilizar
Tratamiento de texto Hoja de clculo q Bases de datos q Contabilidad q q

Ordenadas
q q q q q q

Se presentan una serie de opciones que hay que ordenar Ordena la utilidad de cmo ejecutar una accin: (1 la mas til, 2, etc,0 si no se utiliza Por iconos Seleccin de men Doble clic

Mtodos de evaluacin
n n n

Inspeccin Indagacin Test

q q q q q

Pensando en voz alta Interaccin constructiva Mtodo del conductor Medida de prestaciones Test remoto

Mtodo de evaluacin - Test

Pensando en voz alta

n n

Thinking aloud Qu es?

q

Consiste en que un usuario exprese en voz alta sus pensamientos, sentimientos y opiniones mientras que interacciona con el sistema [Lewis, 1982] Datos cualitativos que puede recoger de un numero reducido de usuarios Se les proporciona a los usuarios el producto que tienen que probar ( o un prototipo de la interfaz ) y un conjunto de tareas a realizar. Se les dice a los usuarios que realicen las tareas y que expliquen que es lo que piensan al respecto mientras estn trabajando con la interfaz

Resultado
q

Mtodo
q

Test

Interaccin constructiva
n n

Derivacin del mtodo de pensando en voz alta (thinking aloud) En vez de uno dos usuarios hacen el test simultneamente Es ms natural para el usuario verbalizar conjuntamente La desventaja es que los usuarios puedan tener diferentes estrategias de aprendizaje

Test

Mtodo del conductor

n

Hay una interaccin explicita entre el usuario que realiza el test y el revisor (conductor) que conduce al usuario en la direccin correcta El objetivo es descubrir las necesidades de informacin de los usuarios

Medida de prestaciones

Metodologa
n n n

Los participantes han de ser usuarios reales Los participantes han de hacer tareas reales Hay que registrar y observar la actividad de los participantes Analizar los datos, diagnosticar problemas y recomendar cambios

Medida de prestaciones

Metodologa

Medidas de prestaciones

Medir una tarea

Medir Tarea1 tiempo Recuperacin error ayuda en lnea

Excelente Aceptable Inaceptable

Excelente

Aceptable

Inaceptable > 5 min > 1 min > 3 min

<3 min 0 1

3-5 min <1 min 2-3 min

Criterios que podemos definir para medidas de prestaciones

Conclusiones
n

La evaluacin y el prototipado es una parte muy importante de las actividades a realizar en el desarrollo de un sistema interactivo centrado en el usuario Su objetivo es probar la usabilidad del diseo, identificar y rectificar problemas Puede hacerse en el laboratorio o en el puesto de trabajo del usuario y en general es importante una participacin activa por parte del usuario

Bibliografa
n n n n n n n n n n n

BIAS R. y MAYHEW D. J. CostJustifying Usability, 1994. AP Professional Cambridge, MA, 1994 CARROLL J. Making use, scenario based design of human computer interactions. MIT Press, Pg. 46-70, 2000 DIX et al (1998). Human Computer Interaction (second edition). Prentice Hall. HEWETT and SCOTT (1987). The use of thinking-out-loud and protocol analysis in development of a process model of interactive database searching. Proc. IFIP Interact87 DUMAS JOSEPH S (1994). A practical guide to usability testing. Ablex Publishing Corporation ISO 9241-11:1998. Ergonomic requirements for office work with visual display terminals (VDTs) -- Part 11: Guidance on usability MAYHEW D. Usability engineering lifecycle, 1999 MOLICH R. y NIELSEN J. Heuristic evaluation of user interfaces en Proceedings of ACM CHI 1990. Seattle, WA, Abril 1990, Pg. 249-256, 1990 NIELSEN J. Usability Engineering. Academic Press, Pg. 195-198, 1993 NIELSEN J. y MACK R. L. eds. Usability Inspection Methods. John Wiley and Sons, New York, NY, 1994 Wharton C. et al. The cognitive walkthrough method: a practitioner's guide en Usability Inspection Methods (Nielsen J. y Mack R. L. eds.). John Wiley & Sons, New York, NY, Pg. 105-140, 1994 [Yourdon E. Structured Walkthroughs, 4 edicin. Yourdon Press, Englewood Cliffs, NJ, 1989