MESTRADO DE GESTO COMERCIAL

CASE STUDY NA CADEIRA DE WEBMARKETING

AVALIAO DE USABILIDADE DO WEBSITE WWW.HOTELS.COM

Trabalho Realizado por: Filipe Cigarro Monica Domingues Sandro Gama Susana Seromenho

Junho de 2007

1. Introduo 1.1 O que a usabilidade?

A usabilidade uma caracterstica daquilo que utilizvel, funcional. obviar o que bvio, tendo em conta as necessidades do utilizador e o contexto em que este est inserido. A usabilidade serve para: simplificar, rentabilizar, optimizar, facilitar, melhorar, acelerar. Mais usabilidade sinnima de maior flexibilidade e de maior interaco. Botes e informaes nos devidos locais; cores e diagramao intuitivas e adequadas; comportamento adequado ao pblico. Isto usabilidade em aco. Quando um produto usvel, nem se pensa no conceito de usabilidade. O problema est quando o produto no se adequa ao utilizador. Jakob Nielsen, o grande guru da usabilidade, refere sete grandes entraves usabilidade. A usabilidade um caminhar progressivo em direco ao utilizador e no o contrrio (user centered design - UCD). Isto porque ao contrrio de algumas ideias feitas, a internet no s para especialistas. Usualmente, adoptam-se dois mtodos largamente conhecidos e experimentados para avaliao da facilidade de uso de stios Web: avaliao heurstica e testes com utilizadores. De entre o leque vasto de ferramentas para realizar esta avaliao, estes dois mtodos provam ser os que melhor permitem alcanar os objectivos pretendidos.

1.2 Avaliao heurstica

Este mtodo de avaliao , no interior da comunidade relacionada com a usabilidade, algo controverso. Robert Bailey, da Human Factors International argumenta, contra a proposta de Jakob Nielsen, de esta ser uma forma barata de avaliar a usabilidade de stios Web, que muitos dos problemas identificados pelos avaliadores atravs do mtodo no so de todo problemas. um mtodo de avaliao de usabilidade em que um pequeno grupo de profissionais examina cada elemento de uma interface e os julgam segundo princpios bsicos de usabilidade, os princpios heursticos. Avaliadores peritos nos princpios da usabilidade avaliam o site e elaboram um relatrio visando estes princpios. um dos mtodos mais informais, mas ao mesmo tempo, tambm considerado como um dos principais relativamente ao equilbrio custo/benefcio.

Junho de 2007 Comparativamente com outras tcnicas, onde o avaliador deve interpretar as aces do utilizador, na avaliao heurstica no necessria a interpretao externa, porque as ideias, comentrios e informaes elaborada pelos avaliadores esta contida nos seus relatrios. No caso de um site totalmente elaborado, aconselhvel realizar a avaliao heurstica antes de test-lo com o utilizador. Um teste de utilizador prvio s serviria para detectar problemas de usabilidade que, numa avaliao heurstica teriam sido facilmente detectados pelos espertos a um custo muito mais reduzido. Devido a estes problemas, muitos utilizadores podem ficar bloqueados nas fases iniciais do processo a avaliar e muitos elementos importantes podero eventualmente no ser avaliados (s se os utilizadores forem instrudos sobre como ultrapassar as dificuldades, o que anularia a validade do teste). Identificar primeiramente os problemas mais graves de usabilidade na avaliao por critrios heursticos permite realizar posteriormente probas de utilizadores com melhores resultados. Um grupo de trs a cinco especialista avalia a interface individualmente, analisando cada elemento de acordo com os princpios heursticos. Os estudos de J. Nielsen mostram que um nmero de entre 3 e 5 avaliadores mais do que suficiente para a avaliao por critrios de um website. Este nmero pode ser acrescentado no caso da usabilidade ser determinante para o sucesso do website. Nielsen demonstra que um maior nmero de avaliadores proporciona uma pesquisa de erros mais eficiente, no entanto, a partir de um certo nmero de avaliadores, os erros encontrados passam a ser os mesmos, pelo que no necessrio considerar tantos. Cada especialista reporta suas descobertas em um relatrio estruturado. Em seguida os avaliadores discutem os problemas encontrados e geram um relatrio final, informando ao cliente as deficincias observadas, as heursticas violadas por cada problema e recomendaes de possveis solues. A Avaliao heurstica pode ser utilizada a qualquer momento durante o desenvolvimento de uma interface.

Junho de 2007

1.3 Testes de usabilidade baseados em inqurito

So testes de usabilidade que contemplam vrias dimenses parametrizadas a partir de um conjunto de questes que aferem as percepes do utilizador relativamente acessibilidade dos contedos.

1.4 Testes de usabilidade baseados na observao do utilizador

So testes de usabilidade que visam medir e quantificar a usabilidade do site. Eis algumas coisas que so passveis de medir num teste de usabilidade: 1. Tempo que leva a complementar uma tarefa; 2. Tempo que leva a completar a tarefa dois dias mais tarde; 3. Nmero de enganos por tarefa; 4. Nmero de enganos por minuto; 5. Nmero de utilizadores a cometer o mesmo erro. Existem diversas formas de avaliar a usabilidade. Os testes de usabilidade baseiam-se na observao do utilizador em interaco com a interface em causa. O responsvel pelo teste pode apenas observar (exposto ou no) como o utilizador usa o produto, solicitando que explique o que est a pensar em voz alta e registando seu comportamento. Pode tambm preparar um roteiro de aces para o utilizador executar. Mtodos h que, usando tecnologia e equipamento mais avanados, registam o movimento dos olhos do utilizador, procurando assim perceber se o uso do site feito de acordo com as expectativas.

1.5 Watchfire WebXACT

uma ferramenta Web para utilizadores com necessidades especiais, baseada na Web Content Accessibility Guidelines - W3C que avalia a conformidade da acessibilidade dos contedos do site com determinados parmetros, prope correces e verificaes manuais. Como tal, aumenta a acessibilidade para todos os utilizadores. So 14 as guidelines que parametrizam a acessibilidade do design do site. A saber: Guideline 1. Provide equivalent alternatives to auditory and visual content. Guideline 2. Don't rely on color alone. Guideline 3. Use markup and style sheets and do so properly.

Junho de 2007 Guideline 4. Clarify natural language usage Guideline 5. Create tables that transform gracefully. Guideline 6. Ensure that pages featuring new technologies transform gracefully. Guideline 7. Ensure user control of time-sensitive content changes. Guideline 8. Ensure direct accessibility of embedded user interfaces. Guideline 9. Design for device-independence. Guideline 10. Use interim solutions. Guideline 11. Use W3C technologies and guidelines. Guideline 12. Provide context and orientation information. Guideline 13. Provide clear navigation mechanisms. Guideline 14. Ensure that documents are clear and simple Cada conformidade tem um nvel de prioridade definido com base no seu impacto sobre a acessibilidade do design do site. Prioridade 1: O gestor de contedos tem de satisfazer essa conformidade, sob pena de impossibilitar o acesso informao no documento. Essa conformidade um requisito bsico para alguns grupos poderem utilizar esses documentos. Prioridade 2: O gestor de contedos deve satisfazer essa conformidade, sob pena de dificultar o acesso informao no documento. Essa conformidade elimina importantes barreiras no acesso aos documentos. Prioridade 3: O gestor de contedos pode satisfazer essa conformidade, sob pena de alguns grupos encontrarem dificuldades no acesso informao ao documento. Essa conformidade melhorar a acessibilidade dos documentos.

Junho de 2007

2. Metodologia
No presente estudo, iremos utilizar os seguintes mtodos: Avaliao heurstica, designando este, o processo de estimar o estado da usabilidade de um stio na Web, confrontando-o com regras bem conhecidas. Desse processo resulta uma classificao baseada no cumprimento dessas regras. Teste de utilizadores o o Teste de usabilidade baseado em inqurito. Teste de usabilidade baseado na observao do utilizador em interaco com a interface em causa.

Ferramenta Web W3C.

3. Avaliao da usabilidade do web-site

3.1 Heursticas: violaes axiomticas identificadas no site :
Visibilidade do status do sistema: No existe visualizao das pesquisas efectuadas, para que o utilizador saiba em que ponto do site se encontra. No existe barra de navegao. No existe agregao da informao vista e comparada.

Coerncia entre o sistema e o mundo real: A adeso mail list deveria ser mais elucidativa e no apenas uma caixa de texto, de forma a aumentar a taxa de adeso. Controle e liberdade ao utilizador: A grande maioria das pginas anterior/posterior. No permite a pesquisa por critrios diversificados nem a utilizao de vrios critrios em simultneo. no possui link para regresso pgina

Junho de 2007 Consistncia e padronizao: Inconsistncia no idioma adoptado. Nos detalhes dos hotis e ao longo de vrios minisites deste site, as informaes so fornecidas em portugus, outras em ingls e outras ainda, numa mistura dos dois. A ordenao dos hotis por preo no feita correctamente, pois ao clicar-se no link mais hotis obtemos alguns preos mal ordenados Redundncia de menus (so apresentado os mesmos menus 2 vezes numa mesma pgina). Preveno de erros: permitida a insero de nmeros em campos tais como o nome, sobrenome, nomes de cidades, etc. sem que o erro seja imediatamente detectado. O mesmo se verifica com a insero de endereos de e-mail inexistentes. Com este design de site os erros no so evitados, so detectados apenas aps submisso de dados. No existe deteco dinmica/em tempo real de erros, pela ausncia de feedback. Reconhecer melhor que relembrar: Nas pginas intermdias de navegao no existe barra de navegao.

Flexibilidade e eficincia de uso: A procura avanada difcil de executar, por possuir critrios ambguos de identificar, definir e conjugar. Produz resultados desordenados que no devolvem informao consoante os critrios que foram pedidos.

Esttica e design suficiente: Existe alguma informao importante cujos links tm pouco destaque, como por exemplo no campo perguntas. Na pgina principal, as fontes do menu da esquerda tm tamanho demasiado reduzido comparativamente a outros menus. Falta de sistematizao dos destaques dos sites, que aparecem com uma disposio aleatria.

Junho de 2007 Mensagens de erro precisas e construtivas; Quando se pretende o cancelamento da mailing list, ao inserir-se um e-mail inexistente, no detectado qualquer erro e como consequncia, no emitida nenhuma recomendao de correco. No possivel reconhecer, diagnosticar, prevenir e recuperar erros.

Ajuda e documentao: Nada a assinalar

3.2 Inqurito

N 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Nome do Grupo Design Process and Evaluation Optimizing the User Experience Accessibility Hardware and Software The Homepage Page Layout Navigation Scrolling and Paging Headings, Titles, and Labels Links Text Appearance Lists Screen-Based Controls (Widgets) Graphics, Images, and Multimedia Writing Web Content Content Organization Search Usability Testing Total

Max 39 57 37 15 30 47 35 16 27 46 39 30 73 54 39 34 29 38 680

Obtida 36 46 26 15 29 42 26 13 25 39 36 26 62 39 35 32 24 28 576

Diferena 3 11 11 0 1 5 9 3 2 7 3 4 11 15 4 2 4 10 103

A avaliao da usabilidade do site parametrizada atravs de 18 dimenses, em que cada uma delas agrega um conjunto de questes constantes do anexo 1.

Junho de 2007 A classificao atribuda pelo utilizador cifrada numa escala de 1 a 5, sendo esse resultado ponderado pela importncia relativa e grau de evidncia das questes, determinando a classificao final. O diferencial apresentado no quadro supra mencionado traduz o dfice de usabilidade face ao ideal. As dimenses 2, 3, 13, 14, 18 so aquelas que evidenciam uma usabilidade mais deficitria, traduzindo as limitaes de usabilidade elevadas a seguir: Format Information for Reading and Printing Develop Pages that Will Print Properly Provide Printing Options Provide Client-Side Image Maps Avoid Screen Flicker Use Check Boxes to Enable Multiple Selections Use Familiar Widgets Use a Minimum of Two Radio Buttons Using Photographs of People Apply Automatic Evaluation Methods Verificam-se assim lacunas ao nvel das interfaces de impresso nos vrios nveis hierrquicos das pginas interiores do hotels.com.

3.3 Observao do utilizador em interaco com a interface (Usability DataLogger)

Junho de 2007

Junho de 2007

A utilizao da ferramenta Usability DataLogger para anlise do site Hotels.com baseou-se na definio de tarefas a realizar e o respectivo tempo gasto para as completar no sentido de avaliar a usabilidade. Conclui-se que apesar de todas as tarefas terem sido concludas com 100% de sucesso, as tarefas de pesquisa avanada revelaram-se demasiado morosas. Isto traduz uma fraca findability, ou seja dificuldade em encontrar os contedos desejados. Identifica-se, igualmente, alguma falta de consistncia na ordenao dos resultados das pesquisas por critrios, o que contribuiu para a consumio de tempo na realizao das tarefas. A interface revela-se de utilizao pouco intuitiva na medida em que no utiliza um percurso de navegao sequencial, obrigando a recomeos sucessivos perante o fracasso das pesquisas.

3.4. Ferramenta Watchfire WebXACT

http://www.watchfire.com/

Junho de 2007 Foram identificados vrios tipos de erros com diferentes graus de severidade, a saber, Grave, Moderado, Insignificante que correspondem aos erros de Prioridade 1, 2 e 3, respectivamente.

Estes erros sinalizam uma fraca readability, uma vez que os contedos no esto acessveis para todos os utilizadores. A reparao destes erros obrigatria.

Junho de 2007

Junho de 2007

Da anlise desta ferramenta concluimos que o website hotels.com possui algumas lacunas no que adequabilidade s necessidades a utilizadores com necessidades especiais diz respeito. Possui 3 erros de prioridade 1, erros que de maior gravidade, que colocam em causa a visualizao e utilizao do site por parte destes utilizadores. So erros que envolvem o tratamento de imagem e o respectivo texto de acompanhamento bem como alguns titulos dessas imagens. A ferramenta proporciona ao programador a possibilidade de ver em que linha ocorre o erro em causa, permitindo uma rpida identificao e resoluo do problema. Possui ainda vrios avisos de prioridade 1 que, se no forem acautelados podem tambm comprometer a usabilidade do website por parte destes utilizadores. Fazemos referncia ainda a erros de prioridade 2 e 3 que podem e devem ser corrigidos no sentido de obter uma maior acessibilidade por parte dos utilizadores. So erros menos comprometedores mas podem dissuadir estes utilizadores de visistar estas webpages. Mais uma vez est em causa o contedo grfico e respectiva ligao aos elementos de texto.

Junho de 2007

Concluses
Na nossa abordagem tentamos, de uma forma global e cuidada, analisar a estrutura do site. Conclumos que este Website limitado quando encarado de uma forma holistica, visto possuir vrios erros de concepo como descrito nas anlises anteriormente efectuadas e das quais achamos importante mencionar: - No existe visualizao das pesquisas efectuadas, para que o utilizador saiba em que ponto do site se encontra. No existe barra de navegao; - A grande maioria das pginas no possui link para regresso pgina anterior/posterior; - No permite a pesquisa por critrios diversificados nem a utilizao de vrios critrios em simultneo; - Inconsistncia no idioma adoptado. Nos detalhes dos hotis e ao longo de vrios mini-sites deste site, as informaes so fornecidas em portugus, outras em ingls e outras ainda, numa mistura dos dois; - Nas pginas intermdias de navegao no existe barra de navegao; - A procura avanada difcil de executar, por possuir critrios ambguos de identificar, definir e conjugar; - Produz resultados desordenados que no devolvem informao consoante os critrios que foram pedidos; - Erros de utilizao de links em imagens, erros de ordenao de pesquisas, erros de associao de imagens a texto, pelo que recomendamos fortemente a reestruturao no que diz respeitam incoerncia do idioma usado e redundncia de menus (violaes da heurstica Consistncia e Padronizao) - Problemas de acessibilidade ao site para pessoas com limitaes; No entanto, e apesar destes erros sistmicos, o site acaba por ser de um ponto de vista comercial e de direccionamento para um tipo de segmento que utiliza a Internet para marcar hotis, usable. Ou seja, para um segmento de pessoas que possua conhecimentos bsicos informticos e com alguma cultura no que respeita a conhecimentos de ingls permite realizar, de uma forma aparentemente simples, a reserva de hotis em todo o mundo. Como elemento de conforto e comodidade, este site apresenta vantagens j que permitir a marcao de hotis em todo o mundo, assim como obter em tempo real, informao no que respeita a imagens, preos, localizaes, e outras caractersticas dos hotis pretendidos.

Junho de 2007 No global, e tendo em conta factores de qualidade e garantia de reserva e anlise de pesquisa, a site acaba por se apresentar aceitvel para a grande maioria de utilizadores deste tipo de servio.