Cidades Inteligentes e Aplicativos de Roteirizao:
Modelos Conceituais, Avaliaes de Usabilidade e Uma
Proposta de Aplicativo
Daniel Antnio Midena Aguillar1, Daniele Haucke1, Socrates Veridiano Faria Lopes1,
Plinio Thomaz Aquino Junior1,2
1
IPT - Instituto de Pesquisas Tecnolgicas do Estado de So Paulo, So Paulo, Brasil
2
Centro Universitrio FEI Fundao Educacional Inaciana Pe. Sabia de Medeiros,
So Bernardo do Campo, Brasil
danielaguillar@yahoo.com.br, danielehaucke@gmail.com, socrateslopes@acm.org,
plinio.aquino@fei.edu.br
ABSTRACT
The goal of this research is to evaluate Waze and Google
Maps user experience, compiling the suggested
improvements in a report. These apps were chosen because
of their global popularity levels. Traditional HCI theories
and methods were used to help retrieve information about the
apps in order to generate more knowledge for general
planning and evaluation activities. These apps were
evaluated using methods such as communicability
evaluation, heuristics evaluation and usability testing. These
methods were combined to enhance results and evaluations
quality levels. The evaluation team consists of one advisor
teacher and three post-graduation students. All evaluations
brought useful knowledge for the proposition of
improvements within the apps. Additionally, due to the
implementation impossibility of such improvements, it is
presented an app proposal that considers them.
Author Keywords
Usability; heuristics; mobile apps UX testing; HCI;
communicability evaluation.
ACM Classification Keywords
H.5.m. Information interfaces and presentation (e.g., HCI):
Miscellaneous;
INTRODUO
O dinamismo do trnsito nos grandes centros urbanos, alta
quantidade de veculos e baixa previsibilidade das condies
das vias motivam o cidado a buscar eficincia nos
deslocamentos realizados cotidianamente. Muitos fatores
influenciam a busca por essa eficincia: ganhar tempo
fugindo do trnsito, diminuir custo, aumentar segurana e
conforto, entre outros. Quando necessrio deslocamento por
meio de veculo prprio, transporte coletivo, taxi, bicicleta,
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise, or
republish, to post on servers or to redistribute to lists, requires prior specific
permission and/or a fee. IHC'16, Brazilian Symposium on Human Factors
in Computing Systems. October 4-7, 2016, So Paulo, SP,
Brazil. Copyright 2016 SBC. ISBN XXX-XX- XXXX-XXX- X (online).
motocicleta ou mesmo a p, faz-se necessria a identificao
de melhores rotas em trajetos do cotidiano, principalmente
em deslocamentos at locais no explorados anteriormente.
Neste ltimo caso, so necessrias buscas por melhores
trajetos e auxilio contnuo durante a viagem. Com a
popularizao dos smartphones e maior acesso a redes
mveis, os cidados recorrem a diversos aplicativos
disponibilizados no mercado para atender tais necessidades,
e.g. Waze, Google Maps, TomTom, Garmin, GPS Navigator,
HERE, Sygic, CoPilot GPS, Navmii GPS Brasil, entre
outros. Verifica-se que estes aplicativos so usados em
diversos cenrios, com mltiplos motivadores, e atendem
diferentes perfis de usurios.
O objetivo deste trabalho avaliar a experincia de uso dos
aplicativos Waze e Google Maps, compilando melhorias
sugeridas em um relatrio. A popularidade, alcance global,
disponibilidade nas duas plataformas mais populares (iOS e
Android) alm de sua gratuidade motivaram sua escolha.
Teorias e mtodos tradicionais de IHC foram utilizados no
levantamento de informaes sobre os aplicativos de modo a
gerar mais conhecimento para o planejamento e execuo
das avaliaes. A experincia de uso dos aplicativos foi
avaliada utilizando-se uma combinao de mtodos de
avaliao atravs de inspeo e de observao. Tais mtodos
foram combinados para aumentar a qualidade do resultado
das avaliaes. A equipe de avaliadores formada por um
professor orientador e trs alunos de ps-graduao.
As avaliaes geraram entendimentos para a proposio de
melhorias nos aplicativos, constatando-se que os aplicativos
avaliados possuem baixo nvel de acessibilidade. Segundo
Barbosa e Silva [6], a acessibilidade tambm considerada
um critrio da qualidade de uso, que atribui igual importncia
s pessoas com e sem limitaes nas capacidades de
movimento, percepo, cognio e de aprendizado, e por este
motivo, a acessibilidade foi observada neste trabalho. No
entanto, devido aos aplicativos avaliados serem aplicaes
comerciais com respectivos direitos autorais, a aplicao de
melhorias de usabilidade e acessibilidade constatadas no
estudo para este trabalho foram incorporados na
apresentao de uma proposta de aplicativo de mobilidade
voltado a usurios deficientes visuais. Desta forma, os
usurios com este perfil poderiam compartilhar a experincia
de uso de um aplicativo que tambm poderia atender a
usurios sem tal deficincia, garantindo assim um tratamento
sem distino entre ambos os perfis.
PROCESSO DE AVALIAO
O processo de avaliao apresentado neste relatrio
utilizando-se os trs mtodos de avaliao escolhidos,
descrevendo-se o planejamento das avaliaes e, por fim,
relatando-se o processo de avaliao e seus resultados.
O planejamento do projeto das avaliaes auxilia em sua
produtividade e controle, considerando uma viso geral do
processo aplicado, especialistas de usabilidade e pblico
alvo. A etapa de planejamento se baseia no framework
DECIDE [3] os tpicos descritos a seguir baseiam-se em
sua estrutura (o planejamento completo do projeto, assim
como mais detalhes pode ser acessado em
www.fei.edu.br/~plinio.aquino/competicaoIHC2016/).
Descrio de Objetivos
Esta seo refere-se determinao de objetivos que guiaro principalmente, na obteno, interpretao, processamento e
planejamento, execuo e apresentao dos resultados desta
pesquisa, conforme framework DECIDE [3].
Avaliar a experincia subjetiva do usurio no uso de
aplicativos de apoio mobilidade urbana, utilizando os
aplicativos Waze e Google Maps;
Realizar avaliaes e testes de usabilidade utilizando-se
mtodos de inspeo e observao em conjunto,
utilizando os mtodos descritos a seguir, em
conformidade com escopo estabelecido na Tabela 1:
1. Avaliao heurstica (inspeo) de avaliao. Dada a natureza distinta e complementar dos
2. Avaliao de comunicabilidade (observao)
3. Teste de usabilidade (observao)
App iOS Android
Waze 1 e 2 (a) 1 e 3 (c)
Google Maps 1 e 2 (b) X caractersticas das rotas contribuem para aumentar a
Tabela 1 Matriz com escopo de avaliaes e anlises
Analisar o comportamento de um mesmo aplicativo em
diferentes plataformas Tabela 1 (a) e (c);
Analisar diferenas entre aplicativos na mesma
plataforma Tabela 1 (a) e (b);
Analisar e comparar resultados.
Optou-se por no avaliar o aplicativo Google Maps na
plataforma Android com o objetivo de diminuir o custo do
processo de avaliao e levando-se em considerao que o
aplicativo possui mltiplos objetivos, rotas a p, transporte
pblico etc., enquanto que o Waze apenas apresenta rotas
para automveis.
Perguntas a Serem Respondidas
Nesta seo exploram-se as perguntas a serem respondidas
com as avaliaes realizadas, tais perguntas tm como
objetivo guiar a operacionalizao da investigao e o
julgamento de valor a ser realizados DECIDE [3].
Quais problemas de usabilidade so apresentados por
cada um dos aplicativos?
H signos que geram confuso nos aplicativos?
Quais rupturas de comunicao so mais frequentes?
De que maneira os usurios usam o aplicativo?
Os usurios sentem-se confortveis e confiantes ao
utilizar a interface?
Os usurios abandonam a interface quando no
conseguem realizar alguma tarefa?
Os usurios cometem erros? Com qual frequncia? Eles
conseguem se recuperar?
Os usurios sentem-se inseguros, com medo de
"estragar" algo nos aplicativos?
Existem problemas de IHC que impedem ou dificultam
os usurios alcanarem seus objetivos? Com que
frequncia ocorrem? Qual a gravidade deles?
Os usurios conseguem se lembrar facilmente dos
comandos utilizados?
JUSTIFICATIVA DA ESCOLHA DOS MTODOS
Em sistemas interativos os problemas costumam ocorrer,
compartilhamento de dados entre os stakeholders, mas
tambm se revelam na fase de implementao[6], onde, por
exemplo, um programador insere comportamentos no
projetado no sistema. Selecionou-se para a avaliao trs
mtodos: avaliao heurstica, avaliao de
comunicabilidade com o uso de etiquetas de comunicao
e teste de usabilidade.
Estes mtodos foram escolhidos considerando-se: objetivo
da avaliao, experincia dos avaliadores e questes prticas
mtodos citados, acredita-se que avaliaes por inspeo e
observao unidas gerem um resultado mais rico, sob
diferentes perspectivas: viso do especialista e do usurio
com acompanhamento de especialistas.
As avaliaes em contexto foram realizadas em diferentes
roteiros pois os avaliadores consideram que as diferentes
quantidade de possveis problemas enfrentados pelos
usurios.
Conforme demonstrado na Tabela 1, decidiu-se no avaliar
o aplicativo Google Maps na plataforma Android, uma vez
que as outras avaliaes e dimenses desejadas para anlise
j atendem aos objetivos e critrios estabelecidos para esta
pesquisa, outrossim, a deciso foi tomada de modo a auxiliar
na reduo de custos das avaliaes.
A Tabela 2 apresenta as plataformas consideradas nos testes.
Marca Modelo S.O. Firmware
iPhone 6S
Apple iOS 9.3.2 1.60.00
(MKRG2LL/A)
ZenFone 2 Laser Android
Asus 1.17.40.1531
(ZE550KL) 5.0.2
Tabela 2 Descrio de plataformas utilizadas
Considerar duas plataformas representativas no mercado
importante, pois podem existir falhas e inconsistncias
diferentes em diferentes plataformas.
A Tabela 3, por sua vez, apresenta os aplicativos utilizados
para os testes e anlises com suas respectivas verses. Por
haver a possibilidade dos aplicativos ou plataformas
sofrerem atualizaes que podem melhorar ou piorar sua
usabilidade e acessibilidade, documentou-se as verses dos
aplicativos e plataformas usados. Deste modo, garante-se
tambm a reprodutibilidade de testes e anlises feitos.
Nome Desenvolvedor Verso/Release S.O.
Waze Google 4.6.0.0 iOS
Google
Google 4.18.81882 iOS
Maps
Waze Google 4.2.0.1 Android
Tabela 3 Lista de aplicativos utilizados nas avaliaes
DESCRIO DOS MTODOS ESCOLHIDOS
Nesta seo apresenta-se uma breve descrio dos trs
mtodos de avaliao escolhidos, que ajudaro a responder
as perguntas e objetivos j citados, considerando o grau de
conhecimento, prazo, oramento, entre outros recursos
disponveis para esta pesquisa DECIDE [3].
Avaliao por heursticas de Nielsen
A base deste mtodo um conjunto de diretrizes de
usabilidade (heursticas), descrevendo as caractersticas
desejadas da interface e da interao. Neste trabalho, levou-
se em considerao as 10 heursticas propostas por Nielsen
[2] para a conduo da avaliao.
Avaliao de comunicabilidade
Este mtodo avalia a recepo da mensagem pelos usurios
do sistema, atravs de situaes e problemas reais durante a
realizao de atividades. O foco de avaliao baseia-se na
interpretao dos usurios, rupturas de comunicao e
intenes de comunicao dos usurios.
Teste de usabilidade
Assim como a avaliao de comunicabilidade, o teste de
usabilidade um mtodo de observao. Este mtodo
consiste na avaliao de um sistema interativo analisando sua
utilizao por usurios identificados como integrantes do
pblico alvo, levando em considerao metas de usabilidade.
AVALIAO POR HEURSTICAS DE NIELSEN
O esquema para documentao das violaes encontradas
utilizando o mtodo de heursticas, fornecido na Tabela 4,
leva em considerao a natureza do problema, perspectiva da
tarefa e perspectiva do usurio [7]. Para a natureza do
problema existem trs categorias: rudo (o usurio tem uma
diminuio do seu desempenho em uma tarefa devido a um
problema), obstculo (usurio encontra dificuldade em
realizar a tarefa algumas vezes devido a um problema, mas
acaba aprendendo a super-lo), barreira (o problema impede
o usurio de realizar a tarefa). Quanto perspectiva da tarefa,
um problema secundrio atrapalha o usurio a realizar tarefas
de menor importncia e frequncia, enquanto que um
problema primrio impacta diretamente na realizao de
tarefas importantes. Da perspectiva do usurio, problema
especial atrapalha usurios com necessidades especiais,
problema preliminar atrapalha usurios iniciantes ou
infrequentes e problema geral atrapalha todos os tipos de
usurios.
Para a plataforma iOS a avaliao foi realizada apenas em
laboratrio e para a plataforma Android, adicionalmente, em
contexto. Uma rota partindo da R. Professor Sylvio
Marcondes Machado, localizado na Zona Norte da cidade de
So Paulo, e a R. Jos Francisco de Freitas, na Zona Sul da
mesma cidade, foi percorrida passando por ruas pouco
movimentadas e de baixa velocidade, por avenidas e por vias
expressas (como as Marginais Tiet e Pinheiros). A escolha
desta rota foi para evidenciar comportamentos de interface
que possam estar relacionados ao trnsito e velocidade
mdia/mxima das vias transitadas.
As violaes foram documentadas utilizando-se o esquema
apresentado na Tabela 4. As violaes encontradas e suas
classificaes so apresentadas neste artigo de modo
resumido:
<nome da heurstica>
Verificao: Grau de Severidade:
( ) 0 - Sem importncia
<perguntas objetivas para ( ) 1 - Cosmtico
verificao da heurstica> ( ) 2 - Simples
( ) 3 - Grave
( ) 4 - Catastrfico
Natureza do problema:
( ) Rudo ( ) Obstculo ( ) Barreira
Perspectiva da tarefa:
( ) Problema Secundrio ( ) Problema Principal
Perspectiva do usurio:
( )Problema Especial
( )Problema Preliminar ( ) Problema Geral
Descrio do Problema:
<descrio sucinta do problema encontrado>
Contexto:
<contexto em que o problema foi encontrado>
Efeito sobre o usurio:
<efeito sobre o usurio causado pelo problema>
Efeito sobre a tarefa:
<efeito sobre a tarefa causado pelo problema>
Recomendao:
<proposta de re-design para mitigar ou corrigir o
problema>
Tabela 4 - Esquema para avaliao por heursticas de Nielsen
AVALIAO DE COMUNICABILIDADE
O modelo de processo de avaliao de comunicabilidade
[1][4][5] a ser seguido baseou-se no diagrama da Figura 1.
O diagrama apresentado utiliza a Business Process Modeling
Notation (BPMn) [14], e foi modelado como ferramenta de
suporte ao entendimento do mtodo e suas etapas. O mtodo
 Figura 1 Processo de avaliao de comunicabilidade descrito em notao BPMn Business Process Modeling Notation[14]
Fonte: Desenvolvido pelos autores

prev que o especialista avalie os vdeos dos testes e atribua
etiquetas nas rupturas de comunicao. Neste projeto, a
equipe prope que o usurio participante do teste seja
treinado nas etiquetas, de tal forma, que este tente manifestar
as rupturas com as etiquetas correspondentes. No final do
teste o usurio participa da sesso de reviso do vdeo
ajudando o especialista na correta atribuio das etiquetas.
As etiquetas da Figura 2 foram utilizadas para identificar e
documentar as rupturas de comunicao durante o uso dos
aplicativos.
CAD? ASSIM NO D. Fernantes, 415, Jd. So Bento, So Paulo, SP), passar pelo
E AGORA? VAI DE OUTRO JEITO.
O QUE ISTO? NO, OBRIGADO!
EPA! PRA MIM EST BOM.
ONDE ESTOU? SOCORRO!
U, O QUE HOUVE? DESISTO
POR QUE NO FUNCIONA?
Figura 2 Etiquetas utilizadas na Avaliao de
Comunicabilidade
As avaliaes seguiram trs macro etapas: aplicao de
questionrio pr-teste, avaliao em contexto de uso, e
aplicao de questionrio ps-teste. As macro etapas foram
executadas considerando critrios ticos na recepo e
envolvimento dos usurios nos testes (descrito em detalhes
posteriormente neste artigo).
A seguir so descritos resumo de protocolo, roteiros de
avaliao e solicitaes realizadas durante o procedimento:
Protocolo: Antes do incio, os participantes foram
informados sobre os procedimentos, assinaram o termo de
consentimento livre e esclarecido, e preencheram o
questionrio pr-teste. O questionrio pr-teste busca
identificar o perfil dos participantes e sua familiaridade com
tecnologia e o sistema sob avaliao. Na sequncia, os
roteiros foram executados pelos usurios mediante
observao dos especialistas.
Roteiro A - Sair do ponto de Partida (Rua Tibes, 502, Jd.
So Bento, So Paulo, SP) e chegar ao ponto de destino (Rua
Maestro Anto Fernantes, 415, Jd. So Bento, So Paulo, SP)
Trajeto: 1,5km Tempo Estimado: 3-5 minutos
Roteiro B - Sair do ponto de Partida (Rua Maestro Anto
ponto intermedirio (Rua Padre ngelo Siqueira, 160, Jd.
So Bento, So Paulo, SP) e chegar ao ponto de destino (Rua
Tibes, 502, Jd. So Bento, So Paulo, SP)
Trajeto: 1,1km Tempo Estimado: 3-4 minutos
Roteiro C - Sair do ponto de Partida (Rua Tibes, 502, Jd.
So Bento, So Paulo, SP), passar pelo ponto intermedirio
(Rua Frei Mauro Teixeira, 222, Jd. So Bento, So Paulo,
SP), passar por outro ponto intermedirio (Rua Padre ngelo
Siqueira, 160, Jd. So Bento, So Paulo, SP) e chegar ao
ponto de destino (Rua Maestro Anto Fernantes, 415, Jd. So
Bento, So Paulo, SP)
Trajeto: 2,2km Tempo Estimado: 5-7 minutos
Solicitaes: Durante o teste, o avaliador instruiu os usurios
a fazerem ao menos dois desvios da rota calculada e
realizarem o aviso de trnsito no aplicativo.
Finalizadas as avaliaes, aplicou-se o questionrio ps-teste
para levantamento de informaes sobre a experincia
subjetiva do usurio durante o uso dos aplicativos e
realizao dos roteiros de teste/avaliao.
TESTE DE USABILIDADE
Para o teste de usabilidade, trs metas de usabilidade [2]
foram consideradas:
Segurana no uso (safety) os usurios utilizam os
sistemas avaliados, geralmente, enquanto dirigem e
problemas de interao e na interface podem colocar a
vida desses usurios em risco.
Facilidade de memorizao o contexto de uso exige
uma alta carga cognitiva (ateno ao trnsito, pedestres,
leis de trnsito etc.), portanto o uso do sistema deve ser
intuitivo, sem necessidade de o usurio ter que aprender
a cada uso como realizar a mesma tarefa. Uma vez
aprendida, este dever ser capaz de se lembrar com
facilidade, realizando o mnimo esforo cognitivo.
Satisfao do usurio os usurios no devem sentir carga acima de 95% no incio de cada teste; Avaliador deve
impactos negativos em suas emoes e sentimentos em
decorrncia da utilizao dos sistemas avaliados.
Os testes de usabilidade tambm foram realizados em trs
etapas, assim como na avaliao de comunicabilidade, sendo
estas: aplicao de questionrio pr-teste, teste em contexto
de uso e aplicao de questionrio ps-teste.
Protocolo: Antes do incio, os participantes foram
informados sobre como ocorreria o teste e assinaram o termo
de consentimento livre e esclarecido, preencheram o
questionrio pr-teste e executaram os roteiros de teste.
Roteiro A Sair do ponto de partida (Rua Augusto Perroni,
249, So Paulo, SP) e chegar ao ponto de destino (Rua
Pirajussara, 530, So Paulo, SP).
Trajeto: 2km Tempo Estimado: 4-6 minutos.
Roteiro B Sair do ponto de partida (Rua Pirajussara, 530,
So Paulo, SP) e chegar ao ponto de destino no
Estacionamento do Shopping Villa Lobos (Avenida das
Naes Unidas, 4777, So Paulo, SP).
Trajeto: 4km Tempo Estimado: 8-12 minutos.
Roteiro C Sair do ponto de partida (Rua Augusto Perroni,
249, So Paulo, SP), passar por outro ponto intermedirio
(Rua Pirajussara, 530, So Paulo, SP) e chegar ao ponto de
destino no Estacionamento do Shopping Villa Lobos
(Avenida das Naes Unidas, 4777, So Paulo, SP).
Trajeto: 6km Tempo Estimado: 9-15 minutos.
Solicitaes: Durante o teste, o avaliador instruiu que os
usurios fizessem rotas alternativas para evitar trnsito,
declarando em voz alta pensamentos e tomadas de decises.
Aps finalizao dos testes, como feito na avaliao de
comunicabilidade, foi aplicado um questionrio ps-teste
para levantamento de informaes sobre a experincia
subjetiva do usurio durante o uso dos aplicativos.
IDENTIFICAO DE QUESTES PRTICAS DAS
AVALIAES / AMBIENTE DE TESTE
Seguindo o framework DECIDE [3], identificou-se as
questes prticas referentes ao processo de avaliao e
detalhes sobre os ambientes de teste:
Quantos usurios participaro das avaliaes e testes?
Entre dois e cinco usurios com perfil intermedirio
(excluindo iniciantes e especialistas), podendo um deles ser
um dos avaliadores desde que no seja especialista no uso
dos aplicativos testados.
Qual a preparao e equipamentos necessrios?
Possuir voluntrios para os testes; Ter os documentos de
consentimento, diretrizes do teste, questionrios pr e ps
teste prontos para resposta; O avaliador no deve dialogar
com o usurio apenas o observar; Usurio deve possuir
habilitao e ter experincia para dirigir um veculo; Possuir
carro com combustvel; Possuir bateria do smartphone com
possuir material para anotao dos resultados do
experimento.
Qual o prazo?
Para realizao do experimento por cada voluntrio: mximo
30 minutos
Organizao:
10 min. Questionrio pr-teste e termo consentimento
15 min. Realizao do experimento
5 min. Questionrio ps-teste
Qual oramento disponvel?
R$0,00 sem oramento disponvel custos bancados pelo
avaliador
Qual a mo-de-obra necessria para conduzir uma
avaliao/um teste?
Mnimo de duas pessoas Avaliador e Usurio
DECISES SOBRE QUESTES TICAS
Como os experimentos envolveram seres humanos com
observao e documentao das suas aes, os
procedimentos foram realizados guardando estreita relao
com a tica DECIDE [3], por meio da permisso prvia dos
participantes, com assinatura do Termo de Consentimento
Livre e Esclarecido (TCLE), seguindo os preceitos da norma
196/96 do Conselho Nacional de Sade (CNS). Os seguintes
tpicos foram considerados:
Aplicao do TCLE - os participantes somente poderiam
participar do teste aps leitura e assinatura do TCLE;
Os dados coletados dos usurios no sero identificados;
Os usurios sero filmados para a extrao de
informaes para a avaliao mas seus dados e vdeos
sero mantidos em sigilo, no sendo publicados ou
identificados. O material ser descartado ao trmino da
extrao de informaes relevantes;
Os usurios no sero colocados em cenrios de presso
ou risco no trnsito;
Para os testes - durante a etapa prtica, ser usada via
local em bairro residencial, com baixo nvel de
movimento. Se necessrio, sero utilizados dias de
semana menos movimentados, como sbado e domingo;
 Os usurios podero desistir e parar a qualquer avaliaes em cada caso, de modo resumido, dadas as
momento, declarando se desejam que seus dados sejam restries de espao para este relatrio. Para avaliar as
totalmente descartados; violaes em termos de gravidade, aplicou-se a seguinte
Ser fornecido pronto atendimento mdico, ou suporte escala: (0) Sem importncia; (1) Cosmtico; (2) Simples; (3)
da equipe para encaminhamentos, se necessrio; Grave; (4) Catastrfico.
Os usurios devem possuir convnio mdico; No universo das violaes apresentadas na Tabela 5,
Os avaliadores no podero obrigar os participantes a considerando a avaliao na plataforma iOS, observou-se
realizar nenhuma tarefa; que no Waze, 39% das violaes foram classificadas como
Participantes que no possuam habilitao do tipo B no Simples, 46% como Graves e 14% como Cosmticas. As
podero participar do teste, mesmo que saibam dirigir; Figuras 3, 4 e 5 ilustram algumas violaes classificadas
O resultado de qualquer teste poder ser descartado sem como grve durante a avaliao heurstica.
o consentimento dos participantes;
Os participantes do teste no interagiro entre si;
O avaliador no poder ser responsabilizado por
condutas inadequadas dos participantes, mesmo quando
sob a alegao de que tal conduta somente se revelou
devido realizao do teste.
Todos os tpicos planejados quanto s questes ticas foram
comunicados aos participantes do teste antes do incio das
atividades.
DADOS COLETADOS E RESULTADOS
As avaliaes foram conduzidas sem a interao do
avaliador, que idealmente apenas deveriam observar o uso. Figura 3 - Violao grave da heurstica Compatibilidade com
A experincia foi filmada e seus resultados foram analisados o mundo real no Aplicativo Waze para iOS
a partir da extrao dos dados e informaes dos
experimentos. Todas as avaliaes e testes foram realizados J no aplicativo Google Maps, na plataforma iOS, foi
com sucesso. As prximas sees apresentaro os dados possvel observar uma distribuio diferente, sendo as
coletados e resultados observados. violaes, em 93% dos casos violaes Graves e apenas 7%
Simples.
Avaliao por heursticas de Nielsen
A avaliao por heursticas foi realizada por dois
especialistas, em sistemas operacionais distintos e
fisicamente separados. Acreditou-se que ao realizar a
avaliao deste modo, seria possvel detectar mais violaes,
que poderiam ser identificadas por um e no identificadas
por outro, nas plataformas mais utilizadas de smartphones:
iOS e Android.
Um especialista trabalhou com as aplicaes Waze e Google
Maps no sistema operacional iOS da Apple e o outro com o Figura 4 - Exemplo de violao grave da heurstica Controle
do usurio e liberdade no aplicativo Google Maps para iOS
aplicativo Waze no sistema operacional Android do Google.
Ambos possuem familiaridade com o mtodo de avaliao,
sistemas computacionais e facilidade para uso e manuseio
dos smartphones e conhecimentos prvios sobre aplicativos
avaliados.
As avaliaes foram feitas com base no seguinte
planejamento: preparao, onde foram selecionadas partes
da interface a serem avaliadas. No iOS avaliou-se as
aplicaes de modo integral. J no Android, selecionou-se
apenas telas relacionadas ao objetivo de clculo de rota.
Realizou-se, portanto, a coleta de dados pela inspeo das
interfaces na busca de violaes das heursticas, interpretou-
se os dados obtidos e estes foram consolidados como
resultados obtidos por meio de listagem das heursticas
violadas, indicando para cada violao o local, gravidade,
justificativa e recomendaes de soluo. Os resultados
foram relatados utilizando-se o esquema previamente
Figura 5 Violaes graves da heurstica Reconhecimento ao
fornecido. A seguir sero descritos os resultados das invs de lembrana no aplicativo Waze para Android
Por sua vez, na Tabela 6 apresentam-se os resultados da
avaliao heurstica considerando apenas as funcionalidades
e etapas diretamente envolvidas no clculo de rota do
aplicativo Waze na plataforma Android, conforme plano de
testes descrito anteriormente.
Google
Heursticas/ Telas com violaes Waze
Maps
1.Visibilidade do status do Sistema 3 0
2.Compatibilidade do Sistema com 10 17
o mundo real
3.Controle do usurio e liberdade 4 3
4.Consistncia e padres 8 23
5.Preveno de erros 0 0
6.Reconhecimento ao invs de 3 0
lembrana
7.Flexibilidade e eficincia de uso 0 0
8.Esttica e design minimalista 0 0
9. Auxiliar os usurios a reconhecer, 0 0
diagnosticar e corrigir erros
10.Ajuda e documentao 0 0
Total de telas com violaes 28 43
Tabela 5 - Resultado da Avaliao Heurstica no iOS
Decidiu-se reduzir o escopo desta avaliao para filtrar
apenas as violaes encontradas no objetivo central do
aplicativo: o clculo de rotas. Neste universo de violaes
apresentadas, observou-se que 62,5% das violaes foram
classificadas como Simples e 37,5% como Graves.
Heursticas/ Telas com violaes Waze
1.Visibilidade do status do Sistema 0
2.Compatibilidade do Sistema com o mundo real 2
3.Controle do usurio e liberdade 1
4.Consistncia e padres 1
5.Preveno de erros 0
6.Reconhecimento ao invs de lembrana 1
7.Flexibilidade e eficincia de uso 1
8.Esttica e design minimalista 1
9. Auxiliar os usurios a reconhecer, diagnosticar 1
e corrigir erros
10.Ajuda e documentao 0 Aplicativo: Waze
Total de telas com violaes
Tabela 6 - Resultado da Avaliao Heurstica no Android
Comparativamente, ao filtrar-se as avaliaes realizadas em
iOS com base no escopo das avaliaes feitas em Android,
verificou-se que o nmero de violaes se manteve idntico.
Houve pouca variao (ordem de 5%) apenas em sua
distribuio e classificao, como poderia se esperar, pois
esse tipo de avaliao possui envolvimento de especialistas
com perfis que podem variar, alm de envolver a
subjetividade de interpretao de cada pessoa. Em suma,
mesmo reduzindo o escopo de avaliao heurstica, ainda
assim foi possvel observar que as violaes encontradas so
principalmente de natureza grave e simples.
A partir da observao dos resultados obtidos das avaliaes,
considera-se que houve elevado nmero de violaes
encontradas consideradas como graves, evidenciando
problemas de usabilidade que no podem ser ignorados e que
exigem ajustes imediatos para evitar rupturas de
comunicao frequentes, dado que h muitos problemas de
usabilidade nas telas mais usadas dos aplicativos - e.g. a tela
de incio, busca de rotas, tela para estimar tempo de chegada
em diferentes horrios, menus de ajuda e configurao, entre
outros. Os resultados completos do teste sero fornecidos no
link do projeto declarado no final do relatrio.
Avaliao de comunicabilidade
Como resultado da avaliao de comunicabilidade, sero
apresentadas, de modo consolidado, as informaes obtidas
no questionrios pr-teste/ps-teste, alm das informaes
coletadas durante a execuo da avaliao.
Questionrios pr-teste
Analisando o perfil dos 10 participantes da avaliao, pode-
se dizer que possuem em mdia entre 20 e 30 anos, ensino
superior incompleto, no trabalham formalmente na rea de
TI, avaliam ter bom conhecimento em computao, j
usaram smartphones, no possuindo dificuldades em seu
uso. Tambm relataram terem usado, com uma frequncia de
uso mdia, aplicativos de clculo de rotas como Google
Maps e Waze. Suas maiores reclamaes sobre os aplicativos
giram em torno de falta de agilidade para uso, rotas erradas
ou demoradas, pouca praticidade da interface, falta de
suporte off-line simplificado e muita publicidade (esta, mais
especificamente no Waze, que atrapalha seu uso). O objetivo
geral dos participantes ao usar estes aplicativos, segundo
seus relatos, a busca por melhores trajetos para fugirem do
trnsito.
Resultados da avaliao de comunicabilidade
A seguir sero descritos de modo resumido, dadas as
restries de espao, os resultados observados durante as
avaliaes com os trs participantes mais relevantes quanto
a contribuio de feedback, separando os comentrios por
aplicativo.
Participante 1
Problemas encontrados: 26
8 Etiquetas mais usadas: Cad?, Onde estou? e
Desisto
Aplicativo: Google Maps Problemas encontrados: 12
Etiquetas mais usadas: U, o que houve? e Para mim
est bom
Participante 2
Aplicativo: Waze Problemas encontrados: 20
Etiquetas mais usadas: Cad? e O que isto?
Aplicativo: Google Maps Problemas encontrados: 14
Etiquetas mais usadas: U, o que houve? e Assim no
d
Participante 3
Aplicativo: Waze Problemas encontrados: 16
Etiquetas mais usadas: Cad?, U, o que houve? e
No, obrigado.
Aplicativo: Google Maps Problemas encontrados: 7
Etiquetas mais usadas: U, o que houve? e Por que no
funciona?

Com esses resultados pode-se verificar que comum a

utilizao de etiquetas como U, o que houve?, alm do
alto nmero de problemas encontrados por cada usurio
durante a execuo dos cenrios. Ser documentado a seguir
os problemas mais crticos encontrados no Waze:
Aplicativo forneceu rota, mas notificaes sobre
entradas direita/esquerda ocorreram muito prximo Figura 6 - Etiquetas usadas - Cad? O que isto?
da manobra, fazendo o motorista perder a entrada;
Rota encontrada, mas ao iniciar a navegao o A Figura 7 e a Figura 8 ilustram ocorrncias no sistema
aplicativo parou de exibi-la (rota sumiu); operacional iOS que causaram grandes dificuldades aos
Carregamento de rota diferente da solicitada pelo usurios.
usurio;
Localizao incorreta no mapa;
Fornecimento de rota com mais trnsito;
Falta de reclculo de rota ao sair da rota traada.
Durante as avaliaes, todas as etiquetas foram usadas no
aplicativo. A seguir, sero fornecidos alguns exemplos de
telas onde as etiquetas foram identificadas, sendo estas
utilizadas durante o uso do aplicativo em alguma ocorrncia
dinmica ou mudana de estado da aplicao. Procurou-se
fornecer a seguir situaes estticas, onde ocorreu o uso das
etiquetas e sua documentao foi possvel.
Na tela abaixo (Figura 6), os usurios relataram dificuldade
em encontrar o local para adio de rotas e onde inserir os
pontos intermedirios de parada. Os signos utilizados no
fornecem o entendimento necessrio para que o usurio
realize as aes esperadas, como busca de rota, por exemplo.
Na tela da Figura 6, no fica claro onde se pode buscar o
endereo ou at inserir um ponto intermedirio de parada na Figura 7 - Etiqueta usada Figura 8 - Etiquetas usadas
rota calculada. Os pontos marcados em vermelho so os Epa! U, o que houve? Onde
pontos cujos signos dificultam os usurios a atingirem seus estou?
objetivos. Em outros casos, verificou-se a existncia de vias sem nome
Telas com repentinas mensagens de erro contendo descries ou com nome diferente do que constava na placa da rua, o
incoerentes, sem sentido ou com pouco contedo explicativo que pode gerar desconfiana nos usurios do aplicativo
so recorrentes na aplicao Waze. (Figura 9).
Em casos como este, os usurios avaliados utilizaram Em casos similares, foram usadas etiquetas como Assim
etiquetas como Epa!, Onde estou? e U, o que houve?. no d e Onde estou?, conforme ilustrado na Figura 10.
Telas sem ttulos e descries tambm so recorrentes, pois Verificou-se que os problemas crticos mais encontrados no
durante as avaliaes heursticas encontrou-se diversas telas Google Maps foram:
com estes problemas (e.g. Figura 8). Aplicativo deu aviso sonoro para virar esquerda, mas
Na avaliao de comunicabilidade, os usurios em geral o mapa mostrava a rota para a direita;
sentiam-se perdidos no uso da aplicao Waze, fazendo uso No avisou usurio da chegada e recalculou a rota;
das etiquetas Onde estou?, Socorro! e U, o que Falta de reclculo de rota ao sair da rota original;
houve?, por no saberem o que fazer nem como agir. Em Ao chegar na primeira parada o aplicativo no
alguns casos, pensaram que eles mesmos tinham gerado continuou a rota, apagando tudo;
algum problema na aplicao. No possvel adicionar mais de 1 ponto de parada,
embora parea que possvel.
Durante as avaliaes utilizando o Google Maps, todas as
etiquetas tambm foram utilizadas e alguns exemplos
documentados neste relatrio.
Figura 9 - Etiquetas usadas Figura 10 - Etiquetas usadas
Onde estou? Assim no Onde estou? Cad?
d!
Na Figura 11, verifica-se que foi utilizada a etiqueta Cad?,
pois os usurios ficaram confusos na busca por algum
elemento de interface para inserir a rota. Neste ponto, os
usurios declaram que desejaram inserir a rota, porm, no
reconheceram o signo (elemento grfico), que deveria
comunicar-se como elemento para entrada da rota.
Figura 11 - Etiqueta usada Cad?
No local onde a pessoa deveria pesquisar o endereo,
exibido pela aplicao a mensagem: Pesquise restaurantes,
cafs, o que induziu os usurios ao erro considerando como
o objetivo inicial consultar e calcular uma rota para algum
endereo especfico.
A utilizao de signos com significados incompatveis com
a funcionalidade que executam recorrente na aplicao.
Houve mistura de idiomas em diversas telas. O aplicativo foi
configurado em Portugus Brasileiro. Este foi um problema
recorrente e comum no Google Maps, identificado tanto
durante as avaliaes de comunicabilidade como durante as
avaliaes por heursticas.
Questionrios ps-teste
Percebeu-se ao se analisar as respostas dos questionrios,
que os participantes gostariam de usar os aplicativos Waze e
Google Maps com maior frequncia, mas declararam que os
consideram desnecessariamente complexos, embora tenham
dito no acreditarem ser necessrio apoio tcnico ou
treinamento para sua utilizao. Os participantes
responderam que consideram os sistemas muito
inconsistentes, relatando dificuldades no uso de ambos os
aplicativos.
As interfaces de ambos os aplicativos em geral, agradaram
os participantes que sentiram relativa facilidade em seguir as
rotas, embora acreditem que no seja to fcil, mas tambm
no to complicado aprender a us-los.
As melhorias mais indicadas para soluo dos problemas
encontrados e em maior parte comuns ambos aplicativos
envolvem:
Correo dos mecanismos de adio de pontos de
parada;
Ajuste nos alertas fornecidos avisar com maior
antecedncia para evitar acidentes e desvios de
percurso;
Corrigir signos que se repetem ao longo das
plataformas com significados e funcionalidades
incompatveis ou que por vezes so utilizados os
mesmos signos para funcionalidades distintas,
induzindo usurios a erro em ambos os casos;
Eliminao de textos muito longos e remoo de
abreviaes para melhorar legibilidade e compreenso,
podendo at utilizar signos no lugar dos textos
abreviados;
Correo de problemas e travamentos envolvendo
clculo e reclculo de rotas;
Melhorias em algoritmo para traar rotas com menor
fluxo de trnsito e menor distncia;
Correo de problema que impede os usurios de
saberem se chegaram no local atravs do
aprimoramento dos mecanismos de localizao;
Melhoria em velocidade de processamento;
Melhoria nos resultados de endereos buscados -
muitas vezes no aparecem informaes suficientes e
ruas com mesmo nome podem ser selecionadas levando
o usurio a outro destino diferente do desejado;
Melhoria e ampliao de sistemas e opes de ajuda
para esclarecimento de dvidas ao longo da aplicao;
Diminuio de quantidade e aumento de assertividade
em dilogos e alertas de udio ao longo de ambas
aplicaes;
 Melhorias em suporte off-line dos aplicativos
mediante ausncia de internet, no ocorre reclculo de
rota em caso de desvios;
Teste de usabilidade
O teste de usabilidade ser apresentado neste relatrio
considerando a consolidao das informaes obtidas do
questionrio pr-teste e ps-teste, alm dos resultados
observados e documentados da execuo do protocolo de
teste.
Questionrios pr-teste
O questionrio pr-teste busca identificar o perfil dos
participantes. Com base nas perguntas realizadas, identifica-
se que os 2 participantes possuem entre 20 e 30 anos, mesma
faixa etria trabalhada nas avaliaes de comunicabilidade,
possuem nvel de graduao completo, bons conhecimentos
em computao, utilizam smartphones com boa frequncia e
utilizam aplicativos de roteirizao, citando como exemplo,
em ambos os casos, o aplicativo Waze. Mencionaram em
suas respostas que utilizam os aplicativos para clculo de
rotas enquanto dirigem e que tambm utilizam e tem
familiaridade com o Google Maps.
Resultados do teste de usabilidade
Os resultados do teste de usabilidade so apresentados de
maneira consolidada, indicando as dificuldades encontradas
e transcrevendo os comentrios.
Participante 1
Dificuldades encontradas: Nenhuma
Comentrio 1:
No gosto do jeito que o aplicativo fica ocupando espao
no lugar das notificaes. Mesmo depois que eu o fecho, ele
fica ativo. De vez em quando, eu tambm fecho o aplicativo
sem querer, quando tento voltar para ele.
O comentrio mostra que o usurio do Waze no consegue
fechar a notificao fazendo o movimento de fechar,
deslizando para os lados, como padro na plataforma.
Tambm desliga a aplicao porque o controle de fechar est
muito prximo do controle de abrir.
Figura 12 - Tela com marcao do problema relatado pelo
participante durante uso do Waze no sistema Android.
Ao se encerrar o aplicativo, esperado pelos usurios que o
mesmo isto ocorra como desejado e que no execute em
segundo plano (background). Este problema no ocorre no
ambiente iOS, entretanto, no ambiente Android, recorrente
e compromete atividades essenciais dos usurios. Embora
fechado, no aparecendo mais no rol de aplicaes abertas,
continua aberto e funcionando, fornecendo informaes,
consumindo bateria, etc. Conforme ilustrado na Figura 12,
somente quando o usurio acessa a rea de notificaes que
se descobre que ele ainda est rodando no smartphone.
Somente nesta tela o aplicativo fornece o comando Switch
Off.
No se trata de um problema de ocorrncia isolada, no
entanto, segundo os testes mostraram, esta uma
configurao padro do aplicativo Waze no sistema Android.
Comentrio 2:
s vezes tem umas rotas que no d para confiar muito. J
tive outro caso em que uma rota sugerida no podia ser
traada.
O usurio percebeu que a sinalizao o impossibilitava de
realizar a converso direita no horrio em questo (Figura
13). O aplicativo no levou em considerao a sinalizao da
via, o que pode induzir os usurios do aplicativo a cometer
infraes ocasionando multas e at acidentes.
Figura 13 - Exemplo de sinalizao desrespeitada pela rota do
Waze no cruzamento das vias Av. Vital Brasil x R.
Pirajussara.
Neste caso, o participante demonstrou desconfiana nas rotas
traadas pelo aplicativo e dividia bastante a ateno entre
olhar para a tela do dispositivo e a sinalizao da via.
Participante 2
Dificuldades encontradas: 2
Comentrio 1:
Eu no queria saber dos problemas na via, s as instrues
por voz
Alguns avisos por voz, e.g. a existncia de radar, so
realizados apenas em contextos especficos. Para o radar, o
aviso por voz somente acontece quando o usurio est muito
prximo ou acima do limite de velocidade da via informado
pelo aplicativo, ocorrendo o aviso a 580m de distncia do
local do radar (Figura 14). O usurio pode estar a uma
velocidade abaixo do limite e super-lo nestes 580m, e no
ser avisado sobre o radar. Outro ponto a impossibilidade de
escolher quais sero os tipos de notificao que se deseja
receber. O usurio pode apenas optar por receber todas as
instrues (rota e avisos), somente avisos ou nenhuma
instruo por voz, no podendo selecionar somente a
narrao de rota.
Figura 14 - Exemplo de Figura 15 - Dilogo de
aviso de radar no sistema verificao de motorista ou
Android. passageiro, no sistema
Android.
Comentrio 2:
No me importo, sempre seleciono passageiro
O participante tentou colocar o ponto de parada, descrito no
roteiro C, com o veculo em movimento. Uma notificao
avisando que no poderia fazer a ao com o veculo em
movimento apareceu, mas o participante assumiu o papel de
passageiro e incluiu o destino mesmo assim (Figura 15). A
preveno do aplicativo no foi efetiva, pois exigiu uma
carga cognitiva baixa para ser burlada. Seria ideal que
houvesse algum desafio maior para que o aplicativo no
fosse utilizado no modo de digitao quando o veculo
estiver em movimento, exceto se comprovado que de fato o
usurio no o motorista. Caso isto no ocorra, o aplicativo limite real das vias nunca deveria acontecer. Durante as
deveria ser liberado apenas para uso pelo comando de voz,
que j fornecido.
Questionrios ps-teste
Observou-se atravs dos questionrios que os participantes
em geral no se irritaram com o aplicativo, acreditam que os
caminhos oferecidos sejam os melhores de fato, algo que se
contrape aos resultados observados no ambiente iOS.
Houve consenso sobre a no necessidade de ajuda ou de ser
especialista na utilizao do aplicativo Waze. Os
participantes sentiram facilidade no uso do aplicativo, algo
que no foi observado na avaliao realizada no mesmo
aplicativo no ambiente iOS, o que indica certa
diferena/inconsistncia de padres entre os aplicativos em
cada uma das plataformas.
Recomenda-se para futuros estudos a realizao de teste de
usabilidade para o aplicativo Google Maps no sistema
operacional Android, para complementar os resultados como
ocorreu durante o teste de usabilidade com o aplicativo Waze
no Android e a avaliao de comunicabilidade no iOS.
CONCLUSES E OBSERVAES
Verificou-se que os mtodos de avaliao utilizados so
complementares uns aos outros, por ser possvel observar
diferentes nuances de cada um dos aplicativos em cada um
dos contextos e cenrios de avaliao. Durante esta pesquisa
foram considerados, principalmente na avaliao e
interpretao dos dados coletados o grau de confiabilidade
dos dados, validade do estudo, entre outros aspectos tal como
definido por DECIDE [3] no item avaliao.
Concluiu-se que, conforme esperado, realizar avaliaes de
inspeo em conjunto com avaliaes observacionais gera
resultado mais rico quando comparado com a realizao
destas avaliaes de modo isolado, pois detectou-se alguns
problemas com mtodos de avaliao de um tipo que no
foram detectados com o uso de outros.
Observou-se grande necessidade de melhoria nos signos
utilizados em ambos aplicativos, e em verses de ambos
sistemas operacionais. Na maior parte dos casos das
avaliaes heursticas, foram encontrados problemas
relacionados aos signos usados que geram dificuldade no
uso, por no serem compatveis com o mundo real ou por no
seguirem padres j existentes, smbolos que no condizem
com a funcionalidade esperada e a mistura de idiomas
(portugus/ingls), identificada em diversos pontos de ambas
aplicaes.
Nas avaliaes observacionais, verificou-se problemas de
natureza funcional dos aplicativos, que diminuem seu grau
de usabilidade para os usurios, problemas estes envolvidos
principalmente com os algoritmos de clculo de rotas, adio
de pontos de parada/partida, mapeamentos e interface
grfica.
Os aplicativos atendem aos usurios de forma relativamente
satisfatria na maioria dos casos, mas questes importantes
referentes a segurana devem ser levadas em considerao.
Traar rotas em vias proibidas ou impedidas devido ao
horrio e exibir limites de velocidade acima e/ou abaixo do
avaliaes ficou perceptvel a grande dependncia da
conexo com a internet, que pode impactar negativamente a
experincia dos usurios. O clculo de rotas leva um tempo
muito alto quando a conexo ruim ou o sinal est fraco.
Oferecer este tipo de funcionalidade off-line poderia ser uma
sada, como existe em outras aplicaes do mesmo tipo, e.g.
HERE.
Recomenda-se a realizao de testes adicionais voltados
engenharia de software como testes caixa preta, para
levantamento de novos problemas funcionais e at
aprofundamento e detalhamento de problemas j
encontrados durante as anlises de usabilidade realizadas.
Estes testes, feitos pelos desenvolvedores dos aplicativos,
tambm seriam teis para a deteco de outros problemas
funcionais fora do escopo deste trabalho, por considera-se
importantes para realizar as correes e ajustes necessrios
nos aplicativos, que geraro por consequncia, aumento do
nvel de usabilidade das aplicaes avaliadas/testadas.
Idealmente, mais usurios devem ser submetidos s
avaliaes e testes para aumentar a validade e variedade dos
resultados obtidos atravs de um aumento de amostragem.
Ainda assim, embora tenham contado com poucos
participantes foi possvel detectar problemas de interao e
interface significativos em ambos os aplicativos, concluindo-
se que o objetivo deste trabalho foi atingido.
Outra recomendao importante refere-se ausncia de
requisitos de acessibilidade incorporado s interfaces
analisadas. Uma pesquisa com usurios deficientes visuais,
realizada pelos autores deste trabalho, constatou a utilizao
de outros aplicativos de mobilidade, alm dos aplicativos
avaliados (i.e. Moovit e CittaMob Acessibilidade), o que no
ocorre quando o mesmo questionamento ocorre a usurios
sem tal deficincia. Conforme mencionado na Introduo
deste trabalho, ser proposto um novo formato de aplicativos
de mobilidade voltado acessibilidade para usurios com
deficincia visual como sugesto de usabilidade mais
apropriada a estes usurios, assim como tambm alguns
requisitos elicitados junto a usurios com tal deficincia.
A publicao final do presente artigo fornecer o link para
acesso uma seo anexa on-line que conter todo o
detalhamento dos resultados das avaliaes de
comunicabilidade e heurstica, teste de usabilidade e maior
detalhamento sobre o processo de desenvolvimento da
proposta de aplicativo.
O relatrio completo e proposta de design fornecido em
http://www.fei.edu.br/~plinio.aquino/competicaoIHC2016/).
Experincia Tcnica sobre a Capacidade dos Mtodos
Com o estudo aprofundado dos mtodos e execuo prtica
foi possvel construir um parecer da equipe de avaliao
sobre a capacidade de os mtodos revelarem os aspectos de
experincia de uso nos aplicativos. Constatou-se que os trs
mtodos revelaram aspectos distintos da experincia de uso,
conforme dito anteriormente. Acredita-se que o mtodo de
heursticas de Nielsen [2] trabalhe mais o aspecto cognitivo
dos usurios - a avaliao envolve o qu e como algo pode
ser feito pelo usurio.
J os mtodos observacionais de avaliao de
comunicabilidade e teste de usabilidade, que guardam certas
semelhanas entre si, avaliaram aspectos mais funcionais dos
aplicativos, pois foi possvel identificar no apenas
problemas cognitivos gerados por signos inadequadamente
usados, mas tambm foi possvel observar problemas
funcionais durante o uso, problemas estes que no mtodo de
inspeo usado no seriam detectados, por no fazerem parte
do escopo de avaliao deste mtodo.
Especificamente para o mtodo de comunicabilidade
adaptou-se o mtodo original, considerando que o usurio
realize a declarao de uma etiqueta durante o teste. Caso
no ocorra durante o teste, a etiqueta declarada (ou
reconhecida) pelo usurio em uma seo ps-teste com
acompanhamento do especialista. Essa alterao mostrou-se
muito produtiva, pois diminui o tempo de interpretao de
dados, visto que os vdeos no precisam ser assistidos
completamente pelos especialistas. Adicionalmente, essa
alterao no mtodo permite que o especialista tenha a real
percepo da ruptura de comunicao, pois o usurio
participa do processo.
Conclui-se que os trs mtodos usados possuem ampla
capacidade de revelarem aspectos distintos da experincia de
uso nos aplicativos, sendo que os resultados de cada mtodo
complementam uns aos outros.
O conhecimento produzido com os testes de usabilidade,
possibilitou a construo de conhecimento da equipe na
composio de uma proposta de aplicativo de mobilidade
que atenderia os aspectos de usabilidade e cidades
inteligentes.
CONTRIBUIO FINAL: PROPOSTA DE APLICAVITO DE
MOBILIDADE VOLTADO A ACESSIBILIDADE DE
USURIOS DEFICIENTES VISUAIS
Motivadores
Conforme mencionado anteriormente, os aplicativos
avaliados neste trabalho no possuem grande foco no quesito
acessibilidade, muito embora, este seja um aspecto da
usabilidade. Quando analisados individualmente, o Waze
prioriza percursos realizados com veculos particulares, no
dando igual relevncia s orientaes de percurso
considerando transportes pblicos. Em contrapartida, o
Google Maps fornece opes de transportes pblicos,
particulares, a p ou de bicicletas, mas sua interface no
adaptada a deficientes visuais.
consensual entre os autores deste trabalho a concordncia
com a frase Pas rico no aquele que pobre anda de carro.
aquele que rico anda de transporte pblico [9], pois os
pases desenvolvidos e considerados de vanguarda no
conceito de Cidades Inteligentes, investem fortemente em
transportes pblicos eficazes e eficientes, oferecendo
servios de qualidade que at podem chegar a desestimular o
uso pela populao de veculos particulares no dia a dia.
Uma anlise complementar foi realizada em aplicativos
voltados para usurios de transportes pblicos, e durante o
perodo em que estes foram analisados, observou-se
orientaes sobre o percurso at a parada de nibus mais
prxima do usurio; alternativas de percursos e linhas de
nibus que conduziro o usurio ao local desejado,
localizao atual dos nibus e respectivos horrios de parada
no local de embarque.
Estes aplicativos informam at se os nibus possuem sinal de
internet sem fio e ar-condicionado, no entanto, nenhum deles
informou se haviam plataformas de acesso para cadeirantes
ou portadores de necessidades especiais. Do mesmo modo,
os percursos a p sugeridos para chegar no local de
embarque, no informavam a presena de degraus, buracos
nas caladas ou rampas de acesso.
Considerando o volume de 6,5 milhes de brasileiros
deficientes visuais [10], a precariedade com que este pblico
geralmente atendido e a falta de aplicativos que facilitem
sua mobilidade e consequentemente sua incluso social,
constatou-se a que existe a possibilidade de atend-los com
um aplicativo dedicado s suas necessidades.
Proposta
Esta proposta trata de um aplicativo para smartphones cujo
propsito o de auxiliar na locomoo de pessoas deficientes
visuais, de modo que estas tenham maior autonomia ao se
locomover a p ou por meio de transportes pblicos de
maneira independente, reduzindo ou isentando a atualmente
necessria ajuda de familiares ou de terceiros que estejam
prximos, que so abordados pelos usurios deficientes
visuais solicitando que os avisem sobre a chegada do nibus
desejado e/ou que os ajudem na realizao do embarque. A
Figura 16 demonstra a tela inicial de carregamento do
prottipo que possui tambm feedback auditivo sinalizando
que o aplicativo est sendo carregado. A Figura 17 exibe a
tela da tarefa principal, onde o usurio dever indicar o
endereo de destino.
Figura 16 - Tela inicial do Figura 17 - Tela principal
prottipo do aplicativo em do prottipo do aplicativo
Fluid UI com interao via comando
de voz em Fluid UI
Para ser possvel minimizar esta dificuldade com relao ao
aviso de aproximao dos nibus, orientao at a porta de
embarque e aviso de proximidade da parada de desembarque,
partiu-se do pressuposto que estes meios de transporte
disponham de mecanismos e sensores que possibilitem a
identificao pelo aplicativo, para que ocorra o adequado
fornecimento de orientaes ao usurio. Este aplicativo teria
sua usabilidade totalmente adaptada, possibilitando a total
interao com o usurio, mitigando ao mximo a necessidade
de digitao, e fornecendo instruo sobre os percursos, vias
de fcil acesso (quando estas existirem) e possveis
obstculos nas vias.
Embora tenha sido dado foco ao pblico deficiente visual, o
aplicativo dever ter interface visual tal como os aplicativos
j existentes no mercado, pois pessoas com e sem limitaes
visuais possuem igual importncia [11].
A comunicao entre aplicativo-usurio foi projetada para
ocorrer por fala, viso e alertas vibratrios. Este ltimo deve-
se a necessidade de o aparelho corresponder a um
smartphone, e em um pas de elevada criminalidade,
entende-se ser imprescindvel as orientaes ocorrerem
atravs de semntica lingustica de vibrao do aparelho para
a orientao ao longo do trajeto (e.g. vire direita, nibus se
aproximando, desembarque na prxima parada).
Outro motivo que justifica a vibrao ao invs de uso de
fones de ouvido pelo usurio que tal dispositivo
comprometeria e muito o sentido da audio do usurio, que
vital para o seu deslocamento e interao com o que ocorre
a sua volta. No entanto, a correta compreenso desta
semntica de linguagem depender que o aplicativo instrua o
usurio com relao aos seus distintos significados.
J a comunicao usurio-aplicativo, dever ocorrer por
meio de fala, evitando assim o uso da digitao, sendo
necessrio que o aplicativo interprete adequadamente a fala
do usurio e armazene padres de fala e outros dados para
ajudar na correta anlise e compreenso dos dados inseridos.
Funcionamento
O usurio dever primeiramente cadastrar seu perfil no
aplicativo, i.e. nome, e-mail, contato e telefone de
responsvel para acionamento em caso de emergncia;
tambm sero pedidos pontos de interesse, i.e.
supermercados, restaurantes, e farmcias, e raio de distncia
aceitvel entre usurio e ponto de interesse cadastrado para
que ocorra a notificao sobre os mesmos (conforme Figura
18).
Figura 18 - Tela de acesso ao perfil e cadastro no prottipo
Tal como o aplicativo Google Maps, para iniciar o trajeto, o
usurio dever informar o local de destino desejado e o meio
de transporte a ser utilizado. O aplicativo dever instruir o
usurio sobre o percurso, e em paralelo, mapear por
proximidade os pontos de interesse cadastrados, se estes
corresponderem distncia mxima cadastrada pelo usurio.
Mediante a identificao de um ponto de interesse, o usurio
ser questionado se deseja direcionar-se at este local. Caso
o usurio opte por desviar-se do percurso original, o
aplicativo dever conduzi-lo ao ponto de interesse desejado
e a retomada do percurso original ocorrer assim que o
aplicativo identificar a sada do usurio deste ponto
(conforme Figura 19).
Caso o usurio opte por no se direcionar at o ponto de
interesse, as instrues referentes ao destino originalmente
inserido pelo usurio continuaro a ser fornecidas.
Figura 19 - Tela de cadastramento e ativao de pontos de
interesse no prottipo.
O aplicativo dever notificar o usurio quando da chegada ao
local de destino, com isso, seu uso ser encerrado
automaticamente, dado que isso no ocorre com os atuais
aplicativos, ficando estes com funcionamento em
background, conforme mencionado anteriormente neste
trabalho.
Prottipo
O prottipo concebido respeita as heursticas usadas para
avaliao e incorporou tambm aprendizados obtidos
durante o desenvolvimento deste artigo.
Para o desenvolvimento do prottipo constante nesta
proposta, utilizou-se a ferramenta Fluid UI [12], que permite
o desenho de prottipos dinmicos/navegveis, assim como
o fornecimento de link para compartilhamento e acesso sua
visualizao.
Os prottipos gerados a partir da ferramenta em questo so
considerados como sendo de mdia fidelidade, pois nem
todas as funcionalidades previstas so passveis de insero
na ferramenta para constarem no fluxo de navegao a ser
exibido (e.g. alertas de interao com o usurio).
Vale ressaltar que a ferramenta Fluid UI uma ferramenta
desenvolvida no idioma Ingls e infelizmente alguns objetos
possuem suas literais em tal idioma, no sendo passveis de
traduo completa ou parcial no momento da prototipagem.
Como exemplos, citam-se as telas de compartilhamento de
localizao e realizao de chamada telefnica, exibidas na
Figura 20 e na Figura 21. importante ressaltar para a
implementao deste aplicativo proposto, recomendado
que todos os objetos em tela possuam suas literais
padronizados no idioma em que o aplicativo for
desenvolvido, neste caso, Portugus Brasileiro, deste modo,
respeitam-se padres de usabilidade j discutidos ao longo
do presente artigo.
Dado o exposto, no se deve considerar que as telas
apresentadas na Figura 20 e Figura 21 possuam violaes
de heursticas de usabilidade por utilizarem o idioma Ingls.
Figura 20 Tela de Figura 21 Tela de
compartilhamento de chamada telefnica padro
localizao parcialmente em da ferramenta Fluid UI
Ingls com elementos completamente desenhada
padro da ferramenta. no idioma Ingls.
O prottipo foi concebido com base no design da plataforma
iOS, embora possa ser estendido para Android e outras
plataformas.
Adotou-se as seguintes premissas para o prottipo:
1. A ativao da funcionalidade VoiceOver [13], que
possui como funcionalidade a descrio falada de
itens presentes na tela ao usurio;
2. O design do prottipo foi concebido com base no
sistema iOS voltado para modelos iPhone 5 em
diante.
O prottipo completo construdo na ferramenta Fluid UI
encontra-se disponvel para acesso e navegao atravs do
link reduzido a seguir: http://goo.gl/rWJbry
Desta maneira, o ciclo de avaliao de usabilidade foi
composto por trs grandes fases: (a) estudo das teorias de
IHC no contexto das aplicaes mobile alvo desta avaliao,
como por exemplo, anlise competitiva, anlise de perfil de
usurio, anlise de tarefas, modelagem de contexto de uso,
MOLIC, entre outras tcnicas e ferramentas; (b) processo de
avaliao de duas aplicaes em duas plataformas distintas;
(c) produo de uma proposta de interface para o mesmo tipo
de aplicao, usando o conhecimento adquirido nas fases (a)
e (b). Como trabalho futuro, o resultado deste projeto ser
documentado no formato de padres de interface de acordo
com os perfis considerados [16], pois os padres podero ser
utilizados na composio de novos projetos de interface ou
para guiar avaliaes baseadas em padres.
A execuo deste projeto motivou o planejamento de testes
de usabilidade usando sinais de EEG [15], considerando
pesquisas que envolvem o fatores humanos e ergonomia do
usurio em veculos [17, 18].
REFERNCIAS
1. Clarisse Sieckenius de Souza. The semiotic
engineering of human-computer interaction. MIT
press, p.126-150, 2005;
2. Jakob Nielsen. Usability engineering. Elsevier, 1994;
3. Jenny Preece, Yvonne Rogers, Helen Sharp. Design de
interao. Bookman, 2005;
4. Raquel Oliveira Prates; Simone Diniz Junqueira
Barbosa. Introduo teoria e prtica da interao
humano computador fundamentada na engenharia
semitica. Atualizaes em informtica, p. 263-326,
2007;
5. Raquel O. Prates, Clarisse S. De Souza, Simone D. J.
Barbosa. Methods and tools: a method for evaluating
the communicability of user interfaces. Interactions,
v. 7, n. 1, p. 31-38, 2000;
6. Simone Diniz Junqueira Barbosa, Bruno Santana da
Silva. Interao humano-computador. Elsevier, 2010.
7. Walter de Abreu Cybis. Engenharia de usabilidade:
uma abordagem ergonmica. Florianpolis:
Laboratrio de utilizabilidade de informtica, 2003.
http://www.labiutil.inf.ufsc.br/hiperdocumento/unidade
3_3_1_1.html;
8. Business Dictionary. Definio do termo Smart
City.
http://www.businessdictionary.com/definition/smart-
city.html
9. Edu Petta, Carol Da Riva. Pas rico no aquele que
pobre anda de carro. aquele que rico anda de
transporte pblico. Jornal Estado - Blogs
http://blogs.estadao.com.br/aprendendo-no-
mundo/pais-rico-nao-e-aquele-que-pobre-anda-de-
carro-e-aquele-que-rico-anda-de-transporte-publico/
10. Portal Brasil. Braile aumenta incluso de cegos na
sociedade.
http://www.brasil.gov.br/cidadania-e-
justica/2015/01/braile-aumenta-inclusao-de-cegos-na-
sociedade
11. Ministrio da Sade. Resoluo n 196/96 do Conselho
Nacional de Sade.
http://conselho.saude.gov.br/web_comissoes/conep/aqu
ivos/resolucoes/23_out_versao_final_196_ENCEP201
2.pdf
12. Fuid UI. http://www.fuidui.com
13. Apple. Guia de acessibilidade de produtos Apple.
http://www.apple.com/br/accessibility/iOS
14. BPMn Quick Guide. BPMn online reference guide.
http://www.bpmnquickguide.com/view-bpmn-quick-
guide/
15. Vagner do Amaral, Leonardo A. Ferreira, Plinio
Thomaz Aquino Jr. and Maria Claudia Ferrari de Castro,
EEG signal classification in usability experiments,
Biosignals and Biorobotics Conference (BRC), 2013
ISSNIP, Rio de Janerio, 2013, pp. 1-5. doi:
10.1109/BRC.2013.6487469, URL:
http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnum
ber=6487469&isnumber=6487444
16. Plinio Thomaz Aquino Junior. PICaP : padres e
personas para expresso da diversidade de usurios
no projeto de interao [doi:10.11606/T.3.2008.tde-
15092008-144412]. So Paulo : Escola Politcnica,
Universidade de So Paulo, 2008. Tese de Doutorado
em Sistemas Digitais. [acesso 2016-09-01].
17. Edson Luciano Duque; Plinio Thomaz Aquino Junior.
Human Factors and Ergonomics Using
Anthropometric and sEMG Data in Automotive
Gearshift Quality Analysis. In: Masaaki Kurosu - The
Open University of Japan. (Org.). Lecture Notes in
Computer Science. 1ed.Switzerland: Springer
International Publishing, 2016, v. , p. 248-258.
18. Edson Luciano Duque; Plinio Thomaz Aquino Junior.
Human factors analysis of manual gear shifting
performance in passenger vehicles. In: 6th
International Conference on Applied Human Factors
and Ergonomics (AHFE 2015) and the Affiliated
Conferences, AHFE 2015, 2015, Las Vegas, USA.
Procedia Manufacturing - AHFE 2015, 2015. v. 1. p.
2048-2055.