A IMPORTNCIA DA AVALIAO DA USABILIDADE EM AMBIENTES

VIRTUAIS DE APRENDIZAGEM

Patrcia Takaki Neves 1; Rhayane Stphane Silva Andrade 2

Grupo: 4.5. Aprendizagem na educao a distncia: Desafios, estratgias e

dificuldades

RESUMO:
Com o crescimento do uso das tecnologias de informao e comunicao (TICs) na
educao, surgiram os ambientes virtuais de aprendizagem (AVAs) para suportar o
processo de ensino-aprendizagem a distncia e/ou presencial. Em paralelo, tornou-se
necessrio considerar questes relacionadas qualidade de uso desses ambientes. O
objetivo deste trabalho discutir a importncia de se avaliar a usabilidade dos AVAs
ao apresentar os resultados de pesquisas realizadas na rea e ao avaliar a
usabilidade do AVA Virtualmontes. Foi utilizado um framework metodolgico de
avaliao da usabilidade, adaptado para este estudo, que prope quatro etapas:
utilizao do Google Analytics, emprego da matriz de web mtricas, aplicao dos
mtodos de avaliao e proposta de reformulao do design do site. Os resultados
obtidos apontaram uma considervel quantidade de problemas, que demonstram a
necessidade de se aperfeioar os AVAs buscando garantir uma interao eficiente.
Palavras-chave: Avaliao da usabilidade, Ambientes virtuais de aprendizagem
(AVAs), Framework metodolgico para avaliao da usabilidade.

ABSTRACT:
IMPORTANCE OF USABILITY EVALUATION IN VIRTUAL LEARNING
ENVIRONMENT
With the growth of the information and communication technologies (ICTs) use for
education, virtual learning environments (VLEs) came up to support process of
teaching-learning at distance and in classroom course. At the same time, we need a
proper investigation on issues related to the quality of use of these environments. The
aim of this paper is to discuss about the importance of evaluating the usability of
VLEs as the results of researches in area and the evaluation on the usability of VLE
Virtualmontes are shown. A methodological framework adapted to this study was
used to evaluate this usability. This framework suggests four steps: the use of Google
Analytics, the use of matrix of web metrics, the appliance of evaluation methods and
the site re-designing suggestion. The results obtained indicate a considerable quantity
of problems, that show the necessity of improving the VLEs in order to ensure an
efficient interaction.
Keywords: Evaluate to usability, Virtual Learning Environment (VLEs), Usability
evaluation methodological framework.

1
Professora na Universidade Estadual de Montes Claros (Unimontes) ptakaki.uab@gmail.com
2
Aluna do Curso de Sistemas de Informao da Universidade Estadual de Montes Claros (Unimontes)
rhayane90@gmail.com.br

1
1. Introduo

O avano tecnolgico e a popularizao da Internet tm influenciado as formas de

ensino e de aprendizado, trazendo benefcios e gerando novas oportunidades (PEREIRA;
SCHMITT; DIAS, 2007). A presena de professores e alunos num mesmo espao
geogrfico no mais um fator fundamental, uma vez que a insero das tecnologias de
informao e comunicao (TICs) no processo de aprendizagem amplia as possibilidades
de comunicao para alm das salas de aula.
A cada dia surgem novas ferramentas capazes de auxiliar o processo de ensino-
aprendizagem, oferecendo contedos nas mais diversas mdias, alm de mecanismos
variados de interao. Entre elas podemos citar os Ambientes Virtuais de Aprendizagem
(AVAs), que so sistemas disponibilizados atravs da Internet que auxiliam nas atividades
de ensino-aprendizagem mediadas por tecnologias da informao e comunicao
(KEMCZINSKI, 2005). Esses ambientes provm o uso de mdias, linguagens e recursos para
intermediar as interaes entre professores e alunos.
O principal objetivo de um AVA facilitar o processo de aprendizagem, portanto,
preciso que na estruturao do ambiente seja considerada a usabilidade (MARTINS;
MOO, 2010). A usabilidade est relacionada aos aspectos que garantem a facilidade e
eficincia de aprendizado e de uso, alm da satisfao do usurio com o sistema (PRATES;
BARBOSA, 2003). Dessa forma, a usabilidade do AVA no deve atrapalhar a motivao de
um aluno, pois ao utilizar um sistema agradvel, ele se compromete e obtm sucesso em
um curso (MARTINS; MOO, 2010).
A avaliao da usabilidade em AVA tem sido tema de muitas pesquisas na rea de
Interao Humano-Computador (IHC), porm no foi localizada nenhuma que tivesse
utilizado ferramentas de software neste processo, apenas avaliao heurstica e/ou
mtodos empricos. Algumas dessas pesquisas so: avaliao da usabilidade do Moodle
na UNIFAL (BITTENCOURT; BITTENCOURT; SANTOS, 2011); avaliao do Moodle utilizado
no Ensino a Distncia na UFSCar (ALENCAR, et. al., 2011); avaliao do Moodle do IESAM
(FERREIRA; MARQUES, 2007); avaliao do Moodle e WebAula (SILVA; FREITAS, 2008);
avaliao do curso de extenso on-line Teoria e Prtica do Design Instrucional baseado no
ambiente Moodle (FRANCO, 2005) e avaliao da qualidade de uso do Moodle (LISBOA, et
al., 2011).
Este trabalho teve como objetivos: analisar o Virtualmontes (AVA da Unimontes
baseado no Moodle) e identificar suas caractersticas e funcionalidades; adaptar o
framework de avaliao da usabilidade de sites de e-commerce sugerido por Hansan
(2009) para ser utilizado em um AVA; seguir as etapas propostas pelo framework
adaptado para avaliar a usabilidade do ambiente virtual; identificar os problemas de
usabilidade presentes no Virtualmontes; propor a reformulao do design do site, atravs
de recomendaes para cada um dos problemas de usabilidade encontrados.
No processo de avaliao da usabilidade aplicou-se o framework proposto por
Hansan (2009) com as adaptaes realizadas pelo presente trabalho. A aplicao do
framework baseou-se na execuo de seguintes etapas: Etapa 1 - Coleta de dados com a
Ferramenta Google Analytics; Etapa 2 - Confeco da matriz de Web Mtricas; Etapa 3 -
Aplicao dos mtodos de avaliao da usabilidade (aplicao do teste de usabilidade,

2
questionrios e aplicao da avaliao heurstica); Etapa 4 - Solues propostas (redesign)
para melhorar a usabilidade do Virtualmontes.

2. O papel dos ambientes virtuais de aprendizagem

A aprendizagem tem sido influenciada cada vez mais pelas TICs, principalmente,
por essas fornecerem ferramentas capazes de ignorar barreiras geogrficas e gerar novas
oportunidades (MEHLECKE; TAROUCO, 2003). Desse modo, o estudo no necessita mais
ser mediado somente pelo professor presente em uma sala de aula, independentemente
da posio geogrfica dos alunos, possvel acessar contedos e materiais que motivaro
o conhecimento de cada um e auxiliaro no decorrer das aulas.
O papel do professor-especialista, que detm o saber e passa a seus alunos-
expectadores a informao, precisa ser mudado, no s em ambientes presenciais, mas
tambm em semi-presenciais e no-presenciais (SANTOS; OKADA, 2003). Com a
contribuio da tecnologia nesse processo, o acesso ao conhecimento ficou muito mais
rpido, e vem modificando esse paradigma, ao facilitar a interao entre aluno e
professor em situaes como: o compartilhamento de informaes, argumentos e idias
(KEMCZINSKI, 2005).
Os ambientes virtuais de aprendizagem provm o uso de mdias, linguagens e
recursos para intermediar as interaes entre professores e alunos. Um dos AVA mais
utilizados atualmente no meio educacional o Moodle - Modular Object-Oriented
Dynamic Learning Environment (FERREIRA; MARQUES, 2007). Esses sistemas oferecem,
em geral, ferramentas para comunicao assncrona (fruns, mensagens, e-mails, murais,
blogs, entre outros) e sncrona (chat); para submisso de avaliaes de aprendizagem
individuais ou coletivas (tarefas, lies, dirios de bordo, vdeos, questionrios, glossrios,
wikis, entre outros); para pesquisa de opinio (enquetes), para gesto dos participantes e
da sala virtual (perfil, senhas, configuraes de funes, relatrios, entre outros) dentre
diversas outras funcionalidades.
A cada momento, novos AVAs so desenvolvidos e novas funcionalidades so
implementadas e incorporadas aos atuais, refletindo a dinmica complexa das diferentes
metodologias que a educao tem experimentado com o advento das TICs. Para
acompanhar este movimento importante que todo o processo seja sistematicamente
avaliado, atualizado e redimensionado, como parte de uma proposta de melhoria
contnua.
Para facilitar a aprendizagem, preciso que o AVA considere os aspectos de
usabilidade e garanta ao usurio uma interface simples, agradvel e eficiente (MARTINS;
MOO, 2010).

3. Avaliao de usabilidade de interfaces

A usabilidade definida pela norma NBR ISO/IEC 9126-1 (ASSOCIAO BRASILEIRA

DE NORMAS TCNICAS, 2003) como: capacidade do produto de software de ser

3
compreendido, aprendido, operado e atraente ao usurio, quando usado sob condies
especificadas.
A usabilidade pode ainda ser definida como um conjunto de aspectos que devem
ser considerados nas interfaces visando facilitar: as atividades dos usurios durante a
interao e a percepo dos recursos disponveis pelos sistemas (SILVA; FREITAS, 2008).
importante, assim, avaliar a usabilidade de AVAs visando fornecer uma boa qualidade de
uso e evitar problemas como: erros, insatisfao, baixa produtividade, entre outros.
H vrias maneiras de se avaliar a usabilidade de um sistema, podem-se aplicar os
mtodos seguindo apenas os procedimentos sugeridos pelos autores; aplic-los em
conjunto; utilizar ferramentas de software, ou mesmo, utilizar um framework para apoiar
o processo. A aplicao de um framework metodolgico, por exemplo, pode auxiliar na
realizao da avaliao no sentido de definir quais os passos a serem seguidos para
planejar e organizar os procedimentos. Dessa forma, os mtodos de avaliao podem ser
selecionados para melhor atender aos objetivos da pesquisa.
Conforme o especialista em usabilidade Nielsen (1993), a usabilidade tem como
finalidade desenvolver interfaces que permitam uma interao fcil, agradvel, com
eficcia e eficincia. A eficcia diz respeito aos usurios alcanarem seus os objetivos
corretamente atravs da interao com o sistema e a eficincia refere-se aos recursos
necessrios para os usurios atingirem seus objetivos (BARBOSA; SILVA, 2010). A
usabilidade, de acordo com Nielsen (1993), deve possibilitar a elaborao de interfaces
transparentes que no atrapalhem o processo de interao. Para ele, a usabilidade pode
ser dividida em cinco critrios bsicos:
Facilidade de aprendizado O sistema deve ser fcil de aprender, o que
demanda menor esforo do usurio ao realizar uma tarefa, pois so produtos
intuitivos;
Eficincia O sistema deve maximizar a produtividade, proporcionar a
realizao de uma atividade de forma rpida e eficiente;
Memorizao Suas telas devem apresentar facilidade de memorizao
permitindo que usurios ocasionais consigam utiliz-lo mesmo depois de um longo
intervalo de tempo;
Erros preciso minimizar os erros, analisando a possibilidade de
ocorrncia desses visando evit-los, alm disso, devem apresentar solues
simples e rpidas mesmo para usurios iniciantes;
Satisfao O sistema deve oferecer uma experincia agradvel aos
usurios, tanto queles que so iniciantes quanto aos experientes.
Assim, alm desses critrios, foram identificados outros objetivos a serem
alcanados por produtos ou sistemas que se almeja conter uma boa usabilidade, os quais
so: segurana e utilidade (PREECE; ROGERS; SHARP, 2002).

3.1 Metodologia de avaliao de usabilidade de interfaces

importante avaliar a interface para analisar a qualidade de uso de um sistema,

visando evitar problemas na interao (PRATES; BARBOSA, 2003). Segundo Conrad e Levi
(2002), avaliar a usabilidade dos sistemas diz respeito ao processo que tem como intuito
medir as caractersticas de interao homem-computador de um sistema, e identificar as

4
fraquezas para correo. Ou seja, o teste tem como finalidade identificar como se
estabelece a interao entre o usurio e o sistema, de acordo com parmetros, tais como
o tempo gasto para a execuo de tarefas predefinidas e a taxa de erros, para assim
medir a facilidade de uso do sistema.
H vrios mtodos de avaliao da usabilidade, cada um possui suas
particularidades, alm de vantagens e desvantagens de sua aplicao, assim eles sero
determinados de acordo com os objetivos da pesquisa. Os mtodos podem ser aplicados
em campo ou em laboratrio. Alm disso, podem se basear tanto nos usurios quanto
nos avaliadores. A seleo do mtodo adequado para realizar a avaliao depender dos
objetivos almejados e dos recursos disponveis (LEITE, 2007). importante, tambm,
conhecer cada um desses mtodos e suas diferenas para auxiliar na escolha do mais
apropriado (ROCHA; BARANAUSKAS, 2003).
A literatura revisada apresenta diferentes formas de classificao dos mtodos de
avaliao, nesta seo eles so divididos em inspeo da usabilidade, proposto por
Nielsen e Mack (1994), e mtodos empricos, sugerido por Partes e Barbosa (2003).
A inspeo da usabilidade definida como um conjunto de mtodos que se
baseiam no fato dos avaliadores inspecionarem a interface do usurio, de acordo com
algum critrio. Geralmente, a inspeo da usabilidade tem como objetivo encontrar
problemas de usabilidade no design, apesar de cada um dos mtodos possurem
finalidades diferentes. Para Rocha e Baranauskas (2003), os avaliadores participantes da
inspeo podem ser especialistas, consultores de desenvolvimento de software,
especialistas em um determinado padro de interface, usurios finais, entre outros.
H diversos tipos de mtodos de inspeo da usabilidade como: avaliao
heurstica, percurso cognitivo, percurso pluralista, conformidade com diretrizes e padres
e inspees de consistncia, de caractersticas ou formais (PRATES; BARBOSA, 2003). O
presente trabalho empregou o mtodo de avaliao heurstica para a inspeo da
usabilidade.
Os mtodos de avaliao empricos envolvem a participao de usurios para o
levantamento dos dados, que sero analisados pelos avaliadores, visando identificar
problemas de usabilidade.
Para se utilizar o mtodo emprico preciso que exista uma implementao real
do sistema em algum formato podendo ser: uma simulao da capacidade interativa do
sistema sem nenhuma funcionalidade, um prottipo bsico implementando um cenrio,
ou a implementao completa (ROCHA; BARANAUSKAS, 2003). Os mtodos empricos
podem ser realizados em campo ou em laboratrio. Neste trabalho empregaram-se o
teste de usabilidade e os questionrios.
Baseando-se nos resultados obtidos pelas anlises feitas com os trs mtodos de
avaliao da usabilidade nos sites de comrcio eletrnico, Hansan (2009) desenvolveu um
framework para avaliar e identificar as reas com problemas de usabilidade nesses sites.
Ele envolve, especificamente, a utilizao do software Google Analytics como uma
ferramenta de pr-avaliao antes da aplicao de testes de usurio e da avaliao
heurstica. O uso da matriz de web mtricas (que visa investigar reas navegao,
arquitetura do site, pesquisa interna no site, contedo das pginas mais acessadas,
habilidade do usurio em encontrar informao de suporte, usabilidade no processo de
compra do produto, entre outros) considerado como um grande apoio a essa avaliao

5
e influencia diretamente no baixo custo e no curto perodo de tempo. O framework
apresenta, ainda, tipos especficos de problemas de usabilidade que podem ser
identificados pelos testes de usurio e avaliao heurstica, facilitando a deciso de qual o
melhor mtodo a ser empregado em certas situaes.

4. Resultados da aplicao do framework adaptado para avaliao da

usabilidade do Virtualmontes

O framework metodolgico, utilizado nesta pesquisa, foi desenvolvido por Layla

Hansan em sua tese de doutorado para avaliar a usabilidade de sites de e-commerce em
pases em desenvolvimento. Atravs dos resultados positivos obtidos na aplicao do
framework em alguns sites apresentados em seu estudo, optou-se por adapt-lo e utiliz-
lo na avaliao da usabilidade do Virtualmontes.
Na aplicao do framework foram empregadas as quatro etapas sugeridas por
Hansan (2009) (apresentadas na Figura 1), nas quais todas elas foram adaptadas de
acordo com o objetivo da pesquisa de se avaliar um Ambiente Virtual de Aprendizagem.

Figura 1. Um framework para avaliao da usabilidade em sites de comrcio

eletrnico.
Fonte: Adaptado de Hansan, 2009

6
4.1 Aplicao das etapas 1 e 2

Na primeira etapa foram realizadas coletas de dados atravs da ferramenta

Google Analytics visando recolher informaes importantes sobre os usurios que
acessam o Virtualmontes e agrupar as mtricas que seriam utilizadas na prxima etapa. A
segunda etapa referiu-se a utilizao de uma matriz com as web mtricas, proposta por
Hansan (2009) apresentada na Figura 2, adaptada para atender os requisitos de
ambientes virtuais, para mensurar os dados coletados e identificar os possveis problemas
de usabilidade no AVA como um todo e nas pginas mais importantes. Para isso, foi
desenvolvida uma tabela contendo as mtricas, as equaes necessrias para calcul-las,
o significado e os resultados de cada uma no Google Analytics. As web mtricas contidas
na matriz foram analisadas de acordo com o conjunto sugerido pelo framework para
apontar potenciais problemas nas seguintes reas: navegao, pesquisa interna,
arquitetura, contedo/design, alm de listar caractersticas dos visitantes do site.

Figura 2. Matriz de web mtricas.

Fonte: Adaptado de Hansan, 2009

7
 A aplicao dessas etapas iniciais, ou seja, o emprego da matriz de web mtricas
juntamente com as informaes levantadas pelo Google Analytics possibilitou identificar
potenciais problemas em determinadas reas do Virtualmontes. Com a utilizao do
Google Analytics, foi possvel coletar uma grande quantidade de dados do trfego do site,
em que permitiu executar a etapa de utilizao da matriz de web mtricas. Atravs da
matriz foi possvel analisar se as mtricas indicavam problemas potenciais em algumas
reas, nas quais so descritas a seguir.
a) Navegao
O valor da mtrica taxa de rejeio, por ser baixo, no apontou problemas nessa
rea. Em relao ao nmero de pginas por visita, a pesquisa indicou uma boa mdia
(17,88 pginas por visita), porm, esses valores podem indicar tambm, que o site difcil
para os visitantes navegarem, ou que a pesquisa interna do site ruim (PETERSON, 2006).
A partir de valores nulos das mtricas: porcentagem de visitas que utilizaram a pesquisa e
a mdia de pesquisas por visita, pode-se concluir que o site possui uma boa navegao e
no preciso utilizar a busca interna, ou que existem problemas na facilidade de
utilizao do sistema de pesquisa. O site apresentou um alto percentual no nmero
mdio de cliques por visita (de 3 a 17 pginas visualizadas por visita), o que permitiu
considerar que o ambiente atraente para os usurios.
b) Pesquisa interna
As mtricas: porcentagem de visitas que utilizaram a pesquisa e mdia de
pesquisas por visita apresentaram o valor zero, o que pode indicar dificuldade na
realizao das buscas. Entretanto, com o valor alto de nmero de pginas visualizadas
pode-se concluir que os usurios contavam mais com a navegao do que com a pesquisa
interna para acessar os contedos do site. Dessa forma, ao se analisar a Taxa de sada a
partir da pgina de pesquisa, que tambm apresentou valor zero, indica que o ambiente
provavelmente tem problemas de usabilidade relacionados inexatido dos resultados
ou eficincia do sistema de busca.
c) Arquitetura
alto o valor de pouco tempo gasto nas visitas (com 33%), j que o tempo
considerado nessa mtrica de 0 segundo a 3 minutos no site, o que muito pouco para
um ambiente virtual, por possui muitas funes a serem exploradas; o que pode indicar
problemas na arquitetura. A anlise das mtricas sobre pesquisa interna (valores nulos) e
a alta percentagem do nmero mdio de cliques por visita podem indicar que a pesquisa
no foi visvel ao usurio ou que houve dificuldade ao realiz-la, ou mesmo que sua
utilizao no necessria. As mtricas: nmero mdio de pginas visualizadas por
visita e percentual de cliques por visita, quando analisadas em conjunto, no
representaram problemas de usabilidade no ambiente especfico, j que apresentaram
resultados satisfatrios.
d) Contedo
O percentual de pginas visualizadas e o alto valor no percentual da mtrica
mdia de cliques por visitas (de 3 a 17 pginas por visita) indicou que os usurios esto
interessados no contedo do ambiente. Alm disso, o resultado alto da mtrica pouco
tempo gasto nas visitas pode indicar problemas, j que um ambiente virtual possui
muitos contedos e recursos e demanda-se tempo para explor-los.
e) Contedo/ Design

8
 O Virtualmontes apresentou a taxa de rejeio de apenas 9,30% no site em geral,
o que no indicou possveis problemas no contedo e design. Alm disso, a taxa de
rejeio em pginas especficas tambm foi baixa. As mtricas relacionadas s principais
pginas de destino e sada permitiram observar que a pgina de login apresentou um alto
tempo gasto pelos usurios e a maior porcentagem de sada, o que pode indicar que ela
confusa ou que seu contedo no interessante, ou ainda, por ela ser a pgina padro de
sada do site.
Alm disso, o Google Analytics proporcionou identificar, tambm, as
caractersticas dos visitantes reais do Virtualmontes atravs das mtricas que indicaram o
idioma, navegador, sistema operacional, resoluo de tela, entre outros aspectos, mais
utilizados pelos usurios. Essas caractersticas podem auxiliar os administradores do
Virtualmontes a adequar a interface e as funcionalidades de acordo com os aspectos mais
comuns dos usurios reais.

4.2 Aplicao da etapa 3

Na terceira etapa foram utilizados os mtodos de avaliao: mtodos empricos

(teste de usabilidade e questionrios) e avaliao heurstica para identificar reas com
problemas especficos de usabilidade, alm de identificar a satisfao dos usurios quanto
a utilizao do Virtualmontes. Segundo Hansan (2009), estudos recomendaram o uso
desses dois mtodos juntos, j que apresentam melhores resultados por encontrar um
grande nmero de problemas.

4.2.1 Aplicao dos mtodos empricos

Inicialmente, utilizou-se um quadro proposto por Hansan (2009), com algumas

adaptaes, para identificar quais os mtodos mais eficazes para apontar problemas de
usabilidade nas reas: navegao, pesquisa interna, arquitetura, contedo, design,
acessibilidade e funcionalidades que faltam. Dessa forma, aplicou-se o teste de
usabilidade para comprovar os potenciais problemas de usabilidade apontados na Etapa
2.
O teste de usabilidade foi aplicado a 5 usurios (idade entre 23 e 30 anos) com
conhecimento mdio em ferramentas office e Internet, alm de serem novatos no
Virtualmontes. Foi criado o curso Educao a distncia - Pesquisa Rhayane no ambiente,
no qual foram definidas tarefas para os usurios interagirem com a sala virtual, alm do
tempo mdio de realizao de cada uma delas. Para isso, foram produzidos materiais
para o teste: termo de consentimento; scripts de apresentao, descrio das tarefas;
formulrio de acompanhamento, entre outros. Essa interao foi gravada pelo software
de captura de telas Snagit. Os vdeos produzidos pelo programa foram analisados e
permitiram identificar problemas e dificuldades apresentadas durante o uso do sistema.
Dessa forma, os problemas foram listados e classificados de acordo com a sua severidade
segundo a definio de (FERREIRA; MARQUES, 2007). Essa classificao vai do grau 1
(Irrelevante - O problema no precisa ser reparado imediatamente) at o 5 (Catastrfico -
Trata-se de um problema muito grave e deve ser reparado com urgncia). Com a

9
aplicao do teste de usabilidade foi possvel constatar 26 problemas de usabilidade, que
so apresentados no grfico da Figura 3 de acordo com o grau de severidade.
De uma forma geral, o grfico permite observar que a maioria dos problemas
encontrados tinha baixa ou mdia prioridade de serem reparados. Mesmo assim, alguns
deles foram classificados como graves, em que importante repar-los, e um como
catastrfico, o qual deve ser reparado urgentemente. Alguns exemplos desses problemas
so apresentados a seguir de acordo com o grau de severidade e a rea com o problema
identificado:
Grau 1 (Irrelevante) - Problemas comuns do Moodle (Atraso no
carregamento das pginas): No ambiente houve demora no carregamento de
algumas pginas, principalmente na do vdeo e do PDF.

Figura 3. Problemas de usabilidade identificados com o teste de usabilidade

Grau 2 (Simples) - Problemas no design (Design da pgina inapropriado): O

arquivo enviado na tarefa organizado de forma separada na tela, mas no h
nenhum ttulo acima do arquivo indicando isso, o que confundiu o usurio.
Grau 3 (Mdio) - Problemas no design (Design da pgina inapropriado): A
disposio dos botes Visualizar e Editar na pgina do wiki foi confusa para o
usurio, o que no o permitiu visualiz-los facilmente.
Grau 4 (Grave) - Arquitetura (Estrutura ruim): Visualizao ruim na pgina
de cursos aps entrar na categoria desejada, pois o usurio teve dificuldade em
encontrar o curso Educao a distncia - Pesquisa Rhayane.
Grau 5 (Catastrfico) - Problemas comuns do Moodle (Presena de termos
em ingls): No ambiente, alguns termos em ingls como o boto "Browse..."
dificultou a realizao de tarefas como o envio do documento com as respostas do
exerccio na tarefa especfica.
Aps o teste de usabilidade, aplicaram-se os questionrios para conhecer os perfis
dos usurios da pesquisa e avaliar a satisfao subjetiva desses com o Virtualmontes.
Os questionrios foram aplicados aos cinco voluntrios (2 mulheres com curso
superior completo e 3 homens com curso superior incompleto) que eram novatos em

10
AVA, e tinham experincia mediana em ferramentas office e Internet (utilizao de
servios bsicos, como correio eletrnico; acesso a bases de dados on-line; comunicao
interativa; busca de informaes simples; entre outros). Os resultados obtidos atravs da
aplicao dos questionrios so apresentados na Tabela 1.

Tabela 1. Porcentagem de resultados de satisfao obtidos Montes Claros - 2012

No promovem satisfao Satisfao mdia Promovem satisfao

19% 16% 64%

4.2.2 Aplicao da avaliao heurstica

Ainda na Etapa 3, aplicou-se a avaliao heurstica com o objetivo de verificar se

as possveis reas e sub-reas com problemas de usabilidade no Virtualmontes,
levantadas na Etapa 2 do framework, que segundo a pesquisa deveriam ser verificadas
com esse mtodo, tambm, possuam problemas. A avaliao heurstica foi realizada no
Virtualmontes por 3 avaliadores (2 professores e a autora deste artigo) que basearam-se
nas dez heursticas de Nielsen e para cada heurstica violada, foi definido um grau de
severidade (FERREIRA; MARQUES, 2007). Na aplicao da avaliao heurstica foram
encontrados 30 problemas de usabilidade, que so apresentados de acordo com o grau
de severidade no grfico da Figura 4. A avaliao heurstica apontou uma quantidade de
problemas um pouco maior que o teste de usabilidade. Esse mtodo apresentou um
maior nmero de problemas com baixa ou mdia prioridade de serem reparados e alguns
problemas graves, porm nenhum catastrfico.

Figura 4. Problemas de usabilidade identificados com a Avaliao Heurstica

Alguns exemplos desses problemas so apresentados a seguir de acordo com o

grau de severidade, a rea com o problema identificado e a heurstica violada:

11
 Grau 2 (Simples) - Problemas de navegao (Suporte fraco navegao) -
Heurstica violada: Visibilidade do estado do sistema: Ao navegar pelas atividades
e pginas da sala virtual preciso utilizar links ou o boto Voltar do navegador.
Grau 3 (Mdio) - Problemas na pesquisa interna (Limitadas opes) -
Heurstica violada: Flexibilidade e eficincia de uso: No ambiente as opes de
pesquisa so poucas e no permite aos usurios uma pesquisa mais avanada,
exceto na pesquisa nos fruns.
Grau 4 (Grave) - Problemas comuns do Moodle (Presena de termos em
ingls) - Heurstica violada: Correspondncia entre o sistema e o mundo real: O
termo em ingls do boto Browse... no envio da tarefa.

4.3 Aplicao da etapa 4

Na quarta etapa foram apresentadas solues para todos os problemas

encontrados na avaliao da usabilidade da Etapa 3 visando reformular o design do site e
garantir uma boa qualidade de uso aos usurios do Virtualmontes.

5. Consideraes finais

Diante dos resultados apresentados pode-se concluir que muito importante

avaliar a usabilidade de AVAs uma vez que a pesquisa permitiu identificar problemas no
mbito de AVAs, especificamente no Virtualmontes, baseado no sistema Moodle.
Inicialmente, com a utilizao do Google Analytics juntamente com a matriz de
web mtricas, foi possvel identificar potenciais problemas de usabilidade no sistema nas
seguintes reas: navegao, pesquisa interna, arquitetura, contedo/design, alm de
listar as caractersticas dos visitantes do site. Esses potenciais problemas foram,
posteriormente, analisados e comprovados na etapa 3.
O teste de usabilidade aplicado nessa etapa permitiu identificar um grande
nmero de problemas. Os 26 problemas encontrados tinham, em sua maioria, baixa ou
mdia prioridade de serem reparados, apesar de serem encontrados, tambm, alguns
problemas graves e catastrficos. Atravs desse mtodo, foi possvel identificar a
eficincia do ambiente, a necessidade de se adotar mecanismos na interface que facilitem
a recordao dos procedimentos para realizar as tarefas e que melhorem a navegao.
A aplicao dos questionrios permitiu considerar que o ambiente Virtualmontes
relativamente fcil de aprender a utilizar. Apesar disso, as anlises desses resultados e do
teste de usabilidade apontaram problemas na ajuda ao usurio no ambiente. Os usurios
tiveram dificuldade em encontrar informaes de suporte, ou mesmo, nem as utilizaram.
Ficou tambm evidente que os usurios apresentaram dificuldade em lidar com erros
durante a interao. Alm disso, foi constatada a necessidade de se revisar as mensagens
de ajuda e de erro do sistema. Portanto, ainda preciso melhorar alguns aspectos para
facilitar a aprendizagem do Virtualmontes.
A avaliao heurstica apontou uma quantidade de problemas um pouco maior
que o teste de usabilidade, no total 30 problemas. Esse mtodo apresentou um maior
nmero de problemas com baixa ou mdia prioridade de serem reparados e alguns

12
problemas graves, porm nenhum catastrfico. Os problemas tratam-se, principalmente,
da estrutura, organizao e design do ambiente. Alm disso, esto relacionados falta de
um recurso de ajuda e informaes ao usurio e a algumas funcionalidades.
A avaliao da usabilidade do Virtualmontes demonstrou a necessidade de
aperfeioamento principalmente nas reas de navegao, arquitetura, contedo, design,
pesquisa interna e acessibilidade do ambiente.
Devido ao grande nmero de problemas encontrados (56 problemas) percebe-se
que o aperfeioamento do Virtualmontes, com a correo dos problemas encontrados, se
faz necessria para potencializar o uso e auxiliar na interao entre professores e alunos.
preciso assim, buscar organizar e estruturar melhor o ambiente, de forma contnua,
alm de disponibilizar contedos de ajuda e informaes para facilitar a interao e
promover o aprendizado de forma agradvel e efetiva.

6. Referncias

ALENCAR, T. et. al.. 2011. Apontamentos Sobre a Usabilidade do Sistema Moodle

Aplicado ao Ensino a Distncia na Universidade Federal de So Carlos. In: Proceedings of
the X Symposium on Human Factors in Computing Systems, 25-28, Porto de Galinhas,
2011. Anais da Competio de IHC'2011. Porto de Galinhas: Sociedade Brasileira de
Computao, 2011. Disponvel em: <https://docs.google.com/file/d/0B-p2TdWxL_bxZTAz
NDYxOGQtNTBlOC00NzQ5LTk2N2YtODM wYTBmZTlmYzFk/edit?pli=1#>. Acesso em: 07
abr. 2012.
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 9126-1: Engenharia de
software - Qualidade de produto, 2003.
BARBOSA, S. D. J.; SILVA, B. S. D. Interao Humano-Computador. 1. ed. Rio de Janeiro:
Editora Campus - Elsevier, 2010.
BITTENCOURT, I. G. D. S.; BITTENCOURT, I. M.; SANTOS, C. N. Usabilidade e os problemas
do Moodle: o caso da Educao Universitria, In: 17 Congresso Internacional ABED de
Educao a Distncia, Macei, 2011. Anais de Educao a Distncia. Macei:
Universidade Federal de Alagoas, 2011. Disponvel em:
<http://www.abed.org.br/congresso2011/cd/260.pdf>. Acesso em: 12 mar. 2012.
CONRAD, M. D.; LEVI, F. G. Usability Testing of World Wide Web Sites, 2002. Disponvel
em: <http://stats.bls.gov/ore/htm_papers/st960150.htm>. Acesso em: 06 abr. 2012.
FERREIRA, A.; MARQUES W. Anlise da usabilidade no Ambiente Virtual de
Aprendizagem Moodle. 2007. 51p. Monografia (Engenharia da Computao) - Instituto
de Estudos Superiores da Amaznia, Par, 2007. Disponvel em: <http://www3.iesam-
pa.edu.br/ojs/index.php/computacao/article/viewFile/141/130>. Acesso em: 06 mar.
2012
FRANCO, S. R. A. A Usabilidade no Ambiente Virtual de Aprendizagem Moodle:
Contribuies para Qualidade em Educao On-Line. 2005. 173p. Dissertao (Mestrado
em Educao) - Universidade Estcio de S, Rio de Janeiro, 2005. Disponvel em:

13
<http://pt.scribd.com/doc/55322359/Sergio-Franco-Dissertacao-Final>. Acesso em: 06
abr. 2012.
HANSAN, L. Usability Evaluation Framework for E-commerce Websites in Developing
Countries. 2009. 371p. Tese (Doutorado em Filosofia) - Loughborough: Loughborough
University, 2009. Disponvel em: <https://dspace.lboro.ac.uk/dspace-
jspui/handle/2134/5647>. Acesso em: 12 nov. 2011
KEMCZINSKI, A. Mtodos de Avaliao para Ambientes e-learning. 2005. 173p. Tese
(Doutorado em Engenharia de Produo) - Universidade Federal de Santa Catarina,
Florianpolis, 2005. Disponvel em:
<http://www2.joinville.udesc.br/~gpie/site/uploads/Tese-Avanilde-Kemczinski.pdf>.
Acesso em: 06 mar. 2012.
LEITE, K. A. A. Avaliaco de usabilidade nos sistemas computacionais dos servios de
Telemedicina do Bhtelessade . 2007. 132p. Dissertao (Mestrado em Informtica)
Pontifcia Universidade Catlica de Minas Gerais, Belo Horizonte, 2007.
LISBOA, R. P. et al. Uma investigao de problemas de Usabilidade, Comunicabilidade e
Sociabilidade do Moodle que afetam os objetivos educativos pr-definidos para suas
ferramentas colaborativas, Fortaleza, 2011. Disponvel em: <
http://www.die.ufpi.br/ercemapi2011/artigos/ST1_04.pdf>. Acesso em: 17 abr. 2012.
MARTINS, A.; MOO, A.. Educao a distncia vale a pena? Revista Nova Educao, n.
227, 2010. Disponvel em: <http://revistaescola.abril.com.br/formacao/formacao-
inicial/vale-pena-entrar-nessa-educacao-distancia-diploma-prova-emprego-rotina-aluno-
teleconferencia-chat-510862.shtml>. Acesso em: 07 abr. 2012.
MEHLECKE, Q. T. C.; TAROUCO, L. M. R. Ambientes de Suporte para Educao a Distncia:
a mediao para aprendizagem cooperativa. RENOTE: Revista Novas Tecnologias na
Educao, Porto Alegre, v.1, n.1, Fevereiro 2003. Disponvel em:
<http://penta2.ufrgs.br/edu/ciclopalestras/artigos/querte_ambientes.pdf>. Acesso em:
06 mar. 2012.
NIELSEN, J. Usability Engineering. Cambridge: Academic Press, 1993.
NIELSEN, J.; MACK, R. L. Usability Inspection Methods. New York: John Wiley & Sons,
1994.
PETERSON, E. T. The Big Book of Key Performance Indicators. [S.l.]: Celilo Group Media
and CafePress, 2006.
PEREIRA, A. T. C.; SCHMITT, V.; DIAS, M. R. A. C. Ambientes Virtuais de Aprendizagem.
Rio de Janeiro, p. 2-22, 2007. Disponvel em:
<http://www.livrariacultura.com.br/imagem/capitulo/2259532.pdf>. Acesso em: 06 mar.
2012.
PRATES, R. O. ; BARBOSA, S. D. J. Avaliao de Interfaces de Usurio - Conceitos e
Mtodos. In: XIX Congresso da Sociedade Brasileira de Computao, 2003. Anais da
Jornada de Atualizao em Informtica. SBC, 2003.

14
PREECE, J.; . ROGERS, Y. ; SHARP, E. Interaction Design: Beyond Human-Computer
Interaction. New York: John Wiley & Sons, 2002.
ROCHA, H. V. D.; BARANAUSKAS, M. C. C. Design e Avaliao De Interfaces Humano-
Computador. Campinas: NIED, 2003.
SANTOS, E. O. D.; OKADA, A. L. P. A Construo de Ambientes Virtuais de Aprendizagem:
por Autorias Plurais e Gratuitas no Ciberespao, 2003. Disponvel em:
<http://people.kmi.open.ac.uk/ale/papers/a06anped2003.pdf>. Acesso em: 06 mar.
2012.
SILVA, R. S.; FREITAS, R. Estudo da usabilidade nos Ambientes Virtuais de Aprendizagem:
Moodle e WebAula. Faculdade Integrada do Cear, Fortaleza, 2008. Disponvel em:
<http://www.infobrasil.inf.br/userfiles/27-05-S1-2-68757-Estudo%20da%20usabilidade.
pdf>. Acesso em: 12 mar. 2012

15