Metodologia para avaliao de produtos e servios de informao

Eliana da Conceio Rocha Mrcia de Figueiredo Evaristo de Sousa

Instituto Brasileiro de Informao em Cincia e Tecnologia (Ibict) Diretor Emir Jos Suaiden Coordenao Geral de Pesquisa e Manuteno de Produtos Consolidados Marisa Brascher Coordenao de Articulao, Gerao e Aplicao de Tecnologia Mrcia de Figueiredo Evaristo de Sousa Coordenao Editorial Regina Coeli Silva Fernandes

Metodologia para avaliao de produtos e servios de informao

Eliana da Conceio Rocha* Mrcia de Figueiredo Evaristo de Sousa**

Braslia Agosto 2010

* Especialista em Administrao de Sistemas de Informao. ** Mestre em Cincia da Informao, Coordenadora de Articulao, Gerao e Aplicao de Tecnologia do Ibict.

 2010 Instituto Brasileiro de Informao em Cincia e Tecnologia (Ibict)

Reviso de contedo Maria Nlida Gonzalez de Gomez, Rosali Fernandez de Souza, Joana Coeli Ribeiro Garcia, Suzana P.M. Mueller e Ktia de Carvalho. Reviso gramatical e ortogrfica (Ibict) Margaret de Palermo Silva Assistente de edio (Ibict) Davilene Ramos Chaves e Isabel Aguiar dos Reis Capa (Ibict) Flavia Rubenia da Silva Barros Descrio da capa A imagem de fundo da capa est propositalmente com os pixels aparentes, isto , em menor resoluo, por haver sido gerada diretamente da tela por meio da ferramenta IOGraph < http://iographica.com/ >, que monitora e registra graficamente os movimentos do mouse em determinado perodo, no caso, durante a concepo artstica. A designer considerou a ferramenta e o seu resultado grfico uma metfora fase da metodologia descrita nesta obra.

Ficha catalogrfica e classificao Maria Estefnia Rodrigues e Odilon Pereira da Silva

Ibict SAUS, Quadra 05, Lote 6, Bloco H 70070-914 Braslia-DF, Brasil www.ibict.br

Resumo Os novos paradigmas da sociedade da informao e do conhecimento, configurando a necessidade de trabalho em rede de forma compartilhada, constituem parmetros para a proposta do Instituto Brasileiro de Informao em Cincia e Tecnologia (Ibict), de realizar a avaliao de seus produtos e servios para atender s reais necessidades de seus usurios. Considerando a variedade da comunidade de usurios e a diversidade dos produtos e servios oferecidos pelo instituto, adotou-se, para essa avaliao, uma metodologia hbrida que compreende a aplicao de trs procedimentos: 1) avaliao qualitativa com base na abordagem Sense-Making, de Brenda Dervin, por meio de entrevistas estruturadas. Para a anlise dos resultados aplica-se a tcnica dos incidentes crticos de John C. Flanagan; 2) avaliao quantitativa a partir de formulrios eletrnicos disponibilizados nos sites dos produtos e servios avaliados; 3) aplicao das heursticas de Jakob Nielsen para avaliao da usabilidade das pginas Web dos produtos e servios. Com essa triangulao de mtodos espera-se obter uma viso contextualizada das prticas informacionais dos usurios e enriquecer as condies de uso dos produtos e servios oferecidos; conhecer o grau de satisfao dos usurios e a extenso do acesso e uso dos produtos e servios, bem como obter informaes sobre a facilidade com que os usurios se relacionam com as interfaces desses produtos e servios. Abstract The new paradigms of knowledge and information society that configures the increasing need of networking activities constitute parameters for the proposal of the Brazilian Institute for Information in Science and Technology (IBICT) to evaluate its information products and services in order to meet the real information needs of its users. Considering the variety of users and the diversity of information products and services offered by IBICT, it was adopted, for the purpose of this evaluation, a hybrid methodology including the application of three procedures: 1) a qualitative evaluation through structured interviews based on the Sense-Making method developed by Brenda Dervin; the critical incident technique by John C. Flanagan is applied to evaluate the results; 2) a quantitative evaluation through surveys available on the sites of the products and services under evaluation; and 3) evaluation of the usability of the interfaces of these products and services through the application of Jakob Nielsens usability heuristics. With the triangulation of these methods it is expected: firstly, to obtain a contextualized view of informational practices of users in order to improve the use conditions of the products and services offered; secondly, to detect the level of users satisfaction, the extension of access and use of the products and services; and, finally, to obtain information about the usability of the Web pages of these products and services.

Sumrio

Apresentao .........................................................................................................9 1. Introduo .......................................................................................................11 2. Desenvolvimento da metodologia............................................................12 2.1 Construo metodolgica para aplicao de estudo qualitativo .......17 2.1.1 A abordagem Sense-Making ..........................................................17 2.1.2 O Micro moment time line interview .................................................19 2.2 Construo metodolgica para aplicao de estudo quantitativo.....21 2.2.1 Levantamento de dados quantitativos .......................................21 2.2.2 Definio da amostra para levantamento de dados ................21 2.2.3 Anlise de contedo da questo aberta do formulrio quantitativo ....................................................................................23 2.2.4 Grficos gerados pelo Zoomerang ............................................23 2.3 Aplicao do mtodo de anlises heursticas em testes de usabilidade .................................................................................................23 3. Concluso ........................................................................................................24 Referncias .........................................................................................................26 Bibliografia consultada.....................................................................................29 Agradecimentos .................................................................................................80

APNDICES Apndice 1 Roteiro para realizao de entrevistas com aplicao do mtodo Micro moment time line interview da abordagem Sense-Making ..........................................................35 Apndice 2 Relato de uma entrevista com a marcao das variveis denominadas incidentes crticos (positivos ou negativos), a partir da aplicao do mtodo Micro moment time line ............................................40 Apndice 3 Exemplo de identificao e quantificao dos incidentes crticos que surgiram a partir das entrevistas com os usurios do Portal do Ibict (definio de padres) .............44 Apndice 4 Exemplo de formulrio completo no formato de apresentao no site do Portal do Ibict .................................47 Apndice 5 Exemplos das variveis especficas dos formulrios eletrnicos dos produtos/servios CCN e Comut .............53 Apndice 6 Exemplos aleatrios de resultados de anlise dos formulrios de avaliao quantitativa (Portal do Ibict).......59 Apndice 7 Respostas do campo aberto do formulrio da avaliao quantitativa ................................................................................67 Apndice 8 Exemplo de anlise do campo aberto do formulrio eletrnico de avaliao quantitativa (Portal do Ibict)..........69 Apndice 9 Exemplo de grficos gerados pelo software Zoomerang a partir da avaliao quantitativa por formulrio eletrnico ...................................................................................70 Apndice 10 Checklist para avaliao da interface homem-mquina a partir das heursticas de Nielsen ............................................74 Apndice 11 Exemplo de aplicao do mtodo de anlise heurstica (Portal do Ibict) ........................................................................79

Apresentao
No contexto da informao em cincia e tecnologia no Brasil, as polticas governamentais apresentam significativa aderncia s aes voltadas para a construo efetiva de uma sociedade do conhecimento, para a disponibilizao de tecnologias da informao e comunicao, para a convergncia tecnolgica e para o trabalho cooperativo e articulado. Tal configurao se manifesta na perda do carter sistmico isolado das instituies, na promoo do uso e desenvolvimento de padres para a interoperabilidade de uma sociedade global em rede, no apoio s polticas de adoo de software livres, na liberdade dos produtores de conhecimento de publicar digitalmente seus estudos, bem como na democratizao e universalizao do acesso ao documento. O Instituto Brasileiro de Informao em Cincia e Tecnologia (Ibict), unidade de pesquisa do Ministrio da Cincia e Tecnologia (MCT), tem sua misso institucional em consonncia com este contexto, quando [...] promove a competncia, o desenvolvimento de recursos e a infraestrutura de informao em cincia e tecnologia para a produo, socializao e integrao do conhecimento cientfico e tecnolgico. (IBICT, 2003c). Alm da formao de profissionais por meio do seu Programa de Ps-Graduao em Cincia da Informao, destaque-se que o Ibict promove articulaes em nveis tcnicos e polticos com vistas a identificar parceiros e a viabilizar a interoperabilidade entre vrios provedores de fontes de informao, bem como gera condies para a criao de outros provedores essenciais disponibilizao de contedos brasileiros na Internet. Tais atribuies conferem ao Ibict, como instituio governamental, a condio de rgo com responsabilidades histricas no desenvolvimento das redes, sistemas e servios de informao cientfico-tecnolgica no Brasil, dos quais hoje um dos mais ativos e inovadores componentes. No contexto desse novo paradigma de trabalho em rede e de forma compartilhada, o Ibict preocupa-se, cada vez mais, em adequar seus produtos e servios s reais necessidades de seus usurios. Assim, adotou e est

disponibilizando para as instituies interessadas, uma metodologia inovadora para avaliar produtos e servios de informao, na qual a triangulao de mtodos qualitativos e quantitativos permite, ao mesmo tempo, obter uma viso contextualizada das prticas informacionais dos usurios e enriquecer as condies de uso dos produtos e servios oferecidos, alm de conhecer o grau de satisfao dos usurios e a extenso de acesso e uso dos produtos e servios avaliados, bem como obter informaes sobre a facilidade com que os usurios se relacionam com as interfaces desses produtos e servios.

Emir Jos Suaiden Diretor do Ibict

10

1. Introduo
A busca por metodologias para o delineamento de procedimentos eficientes para a avaliao de produtos e servios em informao do Ibict foi inicialmente problematizada luz de diferentes variveis, tais como o conhecimento da natureza e dos objetivos da instituio e a natureza dos produtos/servios e dos usurios. Com base na misso do Ibict, chegou-se concluso de que a metodologia a ser adotada deveria considerar dois aspectos: a) heterogeneidade de seu pblico usurio de informao em cincia e tecnologia, e b) diversidade de seus produtos e servios disponibilizados, em todo ou em parte, em ambiente virtual. Esses aspectos iniciais assinalaram para a dificuldade de se estabelecer uma metodologia avaliativa que apreciasse a relao entre usurio e produtos e servios do instituto no ambiente virtual da Internet, onde se observam zonas de justaposio ou de complementaridade de produtos e servios em canais de informao diversos. Em outras palavras, a multiplicidade de canais de informao no contexto virtual dificulta o estabelecimento de procedimentos de controle para saber quem acessa a informao, visto que nesse ambiente a ideia de pblico alvo pode ser questionada. Emerge da a dificuldade de se definir uma amostra ou um instrumento para anlise de resultados luz das metas institucionais e dos objetivos dos servios oferecidos. A partir dessa problemtica, sentiu-se a necessidade de desenvolver um mtodo abrangente e indito para a avaliao de produtos e servios do Ibict. Com o enfoque nos usurios do instituto, recorreu-se a uma perspectiva marcadamente interdisciplinar com vistas convergncia e complementaridade de diferentes abordagens. Sob esse prisma, desenvolveu-se uma triangulao metodolgica alternativa que contemplasse a flexibilizao de mtodos de natureza quantitativa e qualitativa. Se por um lado a abordagem de natureza quantitativa auxilia na mensurao da extenso do acesso, do uso e do grau de satisfao de produtos e servios, por outro, a abordagem qualitativa permite uma viso contextualizada das prticas informacionais dos usurios. Alm disso, adotou-se um mtodo

11

cuja aplicao explicita a facilidade das interfaces com as quais o usurio se relaciona. Vale ressaltar que nas trs abordagens o ator principal o usurio. De modo a ilustrar o processo de construo da metodologia, fez-se uso do sistema de remissivas (mediante o recurso do hiperlink) para exemplificar os diferentes instrumentos de avaliao (roteiro de entrevistas, sntese de relato de entrevistas, formulrios eletrnicos, grficos, etc.) dispostos em onze apndices.

2. Desenvolvimento da metodologia
Visando a desenvolver e instrumentalizar procedimentos avaliativos, foi realizado um estudo exploratrio sobre as caractersticas de cada produto e servio a ser avaliado, com o objetivo de obter informaes sobre o que avaliar, como avaliar e qual o mtodo mais adequado para este fim. Neste processo preliminar, foram testados produtos e servios, com procedimentos formais e informais, por meio de consultas, navegao e anlise da recuperao da informao; foi feito ao mesmo tempo levantamento das especificaes tcnicas e das rotinas operacionais dos servios junto aos coordenadores tcnicos. Observou-se que alguns exigiam um esforo operacional maior em relao aos recursos disponveis para recuperar a informao, ou sobre qual o melhor caminho para se chegar a um resultado satisfatrio, quanto de esforo despendido para entender toda a rotina ou navegao mais adequada. Com este material de usurio observador, foi possvel identificar alguns dos atributos e variveis que deveriam ser considerados pelo instrumento metodolgico a ser construdo. A criao do instrumento metodolgico foi orientada pela necessidade de uma abordagem para avaliao qualitativa que permite maior aproximao dos valores dos usurios, do seu cognitivo, da construo de mapas mentais e dos seus movimentos de busca e uso1 da informao. A busca por uma abordagem qualitativa complementar e alternativa se deu diante da necessidade de adotar critrios de levantamento de dados
1

O uso, na terminologia da cincia da informao, remete ao acesso e apropriao de contedos informacionais de valor, que pode ser gnosiolgico e prtico

12

diferentes daqueles tradicionais utilizados para estudos dos usurios. Vale dizer que tais abordagens tradicionais foram muito utilizadas, mas tambm questionadas, conforme observado no resgate histrico e interpretativo exposto por Ferreira (1995) e por Baptista e Cunha (2007), por no satisfazer a vrios aspectos do estudo das necessidades de informao dos usurios para avaliao de sistemas, base de dados, bibliotecas e outros servios, no contexto da cincia da informao. Ademais, buscou-se um mtodo quantitativo que auxiliasse complementarmente na compreenso da extenso do uso e do grau de satisfao dos usurios quanto aos produtos e servios de informao do instituto. Para tanto, demandou-se um instrumental que orientasse uma coleta de dados de amplo espectro, mediante avaliao dos produtos e servios pela Web, com vistas a oferecer resultados sob as condies nas quais todo e qualquer usurio tivesse as mesmas probabilidades de emitir o seu juzo de valor a respeito dos atendimentos e recursos oferecidos pelos produtos e servios. Por fim, foi demandada a avaliao da usabilidade2 das pginas Web dos produtos e servios do Ibict. Em outras palavras, foi necessrio buscar uma abordagem para identificar o grau de interatividade entre homem-computador possibilitado pelos produtos e servios em avaliao. Sob esta demanda e aferindo as vantagens e desvantagens dos mtodos, iniciou-se estudo focado em um processo avaliativo abrangente e que respondesse s questes sobre os objetivos a serem alcanados. Pelo fato de a literatura no oferecer nenhum mtodo to completo que atendesse envergadura desse processo, optou-se por um modelo hbrido, no qual a aplicao de trs mtodos viesse confluir em resultados consistentes e ntegros, oriundos da parte do avaliador e da parte de quem usa os recursos de informao a serem avaliados. Para o desenvolvimento da metodologia, foi necessrio levar em considerao as caractersticas dos produtos e servios do Ibict, como: todos os produtos e servios esto na Web;
A usabilidade um termo desenvolvido em contextos tecnolgicos e refere-se interface entre um usurio e um sistema ou servio.
2

13

 alguns so produtos tecnolgicos que esto tambm disponibilizados na Web; os acervos disponibilizados no so de propriedade do instituto, exceto o acervo da biblioteca; o acesso ao documento feito por cpia digital ou fotocpia dos documentos dos acervos de outras instituies; o Ibict no possui um cadastro de usurios que contemple o perfil dos mesmos; alguns produtos e servios foram adaptados para o ambiente Web, tendo em vista que o seu desenvolvimento antecede a era das novas tecnologias; o instituto opera em rede, disponibiliza pacotes tecnolgicos de software livre, agrega provedores de dados dentro dos padres para a interoperabilidade, no contexto nacional e internacional. As caractersticas desse processo de avaliao remetem ao estudo quantitativo, em que se busca observar o conhecimento do grau de satisfao dos usurios; ao estudo qualitativo sobre o comportamento de busca e uso da informao pelo usurio e o atendimento das suas reais necessidades; e ao grau de interao homem-mquina a partir da disponibilizao dos produtos e servios em ambiente Web. Tais pressupostos metodolgicos vo ao encontro daqueles que se encontram sob o espectro da cincia da informao, criada em meados de 1960 e preocupada em investigar, de maneira ampla, [...] as propriedades e o comportamento da informao, as foras que governam seu fluxo, e os meios de process-la para otimizar sua acessibilidade e uso. Tais ideias foram expressas por Borko (1968, p.3), que buscou justificar e conceituar aquela disciplina sintetizando as preocupaes tericas deliberadas nas conferncias do Georgia Institute of Technology (realizadas nos EUA, 1961/1962). Conforme argumenta Borko (1968, p.3), a cincia da informao apresenta um corpo de conhecimentos preocupados com o estudo dos seus fundamentos, sem necessariamente atentar para a sua aplicao, bem como com a criao de produtos e servios em sua dimenso eminentemente aplicada.

14

A complementaridade de ambas as dimenses, terica e aplicada, subsidia os estudos sobre a origem, coleta, organizao, armazenagem, recuperao, interpretao, transmisso, transformao e uso de informao. Neste sentido, a proposta de congregar os mtodos qualitativos e quantitativos para a avaliao dos produtos e servios do Ibict aproxima-se, pelo vis metodolgico, das dimenses terica e aplicada apontadas por Borko (1968), bem como evidencia aspectos das relaes interdisciplinares da cincia da informao. A cincia da informao busca lidar com os problemas informacionais especficos e historicamente inscritos por meio do emprstimo de teorias comumente empregadas em outras disciplinas (como o caso da Teoria matemtica da comunicao, da Teoria geral de sistemas, entre outras) que so instrumentalizadas para diferentes fins (PINHEIRO, 1999, p. 177). A partir disso, conforme argumentaram Saracevic (1995, 1996) e Pinheiro (1999), a interdisciplinaridade faria parte de sua natureza constitutiva. No contexto interdisciplinar da cincia da informao, a aplicao dos mtodos qualitativos e quantitativos em uma metodologia mista converge com a perspectiva integradora de tais mtodos proposta por Minayo & Sanches (1993) e por Serapione (2000). O artigo de Minayo & Sanches (1993) objetivou apresentar discursos cientficos que privilegiaram ora o mtodo quantitativo, ora o qualitativo. Conforme explicam os autores, enquanto a investigao qualitativa [...] trabalha com valores, crenas, representaes, hbitos, atitudes e opinies a investigao quantitativa [...] atua em nveis de realidade e tem como objetivo trazer luz dados, indicadores e tendncias observveis. Ao discorrer sobre a natureza diferenciada de ambos os mtodos, os autores constataram que tais mtodos somente congregam funo e valor cientfico e instrumental, se forem exeqveis num dado contexto de pesquisa. Entretanto, ambos os enfoques podem ser relativizados quanto aos seus limites de aplicao diante das especificidades do objeto de estudo. Por fim, essa percepo de insuficincia no redime o fazer cientfico da imprescindibilidade de tais instrumentos.

15

J o texto de Serapione (2000) visou apresentar algumas estratgias que possibilitam a integrao de mtodos qualitativos e quantitativos em pesquisa social na rea de sade. Para tanto, o autor trouxe diferentes perspectivas tericas que tm buscado superar a contraposio entre ambos os mtodos. Aps discorrer sobre as especificidades e as aplicabilidades de cada mtodo em diferentes contextos de investigao, o autor desvelou preconceitos e falsos dilemas nos debates sobre tais abordagens. Props, enfim, a superao da incomunicabilidade de tais mtodos. No contexto da cincia da informao, Dervin (2003b) refora a necessidade de criar metodologias que contemplem a dimenso interdisciplinar. Nas palavras da autora,
Sem uma abordagem coerente e metodologicamente bem informada para a interdiciplinaridade aplicada rea, tornar-se- impossvel, ou mesmo autodestrutivo, considerar as necessidades de informao interdisciplinar de diferentes grupos em meio ao caos da confluncia de informao cyberspaced de limites disciplinares. O ato de atuar como mediador para outras reas ele mesmo um ato inerentemente interdisciplinar. (grifos nossos).

Considerando a necessidade de abertura metodolgica voltada interdisciplinaridade apontada por Dervin (2003b), a proposta para a avaliao dos produtos e servios do Ibict, alm de sopesar a relao entre mtodos quantitativo e qualitativo, privilegia, igualmente, a comunicabilidade entre os parmetros avaliativos/qualitativos uso e usabilidade. Nesta perspectiva, props-se considerar o uso em seus valores de natureza gnosiolgica e prtica durante o acesso e a apropriao de contedos informacionais, bem como somar tal parmetro aos estudos que consideram os contextos tecnolgicos de interface entre usurio e um sistema ou servio que caracterizam qualitativamente a sua usabilidade. As diferentes finalidades e pontos de vista, tanto no mbito qualitativo como no quantitativo, justificam a combinao das metodologias. Embora possam, em sua amplitude, atender a diferentes objetivos, os mtodos qualitativos e quantitativos foram essenciais para o desenvolvimento de procedimentos particulares e adequados de aplicao e consubstanciam o foco principal da proposio dos mtodos particulares apresentados a seguir.

16

2.1 Construo metodolgica para aplicao de estudo qualitativo 2.1.1 A abordagem Sense-Making Para a avaliao qualitativa que aborda as peculiaridades dos grupos sociais, que tem maior aplicabilidade no processo da busca do conhecimento sobre as necessidades de informao do usurio, foi adotada a abordagem Sense-Making que, segundo Ferreira (1997a), a mais completa, mais abrangente e utilizada em todo o mundo. Este mtodo foi desenvolvido em 1972 pela professora Brenda Dervin, da Ohio State University, para a realizao de estudo de usurios, mas foi tornado pblico somente em maio de 1983, na International Communications Association Annual Meeting, em Dallas/TS/USA (PEREIRA, 2002). Nas palavras da autora, o seu mtodo considera o processo [...] humano criativo de compreenso do mundo em um ponto particular no tempo e espao, limitado pela capacidade psicolgica e, ainda, dos acontecimentos presentes, passados e futuros de cada indivduo. (DERVIN, 1983 apud FERREIRA, 1997b). Figura 1 Metfora da abordagem Sense-Making

Fonte: Informaes ilustrativas extradas de Dervin, 2003a.

17

Esta abordagem amplamente utilizada nos Estados Unidos para avaliao de servios na rea da sade e para o desenvolvimento de sistemas de informao corporativos a partir das reais necessidades dos usurios. uma metodologia ainda pouco aplicada no Brasil, restringindo-se basicamente a estudos acadmicos. A abordagem pressupe que toda necessidade de informao gera uma situao que, por sua vez gera uma lacuna; todos os fatos inerentes forma em que a lacuna suprimida, ou seja, a busca da informao necessria e respectivas fontes de informao compem os elementos inerentes supresso da lacuna. A supresso de uma lacuna e a aplicao da informao obtida denominada uso. Em suma, situao, lacuna e uso formam o trinmio operacional do Sense-Making. No caso da aplicao da entrevista para avaliao de produtos e servios de informao do Ibict, considera-se que situao o fato gerador da necessidade de informao. No existe necessidade de informao sem motivo aparente; a informao existe em decorrncia da ao do homem, a partir de determinado comportamento, permeado por eventos que caracterizam uma causalidade, uma situacionalidade e uma temporalidade. A varivel lacuna refere-se a um dficit, conflito ou desordem enfrentado por um agente que gera necessidade de informao. Tais questes e necessidades de informao esto sempre relacionadas ao contexto de prticas e atividades dos agentes, e essas relaes entre situao e lacuna so reconstrudas nas narrativas dos entrevistados. Na descrio da lacuna, as perguntas devem ser dirigidas tambm para responder s questes: quem, o qu, quando, onde, por que ou como est buscando a informao ou o acesso ao documento. A varivel uso refere-se utilidade das informaes no processo de supresso da lacuna, os impactos decorrentes, as conseqncias observadas e os reflexos desse evento em situaes diversas. As variveis que emergem ao longo da entrevista podem ser categorizadas e classificadas, possibilitando encontrar, dentro do caos, o padro da ordem (processos cognitivos comuns ou mapa mental dos usurios) sobre o comportamento de busca e uso da informao.

18

2.1.2 O Micro moment time line interview Para aplicao da referida abordagem, Dervin desenvolveu o mtodo Micro moment time line interview3, no qual a conduo da entrevista deve descrever em profundidade, no tempo e no espao, as caractersticas da real necessidade de informao do entrevistado. O mtodo Micro moment time line interview diz respeito, por parte do entrevistado, da sua narrativa sobre seu momento mais recente de necessidade de informao, os caminhos percorridos para obter essas informaes, incluindo seus piores e melhores momentos nessa busca, a eficcia da fonte utilizada e o conseqente uso da informao obtida no processo da construo do conhecimento. Na opinio de Coco, Edie e Jolly (2002), este o mtodo que mais corresponde aos princpios da abordagem Sense-Making. Com base no mtodo Micro moment time line interview, foi desenvolvido um roteiro para a avaliao dos produtos e servios do Ibict. O referido roteiro encontra-se no Apndice 1. Nesse roteiro, dependendo das peculiaridades do relato de cada entrevistado, talvez surjam outras questes alm dos itens que norteiam cada varivel. O importante que se chegue a um nvel de profundidade no qual o entrevistado considere que os fatos tenham se esgotado quanto visibilidade de como ele deu sentido ao seu trabalho, em um micromomento na linha do tempo e espao. Esta vivncia pode ser explicada tambm sob a tica da metfora da espiral que se desenvolve a partir do movimento do pesquisador nos seus constructos. A formao da espiral ocorre a partir da subseqente recorrncia de outra ou mais lacunas, a partir da supresso da anterior. O usurio sempre volta outra necessidade de informao, mas nunca do mesmo ponto, tempo e lugar. Assim ocorre o ciclo de construo do conhecimento (DERVIN, 2003a).

O mtodo Micro moment time line interview contempla o movimento em que o elemento chave para a apreenso da mudana da viso de mundo dos indivduos. Ferreira (1995a, p.79), ao citar Dervin (1995), argumenta que o objetivo do mtodo [...] generalizar os padres de comportamento de busca e uso dos indivduos.
3

19

Pela experincia, recomenda-se que o entrevistado esquea qualquer termo associado avaliao tradicional e termos relacionados a ela. Ele precisa entender que far um relato que deve contemplar, em profundidade, todas as ocorrncias e relaes com o seu perfil social, cultural, profissional e individual, que surgiram como agentes desse movimento de busca e uso da informao. O entrevistador deve explicar os conceitos e atributos relativos s trs variveis para que o entrevistado possa entender a especificidade do mtodo e do micromomento a ser relatado. Nesse sentido, o entrevistado deve fazer o seu relato seguindo a estrutura lgica da situao, lacuna e uso, a fim de que o entrevistador possa gravar o udio da entrevista para a posterior sntese do seu contedo para a elaborao do instrumento, conforme o roteiro. Apesar de o entrevistador deixar o entrevistado praticamente livre para fazer seu relato, tambm deve estar atento para que no saia do foco, sempre resgatando a seqncia do mtodo, fazendo intervenes em momentos oportunos, sem cortar ao meio alguma explanao. Cabe ressaltar que, na aplicao da entrevista para avaliao dos produtos e servios do Ibict, foi estabelecido como critrio de seleo de amostra um grupo de dez pesquisadores com especializao, mestrado ou doutorado, concludos ou em andamento. Em cada amostra busca-se, na medida do possvel, reas do conhecimento diversificadas. Se o mtodo Micro moment time line interview permite a aproximao a uma situao de busca por informao diferenciada (micromomento) exteriorizada pelo usurio em cada entrevista, em contrapartida, foi sentida a necessidade de caracterizar, padronizadamente, as situaes enunciadas e registradas (conjunto das entrevistas) para a configurao de um instrumento norteador para a avaliao dos produtos e servios do Ibict. importante ressaltar que a padronizao das situaes particulares identificadas foi orientada pela aplicao do mtodo denominado Incidente crtico. Conforme explica Flanagan (1973, p. 99), o Incidente crtico
[...] consiste em um conjunto de procedimentos para a coleta de observaes diretas do comportamento humano, de modo a facilitar sua utilizao potencial na soluo de problemas prticos e no desenvolvimento de amplos princpios psicolgicos,

20

delineando, tambm, procedimentos para a coleta de incidentes observados, que apresentam significao especial, e para o encontro de critrios sistematicamente definidos.

Para auxiliar na avaliao qualitativa dos produtos e servios do Ibict, os incidentes crticos foram selecionados para compor a sntese do relato dos entrevistados. Para avaliao de cada produto, a equipe elabora um instrumento consolidado com os incidentes crticos das dez entrevistas realizadas. Um exemplo de relato de entrevista com a marcao de incidentes crticos (positivos ou negativos) encontra-se no Apndice 2. A partir desse instrumento se chega aos padres positivos e negativos de cada componente do trinmio situao, lacuna e uso. Um exemplo da identificao dos padres positivos e negativos a partir da aplicao dos incidentes crticos encontra-se no Apndice 3. 2.2 Construo metodolgica para aplicao de estudo quantitativo 2.2.1 Levantamento de dados quantitativos Na definio das variveis para o levantamento de dados quantitativos sobre o grau de satisfao do usurio, foram considerados grupos de dados sobre os seguintes aspectos: perfil demogrfico do usurio; perfil profissional do usurio; habilidades e facilidades para acessar a Internet; respostas que o resultado do uso de um produto ou servio proporciona ao usurio, quanto ao operacional, qualidade e tempo.

2.2.2 Definio da amostra para levantamento de dados Para definio da amostra para responder ao levantamento dos dados dessa natureza, foi adotado o mtodo probabilstico, pelo qual todos e quaisquer

21

usurios que acessem um produto ou servio tm a mesma probabilidade de fazer parte da amostra. Com este fim, foi desenvolvido um formulrio eletrnico para ficar disponibilizado em cada pgina de resultado de busca a cada produto ou servio, e tambm na pgina principal do portal corporativo. No Apndice 4 encontra-se como exemplo o formulrio eletrnico completo de avaliao quantitativa do Portal do Ibict. Cada produto/servio tem como instrumento padro os dados sobre o perfil demogrfico e sobre o perfil profissional do usurio. Os formulrios variam um do outro no que tange s especificidades de cada objeto a ser avaliado, ao que e como disponibilizado na Web, e aos fatores que interferiram, positivamente ou no, nos resultados obtidos na busca da informao nas fontes em avaliao. Exemplo das variveis especficas dos formulrios eletrnicos dos produtos/servios CCN, Comut e BDTD encontra-se no Apndice 5. Ao pesquisar qual ferramenta atenderia melhor ao desenvolvimento e implantao de formulrios eletrnicos, foi adotado o software Zoomerang (http:// www.zoomerang.com) pela sua facilidade de permitir o desenvolvimento de formulrios eletrnicos para coleta de dados junto a uma pgina Web ou por e-mail, sobre produto em avaliao, pela gerao de tabelas estatsticas, quantificao dos dados em percentuais e sua representao em grficos de tipos variados. Alm do mais, o custo para instituies sem fins lucrativos bem acessvel. Como elaborao de formulrio utilizando o Zoomerang, segue o exemplo do que foi desenvolvido e implantado no Portal do Ibict, sendo a seguir exemplificadas as partes especficas diferenciadas para cada fonte de informao. Como recomendao, para que o processo avaliativo fique mais leve e menos longo, sugere-se que o avaliador tenha um cadastro de usurios com o seu perfil, a fim de que seja possvel uma conexo automtica deste com as respostas ao formulrio especfico, sem ter que repetir as mesmas perguntas sobre o mesmo usurio, numa avaliao de diferentes produtos e servios. O desenvolvimento do instrumento no Zoomerang no apresenta dificuldades, pois totalmente autoexplicativo e interativo para a construo de surveys (termo utilizado pelo Zoomerang). Concludo o questionrio

22

eletrnico, apresentada uma rotina para gerao de link para website ou para e-mail, dependendo do mtodo de levantamento que ser adotado. Depois de enviado o questionrio, tanto em website ou e-mail, a ferramenta disponibiliza vrios tipos de relatrios, sendo um deles destinado ao acompanhamento dos status da coleta de dados, conforme possvel observar no Apndice 6, tambm usando o Portal do Ibict como exemplo. 2.2.3 Anlise de contedo da questo aberta do formulrio quantitativo O formulrio prev um campo aberto para que o usurio proponha recomendaes para melhoria do Portal do Ibict. As respostas do campo aberto esto exemplificadas no Apndice 7. A partir das recomendaes, apresenta-se um relatrio de anlise das questes que so pertinentes ao Portal do Ibict. As respostas de anlise esto baseadas na agregao das questes a uma categoria terminolgica relacionada hierarquicamente, ou seja, do geral para o especfico (Apndice 8). 2.2.4 Grficos gerados pelo Zoomerang O software Zoomerang possibilita a gerao automtica de grficos que ilustram os percentuais dos resultados da avaliao quantitativa por formulrio eletrnico constantemente atualizado. O software permite exportar dados para programas como o Excel, Power Point etc. Os grficos esto exemplificados no Apndice 9. 2.3 Aplicao do mtodo de anlises heursticas em testes de usabilidade A partir do fato de os produtos e servios estarem na Web, verificouse a necessidade de avaliar aspectos relacionados usabilidade dos produtos e servios do Ibict, no que se refere ao grau de interatividade homemcomputador. Adotou-se, para esse fim, o mtodo das heursticas de autoria de Jakob Nielsen (1992?, c2005a, c2005b, 2001?). Segundo afirma Nielsen (c2005a), as heursticas constituem um

23

[...] mtodo de engenharia de usabilidade usado na deteco de problemas de usabilidade em um design de interface de usurio para que estes problemas possam ser tratados como parte de um processo de design interativo. Uma avaliao heurstica implica fazermos um pequeno grupo de avaliadores examinarem uma interface e julgarem se os princpios de usabilidade reconhecidos (a heurstica) esto sendo observados.

Alm de ser internacionalmente reconhecido, o mtodo garante vantagens pelo seu baixo custo de aplicao e por ser facilmente aplicado para o teste de usabilidade em produtos ou servios de informao disponibilizados na Web e, mormente, para a adequao de pginas e interfaces Web interao homem-computador. Para sua aplicao, Nielsen (2005a; 2005b) recomenda que a avaliao heurstica seja feita por trs a cinco especialistas da rea, mas isso no impede que os prprios usurios estudem os critrios de avaliao e realizem a anlise. Com fundamentao nestas premissas foi desenvolvido um checklist estruturado nas dez heursticas propostas por Nielsen (Apndice 10). No entanto, duas delas foram fundidas em uma, pois tratam praticamente do mesmo tema: uma sobre controle de erros pelo usurio e outra sobre previso de erros. Assim, a questo dos erros tratada em um nico item. Na aplicao do mtodo das heursticas, as variveis so preestabelecidas pelo prprio mtodo, identificadas a partir da anlise realizada por especialistas treinados para sua aplicao na construo de portais, sites, interface de busca e navegao. O exemplo de aplicao do mtodo de anlise heurstica pode ser observado no Apndice 11.

3. Concluso
O relacionamento das trs abordagens metodolgicas nas quais exemplos de sua aplicao esto apresentados nos apndices deste documento foi proposto para viabilizar a avaliao de produtos e servios do Ibict com foco nos seus usurios.

24

Assim, a abordagem qualitativa realizada a partir da proposta metodolgica Sense-Making de Dervin e pela aplicao dos incidentes crticos de Flanagan permite uma viso contextualizada das prticas informacionais dos usurios e enriquece a reconstruo das condies de uso dos produtos e servios de informao. O procedimento quantitativo, por sua vez, oferece a possibilidade de obter informaes sobre a extenso do uso e grau de satisfao destes produtos e servios. A aplicao das heursticas explicita a facilidade das interfaces com as quais os usurios se relacionam. Nos trs procedimentos o ator principal o usurio. Com a avaliao qualitativa pela abordagem Sense-Making e pela marcao dos incidentes crticos, chegou-se a padres positivos ou negativos de cada produto/servio, conforme observado nos resultados da avaliao dos produtos/servios Portal do Ibict, CCN e Comut (ROCHA; SOUSA, 2009a, 2009b, 2009c). Ademais, pde-se observar padres comuns aos trs produtos. No padro positivo foi destacada a importncia dos produtos e servios oferecidos pelo Ibict, e no negativo foi ressaltada a existncia de uma demanda reprimida, dado o desconhecimento de tais produtos e servios por parte dos seus usurios potenciais. As pesquisas realizadas por meio de formulrios eletrnicos disponibilizados na Web tm grandes vantagens sobre as pesquisas realizadas por formulrios no eletrnicos, podendo incluir, entre outras, maior ndice de respostas, rapidez de entrada e anlise dos dados, possibilidade de expandir a amostra com os usurios no previsveis, otimizao de custos de fotocpias, correio, digitao, scanning e de verificao de dados, menor nmero de recursos humanos necessrios, transmisso direta de dados e atualizao contnua, respostas mais completas nas questes abertas, facilidade de construo de formulrios de coleta de dados junto a uma pagina Web ou por e-mail, gerao de tabelas estatsticas, quantificao dos dados em percentuais e sua representao em grficos de tipos variados (PERKINS, 2004). No entanto, os ndices de respostas aos formulrios eletrnicos dos produtos/servios do Ibict, j avaliados, tm se mantido baixos. Este fenmeno parece estar relacionado ao desconhecimento dos produtos e servios do Ibict pelos seus usurios potenciais, desconhecimento

25

este que vem sendo sistematicamente detectado pelas entrevistas realizadas para a avaliao qualitativa. Em relao avaliao heurstica, importante salientar que, embora tenha sido realizada pela equipe a partir dos critrios de Nielsen, a referida equipe contou com destacada participao dos prprios usurios dos produtos e servios no momento da avaliao qualitativa, ou seja, por ocasio das entrevistas, tendo em vista o novo paradigma de busca direta de informao na Web sem intermediao de profissionais da informao (bibliotecrios, documentalistas, e outros.) e pelos dados obtidos das respostas s perguntas abertas do formulrio eletrnico de avaliao quantitativa. O padro dos resultados da avaliao dos trs produtos mencionados de que a nomenclatura utilizada nos sites dos produtos e servios do Ibict est mais voltada para profissionais da rea de biblioteconomia e cincia da informao. Para finalizar, oportuno ressaltar que a combinao dos trs mtodos oferece maior consistncia e integridade dos resultados advindos do olhar do avaliador e do olhar de quem usa. Espera-se, com essa combinao, alcanar o principal objetivo da avaliao: adequar os produtos e servios do Ibict s reais necessidades de seus usurios.

Referncias
BAPTISTA, Sofia Galvo; CUNHA, Murilo Bastos da. Estudo de usurios: viso global dos mtodos de coleta de dados. Perspectivas em Cincia da Informao, Belo Horizonte, v. 12, n. 2, p. 168-184, maio/ago. 2007. BORKO, H. Information science: what is it? American Documentation, Washington, DC, v. 19, n. 1, p. 3-5, 1968. COCO, Angela; EDIE, Gavin; JOLLY, Lesley. Using sociological research in educational system design. In: EUROPEAN CONFERENCE ON INFORMATION TECHNOLOGY IN EDUCATIONAL CITIZENSHIP, 2., 2002. Barcelona. Proceedings Barcelona, June, 2002. Disponvel em: <http://web.udg.edu/tiec/orals/ c36.pdf>. Acesso em: 18 abr. 2008.

26

DERVIN, Brenda. Sense-Making methodology: communicating communicatively with campaign audiences. In: DERVIN, Brenda; FOREMAN-WERNET, Lois; LAUTERBACH, Eric (Ed.). Sense-making methodology reader: selected writings of Brenda Dervin. Cresskill: Hampton Press, 2003a. p. 232-249. ______. Human studies and user studies: a call for methodological inter-disciplinarity. Information Research, Sheffield, UK, v.9, n.1, Oct., 2003b. FERREIRA, Sueli Mara Soares Pinto. Redes eletrnicas e necessidades de informao: abordagem do Sense-Making para estudo de comportamento de usurios do Instituto de Fsica da USP. 1995a. 165 f. Tese (Doutorado em Cincia da Comunicao) Escola de Comunicao e Artes, Universidade de So Paulo, So Paulo, 1995. ______. Novos paradigmas e novos usurios da informao. Cincia da Informao, Braslia, v.25, n.2,1995b. ______. Design de biblioteca virtual centrado no usurio: a abordagem do Sense-Making para estudos de necessidades e procedimentos de busca e uso da informao. Cincia da Informao, Braslia, v. 26, n. 2, p. 214-217. 1997a. ______. Estudo de necessidades de informao: dos paradigmas tradicionais abordagem Sense-Making. Porto Alegre: EBEBD, 1997b. (Documentos da EBEBD, 2). Disponvel em: <http://www.scribd.com/doc/6747637/Estudo-de-Necessidadesde-InformaCAo>. Acesso em: 18 abr. 2008. FLANAGAN, John C. A tcnica do incidente crtico. Arquivos Brasileiros de Psicologia Aplicada, Rio de Janeiro, v.2, n. 25, p. 99-141, 1973. IBICT - Nossa Misso. Braslia: Ibict, [c2003?]. Disponvel em: <http://www.ibict. br/secao.php?cat=Misso>. Acesso em: 29 dez. 2009. MINAYO, Maria Ceclia; SANCHES, O. Quantitativo-Qualitativo: oposio ou complementaridade? Caderno de Sade Pblica, Rio de Janeiro, v. 9, n. 3, p. 239-262. 1993. Disponvel em: <http://www.scielo.br/pdf/csp/v9n3/02.pdf>. Acesso em: 18 abr. 2008. NIELSEN, Jakob. Characteristics of usability problems found by heuristic evaluation. [S.l.: s.n], [1992?]. Disponvel em: <http://www.useit.com/papers/heuristic/usability_ problems.html>. Acesso em: 18 abr. 2008. ______. How to conduct a heuristic evaluation. [S.l.: s.n], c2005a. Disponvel em: <http://staff.unak.is/not/nicolaw/courses/hci/HCILab7papers.pdf>. Acesso em: 18 abr. 2008. ______. Heuristic evaluation. [S.l.: s.n], c2005b. Disponvel em: <http://www.useit.com/ papers/heuristic/heuristic/heuristic_list.html>. Acesso em: 18 abr. 2008.

27

______. Ten usability heuristics. [S.l.: s.n], [2001?]. Disponvel em: <http://www.useit.com/papers/heuristic/heuristic_list.html>. Acesso em: 18 abr. 2008. PEREIRA, Edmeire Cristina. Design de sistemas de informao centrado no usurio e a abordagem do Sense-Making. Transinformao, Campinas, SP, v.14, n.2, 2002. PERKINS, Gay Helen. Will libraries Web-based survey methods replace existing non-electronic survey methods? Information Technology and Libraries, Chicago, v.23, n.3, Sept., 2004. PINHEIRO, Lena Vnia Ribeiro. Campo interdisciplinar da cincia da informao: fronteiras remotas e recentes. In: _______. (Org.). Cincia da informao, cincias sociais e interdisciplinaridade. Prefcio de Gilda Maria Braga. Braslia: IBICT, 1999. p.155-182. ROCHA, Eliana da Conceio; SOUSA, Mrcia de Figueiredo Evaristo de. Avaliao consolidada do Portal do IBICT com foco no usurio. Entrevistadores: Beatriz Caiado e Cristina Souza de Almeida. Braslia: IBICT, 2009a. Relatrio tcnico. ______; ______. Avaliao consolidada do COMUT com foco no usurio. Entrevistadores: Beatriz Caiado e Cristina Souza de Almeida. Braslia: IBICT, 2009b. Relatrio tcnico. ______; ______. Avaliao consolidada do Portal do CCN com foco no usurio. Entrevistadores: Beatriz Caiado e Cristina Souza de Almeida. Braslia: IBICT, 2009c. Relatrio tcnico. SARACEVIC, T. Interdisciplinary nature of information science. Cincia da Informao, Braslia, v.24, n.1, p.36-41, 1995. ______. Cincia da informao: origem, evoluo e relaes. Perspectivas em Cincia da Informao, Belo Horizonte, v.1, n.1, p.41-62, jan./jun. 1996. SERAPIONE, Mauro. Mtodos qualitativos e quantitativos na pesquisa social em sade: algumas estratgias para integrao. Cincia & Sade Coletiva, v. 5, n. 2, 2000. Disponvel em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid =S1413-81232000000100016>. Acesso em: 12 jun. 2007. ZOOMERANG. [Online survey]. [S.l:s.n], [200-]. Disponvel em <http://www. zoomerang.com/>. Acesso em: 10 mar. 2008.

28

Bibliografia Consultada
ABDALLA, Eidi Raquel Franco. A seleo da metodologia da pesquisa por mestrando em biblioteconomia e cincia da informao. 110 f. 2003. Dissertao (Mestrado em Cincia da Comunicao) Universidade de So Paulo, So Paulo, 2003. AROUCK, Osmar. Avaliao de sistemas de informao: reviso da literatura. Transinformao, Campinas, SP, v.13, n.1, p. 7-21, 2001. BALBY, Claudia Negro. Roteiro de avaliao de sistemas informatizados para bibliotecas e centros de documentao. So Paulo: USP/ECA/Departamento de Biblioteconomia e Documentao, 2002. Disponvel em: <http://www.eca.usp.br/prof/fmodesto/ textos/rotei02.doc>. Acesso em: 18 abr. 2008. BARRY, Christiane A. The research activity timeline: a qualitative tool for information research. Library and Information Science Research, London, v. 19, n. 2, p.153-179, 1997. BONI, Valdete; QUARESMA, Silvia Jurema. Aprendendo a entrevistar: como fazer entrevistas em cincias sociais. Revista Eletrnica dos Ps-Graduados em Sociologia Poltica da UFSC, v. 2, n. 1, p. 68-80, 2005. Disponvel em: <http://www.emtese.ufsc.br/3_art5. pdf>. Acesso em: 15 Mar. 2007. BROWN, Mary E. A general model of information-seeking behavior. In: ASIS ANNUAL MEETING, 1991, Philadelphia. Proceedings Philadelphia: College of Information Studies, Drexel University, 1991. v.28, p. 9-14. BAX, Marcello. Princpios bsicos de usabilidade. [Belo Horizonte]: [s.n.], [199-]. Disponvel em: <http://www.bax.com.br/Bax/CVs/Disciplinas/UsuInfo/2002/usabilidade>. Acesso em: 15 Mar. 2007. BAX, Marcello P.; DIAS, Eduardo W. A abordagem Construo de Sentido. Belo Horizonte: [s.n.], fev. 1997. Trabalho apresentado em Workshop da ECA/USP em So Paulo. Disponvel em: <http://www.bax.com.br/Bax/CVs/Disciplinas/UsuInfo/sensema6.html>. Acesso em: 17 Mar. 2008. BOSCARIOLI, Clodis et al. Avaliao de usabilidade e avaliao Sense-Making da ferramenta RVQ-Tool. In: SIMPSIO SOBRE FATORES HUMANOS EM SISTEMAS COMPUTACIONAIS, 6., 2004. Curitiba. Anais... Curitiba: [s.n.], 2004. p. 9-19. CHEUCK, W. Y. B. Applying Sense-Making methodology to establish communities of practice: exemples from the Britsh Council. New York: [s.n.], 2005. Paper presented at a non-divisional workshop held of the meeting of International Communication Association. Disponvel em: <http://communication.sbs.ohio-state.edu/sensemaking/meet/2005/meet05cheuk_ex.pdf>. Acesso em: 15 maio 2008.

29

CUNHA, Murilo Bastos da; CAVALCANTI, Cordlia Robalinho de Oliveira. Dicionrio de biblioteconomia e arquivologia. Braslia: Briquet de Lemos Livros, 2008. 451p. _______. Metodologias para estudo dos usurios de informao cientfica e tecnolgica. Revista de Biblioteconomia de Braslia, Braslia, v.10, n.2, p. 5-20, jul./dez. 1982. Nmero temtico sobre estudo e tratamento de usurios da informao. DELA COLETA, J. A. A tcnica dos incidentes crticos: aplicaes e resultados. Arquivos Brasileiros de Psicologia Aplicada, Rio de Janeiro, v.26, n.2, p.35-58, 1974. DIAS, Claudia Augusto. Mtodos de avaliao de usabilidade no contexto de portais corporativos: um estudo de caso no Senado Federal. 229 f. 2001. Dissertao (Mestrado em Cincia da Informao) Universidade de Braslia, Braslia, 2001. DIAS, Fernando Skackauscas. Avaliao de sistemas de informao: reviso de publicaes cientficas no perodo de 1985-2005. 160 p. 2006. Dissertao (Mestrado em Cincia da Informao) Universidade Federal de Minas Gerais, Belo Horizonte, 2006. Disponvel em: <http://www.bibliotecadigital.ufmg.br/dspace/bitstream/1843/ VALA-6UXQYC/1/mestrado_fernando_skackauskas_dia>. Acesso em: 18 abr. 2008. DERVIN, Brenda. A brief pictorial guide to Dervins Sense-Making methodology. [S.l.:s.n.], 2003a. Disponvel em: <http://communication.sbs.ohio-state.edu/sense-making/meet/2003/dervin03sm_ pictorial_guide.pdf>. Acesso em: 20 abr. 2008. ______. Human studies and user studies: a call for methodological inter-disciplinarity. Information Research, Columbus, OH, v.9, n.1, Oct., 2003b. DERVIN, Brenda; NILAN, Michael. Information needs and uses. ARIST, Medford, NJ, v. 21, p. 3-33, 1986. Disponvel em: <http://communication.sbs.ohio-state.edu/ sense-making/art/artabsdervinnilan86arist.html>. Acesso em: 15 maio 2008. DERVIN, Brenda. Design de bibliotecas virtuais centrado no usuario / A guide to the sensemaking approach to user research system design information practice: a abordagem do SenseMaking para estudo de necessidades e comportment de busca e uso da informao. So Paulo, 1997. 68 f. Trabalho apresentado no Workshop realizado em So Paulo no perodo de 17 a 21 de marco de 1997, com o apoio de GT/Biblioteca, Virtual do Comite Gestor Internet/ Brasil, FAPESP, CCInt e SIBi. DERVIN, Brenda; CONNAWAY, L. S.; PRABHA, C. Sense-Making the information confluence: the whys and how of college and university user satisfying of information needs. Columbus, Ohio: School of Communication, Ohio University, 2004. 2 p. Approved proposal for Institute of Museum and Library Services National Leadership Grant LG-02-03-0062-03. Disponvel em: <http://imlsproject.comm.ohio-state. edu/imls_proposal/imlsPROPOSAL_ABSTRACT.pdf>. Acesso em: 15 maio 2008.

30

DERVIN, Brenda; SHIELDS, Peter. Interdisciplinary academic dialogue: Sense-Making and other methodological potentials. In: INTERNATIONAL COMMUNICATION ASSOCIATION, 2005, New York. Proceedings New York: [s.n.], 2005. Disponvel em: <http://communication.sbs.ohio-state.edu/sense-making/meet/2005/ meet05dervinshields_lit.pdf>. Acesso em: 15 maio 2008. FIDEL, Ray. ; PEJTERSEN, Annelise Mark. From information behaviour research to the design of information systems: the cognitive work analysis framework. Information Research, Columbus, OH,, v.10, n.1, 2004. Disponvel em: <http://InformationR.net/ir/10-1/paper210.html>. Acesso em: 18 abr. 2008. FOREMAN-WERNET, Lois. Connecting the dots: methodology as guide. In: INTERNATIONAL COMMUNICATION ASSOCIATION, 2003, San Diego. Proceedings San Diego, CA: [s.n.], 2005. Disponvel em: <http://communication.sbs.ohio-state.edu/sense-making/meet/2003/ meet03foremanwernet.pdf>. Acesso em: 15 maio 2008. GARCIA, Rodrigo Moreira; SILVA, Helen de Castro. O comportamento do usurio final na recuperao temtica da informao: um estudo com ps-graduados da UNESP de Marlia. Datagramazero, Rio de Janeiro, v.6, n.3, 2005. Disponvel em: <http://dgz.org.br/jun05/Art_02.htm>. Acesso em: 18 abr. 2008. GONZLES DE GOMES, Maria Nlida; GRACIOSO, Luciana de Souza. Perspectiva pragmticas para estudo do usurio no contexto virtual. In: SNBU, 14., 2006, Salvador. Anais... Salvador: [s.n], 2006. HENRIQUE, Luiz Cludio Junqueira; HENRIQUE, Gabriel Guimares. Concepo da estratgia e o processo de sensemaking: explorando tendncias e integrando conceitos. Cadernos de Idias, Nova Lima, MG, n. 403, 2004. HERNANDES SALAZAR, Patrcia et al. Anlisis de modelos de comportamiento en la bsqueda de informacin. Cincia da Informao, Braslia, v. 36, n. 1, p. 136-146, 2007. HJORLAND, Birger. Epistemology and the socio-cognitive perspective in Information Science. JASIST, New York, v.53, n.4, p.257-27, 2002. HORNBAEK, Kasper. Current practice in measuring usability: studies and research. International Journal of Human-Computer Studies, Cambridge, MA, v.64, n.2. p.79-102, 2006 ITAKURA, Fernando Takashi; VERGILIO, Silvia Regina. TOWABE: uma ferramenta para avaliao de usabilidade em aplicaes para Web. In: SIMPSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE, 16., Gramado. Anais... Gramado: [s.n.], 2002. Disponvel em: <http://www.lbd.dcc.ufmg.br:8080/colecoes/sbes/2002/040.pdf>. Acesso em: 18 abr. 2008.

31

LANCASTER, Frederick Wilfrid. Information retrieval systems: characteristics, testings and evaluation. 2.ed. New York: John Wiley & Sons, 1979. 381p. LOFFREDO, Ivan; SOUSA, Maria de Lourdes; VOLPATO, Elisa. Anlise de pesquisa quantitativa sobre cursos online a partir da abordagem alternativa do Sense-Making. So Paulo: USP/ECA, 2005. Disponvel em: <http://www.acervos.art.br/cv/texto_eca.html>. Acesso em: 18 abr. 2008. MARCHIONINI, Gary. Evaluating digital libraries: a longitudinal and multifaceted view. Library Trends, Champaign-Urbana, Ill, v.49, n.2, p.304-333, 2000. MARDERO, Miguel ngel. Workshop design de bibliotecas virtuais centrado no usurio: a abordagem do Sense-Making para estudo de necessidades e comportamento de busca e uso de informao. [S.l.:s.n.], [200-]. Disponvel em: <http://eprints.rclis.org/ archive/00002546/01/artigo01.htm>. Acesso em: 18 abr. 2008. MARTINS, Maria de Ftima Moreira. Estudo do uso do Portal da Capes no processo de gerao de conhecimento por pesquisadores da rea Biomdica: aplicando a tcnica do incidente crtico. 2006. Dissertao (Mestrado em Cincia da Informao) Instituto Brasileiro de Informao em Cincia e Tecnologia/Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006. NEWBY, Gregory B. The strong cognitive stance as a conceptual basis for the role of information in informatics and information system design. In: SCI/ISIS, Orlando. Proceedings Orlando: [s.n.], July 1998. Disponvel em: <http://WWW.petascale.org/ papers/cogspace-98.pdf>. Acesso em: 18 abr. 2009. NIELSEN, Jakob. Severity ratings for usability problems. [S.l.: s.n], [200-]. Disponvel em: <http://www.useit.com/papers/heuristic/severityrating.html>. Acesso em: 18 abr. 2008. ______. Top ten web design mistakes of 2005. [S.l.: s.n], [200-]. Disponvel em: <http:// www.useit.com/alertbox/designmistakes.html>. Acesso em: 15 jan. 2008. NIELSEN NORMAN GROUP. Design reviews (usability inspections). [S.l.: s.n], c2009. Disponvel em <http://www.nngroup.com/services/inspection.html>. Acesso em: 18 abr. 2008. NUNES, Eny Marcelino de Almeida. Aplicao de mtodos de avaliao ergonmica em interface para sistemas de recuperao de informao em bases de dados. 114f. 1999. Dissertao (Mestrado em Cincia da Informao) Universidade de Braslia, Braslia, 1999. NUNES, Srgio Sobral. A acessibilidade na internet no contexto da sociedade da informao. Porto: Universidade do Porto, 2002. Disponvel em: <http://paginas.fe.up. pt/~mgi01016/is/acessibilidade.pdf>. Acesso em: 15 mar. 2008.

32

ODHIAMBO, Frank; HARRISON, Janet; HEPWORTH, Mark. The Information needs of informal carers: an analysis of the use of the micro-moment time line interview. Library and Information Research, London, v. 27. n.86, p.19-29, 2003. PEREIRA, Edmeire Cristina. Design de sistemas de informao centrado no usurio e a abordagem do Sense-Making. Transinformao, Campinas, SP, v.14, n.2, 2002. RIECH, Soo Young. Judgment of information quality and cognitive authority in the Web. JASIST, New York, v.53, n.2, p.145-161, 2002 SALGADO, Luciana Maria Allan. A biblioteca virtual do estudante brasileiro da Escola do Futuro da Universidade de So Paulo: um estudo da sua estrutura e dos seus usurios. 166f. 2002. Dissertao (Mestrado em Cincia da Informao) Universidade de So Paulo, So Paulo, 2002. SAMPAIO, I. M. C. Programa de avaliao da qualidade de produtos e servios do SIBI/USP-PAC. Cincia da Informao, Braslia, v. 33, n. 1, p. 142-148, 2004. SANDORE, Beth. On line searching: what measure sarisfactioin? LISR, n.12, p.3334, 1990. SANTOS, Robson L. G.; MORAES, Anamaria, de. Avaliao heurstica da usabilidade de interfaces de Web sites: critrios ergonmicos. In: P&D DESIGN, Novo Hamburgo. Anais... 2000. Novo Hamburgo, [s.n.], 2000. SARACEVIC, Tefko, et al. A study of information seeking and retrieving: I background and methodology. JASIST, New York, v.39, n.3, p.161-176, 1988. SARACEVIC, Tefko; KANTOR, Paul. A study of information seeking and retrieving: II. users, questions, and effectiveness. JASIST, New York, v.39, n.3, p.177-196, 1988. ______; ______. A study of information seeking and retrieving: III: searchers, searches, and overlap. JASIST, New York, v. 39, n.3, p.197-216, 1988. SILVA, Janete Fernandes; FERREIRA, Marta Arajo Tavares; BORGES, Mnica Erichsen Nassif. Anlise metodolgica dos estudos de necessidades de informao sobre setores industriais brasileiros: proposies. Cincia da Informao, Braslia, v. 31, n. 2, p. 129-141. 2002. SPURGIN, Kristina M. The Sense-Making approach and the study of personal information management. In: PERSONAL INFORMATION MANAGEMENT A SIGIR 2006 WORKSHOP, 2006. Disponvel em: <http://pim.ischool.washington.edu/pim06/files/spurgin-paper.pdf>. Acesso em: 15 mar. 2008.

33

SUN, Ying, KANTOR, Paul B. Cross-evaluation: a new model for information system evaluation. JASIST, New York, v.57, n.5, p.614-628, 2006. VEIGA, Carla et al. A aplicao da metodologia sensemaking como diferencial competitivo nas organizaes. In: CONGRESSO BRASILEIRO DE BIBLIOTECONOMIA E DOCUMENTAO, 22., Braslia. Anais... Braslia: UNB, 2007. WEICK, Karl E. Sensemaking in organization. Londres: Foundations for Organizational Science, 1995. WILSON, T. D. Recent trends in user studies: action research and qualitative methods. Information Research, Sheffield, UK, v.5, n.3, April, 2000. Disponvel em: <http:// informationr.net/ir/5-3/paper76.html>. Acesso em: 12 Jun. 2007. W I N C K L E R , M a r c o ; P I M E N TA , M a r c e l o S o a r e s. Ava l i a o d e Usabilidade de Sites Web. In: NEDEL, Luciana Porcher (Org.). Escola de informtica da SBC SUl (ERI 2002). Porto Alegre, 2002. v. 1, p. 85-137. Disponvel em: <http://www.funtec.org.ar/usabilidadsitiosweb.pdf>. Acesso em: 12 Jun. 2007.

34

APNDICES
APNDICE 1 Roteiro para realizao de entrevistas com aplicao do mtodo Micro moment time line interview I MARCAO DA ENTREVISTA a) Selecionar os nomes dos entrevistados potenciais (pessoas com notrio saber ou formadoras de opinio em seu segmento profissional ou estudantil), considerando os critrios a seguir: professores da graduao e ps-graduao; pesquisadores em geral (indstria, governo, universidade, instituto de pesquisa, ONG); alunos de ps-graduao; alunos da graduao e de escolas tcnicas em fase de elaborao da monografia de concluso de curso (pedir a indicao de algum professor); servidores pblicos que desenvolvem atividades que requerem a busca da informao para execuo das suas atividades; professores de escolas tcnicas profissionalizantes; alunos de escolas tcnicas profissionalizantes. b) Fazer contato telefnico com os entrevistados potenciais e certificarse sobre qual deles possui o perfil para ser entrevistado para avaliar determinado produto ou servio de informao. O perfil para ser um entrevistado requer conhecimento do produto ou servio a ser avaliado, estar envolvido em alguma situao que requeira a busca e uso de informao e que este ciclo tenha sido realizado, pelo menos uma vez, recentemente (no semestre ou no mximo, no ano corrente).

35

c) Identificadas as pessoas que possuem o perfil necessrio, selecionar um nmero que possa representar uma amostra que possibilite a identificao do comportamento e necessidades padro da populao de usurios. No caso do Ibict, sero entrevistadas dez pessoas para cada produto ou servio. d) Explicar, individualmente, que a entrevista se destina avaliao de determinado produto ou servio de informao, que o entrevistado no ter seu nome associado s respostas. Para o levantamento dos dados demogrficos e dos referentes ao perfil profissional do usurio, usar as questes do formulrio eletrnico, as quais podem ser respondidas por telefone, no momento da marcao da entrevista, ou no momento da prpria entrevista. e) A entrevista exige o trabalho de situar o usurio no contexto da pesquisa, dando nfase importncia da sua participao, em que ele ir descrever sua vivncia experimentada na busca e uso do objeto em avaliao. Esta ao exige do entrevistador a habilidade de mobilizar o entrevistado para que ele traga tona sensaes, sentimentos, emoes, frustraes, incertezas, angstias e sucessos experimentados; os fatores que o levaram a adotar certos comportamentos no desenvolvimento do seu trabalho ou pesquisa. O entrevistado tem de estar plenamente consciente do que se espera dele e o entrevistador deve ter a habilidade necessria para deixar o entrevistado vontade. f) No caso do Ibict, a abordagem feita a partir da explicao da misso do instituto, que criou uma coordenao para implantar um processo contnuo e sistemtico de avaliao dos seus produtos e servios. demonstrado como ocorre uma confluncia e aderncia da misso institucional ao cenrio mundial, onde a mudana de paradigma exige a adequao dos produtos e servios de informao ao usurio da Web, independente e necessitado de maiores recursos que venham permitir a interao homem computador, a navegao lgica e os contedos disponibilizados de acordo com as reais necessidades dos usurios.

36

II REALIZAO DA ENTREVISTA 1 SITUAO 1.1 Que tipo de trabalho voc est desenvolvendo que demanda informao? 1.2 Se for uma pesquisa, perguntar: qual a proposta? 1.3 Que fatores influenciaram para desenvolver este trabalho? 1.4 Desses fatores, qual voc considera o principal que gerou a necessidade de informao e por qu? 1.5 Existe algum outro fator que voc gostaria de relatar? 1.6 Qual o contexto do seu trabalho? (exemplos: buscar solues para determinada tecnologia; buscar um conceito para dimensionar a abrangncia da busca de informaes peculiares; reviso de literatura, pesquisa na rea de biogentica;). 1.7 O que o (a) influenciou para desenvolver este tipo de trabalho? 1.8 Qual a questo principal do contexto do seu trabalho que gerou a necessidade de informao? 1.9 Quais so as demais questes de destaque no contexto? 1.10 Descreva com detalhes os fatos negativos e problemticos determinantes no estabelecimento da real situao. 1.11 Descreva com detalhes os fatos positivamente significativos que foram determinantes no estabelecimento da situao real. 1.12 Descreva qual seria a situao ideal para o andamento desta fase. 1.13 Quais seriam as outras questes que voc considera relevante acrescentar, considerando o real entendimento desta fase em que voc se deparou com a situao? Obs. Ficar atento para o fato de que mais de uma questo pode ser respondida, mediante o relato do entrevistador. Em contrapartida, dependendo do relato, podem surgir questes no previstas no roteiro e que merecem ser exploradas em funo do objetivo que se pretende alcanar. No entanto, no perder o foco da varivel em estudo.

37

2 LACUNA 2.1 Que tipo de informao ou documento voc buscou para suprir a lacuna descrita? 2.2 Qual o tipo de problema voc pretendia solucionar com a recuperao da informao e acesso aos documentos? 2.3 Como voc tomou conhecimento da existncia desse produto/ servio que estamos avaliando? 2.4 Qual critrio o (a) levou a escolher esta fonte de informao que estamos avaliando? 2.5 Quais os termos-chave que podem descrever com fidedignidade as suas buscas nas fontes de informao? 2.6 Quais foram os critrios adotados para a possvel seleo de outras fontes de informao a serem consultadas? 2.7 Algum mais participou da indicao das fontes de informao? 2.8 Algum bibliotecrio participou dessa fase? 2.9 Voc recebeu a ajuda de algum profissional de outra rea? 2.10 Em caso positivo, qual o perfil dessa pessoa (pesquisador da rea X; professor da ps-graduao, e outros atributos relevantes para o entendimento sobre a tentativa de supresso da lacuna). 2.11 Quais foram as situaes de sucesso ocorridas diante do esforo despendido para suprir a lacuna? 2.12 Quais foram as situaes de insucesso ocorridas diante do esforo despendido para suprimir a lacuna? 3.13 Qual o momento mais crtico que voc encontrou nesta fase de busca da informao? 2.14 Quais seriam os recursos ideais para minimizar o esforo para suprimir a lacuna? 2.15 A lacuna foi totalmente suprimida? 2.16 Outras lacunas foram identificadas medida que voc buscava outras informaes? 2.17 Houve alguma correo de rumos para a efetiva supresso da lacuna?

38

2.18 Descreva, sob a abordagem metodolgica, quais os passos seguidos em busca da supresso da lacuna. 2.19 Voc tem alguma informao relevante que gostaria de acrescentar, para melhor entendimento dessa fase? 3 USO 3.1 Voc recuperou alguma informao pertinente e relevante para a supresso da lacuna gerada pela situao? 3.2 Todas as informaes eram pertinentes? 3.3 Qual foi o indicador de maior sucesso encontrado nesta fase? 3.4 Quantas referncias, aproximadamente, no eram pertinentes? 3.5 As informaes recuperadas foram suficientes para resolver sua necessidade de informao? 3.6 Voc teve que recorrer a outros sistemas de informao ? Quais? Qual o grau de qualidade de atendimento dos sistemas? Quais as caractersticas que eles possuem que no so encontradas neste em avaliao? 3.7 Quais as solues adotadas para garantir que as buscas fossem realizadas com preciso? 3.8 Qual o momento menos produtivo e de frustrao no uso das informaes? 3.9 Qual o momento mais produtivo e de sucesso no uso das informaes? 3.10 Quais seriam as caractersticas ideais do produto ou servio em avaliao, para que ele esteja mais prximo das suas reais necessidades?

39

APNDICE 2 Relato de uma entrevista com a marcao das variveis denominadas incidentes crticos (positivos ou negativos) a partir da aplicao do mtodo Micro moment time line da abordagem Sense-Making Entrevista de Avaliao do Portal do Ibict Possui mestrado em cincia da informao (UnB - 2005) - linha de pesquisa Arquitetura da informao, especializao em Gesto de tecnologia da informao (UnB - 2008) e graduao em biblioteconomia (UnB -1999). analista de controle externo do Tribunal de Contas da Unio, e atua como chefe do Servio de Sistemas de Gesto de Contedos. Contextualizao da entrevista O projeto de avaliao dos produtos e servios do Ibict foi contextualizado dentro da poltica institucional e do cenrio mundial. Esta avaliao uma atividade contnua e sistemtica dentro da instituio que servir de instrumento para o processo decisrio sobre as melhorias necessrias aos produtos e servios, novos produtos e demais polticas relacionadas rea, consolidando a misso institucional. Para este processo de avaliao foram desenvolvidos instrumentos metodolgicos com caractersticas hbridas. Esta entrevista tem seu foco no comportamento de busca e uso da informao do usurio no processo de construo do conhecimento e dos movimentos que ocorrem dentro desse processo, ou parte dele. O estudo est centrado na vivncia do usurio na sua experincia de busca e uso da informao. O mtodo recomenda que o entrevistado relate sua mais recente experincia de busca e uso de informao no Comut (produto ou servio em avaliao). Esta vivncia tem incio no fato que gerou a necessidade da informao. Gostaramos que voc relatasse a sua experincia mais recente de busca e uso da informao, a partir do fato desencadeador que chamaremos, de agora em diante, de situao. A situao geralmente confundida com a situao de elaborao de uma tese ou dissertao; no nosso entendimento metodolgico de construo do

40

conhecimento, a tese permeada de diversos micromomentos que desencadeiam necessidades de busca e uso de informao. Ento, gostaramos que voc nos relatasse sua situao mais recente. Relato do entrevistado Situao Necessitava de bibliografia sobre semitica e arquitetura da informao, para atender solicitao de uma pesquisadora da Universidade Federal da Paraba. Lacuna A entrevistada entrou no Portal h uma semana, para uma busca na BDTD, pois se lembrou de uma defesa de dissertao na UnB, no Departamento de Cincia da Informao, cujo tema era esse. Foi primeiro pesquisar no Google, mas no achou o documento na ntegra e a se lembrou que a BDTD certamente poderia ter o documento para download. Conseguiu localizar a dissertao de Andr Siqueira sobre arquitetura da informao e linguagem, algo assim (ttulo correto: A lgica e a linguagem como fundamentos da arquitetura da informao). Fez a busca pelo nome do autor e encontrou o documento solicitado sem nenhuma dificuldade de navegao na BDTD. Colocou que, na BDTD propriamente, a pesquisa muito boa. Acha legal haver l o Currculo Lattes. Cita que a BDTD uma boa referncia para a pesquisa; todo mundo a conhece e sabe que as dissertaes esto l. Argumentou que no fcil encontrar as informaes no site. Quanto aos produtos e servios, entende que comea com uma organizao (que acha ser) lgica, com dois itens ou trs, mas depois vem uma organizao alfabtica. Para encontrar a BDTD, ela demorou um pouco: foi em produtos e servios por achar mais lgico no encontrou; procurou em outros pontos no portal, no achou; voltou em produtos e servios e foi abrir item por item, onde acabou encontrando. Achou a localizao da BDTD dentro do Portal um pouco difcil.

41

Uso A utilizao do documento ajudar a mestranda no desenvolvimento de sua pesquisa acadmica. Espontaneamente, a entrevistada resolveu apontar alguns problemas do portal, independentemente do roteiro, mas a partir da sua experincia. Este exemplo mostra que necessrio sempre ouvir o usurio. O portal apresenta um problema de ter o foco em notcias. o que mais aparece. O ideal dar destaque aos produtos e servios. A instituio quer fazer divulgao institucional, mas o usurio no quer saber disso. Tem que haver notcia em algum lugar, porque importante, mas o destaque deve ser menor. Problema no esquema de menu que pula para o lado. O mais indicado o que encosta e desce. O menu utilizado hoje pelo Ibict no indicado porque no muito bom devido acessibilidade. Ex.: uma pessoa que tenha uma deficincia motora. Listas muito compridas. Pelo menos dispor em ordem alfabtica. A recomendao atual de que se agrupe em listas de, no mximo, sete tpicos. Agrupamento de informaes (Nielsen). Quem planeja o portal deve conhecer bem os produtos, mas o usurio no conhece. Problema das siglas. Criar nome fantasia ou nomes acessveis a todas as pessoas. Ou criar formas de, quando encostar a seta no produto, mostrar do que se trata. Isso evita ao usurio o trabalho de ficar entrando em todos os itens para saber qual a informao que o produto est oferecendo. Pegar todos os produtos e servios, transformar em cones e distribuir na pgina principal seria muito mais til para quem pesquisa. Sugere tentar oferecer dois caminhos para a mesma informao (menu e cones com os principais produtos e programas do Ibict). Criar espao de banner para divulgao dos prprios ou novos produtos. Ex.: Saiu a nova edio da revista. Verificar a identidade visual: logomarca, cores, designer, combinao, cor de fundo, as fontes, layout mesmo. Ex. de portal hoje tido como bom: GDF. Divulgao interna dos programas da Casa e tbm dos seus produtos e servios.

42

 Criar uma caixa (estilo Google) para a pessoa poder pesquisar o produto ou o que lhe interessa. Outros links de parcerias devem receber destaque menor. Talvez no final da pgina e fonte menor. Os links de parcerias tm mais destaque que os produtos e servios do Ibict. Dentro de licitaes existe a informao conforme condies estabelecidas no edital do Prego na forma Eletrnica n 011/2006 e seus anexos, disponveis no site www.comprasnet.gov.br... Esta informao de site j podia ser link. J notou que cada produto e servio do Ibict esto numa base diferente. Buscar um profissional para implementar essa funcionalidade, que possa apontar uma mesma busca para as diferentes bases ou n fontes de informao. Os produtos so bons, s falta serem apresentados de outra forma. Ex.: o portal da Capes no precisa entrar em cada revista para pesquisar. Permite com uma pesquisa localizar em muitas fontes. Informao sobre a instituio onde quem estiver interessado clica e j desce a informao. Ex.: site do GDF. importante ter fale conosco e os contatos na primeira pgina. Acha que seria interessante o Ibict usar ferramentas (h muitas que so livres) que possibilitam que todos os usurios publiquem contedos (notcias, eventos, etc.) no portal: Comunidades de colaborao. Ex: CMS (gesto de contedos). Para no brigar com a pgina, deixar os parceiros mais apagados, e quem tiver interesse, quando clicar em cima do cone, ele acende e colore. H falta de unidade visual. Est numa pgina, mas quando entra em outra, de repente ela muda completamente. Sugere: 1) ter uma barra de navegao global que seja igual em todas as pginas, onde a pessoa estiver, ela vai saber que est no Ibict; 2) manter o menu para que a pessoa possa voltar no momento que quiser; 3) um profissional de designer, desenho industrial, para trabalhar com a questo grfica. Sugere uma consultoria com a UnB. O usurio se perde um pouco porque tem muitas informaes sem consistncia.

43

APNDICE 3 Exemplo de identificao e quantificao dos incidentes crticos que surgiram a partir das entrevistas com os usurios do Portal do Ibict (definio de padres) Padro positivo do momento Situao A partir da amostragem de 10(dez) entrevistas com usurios psgraduados e em ps-graduao, tem-se um padro positivo de situao focado na necessidade de buscar informaes nos produtos e servios do instituto e nas notcias publicadas no portal do Ibict. Padro negativo do momento Situao No foi identificado um padro negativo no momento situao. Padro positivo do momento Lacuna Em relao a este padro, 80% dos usurios localizaram as informaes desejadas, sendo que 60% localizaram as informaes nos produtos e servios a partir do acesso ao portal, e 20% localizaram as informaes nas notcias; 20% acham que o portal permite boa navegao. Padro negativo do momento Lacuna Este padro foi predominante no portal, sem prejuzo do acesso aos produtos e servios disponibilizados: 70% dos usurios opinaram que no fcil encontrar as informaes no portal; 70% no entendem o excesso de siglas sem explicao; 70% acham que falta a barra de navegao em todas as pginas; 40% acham que falta agrupamento de informaes por grandes tpicos; 30% acham que a organizao da listagem de produtos e servios no tem uma ordem lgica;

44

30% acham que falta padro para identidade visual nas vrias pginas; 30% acham que falta uma interface de busca no site; 30% acham que tem muita notcia antiga; 30% acham que deve haver maior divulgao dos produtos e servios do instituto; 30% acham que as notcias institucionais devem ter menor destaque; 30% registraram que, em alguns casos, os textos se tornam ilegveis; 30% acham que falta acesso aos eventos promovidos pelo instituto; 20% registraram que falta a portaria que define a estrutura do Ibict (inclusive o CTC); 20% acham que o portal tem nfase nas notcias, em detrimento dos produtos e servios; 20% registraram a falta de ajuda sensvel para explicar o significado de termos da linguagem tcnica e dos nomes dos produtos e servios; 20% no encontraram a informao desejada; 20% registraram que as informaes institucionais e de notcias so incompletas (contedo); 20% acham que falta, no portal, um servio de alerta geral. Esto listados, a seguir, os incidentes negativos sobre o portal, os quais, pelo seu baixo percentual, no puderam ser agregados como um padro, porm devem ser observados pelo gestor: o usurio busca a informao em outra fonte, antes de acessar o portal; o portal no disponibiliza acessibilidade para pessoa que tem deficincia motora; os links de parcerias tm um destaque maior que os do portal; o portal no atraente; faltam informaes sobre os coordenadores de produtos e servios; o portal no adequado a todos os nveis de usurios; faltam informaes sobre o histrico do instituto; acham que as notcias que vo se constituir em informaes de carter permanente devem ficar separadas daquelas efmeras; opinam que as notcias institucionais devem ficar separadas das demais, e um usurio no suprimiu a lacuna, ou seja, no obteve a informao em nenhuma fonte.

45

Padro positivo do momento Uso 1 2 3 4 Aplicou numa pesquisa sobre arquitetura da informao e semitica. Inscreveu-se no seminrio. A informao foi usada na elaborao da sua tese de mestrado. A informao foi usada como contedo das aulas sobre fontes de informao. 5 - A informao foi usada em pesquisas realizadas em Campinas. 6 - Conseguiu enviar os documentos para se candidatar bolsa do Ibict. 7 - A informao foi usada como contedo das aulas sobre Classificao. Padro negativo do momento Uso 1 - No fez uso da informao. Padro geral dos incidentes crticos: O padro de comportamento do usurio na busca e uso de produtos e servios de informao extrado das ocorrncias dos incidentes crticos positivos e negativos, categorizados a partir da anlise das entrevistas realizadas com a aplicao do mtodo Micro moment time line interview. No exemplo prtico anteriormente apresentado, os atributos sobre o segmento notcias publicadas no portal apresentaram o maior grau de insatisfao dos usurios quanto ao nmero de ocorrncias. Os relatos descreveram as notcias como desorganizadas; de difcil recuperao, desatualizadas e incompletas. -

46

APNDICE 4 Exemplo de formulrio completo no formato de apresentao no site do Portal do Ibict

47

48

49

50

51

52

APNDICE 5 Exemplos das variveis especficas dos formulrios eletrnicos dos produtos/servios CCN e COMUT4 a) Exemplo de variveis especficas do CCN

4 Apresentam-se apenas as questes especficas dos produtos CCN e COMUT. As questes com as variveis demogrficas dos usurios presentes no Apndice 4 (respectivamente de 2 a 14) no se diferenciam para todos os produtos e por essa razo no constam no presente apndice.

53

54

b) Exemplo de variveis especficas do COMUT

55

56

57

58

APNDICE 6 Exemplos aleatrios de resultados de anlise dos formulrios de avaliao quantitativa (Portal do IBICT)

59

60

61

62

63

64

65

66

APNDICE 7 Respostas do campo aberto do formulrio da avaliao quantitativa (Portal do Ibict)

67

68

APNDICE 8 Exemplo de anlise do campo aberto do formulrio eletrnico de avaliao quantitativa do (Portal do Ibict)

69

APNDICE 9 Exemplo de grficos gerados pelo software Zoomerang a partir da avaliao quantitativa por formulrio eletrnico (Portal do Ibict)

70

71

Grficos com cruzamento de dados:

72

73

APNDICE 10 Checklist para avaliao da interface homem-mquina a partir das heursticas de Nielsen
CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 1 - Clareza e visibilidade do status do sistema ou site. O sistema deve informar o que ele oferece, quais as suas caractersticas temporais, espaciais e temticas, para no criar falsas expectativas. Da mesma forma, o usurio no pode se sentir perdido e tem que ser informado constantemente do que est acontecendo durante a navegao. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS GRAVIDADE DO PROBLEMA 1 2 3 4

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. N. DE OCORRNCIASGRAVIDADE DO HEURSTICA URL E COMENTRIOS PROBLEMA 2 - Linguagem 1 2 3 4 A linguagem do sistema deve ser clara, objetiva, utilizando conceitos, palavras e frases familiares para o usurio. No utilizar jarges de sistema. O sistema deve utilizar a ajuda sensvel para descrever o significado das siglas e conceitos. As informaes devem aparecer em uma ordem lgica e natural, segundo as convenes do mundo real. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata.

74

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 3 - Autonomia e controle do usurio O sistema deve permitir que o usurio tenha autonomia para iniciar, interromper, continuar, desfazer, corrigir as aes por ele comandadas, como abortar operaes erradas e retornar ao estado anterior. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 4 - Padronizao e consistncia Os elementos de interface de um sistema ou portal devem seguir o mesmo padro de localizao, formato e esttica em suas diversas pginas. Um elemento no deve ser utilizado para identificar mais de um significado, nem dois elementos diferentes para identificar um nico significado. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4

75

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 5 - Preveno de erros O sistema deve ser desenvolvido para evitar ou reduzir o nmero de erros no uso de uma interface. Quando ocorrerem, o sistema deve emitir boas mensagens de erros, que devem ser claras, informando onde est o problema de forma a orientar ao usurio como reparar o erro, sem intimid-lo. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 6 - Reconhecimento em lugar de lembrana O sistema deve minimizar a sobrecarga de memria do usurio. A interface Web deve ser desenvolvida de tal forma que mantenha as relaes de uma tela para outra, facilmente reconhecidas. Os cones e denominaes utilizados devem ter forte relao semntica com sua funo. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4

76

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 7 - Flexibilidade e eficincia O sistema deve ser desenvolvido de forma a atender aos diversos nveis de experincia dos usurios. Para isso, deve permitir que os usurios mais experientes acelerem sua interao com o sistema, como por exemplo, criar atalhos. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 8 - Esttica e minimalismo Os elementos apresentados devem ser aqueles realmente necessrios para que a finalidade da interface seja atendida; evitar que os textos e o design falem mais do que o usurio necessita saber. No uso das cores, restrinja no mximo a 5 ou 7 cores diferentes. Tentar utilizar cores apenas para categorizar, diferenciar e destacar, e no para dar informao, especialmente a informao quantitativa. Lembrar de utilizar os recursos que possibilitam a melhoria da acuidade visual do usurio. Tentar aplicar os princpios de Gestalt na organizao dos objetos da interface no que tange a sua semelhana, proximidade e boa continuidade lgica. Isto com a finalidade de a interface no ter aspecto desorganizado e amontoado. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4 N. DE OCORRNCIASURL E COMENTRIOS GRAVIDADE DO PROBLEMA 1 2 3 4

77

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 9 - Ajuda e documentao necessrio que a operacionalizao do sistema seja autoexplicativa, sem necessidade de auxlio de documentao e sistema de ajuda. Quando for necessria uma explicao para realizar uma operao, utilize uma interface grfica, como, por exemplo, os bales de ajuda. Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. N. DE OCORRNCIASURL E COMENTRIOS 1 GRAVIDADE DO PROBLEMA 2 3 4

78

APNDICE 11 Exemplo de aplicao do mtodo de anlise heurstica (Portal do Ibict)

CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO: PORTAL Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. HEURSTICA 1 - Clareza e visibilidade do status do sistema ou site. O sistema deve informar o que ele oferece, quais as suas caractersticas temporais, espaciais e temticas, para no criar falsas expectativas. Da mesma forma, o usurio no pode se sentir perdido e tem que ser informado constantemente do que est acontecendo durante a navegao. N. DE OCORRNCIAS-URL E COMENTRIOS 1 1- A primeira pgina do portal apresenta ilustrao ilegvel Ex.: VI Seminrio de Pesquisa em Cincia da Informao 2- Existe link quebrado ou inativo <http://baru.ibict.br/openaccess> 3- As equipes, quando existem, esto com informaes desatualizadas. <http://www.ibict.br/secao.php?cat=Assessoria%20 de%20Cooperao%20Tcnico-Cientfica/ Quem%20Somos> <http://www.ibict.br/secao.php?cat=Biblioteca%20 Digital%20Brasileira/Quem%20Somos> 4- A parte dedicada cooperao internacional est completamente desatualizada. X GRAVIDADE DO PROBLEMA 2 3 X 4

X X

5- O contedo sobre CONCURSOS est obsoleto X Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata. CHECKLIST PARA APLICAO DAS HEURSTICAS DE JACOB NIELSEN PARA ANLISE DO PORTAL E SITES DOS PRODUTOS E SERVIOS DO IBICT NOME DO PRODUTO OU SERVIO: PORTAL Avaliar a gravidade do problema, a partir da sua frequncia; do seu impacto, considerando o grau de dificuldade do usurio em contornar o problema e da sua persistncia, sem possibilidade de ser contornado. GRAVIDADE HEURSTICA N. DE OCORRNCIAS-URL E COMENTRIOS DO PROBLEMA 1 2 3 4 4-. Padronizao e X 1- Os vrios produtos e servios no apresentam consistncia em suas pginas, uma identidade visual com a do Os elementos de uma instituto. interface de um sistema ou portal devem seguir um mesmo padro de localizao, formato e esttica em suas diversas pginas. Um elemento no deve ser utilizado para identificar mais de um significado nem dois elementos diferentes para identificar um nico significado. <http://revista.ibict.br/liinc/index.php/liinc> <http://prossiga.ibict.br/bibliotecas/> <http://comut.ibict.br/comut/do/index?op=filtroForm> 2- Existe inconsistncia de arquitetura entre algumas barras de navegao.(ver: programas:incluso social) 3- Apresenta ajuda sensvel onde no necessrio (ex.: bloco de produtos e servios do instituto) e falta para os itens que no so auto-explicativos. X X

Legenda: 1= Soluo de baixa prioridade; 2= Soluo de mdia prioridade; 3= Soluo de alta prioridade; 4= imperativo dar soluo imediata.

79

Agradecimentos

Ao diretor do Ibict, professor doutor Emir Jos Suaiden, pela confiana e apoio durante todo o desenvolvimento do projeto. professora doutora Maria Nlida Gonzlez de Gomez, por sua valiosa contribuio para o aprimoramento da metodologia. Ao doutor Rodrigo Rabello, por sua contribuio durante a elaborao da verso final da metodologia. A todos os usurios que se dispuseram a colaborar para a aplicao da metodologia, como entrevistados. Aos coordenadores e tcnicos dos produtos/servios do Ibict, que trabalharam e trabalham de forma articulada com a equipe responsvel pela avaliao, seja na elucidao de dvidas referentes aos produtos/servios, bem como na elaborao dos formulrios eletrnicos para aplicao da abordagem de avaliao quantitativa. s tcnicas da equipe de avaliao, Beatriz Caiado e Cristina Souza de Almeida, pela dedicao ao trabalho de entrevistar os pesquisadores usurios dos produtos e servios do Ibict, durante a aplicao da metodologia referente abordagem de avaliao qualitativa. equipe de informtica do Ibict, pelo interesse e esprito de colaborao em facilitar, sempre que necessrio, o suporte tcnico para o desenvolvimento do projeto. equipe de Editorao do Ibict, pelo apoio, interesse e profissionalismo na fase de publicao deste documento.

80