Chatterbots em lngua portuguesa: Problema da quebra de sentido e as categorias ontolgicas

Egon Sewald Junior1, Aires Jos Rover1, Nivaldo Machado2 ,Celso R. Braida3, Edson Rosa Gomes da Silva1
1

Programa de Ps Graduao em Engenharia e Gesto de Conhecimento Universidade Federal de Santa Catarina (UFSC) Campus Universitrio Reitor Joo David Ferreira Lima - Trindade - Florianpolis Santa Catarina - CEP: 88040-970 Centro Universitrio do Alto Vale do Itaja (UNIDAVI) Rua Dr. Guilherme Guemball, 13 - Caixa Postal 193 - Jardim Amrica - Rio do Sul Santa Catarina - CEP: 89160-000
2

Departamento de Filosofia e Cincias Humanas Universidade Federal de Santa Catarina (UFSC) Campus Universitrio Reitor Joo David Ferreira Lima - Trindade - Florianpolis Santa Catarina - CEP: 88040-970
3

egonsj@gmail.com, airesrover@gmail.com, nivaldo@unidavi.edu.br, crbraida@gmil.com, edsoneconomia@gmail.com

Resumo. Chatterbots ou Robs de conversao so agentes autmatos capazes de simular
o dilogo, semelhante a uma conversa entre humanos. Seu desenvolvimento na academia remota dos primeiros computadores digitais e seu uso comercialmente cresce a cada dia, principalmente como tutores virtuais. Porem, os chatterbots desenvolvidos em lngua portuguesa apresentam quebra de sentido em alguns dilogos e esse comportamento gerador de baixa fluidez na conversao pode ser explicado pelo no respeito das categorias no momento de definio da base de conhecimento, ou seja, das ontologias do rob e sua estruturao categorial plana. O presente artigo aponta uma reviso bibliogrfica sobre tais problemas de fluidez e aponta como soluo de tais problemas a boa formalizao do domnio lingstico em categorias ontolgicas e uma estrutura hierrquica.

Palavras-chaves: Robs de conversao; Ontologia; Categorias; Abstract. Chatter bots or conversational robots are automatons agents capable of
simulating the dialogue, like a conversation between humans. Their development academy in the first remote digital computers and their use commercially grows every day. However, the developed chatter bots in Portuguese have broken in some sense and dialogues for this behavior of low flow in the conversation can be explained by the non-respect of categories at the time of defining the knowledge base, ie the anthologies of the robot. This article presents a review on such problems of flow and points as the solution of such problems the proper formalization of linguistic knowledge in an ontological categories and hierarchical structure.

Key words: chatterbots; Ontology; Categories

1. Introduo
Diversas reas ganham produtividade com o uso de chatterbots robs de conversao. Esta interao entre ser humano e sistemas computadorizados pode ser utilizada no entretimento, para conversas informais e interao com jogadores; no ensino a distncia, como tutor ou agente mediador; no atendimento ao consumidor, seja via telefnica ou online. O conhecimento destes sistemas pode abranger diversas especialidades, como segurana, sade, engenharia, entre outras. Observa-se, porm, que os robs de conversao desenvolvidos no Brasil (lngua portuguesa) apresentam um comportamentos no esperados quando comparamos com dilogos entre humanos: a quebras de sentido, que ocasiona baixa fluidez de conversao e verossimilhana, diminuindo a eficincia da interao do sistema com o usurio. Observa-se o uso de chatterbots crescente em ambientes de aprendizagem, como ELEKTRA [1], AGENTCH [2], entre outros. O que liga esses diferentes chatterbots a base AIML (Artificial Intelligence Markup Language), linguagem onde o domnio de conversao formalizado atravs de categorias e contedos frasais e suas respectivas reaes. O presente trabalho tem como objetivo estudar os problemas causadores da baixa fluidez, desenvolvendo uma reviso bibliogrfica sob a tica da filosofia da linguagem e, a partir da construo da tal base terica, apontar possveis solues. Este trabalho inicial no apresenta implementaes das solues propostas, que sero desenvolvidos futuramente.

2. Ontologia: da filosofia para a engenharia de conhecimento

Segundo a enciclopdia da filosofia [3], Ontologia (do grego ontos, "ser", "ente"; e logos, "saber", "doutrina") , em sentido estrito, o "estudo do ser". Uma vez que esta, com o tempo, passou a incluir outros tipos de pesquisa e reflexo (cosmolgicos e psicolgicos, por exemplo), desde o sculo XVII, e sobretudo na filosofia moderna, o termo ontologia passou a designar o estudo do ser enquanto tal. Existem dois vieses para o estudo da Ontologia. Um vis estudaria os aspectos do ser sob ponto de vista existencial, ou seja, um saber sobre aquilo que fundamental ou irredutvel, comum a todos os entes singulares, estudando, desta forma descobrir um ente fundamental, do que todos os outros seriam feitos; a outra abordagem seria o estudo do que essencial do ser, e estabelecer como meta a determinao das estruturas ou causas do ser em si: uma teoria formal dos objetos. Segundo Santos [4] se pode dizer que a prte philosophia de Aristteles, a philosophia prima dos escolsticos, a Ontologia, ou a Metafsica Geral, e em algumas vezes a Metafsica, referem-se mesma cincia do ser enquanto ser, que a Ontologia. Christian Wolff, graas a quem o termo Ontologia ganhou projeo, diferencioua das demais cincias particulares, atribuindo-lhe carter dedutivo abstrato e estruturando-a mediante a anlise de conceitos como ser, possibilidade e realidade, quantidade e qualidade, causa e efeito etc.
Ainda segunda enciclopdia da filosofia [3]: Husserl postulou uma filosofia independente das cincias naturais e de qualquer recurso psicologia, referida a outro tipo de objeto ou de realidade:

as essncias, ou "unidades ideais de significao". Como cincia das essncias, a ontologia poderia ser de dois tipos: formal, que constituiria o fundamento de todas as cincias, e se interessaria pelas essncias que apresentam correspondncia com todas as outras essncias; ou material, que consiste num conjunto de ontologias "setoriais", e constitui o fundamento das cincias dos fatos, baseada na ontologia formal (pois todo fato participa de alguma essncia). Para Hartmann, a "ontologia analtica e crtica" era distinta da ontologia dos escolsticos e racionalistas, que pretendiam chegar existncia (ou seja, a uma "lgica dos entes") a partir da construo de um saber sobre as essncias. Hartmann preferia ver na ontologia no a tentativa de resolver todos os problemas, mas o reconhecimento daquilo que metafisicamente insolvel. Assim, procedia por uma reflexo no apriorstica sobre todos os aspectos do real, com categorias obtidas de diversos tipos de experincia (cientfica, cotidiana etc.). Examinava os "momentos" do ser (existncia e essncia), suas "maneiras" (realidade e idealidade) e "modos" (possibilidade, realidade, causalidade, necessidade). A "ontologia fundamental" proposta por Heidegger foi concebida como uma "metafsica da existncia". No se tratava, porm, de uma ontologia abstrata (sistema de categorias), nem de uma teoria sobre os objetos: Heidegger quis evitar as idias filosficas correntes sobre o ser, bem como as concepes prvias sobre o ser em geral. preciso, segundo ele, destruir a ontologia tal como foi tradicionalmente entendida e buscar (por meio da) uma compreenso da existncia fundada na finitude e que permita o acesso realidade do ser.

A engenharia de conhecimento, ramo das cincias da computao, se apropriou do termo ontologia baseando nos conceitos de Wolff, de descrio dos entes. De acordo com Tom Gruber [5], o significado de ontologia no contexto das cincias da computao uma descrio dos conceitos e dos relacionamentos que podem existir para um agente ou para uma comunidade de agentes. Desta forma, a engenharia de conhecimento, procura descrever o mundo, e com isso, o conhecimento sobre as suas coisas. Para Guarino [7], em Inteligncia Artificial, uma ontologia refere-se a um artefato de engenharia, constitudo por um vocabulrio especfico usado para descrever certa realidade, mais um conjunto de hipteses explcitas sobre o significado pretendido de um vocabulrio palavras. Este conjunto de pressupostos geralmente tem a forma de lgica de primeira ordem, onde as palavras do vocabulrio aparecem como predicados unrio ou binrio, respectivamente chamados conceitos e relaes. No caso mais simples, uma ontologia descreve uma hierarquia de conceitos relacionados por relaes de subordinao, em casos mais sofisticados, axiomas apropriados so adicionados a fim de expressar outras relaes entre conceitos e para restringir a sua interpretao pretendida.

3. Chatterbot, Teste de Turing e AIML

Chatterbots (ou Chatbots, ou simplesmente bots) so robs de conversao, ou seja, agentes autnomos desenvolvidos com o objetivo de simular um dilogo. So programas de computador capazes de conversar com outro agente, humano ou tambm robtico, de forma a responder similarmente a um dilogo humano (programas de simulao de linguagem natural). Desde o incio, a computao digital, da forma que conhecemos hoje, foi

concebida para ser uma maquina pensante, que deveria auxiliar e, em alguns casos, substituir o trabalho humano em alguns trabalhos. Dilogo 1: Juiz - Eu tenho que decidir se voc um homem ou uma mquina. Imagino que, se eu decidir que voc uma mquina, vai ser um golpe para seu ego. Candidato 1 - Verdade. Seria um pouco embaraoso, mas daria uma boa histria para contar. Juiz - Te mandaria direto para um psiclogo. Candidato 1 - Acho que no .... Juz - Por que no? Candidato 1 - Prefiro me aconselhar com amigos. Dilogo 2: Juz - Qual o seu nome? Candidato 2 - Alice. Qual o seu? Juiz - Madonna. Candidato 2 - Madonna, prazer em conhec-la. Juz - Voc j foi ao Pas das Maravilhas, Alice? Candidato 2 - J estive no mundo todo, pela internet. Juz - Qual o seu lugar favorito? Candidato 2 - No tenho um lugar favorito. Minha cor favorita verde.
Figura 1 Dilogo (traduzido) do prmio Lobner 2001. Fonte: ZANUSS O [5]

Alan Turing, matemtico idealizador terico do computador digital, atravs de sua mquina de estados infinitos, props um teste simples pra determinar se uma mquina capaz de enganar uma pessoa em um dilogo por mensagens (Turing fala em telegrafo), passando-se por um humano (esta pessoa no sendo capaz de distinguir entre um humano ou uma mquina). Todos os anos a Universidade de Cambridge (Inglaterra) promove o prmio Loebner, que consiste em um teste de Turing oficial, onde dez pessoas conversam por 15 minutos por mensagem com algum, que pode ser humano ou um rob e deve dar uma nota relacionada a naturalidade. A Figura 1, mostra um dilogo traduzido entre humanos (dilogo 1) e um dilogo entre um juiz humano e um rob, vencedor do prmio Loebner de 2001. Apesar de vencedor, ALICE (Artificial Linguistic Internet Computer Entity) no conseguiu se passar por um humano. ALICE teve seu desenvolvimento iniciado em 1995, por Richard Wallace. [8]. O programa open source (cdigo fonte aberto e acessvel), o que permite que pesquisadores e desenvolvedores do mundo todo possam utilizar e auxiliar no processo de melhoria do projeto. O programa utiliza uma definio de Schemas XML (eXtensible Markup Language), chamado AIML (Artificial Intelligence Markup Language), para

especificao de ontologias1 e, consequentemente, regras de conversao. Existem interpretadores AIML em diversas linguagens de programao. O interpretador tem como funo receber o estmulo do interlocutor e reagir com melhor resposta encontra nas definies do AIML. A definio de cada arquivo AIML corresponde a categoria das ontologias descritas. Portanto, para cada categoria definida, teramos um arquivo com a definio das regras de conversao e, consquentemente, das descries das coisas, permitindo assim, o dilogo. Segundo Wallace [9] a unidade bsica de conhecimento chamada categoria. Ainda de acordo com Wallace [9] se cada pessoa criasse o seu prprio rob de conversao, especializado em certo tema (<TOPIC>), poderia ser criado um "superbot", que carrega a informao de todos esses bots e que pudesse eliminar automaticamente categorias repetidas (<CATEGORY>) ou erradas do bots iniciais. Este "superbot" se aproximaria de uma possvel inteligncia artificial, porque, segundo ele, no existiria tema fora de seu alcance, e cada tpico seria explodido para poder abraar todas as possibilidades nas conversaes. Os arquivos AIML deve ser definidos, a seguir: padres de resposta <TEMPLATE> que vem determinado por padres de entrada <PATTERN> que agem como estmulo; categorias <CATEGORY> nos quais os padres so encadeados e definidos os temas da conversao; informao para armazenar e reutilizar em falas futuras <GOSSIP> ; Aes para realizar resposta para sentenas de padres (RANDON, SET, GET...).

Figura 2 Definio AIML 1 Conforme definio utilizada pela Engenharia de Conhecimento, j apresentada neste trabalho.

A figura 2 mostra parte de um arquivo simples AIML com relao ao tema Futebol. A definio das categorias importante para que o algoritmo do interpretador possa fazer a inferncia na base de conhecimento. O interpretador inicia a busca dentro do arquivo referente a categoria utilizada anteriormente para a resposta e, caso no encontre, busca em outras categorias, percebendo mudanas de assunto/ categoria. Se estivermos dialogando sobre futebol, conforme o exemplo dado, a palavra Internacional dever ser entendida como nome prprio de um time de futebol (desde que esteja assim definido na categoria referente a futebol). Agora, se o assunto falado importao e exportao (negociaes internacionais), a mesma palavra deve ser interpretada como oriundo de outros pases. No prmio Lobner, realizado em 12 de outubro de 2008, o chatterbot Elbot, desenvolvido pelo pesquisador Fred Roberts [10] recebeu, pela primeira vez, nota superior a um humano.

4. Categorizao ontolgica: um problema filosfico na estruturao no AIML

A noo de categoria antiga e podemos citar a tentativa de Aristteles de criar uma lista de categorias, uma tbua de categorias. Por sua vez, diversos autores divergem da viso, mas a noo de categorias aparece em vrios deles, como segue: Frege [11] define a noo de categoria baseada no sentido que a frase pode fazer, e que este sentido est na prtica de formar frases, que peculiar do ser humano e institui as categorias como formais. Se voc pode trocar objetos diferentes (A e B, por exemplo) em uma frase e mantido sentido, os objetos (A e B) fazem parte da mesma categoria. O Fator sentencial, tambm citado, anteriormente, por Aristteles. Frege tambm diferencia objeto de conceito. Por sua vez, Ryle [12] inicia seu texto Categorias (traduo srie os Pensadores) a questo de sentido de uma frase no depende somente da questo gramatical. Ryle concorda com a definio de fatores sentenciais de Aristteles, mas no capaz de definir critrios para determinar a quebra de sentindo, nem para instituir categorias. Wittgenstein [13], por sua vez, no considera as categorias de objeto e propriedades, creditando o sentido nas formas e funes gramaticais e estas remetidas a sua utilizao. Para Husserl [14] a intuio perceptiva e vivncias no lingsticas tambm so fontes de conceitos de categorias, juntos com os enunciados. Ao contrrio de Frege, onde todas as categorias vem da significao, para Husserl temos categorias lgicas, de objeto, de todo-parte, mas sempre relacionados a intensionalidade (percepo). Ranganathan [15] prope que as categorias so predefinidas, ou seja, todo contexto de conhecimento pode ser dividido em at cinco categorias fundamentais: entidade, matria, energia, espao e tempo. O mtodo parte, ento, da observao do universo de conhecimento/discurso em que se est inserido, de sua anlise, determinando dentre as cinco categorias aquelas que representam aquele contexto, para s depois inserir os conceitos que fazem parte de cada categoria.

Dalhberg [16], cuja base a classificao proposta por Aristteles na antigidade clssica, categorias tem como objetivo o entendimento do conceito, e no para classificar um domnio de conhecimento/atividade. Porm, o entendimento do conceito depende do contexto que classificado por conta dos conceitos que nele esto inseridos. Dalhberg apresenta, ainda, o conceito de propriedade como uma categoria, que o coloca como uma manifestao de uma das categoria Guarino [7] parte dos objetos (ontologia dos particulares), que esto pertinentes a um contexto e em dada regio temporal ou espacial. Ao fazer parte de um dado domnio, tais objetos possuem propriedades e esto relacionados entre si. O contexto portanto, determina os tipos de objetos, as categorias de objeto e os papis que esses objetos exercem em um dado domnio. A categoria considerada uma classe de nvel mais amplo, possibilitando uma classificao geral do domnio em questo. Guarino no nos apresenta um quadro categorial predefinido, mas aponta para a necessidade de se classificar um domnio em categorias. Tanto Frege, quanto Husserl, desembocam num no engessamento dos esquemas (rvores de categorias), apostando, portanto, num relativismo, porm no so capazes de dizer quais so as categorias fundamentais e, em que momento no possvel descer mais nveis, e encontrarmos categorias indivisveis. Mas, surge a pergunta: Qual a relao disso com o desenvolvimento das especificaes do AIML? A resposta depende, primeiramente, da aceitao da idia que os objetos/ entes podem ser classificados atravs de categorias. Neste caso, o conhecimento das coisas necessrio para falar sobre o assunto. Observa-se, porm, que a definio de uma tbua de categorias poderia eliminar o erro de quebra de sentido quando do uso de uma palavra que estaria relacionada a duas categorias, buscando a categoria mais prxima do fluxo do dilogo corrente. Essa afirmao remete a uma nova pergunta Se no temos consenso sobre a definio das rvores de categorias, como definir os arquivos AIML? Uma definio das categorias e, consequentemente, da estrutura de arquivos da base do AIML depende da aceitao de uma estrutura de categorias. Deste modo, credita-se o problema de quebras na fluidez a problemas filosficos mais do que problemas tecnolgicos (ou problemas de busca, heursticas).

5. Hierarquizao de categorias, generalizao e especializao

Como uma forma de viso de mundo, a computao incorporou a teoria de Orientao a Objetos. A orientao a objetos toma a descrio do mundo, descrevendo seus objetos e suas relaes, no estando preocupada com categorias preestabelecidas, mas no contexto onde a aplicao est inserida. Para Campos [17], relao hierrquica uma das relaes principais em qualquer estrutura classificatria, sendo a espinha dorsal de uma estrutura, sendo a partir dela (da hierarquizao) que se estabelece o primeiro elemento de uma definio. Por exemplo, na definio do conceito homem, iniciamos com outro conceito superordenado mamfero.

6. Utilizao de ontologias para a formalizao do conhecimento Lingusticos

O presente trabalho utilizou como base a biblioteca ONIX, desenvolvida junto a Universidade Federal da Paraba (UFPB), e gentilmente cedida pelos autores. A biblioteca ONIX possibilita o uso de ontologias para a formao da base de conversao. Para Dias et al [18]:
Apesar da simplicidade propiciada pela AIML na construo da base de conhecimento, a sua manuteno torna-se impraticvel quando se torna necessria a incluso de muita informao com o objetivo de fornecer uma quantidade maior de respostas. Uma alternativa mais eficiente e flexvel seria ento a utilizao de uma ontologia. Para o seu desenvolvimento foi utilizada a OWL (Web Ontology Language), uma linguagem utilizada para criao e representao de informaes utilizando uma semntica formal [W3C, 2007], e a ferramenta de modelagem Protg.

Figura 3: Diagrama da arquitetura geral. Fonte: Dias et al [16] A figura 3, nos apresenta o modelo conceitual do projeto, com a biblioteca ONIX,de tal forma a reutilizar ontologias existentes, bem como dar outras possibilidades ao desenvolvedor.

7. Testes
Para testar melhora relacionada a formao de frases por parte do chatterbot, foram aplicados perguntas aos entrevistados, que deveriam responder duas vezes a um questionrio, m relacionado ao chatterbot, sem utilizao da biblioteca ONIX, nem a configurao de uma rvore de conceitos; outro utiliza-se de chatterbot com a rvore descrita (formalizao em arvore), presente na verso final. O texto foi aplicado a 4 pessoas, sem que elas soubesse qual viria primeiro (com rvore ou sem rvore). O quadro 1, mostrado parte da avaliao resumida e recuperada. Foram pequenas as demonstraes de melhorias na conversao, porm podendo ser significativas. Tabela 1: Mdia das avaliaes
Robot 1 1 Nota de naturalidade ao conversar 2 Como o sistema se comporta caso seja apresentado a uma segunda frase, precedida de uma frase cujo assuntos so diferentes 5 Robot 2 5

O chatterbot com a rvore descrita (tambm conhecido como xAIML), mostrou

maior coerncia ao apresentado frases sem conexo com a frase anterior.

8. Consideraes Finais
O problema do desrespeito da rvore de categorias ontolgicas na definio dos arquivos de definio de AIML responsvel pelos problemas de quebra de sentido, no uso de palavras sinnimas com sentidos diferentes (relacionado a categorias diferentes). Vrios autores procuraram desenvolver uma rvore de categorias que fosse capaz de representar o mundo. A grande dificuldade de apresentar uma rvore de categorias ontolgicas, cuja utilizao em chatterbots poderia proporcionar maior fluidez, definir quais seriam os nveis mais altos (ou o ente fundamental, caso houver) e os nveis mais baixos. Os autores que fizeram alguma definio no conseguem defender o critrio utilizado para a sua formao. A fluncia na conversao depende dos avanos no estudo das categorias ontolgicas e da definio de uma hierarquia capaz de definir as relaes entre os entes do mundo real. Os testes preliminares apontaram melhoria na fluncia do rob de conversao, porm observa-se necessidade de maior avano com o objetivo de dar naturalidade Observa-se tambm, um problema filosfico sem consenso de soluo, como a criao de rvores ontolgicas gerais, que serviriam pra definir o mundo e a realidade como um todo, influenciam na formalizao do conhecimento, seja ele atravs de ontologias, seja ele na forma de arquivos AIML para a conversao. O problema se d na definio de qual seria a raiz da rvore, e qual seria a folha (onde faz-se a parada de generalizao), bem como qual o mtodo para definir quando generalizar. Este estudo preliminar e no capaz de estabelecer uma tbua de categorias. Recomenda-se como trabalhos futuros, obter, na hierarquia de conceitos do OWL, uma nova fonte das categorias ontolgicas; e a prototipao de estrutura hierrquica baseada em AIML e testes para validar sua eficcia, bem como teste de performance, com o objetivo de estabelecer um nmero aceitvel de nveis hierrquicos.

Referencias Bibliogrficas
[1] LEONHARDT, Michele .D. et AL. Elektra: Um chatterbot para uso em ambiente Educacional. Dissertao de Mestrado. Proto Alegre, 2003 [2] SECHOPF, Eliseu. DUARTE, Roseclea. Utilizao de um Chatterbot no Processo Educacional: O Prottipo Agentch. [3] Enciclopdia da Filosofia. Disponvel http://encfil.goldeye.info/ontologia.htm> Visita em 30/06/2009 em : <

[4] SANTOS, Mario Ferreira dos. Enciclopdia de Cincias Filosficas e Sociais. Volume V: Ontologia e Cosmologia. 2a Ed, 1957 [5] GRUBER, Tom. What is Ontology? Stanford. 1992 disponvel em <http://wwwksl.stanford.edu/kst/what-is-an-ontology.html> Visita em 01/07/2009 [6] ZANUSSO, Maria Bernadete. PROVA DE TURING. disponvel <http://www.dct.ufms.br/~mzanusso/mestrado/Prova_de_Turing.html> Visita 01/07/2009 em em

[7] GUARINO, Nicola. Formal Ontology and Information Systems. Amsterdam, IOS Press, pp. 3-15 [8] ALICE bot. Disponvel em <www.alicebot.org>. Visita em 30/06/2009. [9] WALLACE, R S. The anatomy of ALICE. <http://alicebot.org/anatomy.html> Visita em 01/08.2009 Disponvel em

[10] ELBOT. Disponvel em <www.elbot.com>. Visita em 30/06/2009. [11] FREGE, Gottlob. Investigaes Lgicas. Porto Alegre: EDIPUCRS, 2002 [12] RYLE, Gilbert. Categorias. Srie Os Pensadores. So Paulo, 1975. [13] BRAIDA, Celso & KRAUSE, D. Ontologia II. Florianopolis: EaD-UFSC, 2008. [14] HUSSERL, Edmund. Idias para uma fenomenologia pura e para uma filosofia fenomenolgica. Aparecida: Idias e Letras, 2006. [15] RANGANTHAN, S. R. Prolegomena to library classification. Bombay : Asia Publishing House, 1967. 640 p [16] DAHLBERG, I. Ontical structures and universal classification. Bangalore : Sarada Ranganthan Endowment, 1978. [17] CAMPOS, Maria Luiza de Almeida. Modelizao de domnios de conhecimento: uma investigao de princpios fundamentais. Cincia da Informao, Vol. 33, 2004 [18] DIAS, Guilherme Atade et al. Representando o conhecimento atravs de ontologias: o caso do chatterbot Lunmi. VIII ENANCIB Encontro Nacional de Pesquisa em Cincia da Informao, 28-31 out. 2007, Salvador, Bahia. Disponvel em: http://www.enancib.ppgci.ufba.br/artigos/GT2--238.pdf>. Acesso em: 03 julho. 2010.