Académique Documents
Professionnel Documents
Culture Documents
Motivao Introduo reas de estudo Fontica e fonologia Morfologia e sintaxe Semntica e pragmtica Processamento da Linguagem Natural (PLN) Reconhecimento e sntese da fala Anlise lxico-morfolgica Lxico Analisador lxico-morfolgico Etiquetagem (POS tagging)
Maro / 2003
Agenda
Anlise sinttica Gramticas e formalismos Mtodos de anlise Anlise semntica O significado proposicional e a forma lgica Fenmenos semnticos
Semntica lexical Semntica gramatical
Agenda
Aplicaes e desenvolvimento Reconhecedores e sintetizadores da fala Corretores ortogrficos e gramaticais Tradutores automticos Geradores de textos e resumo Recuperao de informao Extrao de informao Avaliao de sistemas de processamento de linguagem natural
Maro / 2003
Maro / 2003
Agenda
Processamento de corpus Anotao de corpus Anotao gramatical Anotao sinttica parcial (sintagmas nominais) Anotao de discurso Consideraes Finais Bibliografia
Motivao
Dentro da Cincia da Computao
PLN
Lingstica Computacional
IA
Maro / 2003
Maro / 2003
Introduo
Palavra carrega informao sinttica, semntica e pragmtica morfemas stem, afixos (prefixos, sufixos) lingstica baseada em corpus PLN construo de programas capazes de interpretar e/ou gerar informao fornecida em linguagem natural lngua escrita e lngua falada
Fontica e fonologia
Fontica o estudo da pronncia das palavras, ou o estudo dos sons do discurso nas gramticas do mundo [JURAFSKY00]. + de 100 msculos envolvidos no controle direto e contnuo da produo ds ondas sonoras da fala. Vrias maneiras de pronunciar as palavras (sotaques)
Maro / 2003
Maro / 2003
Fonologia
Fonologia o estudo dos sistemas que selecionam e interrelacionam os padres de som de uma linguagem [BEARDON et al 91]. Fonologia a rea da lingstica que descreve o modo sistemtico que os sons so diferentemente entendidos em diferentes ambientes, e como este sistema de sons est relacionado com o resto da gramtica [JURAFSKY00].
Fonologia
Problemas diferentes sons so associados a uma mesma grafia ex.: X
1- representa duas consoantes (/ks/): sexo, conexo, maxilar, txi. 2- representa a consoante /s/: auxlio, mximo, prximo. 3- representa a consoante /z/: exato, exame, xito. 4- representa a consoante /x/: abacaxi, paixo, xarope, xcara. 5- tem apenas valor etimolgico; no representa fonema algum: exceo (/ese.../).
Fonologia Exemplo:
Minha conexo caiu. Pedi auxlio ao help-desk e ele disse: - Em exatas cinco horas ela ser reestabelecida. Minha conekso kaiu. Pedi alsilho au rlp-dsqui e eli dici: - Em ezatas cinko oras ela cer reestabelesida.
Morfologia e sintaxe
Morfologia o estudo do modo que as palavras so construdas a partir de unidades menores chamadas morfemas [JURAFSKY 00]. Sintaxe uma descrio de como as palavras, e talvez parte das palavras, so combinadas juntas para formar sentenas. Parte da gramtica que ensina a dispor as palavras para formar as oraes, as oraes para formar os perodos e pargrafos, e estes para formar o discurso.
11 Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 12
Maro / 2003
Morfologia e sintaxe
Gramtica Uma gramtica pode cobrir mais do que uma combinao de palavras, ela pode cobrir sons (fonologia) e significado (semntica).
Morfologia e sintaxe
Classificao das palavras em diferentes categorias ou partes do discurso (part-of-speech, ou POS).
substantivos (mesa) verbos (vencer) adjetivos (boa) preposies (por) advrbios (conscientemente)
Maro / 2003
13
Maro / 2003
14
Morfologia e sintaxe
Propriedades das categorias
plural (+s) diminutivo (+inho(a)) aumentativo (+o) prefixos (ex+, im+, co+) sufixos (+mente)
Morfologia e sintaxe
Classes das categorias
Abertas - compostas por categorias que abrangem um grande nmero de palavras e podem, ainda, abrigar o surgimento de novas palavras. Ex.: substantivos, verbos e adjetivos. Fechadas - tm funes gramaticais bem definidas. Ex.: artigos, demonstrativos, quantificadores, conjunes e preposies.
Maro / 2003
15
Maro / 2003
16
Morfologia e sintaxe
Contribuio da palavra para o significado da frase Sintagmas nominais (SNs)
Grupos de palavras baseados em um substantivo. a mesa a mesa redonda a mesa redonda da sala
Morfologia e sintaxe
Contribuio da palavra para o significado da frase Sintagmas adjetivais (SAs)
Grupos de palavras baseados em um adjetivo. grande muito grande grande como um elefante
Maro / 2003
17
Maro / 2003
18
Morfologia e sintaxe
Problema do reconhecimento das categorias das palavras
Etiquetadores de categorias gramaticais (ou POS taggers)
Morfologia e sintaxe
Ambigidade sinttica
A mesma frase pode ser mapeada em mais de uma estrutura sinttica vlida para a mesma interpretao. No se refere a ambigidade das palavras.
Ex.:
['SN',projeto,de,['SN',reforma],tributria]
Exemplo:
O manifestante foi visto com o binculo. O manifestante estava com o binculo. Eu estava com o binculo.
Maro / 2003
19
Maro / 2003
20
Pragmtica
Estudo das relaes dos significados com o contexto da enunciao.
Maro / 2003
21
Maro / 2003
22
Semntica
Semntica Problema: palavras representando mltiplos sentidos Ex.: ponto, banco, macaco Ambigidade Lxica
Uma mesma palavra possui mltiplos significados.
Semntica
Ambigidade semntica estrutural Advm da(o): ambigidade sinttica Ex.: Pessoas e animais estressados vivem na metrpole.
escopo dos quantificadores Ex.: Todas as alunas gostam de um professor. existe um nico professor de quem todas as alunas gostam. cada aluna gosta de um professor diferente.
Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 24
Semntica
Mais difcil de tratar do que a sintaxe Envolve conhecimento de mundo
Pragmtica
Estudo das relaes dos significados com o contexto da enunciao. Estudo de como o contexto influencia a interpretao do significado. Ex.:
Sobrou um pouco de comida?
Cincia da Computao Modelagem de sistemas multi-agentes Teoria dos atos de fala de Austin e Searle
Maro / 2003
25
Maro / 2003
26
Pragmtica
Fenmeno pragmtico Atos de Fala Representativos Diretivos Comissivos Expressivos Declaraes
Pragmtica
Classificao dos tipos de enunciados Representativos: o falante comunica que acredita na verdade da expresso (por exemplo, atravs de assero ou concluso). Ex.: O povo de La Corua muito hospitaleiro. Diretivos: o falante tem por inteno provocar o ouvinte a realizar uma ao (por exemplo, requisio, pergunta, ordem, proibio, permisso). Ex.: Posso perguntar a voc? No bata a porta!
27 Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 28
Maro / 2003
Pragmtica
Classificao dos tipos de enunciados: Comissivos: o falante se compromete com a realizao de uma ao no futuro (por exemplo, promessa, ameaa). Ex.: Eu prometo voltar a Espanha. Expressivos: o falante expressa um estado psicolgico (por exemplo, agradecimento, pedido de desculpas). Ex.: Muito obrigado.
Pragmtica
Classificao dos tipos de enunciados: Declaraes: tm como efeito imediato uma mudana de estado (por exemplo, uma declarao de guerra, a confirmao do batismo). Ex.: Eu declaro guerra contra o crime.
Maro / 2003
29
Maro / 2003
30
Pragmtica
Classificao dos tipos de enunciados: Tipo de classificao utilizada como base para a construo de protocolos de comunicao entre agentes.
Motivao Introduo reas de estudo Fontica e fonologia Morfologia e sintaxe Semntica e pragmtica
Maro / 2003
31
Maro / 2003
32
A seguir
Processamento da Linguagem Natural (PLN) Reconhecimento e sntese da fala Anlise lxico-morfolgica Lxico Etapas Analisador lxico-morfolgico lingsticas Etiquetagem (POS tagging) Anlise sinttica Gramticas e formalismos Mtodos de anlise
Linguagem Artificial
alguma coisa que ns prescrevemos. Ex.: C, Java, Pascal, Prolog, ... Impe restries no encontradas em LN No existe ambigidade nas regras ou nas palavras reservadas
Maro / 2003
33
Maro / 2003
34
PLN
Contexto histrico
Guerra Fria (1945-49) algoritmos de criptologia traduo automtica 1966 - corte de recursos financeiros pelo governo americano 1980 - retorno dos investimentos
PLN
O Processamento de Linguagem Natural o conjunto de mtodos formais para analisar textos e gerar frases escritas em um idioma humano.
Maro / 2003
35
Maro / 2003
36
PLN
O objetivo:
fornecer aos computadores a capacidade de entender e compor textos. "entender" um texto significa:
reconhecer o contexto, fazer anlise sinttica, semntica, lxica e morfolgica, criar resumos, extrair informao, recuperar informao, etc...
Dificuldades
traduo automtica recuperao de informaes
37 Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 38
Maro / 2003
PLN
40
Maro / 2003
41
Maro / 2003
42
Entradas no lxico
palavras isoladas Ex.: cabelo, madeira, teclado composies de palavras Ex.: Museu de Arte, palavras-chave, cadeira de rodas
Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil
Maro / 2003
45
Maro / 2003
46
Sada
conjunto de itens lexicais com a melhor etiqueta associada a cada item.
Maro / 2003
47
Maro / 2003
48
Utiliza:
conjunto de itens lexicais da lngua uma gramtica
Recuperao de informao
Substantivo (potencial indexador)
Maro / 2003
49
Maro / 2003
50
Maro / 2003
Maro / 2003
52
Det::= o | a | um | uma Subst::= nibus | pssaro | dia Adj::= bonito | azul | grande Exemplo de parte de um lxico
Maro / 2003
53
Maro / 2003
54
as
56
PLN
Anlise sinttica
Gramticas e formalismos Gramticas de constituintes imediatos (PSG ou
phrase structure grammar) Decomposio: F ::= SN | SV. F ::= [Det | Subst] | [Verbo | SN]. F ::= [Det | Subst] | [Verbo, [Det | Subst]]. Det ::= o Subst ::= menino, chapu Verbo ::= usa F ::= [Det | Subst] | [Verbo, [Det | Subst]].
57 Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 58
Maro / 2003
Maro / 2003
59
Maro / 2003
60
PLN
Anlise sinttica
Mtodos de anlise Formalismo para representao de GLC
DCG
(Definite
Clause
combin-las
em
Maro / 2003
61
Maro / 2003
62
PLN
Anlise sinttica
Exemplo de aplicao:
Maro / 2003
63
Maro / 2003
64
A seguir
Processamento da Linguagem Natural (PLN) Anlise semntica O significado proposicional e a forma lgica Fenmenos semnticos
Semntica lexical Semntica gramatical
Maro / 2003
65
Maro / 2003
66
PLN
Anlise semntica
O significado proposicional envolve a traduo de uma sentena em linguagem natural para uma expresso em linguagem formal. Forma lgica semntica bem definida Problema dos quantificadores
Lgica clssica: Para todo , existe Linguagem natural: muitos, poucos, pelo menos x, no mximo y, etc.
Maro / 2003
67
Maro / 2003
68
PLN
Anlise semntica
Semntica lexical associada s categorias de palavras como verbos, substantivos e adjetivos. Tratamento da polissemia
Ex.: entradas lexicais com restries de seleo
PLN
Anlise semntica
Semntica lexical Uso de ontologias Ex.: Diversos soldados atiraram nos homens e alguns caram. Relao de causalidade: atirar-cair
Maro / 2003
69
Maro / 2003
70
PLN
Anlise semntica
Semntica gramatical associada s categorias de palavras como preposies e artigos. A semntica gramatical procura descrever o significado da frase traduzindo-a em uma estrutura que interprete as relaes sintticas entre os itens lexicais.
PLN
Anlise semntica
Formalismos de representao semntica atributo-valor formalismos lgicos
Maro / 2003
71
Maro / 2003
72
PLN
Anlise semntica
Formalismos de representao semntica atributo-valor Ex.: Canrio Tipo-de: pssaro Cor: amarelo Propriedade: assobiar
tipo-de animal voar
PLN
Anlise semntica
Formalismos de representao semntica atributo-valor Exemplo anterior em forma de grafo
canrio tipo-de pssaro cor amarelo propriedade assobiar tipo-de emitir sons
propriedade
Decomposio semntica
Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 73 Maro / 2003 Marcirio S. Chaves / mchaves@inf.pucrs.br / PPGCC / PUC-RS / Brasil 74
PLN
Anlise semntica
Formalismos de representao semntica formalismos lgicos Permite a realizao de inferncias Ex.: Ao do agente A de pedir o objeto X ao agente Y. pedir (A,X,Y).
PLN
Anlise pragmtica
Pragmtica e compreenso A anlise pragmtica se refere a obteno do significado no literal de uma sentena. Pontos importantes as relaes entre frases (para construir uma representao do texto, a representao de cada nova frase se apia na precedente) o contexto (a situao e condies em que ocorre o enunciado).
Maro / 2003
75
Maro / 2003
76
PLN
Anlise pragmtica
Pragmtica e compreenso Ex.: O diretor comunicou que os funcionrios da empresa iro trabalhar no feriado para conseguir entregar as encomendas na segunda-feira.
PLN
Anlise pragmtica
Questes pragmticas mecanismos de inferncia (ontologia) Ex.: Carmem comprou um carro 0 Km. resoluo de anforas e co-referncia
Maro / 2003
77
Maro / 2003
78
PLN
Anlise pragmtica
Questes pragmticas resoluo de anforas e co-referncia
PLN
Maro / 2003
79
Maro / 2003
80
PLN
PLN
Anlise pragmtica
Questes pragmticas resoluo de anforas e co-referncia Exemplos de aplicaes:
Maro / 2003
81
Maro / 2003
82
A seguir
Aplicaes e desenvolvimento Reconhecedores e sintetizadores da fala Corretores ortogrficos e gramaticais Tradutores automticos Geradores de textos e resumo Recuperao de informao Extrao de informao Avaliao de sistemas de processamento de linguagem natural
Maro / 2003
83
Maro / 2003
84
Referncias Bibliogrficas
[BEARDON 91] BEARDON, C. et al. Natural Language and Computational Linguistics. Melksham-Wiltshire, England, Ellis Horwood Ltda., 1991. [JURAFSKY 00]JURAFSKY, Daniel Saul; MARTIN, James H. Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition, Upper Saddle River, NJ : Prentice Hall, 2000. 934 p.
[VIEIRA 01] Vieira, R. e Lima, V. L. S. Lingstica Computacional: Princpios e Aplicaes. In: IX Escola de Informtica da SBC-Sul. Luciana Nedel (Ed.) Passo Fundo, Maring, So Jos. SBC-Sul. pgs 27-58.
Maro / 2003
85