EC4 Excom

Exploration Contextuelle Systme EXCOM
Brahim Djioua
LaLICC : Paris-Sorbonne/CNRS
HUFS Soul - 29Juin -15 Juillet 2006
HUFS Soul - 29Juin -15 Juillet 2006 Brahim Djioua (LaLICC : Paris-Sorbonne/CNRS) Exploration Contextuelle Systme EXCOM / 55
Cadre thorique
Contexte
Contexte
Les applications dans le traitement automatique du langage naturel, comme lextraction et la recherche dinformation ont besoin dun niveau danalyse smantique,c-a-d annoter automatiquement certains segments textuels par des catgorisations discursives (annonce thmatique,citation ...)
Cadre thorique
Contexte
Contexte
Les applications dans le traitement automatique du langage naturel, comme lextraction et la recherche dinformation ont besoin dun niveau danalyse smantique,c-a-d annoter automatiquement certains segments textuels par des catgorisations discursives (annonce thmatique,citation ...) Notion de point de vue de fouille de textes :
Un utilisateur "extracteur" dinformation dans des textes est guid dans sa lecture par certains passages, des segments textuels (phrases, paragraphes, ...). Hypothse gnrale utilise ici = reproduire ce que fait naturellement un humain en soulignant certains passages (des segments textuels) en relation avec un point de vue de fouille.
Cadre thorique
Contexte
Contexte
Hypothse : les relations smantiques laissent des traces discursives dans les documents textuels.
Cadre thorique
Contexte
Contexte
Hypothse : les relations smantiques laissent des traces discursives dans les documents textuels. EXCOM propose limplmentation de ce processus cognitif dannotation smantique discursif des textes.
Cadre thorique
Annotation smantique ?
Quest ce quune "Annotation" ?

Denition Comment est dni le mot annotation Dnitions de dictionnaires :
1
The act or process of furnishing critical commentary or explanatory notes (American Heritage) A comment, usually added to a text The act of adding notes (Wordnet)
2 3
Denition Dans le cadre du Web Smantique, annoter revient : Une ontologie prdnie dun domaine particulier, Un outil dannotation manuelle sous format RDF ou OWL (Annotea, OntoMat, ...) de certains termes et des relations quils entretiennent entre eux en accord avec lontologie prdnie
Cadre thorique
Proposition LaLICC
Denition Dans le systme EXCOM, annoter un texte revient rajouter des informations discursives des segments textuels dun document sans le modier.
Cadre thorique
EXCOM est bas sur :

Linguistique textuelle discursive (denition, citation, ...) Polysmie verbale et nominale, en relation avec des points de vue de fouille La mthode dexploration contextuelle [Descls,93,97,06] pour lidentication des segments textuels comme porteurs dune smantique discursive Struturation de donnes en plusieurs types de segments (structure physique et metadonnes smantiques) Annotation de relations smantique vs reprsentation de termes Plateforme informatique base sur les technologies XML (XPath/XSLT) ; EXCOM est utilis pour :
Fouille de texte par catgories smantiques Rsum automatique de textes Recherche dinformations smantiques base sur un index gnr par Lucene (http://www.apache.org/lucene)
Introduction
Quelques dnitions
Quelques dnitions
Denition EXCOM pour EXploration COntextuelle Multilingue est un programme dannotation automatique de segments textuels par des informations smantiques. Denition EXCOM utilise trois niveaux de reprsentation de rgles dannotation : REGEX pour la reconnaissance de motifs rguliers ; STRUCTURE pour la reconnaissance de structures imbiques ; EC pour reconnatre des segments par Exploration Contextuelle.
Introduction
Architecture
Architecture gnrale
Introduction
Sources des documents
Sources de documents
Les documents traits par EXCOM sont de dirents types (HTML, XML, PDF, TXT, ...)
Introduction
Les documents traits par EXCOM sont de dirents types (HTML, XML, PDF, TXT, ...) EXCOM utilise plusieurs sources de donnes :
Introduction
Base documentaire ferme ;
Introduction
Base documentaire ferme ; Documents en ligne (HTTP) en sappuyant sur Google ;
Introduction
Base documentaire ferme ; Documents en ligne (HTTP) en sappuyant sur Google ; Documents en ligne (RSS).
Introduction
Prtraitements
Prtraitements
Prparation des documents aux autres traitements ;
Introduction
Prtraitements
Prtraitements
Prparation des documents aux autres traitements ; Nettoyage des documents HTML : html2txt.pl
Introduction
Prtraitements
Prtraitements
Prparation des documents aux autres traitements ; Nettoyage des documents HTML : html2txt.pl A terme, pouvoir paramtrer le script an de choisir les informations de dpart sur lesquelles lannotation puisse sappuyer ;
Introduction
Prtraitements
Prtraitements
Prparation des documents aux autres traitements ; Nettoyage des documents HTML : html2txt.pl A terme, pouvoir paramtrer le script an de choisir les informations de dpart sur lesquelles lannotation puisse sappuyer ; Le rsultat de cette opration est un texte brut au format txt.
Segmentation
Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)
SegATex est un module de prtraitement dEXCOM
Segmentation
SegATex est un module de prtraitement dEXCOM Cest toujours le premier module de prtraitement
Segmentation
SegATex est un module de prtraitement dEXCOM Cest toujours le premier module de prtraitement SegATex est ncessaire la plate-forme EXCOM
Segmentation
SegATex est un module de prtraitement dEXCOM Cest toujours le premier module de prtraitement SegATex est ncessaire la plate-forme EXCOM Il prend en entre un chier texte ou un chier dj structur (segmentation en phrases)
Segmentation
SegATex est un module de prtraitement dEXCOM Cest toujours le premier module de prtraitement SegATex est ncessaire la plate-forme EXCOM Il prend en entre un chier texte ou un chier dj structur (segmentation en phrases) Il rend en sortie un chier structur selon la DTD DocBook (www.docbook.org)
Segmentation
SegATex est un module de prtraitement dEXCOM Cest toujours le premier module de prtraitement SegATex est ncessaire la plate-forme EXCOM Il prend en entre un chier texte ou un chier dj structur (segmentation en phrases) Il rend en sortie un chier structur selon la DTD DocBook (www.docbook.org) Une partie du document de sortie est un ensemble de mta-donnes sur le document.
Segmentation
Moteur dannotation smantique
EXCOM
Ressources linguistiques
Les listes dindicateurs et dindices sont stockes dans des chiers texte avec un encodage UTF-8 Les rgles dannotation (EC ou autre) sont stockes dans un chier XML avec un encodage UTF-8 (reglesEXCOM.xml)
EXCOM
Gnration des formes
Gnration des formes

Utilisation dune base de donnes en ligne de formes du franais : Morlex
EXCOM
Gnration des formes
Programme de conjugaison
Les listes dindicateurs et dindices sont gnres automatiquement par un script en Python paramtrable par :
Liste de verbes linnitif (encodage : ANSI ou ISO-8859-1)
EXCOM
Gnration des formes
A lintrieur du systme
EXCOM
modles de rgles
Modles de rgles
EXCOM utilise trois modles de rgles dannotation 1 Rgles de motifs rguliers pour reconnatres des structures de base comme les indicateurs et autres segments.
EXCOM
modles de rgles
Modles de rgles
EXCOM utilise trois modles de rgles dannotation 1 Rgles de motifs rguliers pour reconnatres des structures de base comme les indicateurs et autres segments. 2 Rgles de reconnaissance de structures leves bases sur des structures lmentaires.
EXCOM
modles de rgles
Modles de rgles
EXCOM utilise trois modles de rgles dannotation 1 Rgles de motifs rguliers pour reconnatres des structures de base comme les indicateurs et autres segments. 2 Rgles de reconnaissance de structures leves bases sur des structures lmentaires. 3 Rgles dExploration Contextuelle pour la reconnaissance de relations discursives associes aux segments textuels.
EXCOM
modles de rgles
Modles de rgles
EXCOM utilise trois modles de rgles dannotation 1 Rgles de motifs rguliers pour reconnatres des structures de base comme les indicateurs et autres segments. 2 Rgles de reconnaissance de structures leves bases sur des structures lmentaires. 3 Rgles dExploration Contextuelle pour la reconnaissance de relations discursives associes aux segments textuels. 4 La dclaration dune rgle se fait travers llment XML <regle> qui comporte les attributs gnraux suivants :
EXCOM
modles de rgles
Modles de rgles
nom_regle : nom de la rgle (identicateur unique de type ID)
EXCOM
modles de rgles
Modles de rgles
nom_regle : nom de la rgle (identicateur unique de type ID) tache : une ou plusieurs tches (spares par une disjonction |)
EXCOM
modles de rgles
Modles de rgles
nom_regle : nom de la rgle (identicateur unique de type ID) tache : une ou plusieurs tches (spares par une disjonction |) point_de_vue : un ou plusieurs points de vue (spars par une disjonction |)
EXCOM
modles de rgles
Modles de rgles
nom_regle : nom de la rgle (identicateur unique de type ID) tache : une ou plusieurs tches (spares par une disjonction |) point_de_vue : un ou plusieurs points de vue (spars par une disjonction |) type : le type de rgles. Il prend deux valeurs
annotation_simple pour les motifs rguliers et les structures EC pour les rgles dexploration contextuelles.
EXCOM
modles de rgles
Motifs rguliers
Le langage utilis est celui des expressions rationnelles la Perl 5 standard POSIX Essentiellement deux classes dexpressions rgulires - Expressions Rgulires de Base et Expressions Rgulires tendues. (Bertin et al., 2006)
Example
bibliosemantique == pointdevue == regles Trouv 1 rgle(s) pour cette tche ... Trouv 1 rgle(s) dannotation simple (REGEX + STRUCTURE) ...... Trouv 0 rgle(s) dExploration contextuelle ...... Trouv 0 rgle(s) ngatives pour les indicateurs ...... nbre Regex : 1 HUFS Soul - 29Juin -15 Juillet 2006 Brahim Djioua (LaLICC : Paris-Sorbonne/CNRS) Exploration Contextuelle Systme EXCOM / 55 nbre EC : 0
EXCOM
modles de rgles
Rsultats de lexemple
EXCOM
modles de rgles
Rgle de STRUCTURE
Les rgles de type STRUCTURE sont utilises pour reprer des expressions complexes, comme des indicateurs discontinues pour une rgle dexploration contextuelle. Example Il est ... important fondamental signicatif de grande porte de ...
EXCOM
modles de rgles
Exploration Contextuelle
EXCOM
modles de rgles
Rgle dExploration Contextuelle
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
Indicateurs
Un indicateur nest pas toujours un mot Un indicateur peut est une expression compose discontinue Un indicateur est porteur de la smantique de la relation recherche Il est souvent polysmique, do lutilisation des indices complmentaires Un indicateur peut apparatre dans plusieurs rgles Une rgle peut navoir quun indicateur comme condition de dclenchement Le rsultat de la reconnaissance dun indicateur est le balisage dune expression par llment XML <indicateur> avec les attributs :
regles : lensemble des rgles auxquelles participe cet indicateur regle[optionnel] : la rgle ou les rgles dclenches et qui ont aboutit une annotation cat[optionnel] : lannotation qui a servie comme indicateur est rcupre <indicateur regle="RTRencontre2" regles="RTRencontre2,RTRencontre11">Visite</indicateur>
EXCOM
modles de rgles
EXCOM
modles de rgles
Reconnaissance des indicateurs

Les indicateurs peuvent tre dnis par : une liste de formes de surface <indicateur espace_de_recherche = "phrase" type = "liste" valeur = "IndDescription"/> une annotation (un segment pralablement identi par une rgle REGEX) <indicateur espace_de_recherche="phrase" type="annotation" valeur="RenvBiblio"/> une partie dune annotation pralablement identie <indicateur espace_de_recherche="phrase" type="partie_annotation" valeur="..."/>
EXCOM
modles de rgles
Slection des rgles applicables
La reconnaissance des indicateurs va produire en plus de lannotation dune expression, la gnration dune liste de rgles et une liste de segments candidats lannotation Traitement squentiel des rgles A chaque rgle est(sont) associ(s) zro (indicateur seul), un, deux ou trois indices extension possible : associer chaque rgle un ordre de priorit
EXCOM
modles de rgles
Traitement des indices

Un indice est dclar par lintermdiaire de la balise <indice> avec les attributs :
contexte : lorientation du contexte de recherche par rapport lindicateur (gauche, droit ou indirent=gauche|droit) espace_de_recherche : expression XPath pour lespace de recherche de lindice par rapport lindicateur (contexte de lexpression XPath tant llment indicateur) type : le type des valeurs de lindice (liste, annotation ou partie de lannotation) valeur : valeur de lindice (nom de chier localis un dossier appropri, nom dune annotation)
<indice contexte="gauche" espace_de_recherche="." type="liste" valeur="PriseDePosition"/>
EXCOM
modles de rgles
Traitement des indices les uns aprs les autres et non pas ensemble (produit cartsien des listes dindices) Laction dun indice produit un ensemble de segments candidats pour le prochain indice Laction dun indice pr annote les segments candidats pour la prparation aux tests des autres indices Lordre entre les indices est dni par lattribut optionel de llment <regle> (valeur par dfaut = quelconque) <orde_entre_indice qui prend comme valeur : suite ou quelconque
EXCOM
modles de rgles
Annotation
La partie annotation est dclare dans une partie dans la partie <actions> Elle est dclare travers un lment XML <annotation> avec trois attributs :
type : le type dannotation qui a pour valeur, dans la version actuelle, ajout_attribut qui augmente une structure de segment textuel dun attribut annotation. annotation : la valeur de lattribut <annotation>. Cette valeur est prcde de lespace de nom excom, du nom de la tche et du nom du point de vue espace : lespace dannotation qui est souvent le segment textuel choisi pour lidentication de lindicateur et des indices.
EXCOM
modles de rgles
EXCOM
modles de rgles
Excom - Tk
EXCOM
modles de rgles
Example de texte annot
EXCOM
modles de rgles
Un exemple complet 1
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
EXCOM
modles de rgles
Un autre texte annot
Analyse discursive des textes
Quelques marques dAnnonce Thmatique

{Auteur de larticle} examiner dans ce document ... {Auteur de larticle} detailler dans ce document ... {Auteur de larticle} donner ici ... {Auteur de larticle} tenter [dans ce document] de montrer ... {Cette etude} traiter ... {Auteur de larticle} souhaiter {aborder, prsenter, ...} {dans le document, dans ce paragraphe ...} ... {Auteur de larticle} discuter {dans le document, dans ce paragraphe ...} ... Notre but {dans le document, dans ce paragraphe, dans cet article ...} ... {Auteur de larticle} cherchera ... {Dans le document, Dans ce paragraphe, Dans cet article ...}, {Auteur de larticle} chercher ... {Dans le document, Dans ce paragraphe, Dans cet article ...}, {Auteur de larticle} aller+essayer de ... Dans la presentation, {Auteur de larticle} montrer ... Notre but est dtablir {dans le document} ... HUFS Brahim Djioua (LaLICC :paragraphe} aborder ... Exploration / {Larticle, Ce Paris-Sorbonne/CNRS) Contextuelle Systme EXCOM Soul - 29Juin -15 Juillet 200655
Texte autisme
Indicateur en rouge et indices en bleu. tenter ... de montrer essayer ... de dfendre commencer par ... une prsentation tourner vers ... le problme indiquer dans ... documentEnCours expliquer dans ... documentEnCours rester ... considrer Exercice Ecrire les rgles dExploration Contextuelle permettant de reprer les annonces thmatiques dans le texte autisme2.seg
Un exemple avec deux indices
Annotation des connections entre entits
Visite clair de M. Hollande au Forum social de Florence Interview par RTL, France Inter, lm par France 2, ... Il est arriv lheure du djeuner avec ... M. Hollande a commenc par rencontrer le maire ... A 15 h 15, il participe une table ronde sur lEurope ... Un autre rendez-vous l attend : avec Jos Bov ... ...M. Cassen, accompagn de celui qui va lui succder ... M. Hollande ne participera pas, ..., la rencontre des socialistes europens ... Le jeune homme attend larrive Florence du fondateur du courant Nouveau Monde, avec Jean-Luc Mlenchon ...
Annotation multilingue (avec HUFS - South Korea)
EXCOM procde un traitement multilingue en utilisant Unicode comme le format dencodage par dfaut EXCOM utilise le mme moteur dannotation pour plusieurs langues avec la mthode dExploration Contextuelle
Annotation smantique de textes arabes (Alrahabi and al, 2006)
Le processus dannotation va aussi gnrer deux documents interconnects :

Document des structures physiques identies par la segmenteur SegaTex o certains des segments sont relis des annotations dnies dans lautre document Document des mtadonnes smantiques reprsent par un ensemble dannotations, relies aux segments associs du premier document
On peut associer un segment plusieurs annotations
Double structure
Moteur indexer bas sur Lucene : MOCXE
Moteur de recherche multilingue
MOCXE, semantic search engine
MOCXE, multilingual query

EC4 Excom

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

EC4 Excom

Transféré par

Droits d'auteur :

Formats disponibles

Exploration Contextuelle Systme EXCOM

HUFS Soul - 29Juin -15 Juillet 2006

Quest ce quune "Annotation" ?

EXCOM est bas sur :

Sources des documents

Sources des documents

Sources des documents

Sources des documents

Sources des documents

Prparation des documents aux autres traitements ;

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

SegATex est un module de prtraitement dEXCOM

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

Segmentation (Mourad, 2001) (Djioua-2 et al., 2006)

Moteur dannotation smantique

Gnration des formes

Gnration des formes

Gnration des formes

Gnration des formes

Rgle dExploration Contextuelle

Rgle dExploration Contextuelle

Rgle dExploration Contextuelle

Reconnaissance des indicateurs

Slection des rgles applicables

Traitement des indices

<indice contexte="gauche" espace_de_recherche="." type="liste" valeur="PriseDePosition"/>

Example de texte annot

Un autre texte annot

Analyse discursive des textes

Quelques marques dAnnonce Thmatique

Analyse discursive des textes

Analyse discursive des textes

Un exemple avec deux indices

Analyse discursive des textes

Annotation des connections entre entits

Analyse discursive des textes

Annotation multilingue (avec HUFS - South Korea)

Analyse discursive des textes

Analyse discursive des textes

Annotation smantique de textes arabes (Alrahabi and al, 2006)

Analyse discursive des textes

Analyse discursive des textes

Le processus dannotation va aussi gnrer deux documents interconnects :

On peut associer un segment plusieurs annotations

Analyse discursive des textes

Analyse discursive des textes

Moteur indexer bas sur Lucene : MOCXE

Analyse discursive des textes

Moteur de recherche multilingue

Analyse discursive des textes

MOCXE, semantic search engine

Analyse discursive des textes

MOCXE, multilingual query

Vous aimerez peut-être aussi