5ème Journée Parole « Corpus oraux et multimodaux :

segmentation, transcription, annotation et exploitation »

Laboratoire FoReLL (EA3816) - MSHS de Poitiers.
Vendredi 13 décembre 2013

L’annotation des corpus

de Langues des Signes :
un défi encore ouvert

Claudia S. Bianchini
EA3816 - FoReLL
 Les Langues des Signes
• Langues de la Communauté Sourde
• Langues visuo-gestuelles
• Évolution de la reconnaissance du statut
linguistique de la LS:
linguistique non linguistique
Post-Milan (1880-1960) Gesticulation
Assimilateurs (1960-……...) Signes Pantomime
Non assimilateurs (1980-..…….) Unités Lexématiques Structures de Grande Iconicité
Signes-mots Multilinéarité, simmultanéité
Mains Regard, corps, espace

Attention à la «fascination des mains»!

 La question de Elena
• Nombreux corpus annotés de LS dans le
monde (Konrad, 2010)

• Une question se pose:

« Puisque les LS sont des langues sans écriture,
comment représenter les LS
pour transcrire ces corpus? »
(Elena Antinoro Pizzuto†)
 Constitution de corpus oraux
de langues VOCALES sans écritures
Corpus de LV-FàF

Recueillir Transcrire (Traduire) Annoter

Audio/vidéo API LVref LVref

• L’API représente graphiquement la forme

signifiante des langues sans écriture
 Constitution de corpus oraux
de langues SIGNÉES sans écritures
Corpus de LS-FàF

Recueillir Transcrire (Traduire) Annoter

Vidéo « Gloses » en LVref LVref

• Les « gloses » remplacent la forme graphique du

signifiant par une traduction du signifié
 L’utilisation de la LV de référence
dans les corpus de LS
• Gloses: traduction signe-à-mot du signifié
– Ne donnent aucune indication de la forme du signe
– Analyse la LS par le biais de la LV dominante
• Pseudo-notation: description du signifiant
• Annotation: description du phénomène analysé
 L’utilisation de la LV de référence
dans les corpus de LS
• Gloses: traduction signe-à-mot du signifié
• Pseudo-notation: description du signifiant
– Ne notent que ce que le chercheur sait déjà devoir
chercher
– Impossible de donner les transcriptions sans les
données brutes
• Et le droit à l’image?
– Temps considérable
• Annotation: description du phénomène analysé
 L’utilisation de la LV de référence
dans les corpus de LS
• Gloses: traduction signe-à-mot du signifié
• Pseudo-notation: description du signifiant
• Annotation: description du phénomène
analysé
– Pas de problèmes en soi… si les bases sont bonnes
 Notation des signes:
quelques essais
• Création par des linguistes
– Signes isolés ou UL
Notation de Stokoe
– «Fascination des mains»
– Linéarité simil-alphabétique
• Problèmes pratiques:
– Mémorisation «humaine» HamNoSys

– Lisibilité «humaine»
– Temps nécessaire
• Mais... compatible avec les logiciels SignFont
d’annotation
– Linéarité
– Unicode
 Une solution alternative:
SignWriting (Sutton, 1995)
Regard
Expression faciale
Posture du corps
et de la tête
Configuration
des mains
Mouvement
Contact

• Système d’écriture des LS

• Sans les a priori des linguistes ;-p
 SignWriting: avantages…
• Représentation bidimensionnelle de
toutes les composantes du signes
– UL + SGI
– Signes isolés + discours
• « Rapide »
• « Facile » à mémoriser mais très détaillé
• Lisible mais très détaillé
– Favorise les réflexions métalinguistiques
• Permet une notation large ou exacte,
selon les besoin du chercheur
 SignWriting: … et limites
• Variabilité de codage d’un scripteur à l’autre
• Pauvreté des logiciels spécifique existants
– Mais heureusement il y a Borgia et De Marsico
• SWift: éditeur de textes numériques
• OGR: numériseur de textes écrits à la main
• Incompatible avec les logiciels d’annotation
– Multi-dimensionnalité
– Pas de Unicode
 Conclusions
• Il faut se poser la question de la notation
– Aucune solution actuellement n’est pleinement
satisfaisante
– Partir d’une forme d’écriture et non de notation
pourrait être la solution
– Répercussions sur les corpus multimodaux en
général
Merci! Grazie!