Normalisation de textes en français :
une étude quantitative pour la reconnaissance de la parole
Gilles Adda, Martine Adda-Decker
LIMSI-CNRS, Groupe Traitement du Langage Parlé
BP 133 91403 Orsay cedex, FRANCE
{gadda,madda}@limsi.fr
Résumé
Dans cet article, une étude qualitative et quantitative de
l’impact de la normalisation des textes sur les lexiques et les
modèles de langage pour la reconnaissance de la parole est
décrite. Cette normalisation permet en effet de définir l’unité qui
sera reconnue (le “mot”); suivant la définition de ce qu’est un
“mot” pour le système de reconnaissance, on aura des propriétés
différentes en terme de couverture du vocabulaire et de perplexité
des modèles de langage, ces propriétés ayant un impact direct sur
les scores de reconnaissance.
En utilisant les deux mesures mentionnées ci-dessus (couver-
ture et perplexité), nous mesurons l’impact des différentes nor-
malisations de texte.
Notre étude se focalise sur le problème de la normalisation
de textes journalistiques en français, mais comporte un certain
nombre de résultats applicables à d’autres domaines et d’autres
langues.
Introduction
Lors du développement d’un système de reconnais-
sance, la création du lexique et la fabrication des modèles
de langage sont reconnues comme des étapes décisives, et
où un certain nombre de choix linguistiques ont un impact
important sur le taux de reconnaissance, sans que ces choix
soient le plus souvent justifiés quantitativement.
Généralement, ces choix varient suivant l’application et
la langue : alors que pour évaluer les systèmes de dictée vo-
cale en anglais, les textes utilisés n’admettent pas la notion
de mots composés et ne font pas de distinction entre lettre
majuscule et minuscule [ Paul D.B., Baker J.M. (1992)],
cette dernière distinction est conservée généralement pour
des systèmes en français et surtout en allemand [Lamel L.,
Adda-Decker M., Gauvain J.-L. (1995)].
Pour choisir les mots du lexique, on cherche tout
d’abord maximiser la couverture de l’application. Par
exemple, dans le cas de dicte de textes de journaux, il
est ncessaire de recueillir de grandes quantits de textes
provenant de cette source, de manire assurer une couver-
ture statistiquement fiable, sur un texte nouveau.
De grandes quantits de textes sont ncessaires pour
slectionner le lexique, mais aussi dvelopper les modles
de langages probabilistes, qui sont les modles de lan-
gage habituellement utiliss dans les systmes de dicte vo-
cale trs grand vocabulaire. Ces donnes sont maintenant
disponibles, mais doivent tre nettoyes et normalises pour
tre utilisables.
Il est donc ncessaire de nettoyer et de segmenter ces
textes en “mots”, la dfinition de ce qu’est un mot dpen-
dant principalement des contraintes imposes la fois par le
systme de reconnaissance et le modle de langage.
Nous devons segmenter le texte en statisfaisant au mieux
au moins deux critres contradictoires : avoir le lexique
ayant la meilleure couverture possible (pour diminuer le
nombre d’erreurs de reconnaissance dues aux mots hors
vocabulaire (MHV)) et dfinir des mots non ambigus (afin
d’augmenter la discrimination du modle de langage). Si
nous utilisons uniquement le premier critre, nous trans-
formerons toute majuscule en minuscule (pas de noms pro-
pres) et sparerons systmatiquement toute ponctuation des
mots (pas de mots composs). L’effet en sera une grande
ambiguı̈t syntaxique (par exemple pas de distinctions entre
Roman (Polanski) et roman, et sec. (secondes) et sec .
). Si nous ne prenons que le second critre, nous ne seg-
menterons aucun mot ni ne transformerons aucune majus-
cule; le lexique contiendra alors de nombreuses ambiguı̈ts
lexicales : par exemple les mots C’est et c’est.
Dans le cadre de la normalisation de textes pour la
langue française, nous appliquons un certain nombre
de traitements, pour nettoyer les textes des erreurs ty-
pographiques ou de formatage, et effectuons un certain
nombre d’opérations de normalisation afin de préparer
le texte pour la détermination du modèle de langage.
Ces opérations sont par exemple: séparation en phrases,
segmentation en mots (avec ou sans mots composés),
éclatement des sigles non acronymes, transformation des
chiffres sous forme de mots, traitement des majuscules (en
particulier en début de phrase).
Le but de cet article est d’évaluer quantitativement cha-
cune de ces opérations de normalisation. Pour ce faire,
nous avons traité les textes de deux années du journal “Le
Monde” (40M de mots), en combinant ces différentes nor-
malisations. Nous avons ainsi mesuré l’impact de chaque
opération, en utilisant pour chaque condition 2 listes con-
stituées des 20 000 mots les plus fréquents et des 64 000
mots les plus fréquents issus de ces textes, ainsi que 2
modèles de langage (appris sur les mêmes textes) un bi-
gramme et trigramme pour chaque liste. Pour chaque
condition, nous avons évalué la couverture lexicale sur le
 N0 N1 N2 N3 N4 N5 N6 N7 comment
V0 0 0 0 0 0 0 0 0 -
V1 1 0 0 0 0 0 0 0 détection mots composés
V2 1 1 0 0 0 0 0 0 + début de phrase
V3 1 1 1 0 0 0 0 0 + chiffres
V4 1 1 1 1 0 0 0 0 + sigles
V5 1 1 1 1 1 0 0 0 + normalisation emphatique
V6 1 1 1 1 1 1 0 0 V5 + pas mots composés
V7 1 1 1 1 1 0 1 0 V5 + pas de distinction maj-min
V8 1 1 1 1 1 1 1 0 V6 + pas de distinction maj-min
V9 1 1 1 1 1 0 1 1 V7 + désaccentuation
V10 1 1 1 1 1 1 1 1 V8 + désaccentuation
Table 1: Les différentes combinaisons Vi (i = 0, . . . , 10) de normalisations de texte

texte d’apprentissage et sur un texte test d’une période
postérieure pour chaque liste, ainsi que la perplexité des
modèles de langage sur ce dernier texte. Pour certaines
normalisations, l’effet de taille du corpus d’apprentissage
a été étudié, en passant de 40 à 200 millions de mots.
Notre étude nous permet de mettre à jour les opérations
qui ont un réel impact sur la couverture lexicale, et de
mesurer si ces opérations ont un impact négatif sur la per-
plexité et donc de manière probable sur la reconnaissance.
Normalisation du français
Parmi les opérations de normalisations de texte en
langue française (comme dans d’autres langues), cer-
taines sont communément admises1 , mais n’ont jamais été
évaluées :
N0 traitement des séparateurs ambigus ( “-” et “’”) hors
mots composés.
N1 traitement des majuscules en début de phrase
(Dorénavant → dorénavant),
N2 traduction des chiffres (y compris des chiffres ro-
mains) en mots (110 → cent dix),
N3 éclatement des sigles non acronymes
(ABCD → A. B. C. D.)
N4 normalisation des majuscules emphatiques
(Etat → état)
N5 séparation des mots composés
(porte-clefs → porte - clefs),
N6 suppression de la distinction minuscule-majuscule
(Pierre et Jean → pierre et jean .
N7 désaccentuation (système → systeme)
Certaines normalisations (que nous qual-
ifierons improprement d’ “élémentaires”) sont effectuées
systématiquement :
1 Certaines de ces normalisations ne sont admises qu’en vue d’une ap-
plication de reconnaissance de la parole, comme par exemple la traduc-
tion des chiffres en mots
• codage des accents et autres signes diacritiques: le
codage est ISO-latin1
• une séparation hiérarchique en articles, paragraphes,
phrases.
• élimination de symboles non conformes.
• prétraitement des chiffres (10 000 → 10000).
• traitement des unités (kg/cm3, etc..).
• élimination d’erreurs de formatage propres aux textes
journalistiques;
• détection d’abréviations nouvelles, correction
d’erreurs de ponctuation.
• traitement des ponctuations dites “non ambiguës”,
dans la mesure où elles ne conduisent pas à des mots
composés, et séparation en phrases. On segmente en
phrase après les ponctuations fortes, et après ”:”, s’il
est suivi de ’”’. Par contre, les incises sont laissés
dans la phrase (par exemple:
” Bonjour ”, dit-il , ” comment ca va ? ” . est une
phrase).
• élimination des ponctuations isolées. En effet,
l’application de la dictée vocale est dite “sans ponc-
tuation verbalisée”, c’est-à-dire que les locuteurs ne
dictent pas la ponctuation.
Différentes combinaisons de normalisations Ni , i = 0 à
7 ont été faites, conduisant à différentes versions du texte
d’apprentissage :
V0 Ce texte est le résultat des normalisations
élémentaires énoncées ci-dessus; c’est donc le texte
de référence, sans aucune prise de décision ambiguë
(à part la séparation en phrases).
V1 En partant du texte V0 , les mots composés (avec “-
” et “’”) sont détectés; les autres occurences de ces
séparateurs ambigus sont séparés des mots (par ex-
emple (Paris-Bordeaux → Paris - Bordeaux). Ce
traitement se fait en 2 passes, et utilise 2 dictionnaires
généralistes (BDLEX [Pérennou G., (1988)] et DE-
LAF via INTEX [Silberztein M., (1993)]), contenant
des listes de mots composés.
 taux de MHV 20k sur corpus d’apprentissage taux de MHV 64k sur corpus d’apprentissage
9.00 4.00
%MHV-20k-apprentissage %MHV-64k-apprentissage
8.50
3.50
8.00

7.50
3.00
7.00

6.50 2.50

6.00
2.00
5.50

5.00
1.50
4.50

4.00 1.00
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

Figure 1: Taux de MHV (mots hors vocabulaire) pour différentes combinaisons Vi (i = 0, . . . , 10) de normalisations de texte, pour 2
listes (20k et 65k) obtenues à partir de 40M de mots; le taux MHV calculé sur le texte d’apprentissage

taux de MHV 20k sur corpus de test taux de MHV 64k sur corpus de test
9.00 4.00
%MHV-20k-test %MHV-64k-test
8.50
3.50
8.00

7.50
3.00
7.00

6.50 2.50

6.00
2.00
5.50

5.00
1.50
4.50

4.00 1.00
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

Figure 2: Taux de MHV (mots hors vocabulaire) pour différentes combinaisons Vi (i = 0, . . . , 10) de normalisations de texte, pour 2
listes (20k et 65k); le taux est calculé sur un texte de 20 000 mots très éloigné temporellement du corpus d’apprentissage (dev1)
 V2 Ici, on a traité les majuscules en début de phrase dans
le texte V1 . Ce traitement, comme le précédent, se
fait en 2 passes, et utilise 2 dictionnaires généralistes
(BDLEX et DELAF).
V3 A partir du texte V2 , les chiffres romains on été
transformés en chiffres (exemple : chapitre XII →
chapitre 12, Francois Ier → Francois 1er), puis les
chiffres en mots (1993 → mille neuf cent quatre-
vingt-treize, les 24e journées de l’enseignement →
les vingt-quatrièmes journées de l’enseignement).
V4 Texte V3 , où les sigles non acronymes sont éclatés.
V5 Texte V4 , où les majuscules emphatiques sont
décapitalisées.
V6 Texte V5 , où toutes les formes composées avec “-
” et “’” sont éclatées. Seules sont conservées
les formes composées très fréquentes se prononçant
différemment de leurs composants (dix-huit, prêt-à-
porter).
V7 Texte V5 , où les différences de capitalisation sont sup-
primées.
V8 Texte V6 , où les différences de capitalisation sont sup-
primées.
V9 Texte V7 , où les signes diacritiques sont retirés.
V10 Texte V8 , où les signes diacritiques sont retirés.
La table 1 résume les différentes combinaisons de ces
normalisations qui ont été testées.
Bien que toute normalisation diminue la quantité
d’information initialement prśente dans le texte, cette
réduction varie d’une normalisation à l’autre. Ainsi, il est
possible de passer, à l’aide d’heuristiques assez simples,
d’une forme V5 ou V6 à la forme “primitive” V0 (ou tout au
moins une forme équivalente), alors que pour les formes V7
à V10 , ce passage, sinon impossible, recquiert l’adjonction
de sources de connaissance importantes (et donc l’ajout
d’une quantité d’information équivalente). De plus, les
formes V9 et V10 , semblent de par la grande ambiguı̈té lex-
icale qu’elles engendrent, peu utilisables dans un système
de reconnaissance de la parole.
Couverture de l’Apprentissage
Les textes distribués dans le cadre de l’ARC AUPELF
B1 “Dictée Vocale” consistent en le contenu intégral de
l’édition quotidienne (et des suppléments) de deux années
du journal “Le Monde” (1987 et 1988), représentant un to-
tal de 40M de mots (sans tenir compte de la ponctuation).
La figure 1 montre les taux de MHV (mots hors vocabu-
laire) pour 2 listes 20k et 64k; ces listes sont obtenues en
prenant les 20 000 mots (resp. les 64 000 mots) les plus
fréquents de ces textes. Le taux de MHV est calculé en di-
visant le nombre de mots du texte testé n’appartenant pas
à la liste en question par le nombre total de mots du texte.
On peut voir que les normalisations qui apportent le plus
de gain au niveau couverture sont les normalisations N0
(séparation des ponctuations ambuiguës) qui réduit le taux
de MHV de 19% pour la liste 20k et 26% pour la liste 64k,
et N2 (transformation des chiffres en nombre) qui réduit
le taux de MHV de 13% pour la liste 20k et 22% pour la
liste 64k. La normalisation N1 (traitement des majuscules
en début de phrase) et N6 (suppression de la distinction
minuscule majuscule) sont également efficaces, mais prin-
cipalement sur la liste 64k (réduction de 10 et 14%).
La normalisation N4 (normalisation des majuscules em-
phatiques) ne semble pas réduire le taux de MHV de
manière significative. De plus, cette normalisation im-
plique une intervention manuelle importante, le fait de
savoir si une majuscule en début de mot relève d’une em-
phase ou traduit un nom propre, nécessitant une analyse
syntaxique, voire sémantique.
Le passage de la forme V0 à la forme V5 (la forme
utilisée pour le texte officiel AUPELF, et dans le système
du LIMSI) réduit le taux de MHV de 35% pour la liste 20k
(50% pour la liste 64k), alors que le passage de la forme
V5 à la forme V9 ne la réduit que de 12% pour la liste 20k
(20% pour la liste 64k).
Couverture d’un texte test
Nous avons constitué un texte test de 20 000 mots
(que nous noterons dev1), choisi suivant les mêmes
critères que ceux utilisés pour la sélection du corpus de
développement de l’ARC B1 (que nous noterons dev2),
afin de mesurer l’effet du à l’éloignement temporel entre
le corpus d’apprentissage et un corpus de test. Ce texte
recouvre à peu près la même période que le corpus dev2
(mai 1996), et a subi les mêmes normalisations que le cor-
pus d’apprentissage. La figure 2 montre les taux de MHV
sur ce texte test pour les 2 listes 20k et 64k.
En comparant les courbes sur les figures 1 et 2, on peut
voir que, mis à part un décalage fixe d’environ 1% absolu
entre la couverture sur l’apprentissage et sur un texte test,
l’impact de chaque normalisation semble globalement con-
servé. Ainsi, pour la couverture du test, le passage de la
forme V0 à la forme V5 réduit le taux de MHV de 30%
pour la liste 20k (40% pour la liste 64k), alors que le pas-
sage de la forme V5 à la forme V9 ne la réduit que de 11%
pour la liste 20k (20% pour la liste 64k).
La taille du texte d’apprentissage (40M de mots) est
réduite, et la distance (plus de 7 ans) entre celui-ci et le
texte test est importante; nous avons voulu voir quelle
était l’évolution des taux de MHV lorsque la taille du
texte d’apprentissage augmentait. Pour cela, les textes des
années 87 à 95 du journal “Le Monde” ont été utilisés, pour
5 combinaisons de normalisations V0 , V5 , V6 , V9 et V10 . 4
textes d’apprentissage on été utilisés :
T0 : années 1987 et 1988 (40 M de mots)
T1 : T0 + années 91 à 95 (145 M de mots)
T2 : T0 + années 89 et 90 (185 M de mots)
 taux de MHV avec un lexique 20k taux de MHV avec un lexique 65k

8.5 %MHV-20k-T0 %MHV-64k-T0

%MHV-20k-T1 3.5 %MHV-64k-T1
8.0 %MHV-20k-T2 %MHV-64k-T2
%MHV-20k-T3 %MHV-64k-T3
7.5 3.0
7.0
6.5 2.5

6.0
2.0
5.5
5.0 1.5

V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

Figure 3: Taux de MHV (mots hors vocabulaire) pour différentes combinaisons de normalisation V0 , V5 V6 , V9 et V10 et des listes 20k
et 64k, obtenues à partir de différents textes d’apprentissage T0 (40M de mots), T1 (145M de mots), T2 (185M de mots) et T3 (105M
de mots) , sur le corpus de test dev1

nb de mots differents (en Kmots) nb de mots total (en Mmots)

420.0
41.0
400.0
380.0 40.0
360.0
340.0 39.0

320.0
38.0
300.0
280.0 37.0
260.0
36.0
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

Figure 4: Nombre de mots différents et nombre de mots total pour les différentes combinaisons Vi (i = 0, . . . , 10).

T3 : T1 − T0 = années 91 à 95 (105 M de mots)
La figure 3 montre le taux de MHV sur le même texte
test, pour les 2 listes 20k et 64k. On peut voir que
l’augmentation de la taille du texte d’apprentissage permet
de diminuer le taux de MHV de manière sensible puisque
ce taux est réduit de 11% pour les listes 20k et de 33% pour
les listes 64k. Cependant, cette diminution sature rapide-
ment, puisque l’utilisation du texte ayant la taille la plus
importante (T2 ) ne correspond pas à la couverture opti-
male, celle-ci étant atteinte pour les textes de date les plus
récentes (T3 ).
Il est à noter que pour des tailles de textes
d’apprentissage importantes, l’écart entre la couverture sur
l’apprentissage et le test, de l’ordre de 20% pour le texte
T0 , se réduit à 1 % pour les textes T2 ou T3 .
On peut également noter que l’écart absolu entre les
2 combinaisons V5 (avec mots composés) et V6 (sans
mots composés) passe pour un liste 64k de 0.1 % pour
le texte T0 à 0.05 pour T3 ; en fait, une optimisation
dans le choix des textes et de leur taille réduit l’impact
des différentes normalisations sur le taux de MHV; par
exemple, l’optimisation de la liste 65k du système du
LIMSI [Adda G., Adda-Decker M., Gauvain J.-L. Lamel
L. (1997)] a permis de réduire le taux de MHV sur le texte
dev1 à 1.50%2 (contre 1.34% sur le texte dev2) , et ce pour
la combinaison V5 comme pour V6 .
L’impact du choix de la nature et de la taille du texte
d’apprentissage semble donc aussi sinon plus important
que la nature des normalisations, pour ce qui concerne la
couverture d’un texte par un lexique déduit d’un corpus.
Caractéristiques des textes
Chaque texte Vi , i = 0 à 10, de par sa normalisa-
tion spécifique, a des caractéristiques qui vont influer
sur les propriétés des modèles de langage. Nous retien-
drons uniquement pour mesures caractéristiques, la taille
du texte, et le nombre de mots différents (voir figure 4).
En effet, ces 2 mesures influent directement sur la manière
dont les modèles de langage sont appris : si le nombre de
mots différents du texte est sensiblement plus grand dans
une forme plutôt que dans une autre, et que la taille du
texte ne varie pas dans le même sens, on peut penser que
2 le meilleur taux atteint avec les listes issues des textes T étant de
i
1.57%
l’apprentissage des modèles de langage sera plus difficile;
d’un autre côté, plus le nombre de formes différentes est
grand, plus les modèles de langage peuvebt être discrimi-
nants et donc précis.
La comparaison de la figure 4 avec les figures 1 et 2,
montre que les évolutions en fonction des normalisations
du taux de MHV, et du nombre de mots différents sont très
fortement corrélé.
Perplexité
La couverture du lexique n’est qu’un aspect de l’impact
des normalisations. Une normalisation qui entraı̂ne
une plus grande couverture, en réduisant la quantité
d’informations, peut générer une plus grande ambiguı̈té
syntaxique. La perplexité est la mesure usuelle de
l’efficacité d’un modèle de langage probabiliste, bien que
celle-là ne soit pas toujours simplement corrélé avec les
résultats de reconnaissance.
La perplexité est une mesure directement liée à
l’entropie (au sens de la théorie de l’information), et intro-
duit une moyennisation par rapport aux nombres de mots
du texte sur lequel on mesure cette perplexité.
Si l’on veut pouvoir comparer des perplexités sur un
texte ayant subi des normalisations différentes, et donc
ayant une longueur variable, il est nécessaire d’utiliser une
autre mesure, la normalisation par rapport au nombre de
mots introduisant un biais. En effet, si l’on veut comparer
les perplexités de plusieurs modèles de langage, il est nec-
essaire de le faire sur un texte identique; la normalisation
changeant le texte, il faut trouver un moyen de calculer la
perplexité sur la même version du texte. Pour cela, nous
utilisons la notion de perplexité normalisée, où l’on rem-
place la formule usuelle :
1
p = 2 n log(P (W ))
par celle de la perplexité normalisée [Gauvain J.-L., Lamel
L., Adda G., Matrouf D. (1996a)] qui permet de comparer
des perplexités sur un texte T sous des versions de normali-
sation v1 et v2 différentes, et donc de longueurs différentes.
On définit donc p∗ :
n1 log(p)
p∗ = 2 n2 log(2)
où n1 and n2 sont les longueurs du texte T sous les formes
v1 et v2 , p la perplexité sur le texte v1 et p∗ la perplexité
normalisée, ainsi comparable à une perplexité sur le texte
v2 .
De plus, nous utilisons des modèles de langage de
type n-gramme, où la probabilité d’apparition d’un
mot inconnu est estimée en remplaçant dans les textes
d’apprentissage, les mots non présents dans la liste par
un seul symbole (INCONNU). La probabilité de ce sym-
bole est donc d’autant plus importante que la couverture
du texte d’apprentissage par la liste est faible. Ainsi,
lors du calcul de la perplexité sur un texte, on remplace
également tout mot du texte non compris dans la la liste
par le même symbole INCONNU . La perplexité est donc
ainsi artificiellement baissée de par la forte probabilité du
ce symbole. Les différentes normalisations conduisant
à des couvertures différentes, et donc à des estimations
différentes de la probabilité de ce symbole INCONNU,
il nous a semblé important, afin de ne pas mélanger les
différents paramètres observés, de ne pas inclure dans le
calcul de la perplexité, la contribution de ce symbole.
Nous avons choisi comme texte pivot pour calculer les
perplexités normalisées, le texte V3 , car il apparaı̂t comme
la version minimum vis-à-vis de la couverture du lexique
(les versions V0 à V2 apparaissant comme peu efficace par
rapport à ce critère). Toutes les perplexitées normalisées
seront calculées par rapport à cette version V3 du texte.
Les perplexités normalisées et non normalisées sur un
bigramme et un trigramme, pour les 2 listes 20k et 64k et
calculées sur le texte test dev1 sont représentées dans la
figure 5.
Les variations de perplexité sont nettement moins im-
portantes que les variations du taux de mots hors vocabu-
laires que nous avons pu observer. En effet, l’augmentation
de la perplexité est la plus forte lorsque l’on passe de la
forme V0 à la forme V3 , où elle varie seulement de 19%
(bigramme 20k) et 8% (trigramme 64k). Le passage de la
forme V3 à la forme V5 conduit à une augmentation rela-
tive de perplexité variant entre 2.7 et 1.6%, et le passage
de la forme V5 (resp V6 ) à la forme V9 (resp. V10 ) conduit
à une augmentation relative de perplexité variant entre 2.4
et 1.0%.
On peut noter que seule la normalisation N4 (normal-
isation des majuscules emphatiques)
conduit systématiquement à une diminution (très faible)
de la perplexité. De manière générale, la suppression de
la différence majuscule-minuscule semble peu augmenter
la perplexité, puisque la normalisation N6 conduit à une
diminution de la perplexité des n-grammes 64k , de même
que la normalisation N1 dans le cas d’un trigramme 64k.
Nous avons représenté sur la figure 5 (d) les valeurs des
perplexités obtenues pour les formes V5 et V6 (avec et sans
mots composés) et des trigrammes appris sur un corpus de
taille de 200 M de mots. Nous pouvons voir que, mis à
part une réduction globale de 10% de la perplexité due à la
taille du corpus d’apprentissage, les variations propres à la
normalisation sont conservées.
Conclusion
Nous avons montré l’impact sur la couverture du lexique
et sur la perplexité des modèles de langage, de différentes
normalisations applicables sur un texte d’apprentissage.
En ce qui concerne la couverture du lexique, les
réductions les plus importantes du taux de mots hors vo-
cabulaire (MHV) (de 20 à 50%), sont obtenues pour les
2 normalisations N0 (traitement des séparateurs ambigus)
et N2 (traduction des chiffres (y compris des chiffres ro-
mains) en mots). Une diminution relative importante du
taux de MHV peut également être obtenue à l’aide de
la normalisation N1 (traitement des majuscules en début
de phrase) etN6 (suppression de la distinction minuscule-
 (a) perplexite bigramme 20k (b) perplexite bigramme 64k
290.00
210.00 pp-bg-20k pp-bg-64k
205.00 pp-normalise-bg-20k 280.00 pp-normalise-bg-64k

200.00 270.00
195.00
260.00
190.00
185.00 250.00
180.00
240.00
175.00
170.00 230.00
165.00 220.00
160.00
210.00
155.00
150.00 200.00
145.00
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

(c) perplexite trigramme 20k (d) perplexite trigramme 64k

155.00
pp-tg-20k 210.00 pp-tg-64k
150.00 pp-normalise-tg-20k pp-normalise-tg-64k
pp-tg-64k-200M
200.00 pp-normalise-tg-64k-200M
145.00
190.00
140.00

135.00 180.00

130.00 170.00

125.00 160.00
120.00
150.00
115.00
140.00
110.00
130.00
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

Figure 5: Perplexités normalisées et non normalisées pour différentes combinaisons Vi (i = 0, . . . , 10) de normalisations de texte,
pour un bigramme 20k (a), un bigramme 64k (b), un trigramme 20k (c) et un trigramme 64k (d), ainsi que les perplexités obtenues
par un trigramme 64k appris sur 200M de mots; les perplexités sont calculées sur un texte de 20 000 mots (dev1), et n’incluent pas la
contribution due aux mots inconnus
majuscule) mais principalement pour une liste 64k. [Gauvain J.-L., Lamel L., Adda G., Matrouf D. (1996a)] “The
Les différences de taux de couverture entre les LIMSI 1995 Hub3 system”, Proc. ARPA Spoken Language
différentes langues observées par ailleurs [Lamel L., Technology Workshop-96.
Adda-Decker M., Gauvain J.-L. (1995)] ne sont pas [Gauvain J.-L., Lamel L., Adda G., Matrouf D. (1996b)]
(uniquement) dues à des différence de prétraitement; en “Developments in Continuous Speech Dictation using the
effet, un prétraitement équivalent à celui appliqué aux 1995 ARPA NAB News Task”, Proc. ICASSP-96.
textes en langue anglaise (forme V10 ) conduit à un taux [Lamel L., Adda-Decker M., Gauvain J.-L. (1995)] “Issues in
de mots hors vocabulaire supérieur de 60% pour la langue Large Vocabulary, Multilingual Speech Recognition”, Eu-
française. rospeech’95.
Les variations de perplexité ne sont pas aussi impor- [ Paul D.B., Baker J.M. (1992)] “The Design for the Wall Street
tantes que les variations de taux de MHV : l’augmentation Journal-based CSR Corpus”, Proc. ICSLP-92.
la plus importante de perplexité (de 8 à 20%) est obtenue [Pérennou G., (1988)] “Le projet BDLEX de base de données
pour les 3 normalisation N0 , N1 et N2 . De manière lexicales et phonologiques”, Actes des 1ères journées du
générale, toute normalisation qui diminue le taux de MHV, GRECO-PRC CHM, EC2 éd., Paris, 24-25 novembre 1988.
augmente la perplexité, mises à part celles qui suppri- [Silberztein M., (1993)] “Dictionnaires électroniques et analyse
ment des distinctions majuscule-minuscule qui peuvent automatique de textes : le système INTEX”, Masson, Paris.
dans certains cas, faire diminuer la perplexité.
Les mesures effectuées ici doivent encore être con-
firmées par des résultats effectifs de reconnaissance; si le
lien entre mots hors vocabulaire et erreurs de reconnais-
sance est direct (un mot hors vocabulaire conduisant en
moyenne à environ 1,5 erreurs de reconnaissance), la sit-
uation est différente pour la perplexité, où des variations
importantes ne conduisent pas forcément à des variations
identiques du taux de reconnaissance.
Cependant, on peut remarquer que, quelque soient
les normalisations, elles conduisent à des propriétés
différentes en terme de couverture ou de précision du
modèle de langage, mais que les lexique et modèles de
langage qu’elles engendrent, semblent utilisables par un
système de reconnaissance, le choix entre telle ou telle nor-
malisation devant donc se faire principalement en fonction
de l’application recherchée.

Remerciements
Une partie de ce travail a été effectué dans le cadre des
Actions de Recherche Concertées “Linguistique, Informa-
tique et Corpus Oraux”, financées par l’AUPELF-UREF.

Références
[Adda G., Adda-Decker M., Gauvain J.-L. Lamel L. (1997)]
“Le système de dictée du LIMSI pour l’évaluation AU-
PEL’97”,JST’97.
[Adda G., et al (1997)] , “Ressources pour l’apprentissage, le
développement et l’évaluation des systèmes de dictée vo-
cale en français : corpus de texte, de parole et lexical”,
JST’97.
[Adda-Decker M., Adda G., Lamel L., Gauvain J.-L.(1996)]
“Developments in Large Vocabulary, Continuous Speech
Recognition of German”, Proc. ICASSP-96.
[Gauvain J.-L., Lamel L., Adda G., Mariani J. (1994)]
“Speech-to-Text Conversion in French”, International Jour-
nal of Pattern Recognition and Artificial Intelligence, 1994,
vol. 8 no 1, 1994
[Gauvain J.-L., Lamel L., Adda G.,Adda-Decker M. (1994)]
“Speaker-independent continu-
ous speech dictation”, Speech Communication 15 (1994)
21-37.