Vous êtes sur la page 1sur 8

e-STA copyright 2011 by see

Volume 8, N1, pp 53-60

Application de la Mthode Adaboost la Reconnaissance


Automatique de la Parole
1
Rimah Amami, 2 Dorra Ben Ayed, 3Noureddine Ellouze
Dpartement de Gnie Electrique, ENIT, Tunis, Tunisie
1
Rimah.amami@yahoo.fr, 2Dorrainsat@yahoo.fr, 3N.ellouze@enit.rnu.tn

performance dun systme de RAP dpend essentiellement de


Abstract- Les mthodes du Boosting constituent une famille lalgorithme dapprentissage utilis pendant la phase de la
dalgorithmes dapprentissage automatique qui construisent classification. Ces dernires annes, lapproche du Boosting a
des modles (de classification ou de rgression) fonds sur la t appliqu dans le domaine de la RAP vu son aptitude
combinaison des chantillons dapprentissage dits "faibles". amliorer la performance des diffrents classifieurs.
La mthode Adaptative Boosting (Adaboost) est la mthode du Les mthodes du Boosting constituent une famille
Boosting la plus utilise. Dans cet article, nous proposons une dalgorithmes dapprentissage automatique qui visent rendre
tude et une valuation dun ensemble dalgorithme de la un systme dapprentissage dits "faibles" plus performant.
mthode Adaboost dans un systme de classification bas sur Actuellement, Les mthodes du Boosting sont trs tudies.
les arbres de dcision binaire (CART) pour aborder la Elles permettent de combiner un ensemble d instances dun
reconnaissance de la parole. classifieur donn considres difficile apprendre (faible),
Nous utilisons, pour nos exprimentations, les phrases SA1 et afin de forger un seul classifieur fort et dou amliorer la
SA2 du dialecte DR1 du corpus de son TIMIT. performance de lalgorithme dapprentissage faible .Pour
Mots cls- Real Adaboost, Gentle Adaboost, Modest nos exprimentation, nous avons choisi CART (arbre de
Adaboost, Arbre de decision CART, TIMIT, Validation dcision binaire) comme notre algorithme dapprentissage.
croise. Adaboost est laolgorithme du Boosting le plus utilis.
Dans le but doptimiser Adaboost, il y a eu lapparition de
I. INTRODUCTION plusieurs variantes de cette mthode telles que Real, Gentle
Adaboost et modest Adaboost.
Le processus de la reconnaissance automatique de la parole Dans cet article, nous utilisons ces trois variantes
(RAP) se compose principalement de quatre phases dAdaboost ainsi quun algorithme dapprentissage bas sur
lmentaires; Extraction des caractristiques, Lapprentissage larbre de dcision binaire : CART (Classification And
La modlisation et la dcision finale (Figure1). Regression Tree). Par la suite, nous valuons la performance
de chaque mthode partir des taux derreur que notre modle
produit. Cet article est organis de la manire suivante: La
Extraction des section 2, introduit les diffrents algorithmes du Boosting ; la
caractristiques section 3, dcrit lalgorithme dapprentissage utilis. Enfin, en
section 4 and 5, nous tudions les rsultats que notre modle
gnrent en utilisant le corpus TIMIT.

II. INTRODUCTION AU BOOSTING


Dcision Algorithme Les
Finale dapprentissage Echantillons A. Dfinitions
La mthode du Boosting a t inspir de lalgorithme
dapprentissage Hedge () [1]. Le principe du Boosting est de
rutiliser un classifieurs plusieurs fois en attribuant aux
Reconnaissance de la instances dapprentissage, chaque fois, une pondration
parole diffrente et puis combiner les rsultats afin de trouver un seul
classifieur fort/trs prcis [2].
Fig 1. Architecture dsystme de la reconnaissance Vocale
B. Lapproche Adaboost
Dans la littrature, les recherches effectues dans le domaine AdaBoost (Adaptive Boosting) est une mthode
de la reconnaissance vocale affirment que dans un systme de algorithmique connue dans le domaine de lapprentissage.
RAP, lalgorithme dapprentissage constitue llment Cette mthode a t initialement conue par Robert Schapire
fondamental pour la robustesse du systme. De ce fait, la
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

et Yoav Freund en 1995 [1][3]. Cette approche est la drive dAdaboost do il y a eu lapparition de plusieurs variantes
la plus partique de la mthode du Bossting qui vise stimuler telles que Adaboost.M1, Adaboost.M2 Gentle Adaboost , etc.
la performance de lalgorithme dapprentissage. En effet, il existe plusieurs drivs de lapproche Adaboost
Adaboost consiste transformer, dune manire efficace, un qui optimisent diffremment la pondration (Wi).
classifieur faible en un classifieur fort en rduisant les GML AdaBoost Matlab Toolbox est un ensemble de
taux derreur. Lalgorithme dAdaboost, appelle chaque fonctions en Matlab qui implmente un ensemble dalgorithme
itration, un algorithme dapprentissage qui entranent les de classification et du Boosting savoir: Real AdaBoost,
instances classifier. Par la suite, Adaboost dfinit une Gentle AdaBoost et Modest AdaBoost qui sont utiliss dans ce
nouvelle distribution de probabilit pour les instances travail [5].
dapprentissage en fonction des rsultats de lalgorithme
litration prcdente tout en augmentant le poids des C. Lapproche Real Adaboos
instances qui ne sont pas correctement classes. A la fin, Real AdaBoost a t mis en uvre en 1999 par Freund and
Adaboost combine les donnes faibles par un vote pondr Schapire [6]. Real Adaboost est une amlioration de la
pour en dduire un classifieur fort. mthode dorigine ou il faut ajouter une fonction qui mesure le
Dans cette optique, AdaBoost essaye, de trouver un degr de confiance en manipulant des donnes
classifieur optimal partir de la combinaison dun ensemble dapprentissage soi-disant faible . La particularit de cette
de donnes dapprentissage faible. Lalgorithme dAdaboost mthode rside dans la classe de probabilit estime qui
est comme suit [4]. convertit les taux de logarithme en une valeur rel dchelle
Etant donn: [7]. Cette valeur est utilise afin dobserver les contributions
S= ( x1 , y1 ) ,...., ( xm , ym ) avec m lensemble des des sorties du modle en question. De plus, Real Adaboost
mesure la probabilit quune donne dapprentissage
chantillons et yi Y = {1,..., k} avec Y est appartient une classe donne alors que Adaboost consiste,
lensemble des tiquettes. tout simplement, classifier les donnes et calculer lerreur
Lalgorithme dapprentissage dits faible pondre. En gnrale, Real AdaBoost tend minimiser eyF(x)
WeakLearner. afin de mieux trouver la classification optimale gnrer par le
modle utilis [4].
T est le nombre des itrations.
Dautre part, la mthode Real Adaboost accorde un taux de
Initialiser Dt (i ) = 1 . confiance aux classifieurs faible [8][9] qui transforme
m lensemble des instance X et la prdiction boolenne en un
Faire pour t = 1, 2,....., T : espace relle R. Lalgorithme est comme suit [10].
1. Appeler WeakLearner qui fournit la distribution Dt. Etant donn:
2. Calculer lhypothse: ht : X Y . S= ( x1 , y1 ) ,...., ( xM , yM ) , avec m lensemble
3. Calculer lerreur de:
des chantillons et ( xi , yi ) X {1,1} , est
hx : t = Dt (i ) (1) lensemble des tiquettes
i = ht ( xi ) yi Lalgorithme dapprentissageWeakLearner.
T est le nombre des itrations.
Si t f 12 Alors T = t 1 et sortir. Initialiser la distribution Dt (i ) = 1 .
m
4. Dfinir t =
t Pour t = 1, 2,....., T :
(1 t ) 1. Pour chaque instance faire:
5. Mise jour de la distribution Dt : a. Partitionner X en un bloc spar ( xM , yM ) .
b. Pour chaque distribution Dt calculer
D (i ) t if ht ( xi ) = yi
Dt +1 (i ) = t
Z t 1 Sinon Wl j = P(xi X j , yi = l) =
i:x,eX ,^ yi 1
D(i)
(2) . (4)
Avec Zt est un facteur de normalization.
6. L hypothse finale: avec l = 1
1 c. Dfinir lhypothse h pour chaque Xj as:
h fin ( x) = arg max log
t
.
1 W+1j +
t :ht ( x ) = y
x X , h( x) = ln
2 W1j +
(3)
Les fondateurs de cette mthode, Schapire et Freund, ont (5)
essay tout au long de leurs travaux doptimiser lalgorithme Avec une petite constante positive.
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

2. Slectionner e ht: c. Dfinir Wi Wi exp [ yi. f m ( xi )] , avec


Zt = min Z
heH
i=1,2,N puis normaliser W = 1i
ht = arg min Z i
heH 2. Lhypothse Finale:
3. Mise jour de la distribution
[ F ( x)] = sign m=1 f m ( x)
M
(9)
Dt +1 (i ) = Dt (i ) exp [ yi ht ( xi )]
. (6)

Et normalisation de Dt+1 .
4. Lhypothse finale H : E. Lapproche Modest Adaboost
T
Modest AdaBoost [5] a t inspire par Vezhnevets et Al en
H ( x) = sign ht ( x) b 2005.
t 1 . (7) Cette variation dAdaboost vise a amlior la gnralisation
des erreurs pendant la classification. Cette approche tend
avec b est le seuil (par dfaut=0). donner des rsultats meilleurs que ceux calculs par Gentle
La fonction de confiance de est dfinie par : adaboost. Dans ce but, Vezhnevets et Al avaient utilis une
distribution inverse : w = 1 w . Cette distribution a permis,
Conf x ( x ) = h ( x) b
t t
(8) donc, de fournir aux donnes dapprentissage correctement
classifies des poids levs.
Nanmoins, il a y eu lapparition des nouvelles versions Lalgorithme de Modest Adaboost algorithm que
dAdaboost qui leurs performances dpassent souvent Real A.Vezhnevets et Al ont propos est comme suit[5].
Adaboost. Friedman and Al. [11] ont propos une extension de Given:
cette approche appele Gentle AdaBoost.
S= ( x1 , y1 ) ,...., ( xN , yN )
D. Lapproche Gentle Adaboost Initialiser la distribution D0 (i ) = 1 .
Gentle AdaBoost [11] est considre comme autant une N
extension du Real adaboost. Cette approche est plus 1. Pour m = 1, 2,...., M et tant que 0 .
performante que Real adaboost tant donn sa stabilit et sa m
robustesse quand il sagit des donnes bruites et aux a. Entraner lalgorithme dapprentissage hm ( x) en
aberrants [5].
Gentle Adaboost minimise la fonction exponentielle de perte utilisant la distribution Dm (i ) par la moindre carre
dAdaboost en utilisant les tapes de Newton [7]. pondre.
Dautre part, Gentle Adaboost est une variation de b. Calculer la distribution inverse
lapproche Real Adaboost qui stimule la performance de cette
dernire en appliquant une rgression par la mthode des Dm (i) = (1 Dm (i)) Z m (10)
moindres carres pondres. . En outre, Gentle Adaboost et
Real adaboost ne normalisent pas lensemble des apprenants
pondrs de la mme manire, puisque la fonction de c. Calculer:
normalisation de Real adaboost est donne par Pm+1(x) = PDm ( y =+1hm(x))
Fm(x)=Pw(y=1|x)-Pw(y=-1|x), alors que pour Gentle Adaboost, (11)
1
la mise jour de la classe de probabilit pondre est donne P ( x) = PDm ( y = 1 hm ( x))
m (12)
par la fonction suivante : 1
1 P ( y = 1| x) P ( x) = PDm ( y = 1 hm ( x))
m
(13)
f m ( x) = log w [11]. Lalgorithme du Gentle
2 Pw ( y = 1 | x) 1
P ( x) = PDm ( y = 1 hm ( x))
m (14)
Adaboost est comme suit [12].
Etant donn:
d. Dfinir:
Les poids Wi = 1 , i = 1,.., N et F ( x ) = 0 +1 1
N f m ( x) = ( Pm+1 (1 Pm ) Pm1 (1 Pm ))( x) (15)
1. Faire pour m = 1, 2,..., M . e. Mise jour de la distribution:
a. Estimer f m ( x) en utilisant les moindres carres
Dm (i)exp( yi fm ( xi ))
pondres de y x. Dm+1 (i) =
b. Mise jour de F ( x) F ( x) + f m ( x) . Zm (16)
2. Lhypothse finale:
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

i=M mthode diviser pour mieux rgnrer1. En effet, lalgorithme


[ F ( x)] = Sign fm (x) (17) fait une recherche minutieuse, pour chaque noeud, sur les
i=1 attributs et les valeurs de la segmentation puis il slectionne le
regroupement binaire qui optimise le critre au nud t [15].
Par consquent, Modest Adaboost, produit un ensemble La construction de larbre de dcision binaire se fait,
derreur de classification plus faible que celui calcul par Real essentiellement, en itrant cinq tapes [16]. Lalgorithme
et Gentle Adaboost. Mais, partir des rsultats de plusieurs relatif sappelle CART est comme suit:
recherches dans ce domaine, nous pouvons constater que 1. Etablir pour chaque nud toutes les divisions possibles.
lerreur dapprentissage calcule par Modest Adaboost est plus 2. Dfinir un critre de slection de la meilleure division
leve que celle de Gentle Adaboost. d'un nud.
3. Dfinir une rgle d'arrt des segmentations de l'arbre afin
de dclarer un nud comme terminal
III. LALGORITHME 4. Affecter une valeur de la variable Y pour ces nuds
DAPPRENTISSAGE: Arbre de terminaux.
classification (CARTs) 5. Estimer le risque d'erreur de prvision associ cet arbre.

Les Algorithmes dapprentissage sont constitus dun IV. EXPERIMENTATIONS


ensemble dalgorithme qui consiste stimuler
automatiquement un systme donn. Ces algorithmes sont A. Corpus de donnes
gnralement utiliss pour la reconnaissance des forms et la Dance ce travail, nous avons utilis le dialecte DR1 (New
prise de dcision. Les algorithmes dapprentissage sont England) du corpus TIMIT[17]. Nous avons choisi pour nos
employs dans des diffrentes applications telles que la exprimentations les deux phrases SA1 et SA2 car dans nos
classification, la dtection, lanalyse etc. travaux, nous avons procd une classification binaire. Il est
Dautre part, Les algorithmes d'apprentissage peuvent se important de noter que le dialecte DR1 vise mettre laccent
catgoriser selon le mode d'apprentissage qu'ils emploient: sur la divergence de la prononciation des diffrents locuteurs
Apprentissage supervis, Apprentissage-non-supervis etc. [18][19]. La table I dcrit la base de donnes utilise pour
Dans cet article, nous nous intressons uniquement par notre systme de reconnaissance.
lapprentissage supervis. De ce fait, nous avons identifi
larbre de classification et de rgression (CARTs) comme Table I.
notre algorithme dapprentissage. Systme de reconnaissance des phrases (RCP)
GML AdaBoost Toolbox implmente larbre de Phrase SA1 SA2
classification et de regression (CARTs) ainsi que les Locuteurs 14F+24M 14F+24M
approaches dAdaboost prcdemment dfinies [5]. Codification 1 -1
Par ailleurs, CARTs est considr comme un arbre binaire Paramtrisation 12 MFCC, 12 MFCC+ 12 Delta,
({1,-1}) puisque chaque nud ne peut avoir que deux fils 12 MFCC+ 12 Delta+ 12 Delta-Delta
(figure2). Le principe de lalgorithme de CART sappuie sur
lindice de Gini (IG) pour la segmentation de larbre qui vise B. Paramtrisation
construire les feuilles. Il faut, surtout, noter que plus lindice La premire tape de notre systme vise numriser le
de Gini est faible, plus le noeud est pur (tous les lments du signal entrant ce qui nous aboutie, par la suite, raliser
noeud appartiennent la mme classe). Larbre de dcision et lanalyse acoustique du signal de parole sur des fentres
de rgression (CARTs) a t conu par Leo Breiman [13][14]. temporelles de courte dure. Nanmoins, parmi les types de
X6 >2 paramtres vraiment pertinents et utilisables efficacement,
nous trouvons les paramtres de lanalyse spectrale et
Faux ventuellement les paramtres prosodiques puisquils sont
Vrai respectivement corrls la forme du conduit vocal et la
Y=-1 X5 >0
source dexcitation de lappareil de production de la parole.
Faux Dans ce travail, nous nous intressons, principalement, aux
X2 >2.3
X1 >3 paramtres cepstraux de types Mel Mel Frequency Cepstral
(MFCC) et ses drives tant donn leurs frquentes
Y=-1 utilisations dans le domaine de la reconnaissance ainsi que
Faux Y=1
Vrai Y=-1 leurs aptitudes reprsenter les caractristiques dun signal et
leurs robustesses (Table I).
Fig 2. Exemple dun CART.

Le principe de cet algorithme consiste partitionner dune


manire rcursive lensemble dentranement suivant la 1
Du latin Divide ut imperes, mthode de conception consistant diviser un
problme de grande taille en plusieurs sous-problmes analogues, ltape de
subdivision tant applique rcursivement
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

Dans les systmes actuels de reconnaissance les 0.65

caractristiques les plus utilises sont, soit les paramtres


Real AdaBoost

0.6

cepstraux standards, soit des paramtres de type MFCC (Mel 0.55


Frequency Cepstral Coefficients) qui sont, normalement,

Taux d"erreur
compltes par leurs paramtres variationnels respectifs qui 0.5

caractrisent les variations des paramtres cepstraux dans les 0.45

fentres proches de la fentre court-terme courante. 0.4

Les coefficients MFCCs [20], aussi nomms Mel Frequency 0.35

Cepstral Coefficients, sont bass sur une chelle de


perception, non linaire, appele Mel. En effet, ltude des 0 10 20 30 40 50
Iterations
60 70 80 90 100

coefficients MFCC du signal permet dextraire des Fig 3. Evolution du taux derreur du systme de RCP avec validation de la
caractristiques de celui-ci autour de la Transforme de base de test.
Fourrier (FFT) et de la Transforme en Cosinus Directe
(DCT), convertis sur une chelle de Mel. Le principal 5 Validation croise

avantage de cette mthode se rside dans le fait que les


0.45
Real AdaBoost

coefficients obtenus sont dcorrlls. 0.4

Dautre part, lutilisation des drives du premier et du


second ordre des MFCC (les DMFCC et DDMFCC) peuvent 0.35

Taux d"erreur
ventuellement amliorer et de renforcer les caractristiques
du signal vocal par la prise en compte des paramtres
0.3

dynamiques: il sagit de lvolution temporelle de lenveloppe 0.25

spectrale. [21][22]. Les recherches empiriques prouvent que


laugmentation du nombre des paramtres amliore, 0.2
0 10 20 30 40 50 60 70 80 90 100

nettement, la performance des systmes de reconnaissance.


Iterations

Fig 4. Evolution du taux derreur du systme de RCP avec validation croise.

C. Mthode de Dcision Daprs la figure 3, le meilleur taux de reconnaissance est


gnr litration 22 de lordre de 66,67%. Le meilleur taux
Validation par Base de Test de reconnaissance du deuxime systme (figure 4), est observ
Lide de cette mthode est de diviser la base initiale en deux litration 30 de lordre de 78%.
sous bases ; Une sous base dapprentissage qui caractrisent
50% des donnes de base et une sous base de test qui regroupe Avec Les Coefficients MFCC et Delta
les 50% de donnes restante. 0.4

Validation Croise 0.38


Real AdaBoost

Cette mthode est employe afin de valider un modle et 0.36

estimer lerreur relle de ce dernier. Par consquent, la


0.34

0.32
Taux d"erreur

technique de la validation croise, estime la performance de 0.3

chaque modle en se basant sur la partie de donnes qui ntait 0.28

pas utilise lors de la construction de ce modle (lors la phase 0.26

de lapprentissage). Les rsultats calculs seront, par la suite, 0.24

combins dans le but de donner une estimation de la


0.22

0.2

gnralisation du modle test. [23] [24].


0 10 20 30 40 50
Iterations
60 70 80 90 100


Ainsi, nous avons utilis ces deux mthodes pour la
classification de nos bases de donnes afin de mieux Fig 5. Evolution du taux derreur du systme de RCP avec validation de la
comparer, par la suite, la performance de chaque mthode. base de test.
Le nombre ditration a t fix T= 100 et nous avons dfini
K=5 groupes (folds) pour la mthode de la validation croise.
5 Validation croise
0.4
Real AdaBoost

0.38

V. RESULTATS ET DISCUSSION 0.36


Taux d"erreur

0.34

Dans cette section, nous prsentons les rsultants de nos 0.32

exprimentations selon les deux mthodes de validation. Notre 0.3


travail a t ralis sur Matlab 7.7 release 2008b en utilisant
GML Adaboost Matlab Toolbox [16]. 0.28

0.26
0 10 20 30 40 50 60 70 80 90 100
Iterations

A. Application de lapproche Real Adaboost Fig 6. Evolution du taux derreur du systme de RCP avec validation croise
Avec les Coefficients MFCC
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

0.4

Daprs la figure 5, le meilleur taux de reconnaissance est


obtenu litration 36 de lordre de 77,78%. Alors que pour
0.38

la deuxime mthode de validation, le meilleur taux de 0.36

classification, est observ litration 40 de lordre de 0.34

73,60%. 0.32

Avec Les Coefficients MFCC,Delta et Delta-Delta


0.3

0.45 0 10 20 30 40 50 60 70 80 90 100
Real Adaboost AdaBoost

0.4
Fig 10. Evolution du taux derreur du systme de RCP avec validation croise
0.35

Daprs la figure 10, le meilleur taux de classification est


Taux d"erreur

0.3

0.25
observ litration 90 de lordre de 73, 66%.
0.2
Avec Les Coefficients MFCC et Delta
0.15

0.1 0.5
0 10 20 30 40 50 60 70 80 90 100 Gentle AdaBoost
Iterations
0.45

Fig 7. Evolution du taux derreur du systme de RCP avec validation de la


base de test 0.4

5 Validation croise

Taux d"erreur
0.35 0.35
Real AdaBoost

0.3
0.3
0.25

0.25
Taux d"erreur

0.2

0.2 0 10 20 30 40 50 60 70 80 90 100
Iterations

0.15
Fig 11. Evolution du taux derreur du systme de RCP avec validation de la
base de test
0.1
0 10 20 30 40 50 60 70 80 90 100 5 Validation croise
0.45
Iterations
Gentle AdaBoost

Fig 8. Evolution du taux derreur du systme de RCP avec validation croise 0.4

0.35
Taux d"erreur

Les taux derreurs ont nettement diminus (voir figures 7 et 8).


Les meilleurs taux sont observs litration 2 de lordre de
0.3

88,89% pour le premier test et litration 64 de lordre 0.25

87,88% pour le deuxime test. Il faut noter que la validation 0.2


0 10 20 30 40 50
Iterations
60 70 80 90 100

par base de test avec 36 coefficients (MFCC+Delta+ Delta- Fig 12. Evolution du taux derreur du systme de RCP avec validation croise
Delta) a donn de meilleur rsultat. Cependant ce systme se
stabilise partir de litration 83 avec un taux derreur, Daprs les figures 11 et 12, le meilleur taux de
relativement, lev par rapport celui du deuxime systme. reconnaissance est trouv avec une validation par la base de
test pour les 24 coefficients (83,33% litration 66).
B. Application de lapproche Gentle Adaboost
Avec Les Coefficients MFCC Avec Les Coefficients MFCC, Delta et Delta-Delta
0.3
Gentle AdaBoost
0.28
0.5
Gentle AdaBoost 0.26
0.48
0.24

0.22
Taux d"erreur

0.46

0.2
Taux d"erreur

0.44
0.18

0.42 0.16

0.14
0.4
0.12

0.38 0.1
0 10 20 30 40 50 60 70 80 90 100
Iterations

Fig 13. Evolution du taux derreur du systme de RCP avec validation de la


0.36
0 10 20 30 40 50 60 70 80 90 100
Iterations
base de test
Fig 9. Evolution du taux derreur du systme de RCP avec validation de la
base de test

Daprs la figure 9, le meilleur taux de reconnaissance est


gnr litration 61 de lordre de 63,89%.
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

5 Validation croise 0.37


0.4 Modest AdaBoost
0.36
Gentle AdaBoost
0.35
0.35
0.34

0.33

Taux d"erreur
0.3
0.32

0.31
Taux d"erreur

0.25
0.3

0.29
0.2
0.28

0.27
0 10 20 30 40 50 60 70 80 90 100
0.15 Iterations

0.1
Fig 17. Evolution du taux derreur du systme de RCP avec validation de la
base de test
0.05 5 Validation croise
0 10 20 30 40 50 60 70 80 90 100
0.38
Iterations
Modest AdaBoost

Fig 14. Evolution du taux derreur du systme de RCP avec validation croise
0.36

0.34

0.32

Daprs les figures 13 et 14, les taux derreurs ont nettement 0.3

Taux d"erreur
diminus. Les meilleurs taux sont observs litration 5 de 0.28

lordre de 88,89% pour le premier test et litration 35 de 0.26

lordre 88,86% pour le deuxime test. Il faut noter quavec 0.24

une validation de base de test, les taux derreur se sont


0.22

0.2

stabiliss ds la 58me itrations. Cependant, les meilleurs 0.18


0 10 20 30 40 50 60 70 80 90 100
rsultats sont donns par la validation croise pour les 36 Iterations

coefficients. Fig18. Evolution du taux derreur du systme de RCP avec validation croise

C. Application de lapproche Modest Adaboost Nous observons, galement pour cette experience, quen
appliquant une validation croise avec 24 coefficients, nous
Avec Les Coefficients MFCC
avons obtenu le meilleur taux de reconnaissance (81, 61%).
0.5
Modest AdaBoost

0.48 Avec Les Coefficients MFCC, Delta et Delta-Delta


0.46 0.32
Modest AdaBoost
0.3
Taux d"erreur

0.44
0.28

0.42 0.26

0.24
Taux d"erreur

0.4
0.22

0.38 0.2

0.18
0.36
0 10 20 30 40 50 60 70 80 90 100
Iterations
0.16

0.14

0.12
Fig 15. Evolution du taux derreur du systme de RCP avec validation de la 0 10 20 30 40 50
Iterations
60 70 80 90 100

base de test
Fig 19. Evolution du taux derreur du systme de RCP avec validation de la
base de test
5 Validation croise
0.34
Modest AdaBoost
0.33 5 Validation croise
0.5
0.32 Modest AdaBoost
0.45
0.31
0.4
Taux d"erreur

0.3

0.35
0.29
Taux d"erreur

0.28 0.3

0.27 0.25

0.26 0.2

0.25
0 10 20 30 40 50 60 70 80 90 100 0.15
Iterations
0.1
Fig 16. Evolution du taux derreur du systme de RCP avec validation croise 0 10 20 30 40 50
Iterations
60 70 80 90 100

Fig 20. Evolution du taux derreur du systme de RCP avec validation croise
Daprs les figures 15 et 16, nous constatons que les meilleurs
taux de reconnaissance sont trouvs avec une validation Daprs les figures 19 et 20, nous observons quen premier
croise de la base dapprentissage (74,01% ). test, le systme sest vite stabilis (ds litration 26).
Nanmoins, lapplication dune validation croise a donn le
Avec Les Coefficients MFCC et Delta
meilleur taux de reconnaissance (88, 02%).

D. Etude Comparative
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

La validation croise a donn les meilleurs taux de Remerciements


classification avec les 36 coefficients qui est de 85,92% pour Nous voulons remercier Dr. V. Vezhnevets et A. Vezhnevets
lapproche Real Adaboost, 87,61% pour lapproche Gentle du Graphics Media Lab of Moscow State University pour leurs
Adaboost et 88,02% pour lapproche de Modest Adaboost. Il GML AdaBoost Matlab Toolbox and leurs conseils.
faut noter que la validation par la base de test permet au
systme de RCP de se stabilis plus rapidement quavec une
validation croise. Nanmoins, lapplication dune validation REFERENCES
croise a donn des meilleurs rsultats. [1] Y. Freund and R. E. Schapire,A decision-theoretic generalization of
Les tables III et IV rsument les taux derreur calculs on-line learning and an application to boosting, In Second European
litration 50 et 90 pour les diffrents systmes conus. Conference on Computational Learning Theory, March 1995.
[2] R. Meir,G. Ratsch,An introduction to Boosting and Leveraging,,2003.
Table III
[3] Y .Freund, RE .Schapire , A short introduction to boosting, In:
Taux de reconnaissance du systme RCP avec validation de la base de test en Journal of Japanese Society for Artificial Intelligence,1997.
%
T=50 T=90 [4] Y. Freund, RE. Schapire, Experiments with a New Boosting
Algorithm, 1996.
RAB GAB MAB RAB GAB MAB
[5] A.Vezhnevets, V.Vezhnevets, Modest AdaBoost teaching AdaBoost
MFCC 64.34 61.13 61.04 90.41 58.33 58.33 to generalize better, Graphicon, pp.322-325, 2005.
MFCC+Delta 71.87 74.68 69.22 77.78 57 69.44 [6] Y.Freund, R. Schapire, Experiments with a new boosting algorithm,
International conference on Machine Learning, pp. 148-156, 1996.
MFCC+Delta+Delta 80.56 86.11 86.11 80.56 86.11 86.11 [7] M.Culp, K.Johnson, G. Michailidis, ada: an R Package for Stochastic
Boosting, 2007.
Table IV [8] B. Wu, A .Haizhou, C. Huang and L.Shihong, Fast Rotation Invariant
Taux de reconnaissance du systme RCP avec validation croise en % Multi-View Face Detection Based on Real Adaboost, 2004.
T=50 T=90 [9] C. Huang, B.Wu, A .Haizhou and L.Shihong, Omni-Directional Face
RAB GAB MAB RAB GAB MAB Detection Based On Real Adaboost, 2004.
[10] R. E. Schapire and Y. Singer, Improved BoostingAlgorithms Using
MFCC RAB GAB MAB 69.99 73.66 56.48
Confidence-rated Predictions,Machine Learning, 37, , 297-336, 1999.
MFCC+Delta 74.67 66.15 72.32 75.17 80.36 72.62 [11] J.Friedman, T. Hastie, and R..Tibshirani, Additive logistic regression:
a statistical view of boosting, The Annals of Statistics, 28, 337-374,
MFCC+Delta+Delta 71.43 74.39 81.07 85.92 87.61 88.02%
2000.
[12] T. Kanade, A.Jain, N.K. Ratha, Audio-And Video-Basded Biometric
Person authentification, 2005.
[13] I.V. Safonov, Automatic red eye detection, 2007.
VI. CONCLUSION [14] L .Breiman, Arcing classifiers, Discussion paper, Ann. Statist, 1998.
Adaboost est une nouvelle mthode de Boosting [15] L. Breiman, Random forestsMachine Learning , J, 2001.
principalement utilise pour stimuler les performances des [16] A.Vezhnevets, V.Vezhnevets, GML AdaBoost Matlab Toolbox
Manuel, 2005
algorithmes dapprentissage. Depuis son apparition jusqu
[17] J.S. Garofolo, L/F. Lamel, W/M. Fisher, J.G. Fiscus, D.S. Pallett, N.L.
aujourdhui, il y a eu la naissance de plusieurs gnrations. Dahlgren, and V.Zue, TIMIT Acoustic-Phonetic Continuous Speech
Pours nos exprimentations, nous avons tudi diffrentes Corpus, 1993.
mthodes dAdaboost et nous avons propos dvaluer dans ce [18] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, Improved
travail lapproche Real Adaboost (RAB), lapproche Gentle Feature Data for Robust Speaker Identification using Hybrid Gaussian
Mixture Models - Sequential Minimal Optimization System,
Adaboost (GAB) et lapproche Modest Adaboost . Nous avons International Review on Computers and Software (I.RE.CO.S.), Vol. 4,
mis en uvre un systme de reconnaissance en se basant sur N.3, May 2009.
lalgorithme dapprentissage CART. En occurrence, cet [19] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, Support
algorithme a t fusionn avec les diffrentes mthodes Vector Machines Approaches and its Application to Speaker
dAdaboost dans le but de rduire les taux derreurs de la Identification, 2008.
reconnaissance. [20] S.B. Davis and P.Mermelstein, Comparison of parametric
representations for monosyllabic word recognition in continuously
Nous avons observ, galement, que lapproche Modest spoken sentences, IEEETrans. Acoust., Speech, Signal Processing, vol.
Adaboost a gnr de meilleures performances suivie par le 28(4),pp. 357366, 1980.
systme bas sur lapproche Gentle Adaboost et enfin par le [21] F. D. Cilliers, Tree-based Gaussian Mixture Models for Speaker
systme bas sur lapproche Real Adaboost en appliquant les Verification, Ph.D. Thesis, Department of Electrical and Electronic
Engineering, University of Stellenbosch, South Africa, 2005.
coefficients MFCC+Delta+Delta-Delta. Les taux trouvs sont
[22] A.Kawtrakul, A.DeemagarnThai Connected Digit Speech Recognition
de lordre de 88,02% pour Modest Adaboost, 85,8% pour Using Hidden Markov Models, Russia,2004.
Gentle Adaboost et 85% pour Real Adaboost. [23] R.Kohavi , A study of cross-validation and bootstrap for accuracy
estimation and model selection, Proceedings of the Fourteenth
International Joint Conference on Artificial Intelligence,1995.
[24] J R. Nolan, Computer systems that learn: an empirical study of the
effect of noise on the performance of three classification methods, 2002.