Module PS Reconnaissance de la parole (suite): Paramétrisation
Gaël RICHARD Février 2008
1 Reconnaissance de la parole
Introduction Approches pour la reconnaissance vocale Paramétrisation Distances et mesures de distortion spectrale Alignement Temporel et Programmation dynamique (DTW) Introduction aux modèles de Markov Cachés Base de données pour la reconnaissance Exemples d’applications
Gaël RICHARD – Master IAD - PS – Février 2008 2
Paramétrisation
Réalisée par un module de traitement du signal (souvent appelé
« Front End »)
Réalise une analyse spectrale du signal généralement effectuée
suivant une des méthodes ci-dessous:
Par banc de filtres (typiquement 10 à 30 bandes fréquentielles)
Par FFT (cas particulier) Approche cepstrale Prédiction linéaire (LPC)
Gaël RICHARD – Master IAD - PS – Février 2008 3
Paramétrisation
Méthodes par bancs de filtres
Ont été beaucoup utilisées Remplacées actuellement par des méthodes plus spécifiques
Méthodes à base de la transformée de Fourier
Existence d’algorithmes rapides La FFT peut représenter la première étape d’une analyse spectrale qui sera ensuite ré-échantillonnée suivant une nouvelle échelle fréquentielle (Echelle Logarithmique, Echelle Bark, Echelle Mel)
3 paramétrisations couramment utilisées:
Les paramètres MFCC Les paramètres LPCC Les paramètres PLP
Gaël RICHARD – Master IAD - PS – Février 2008 4
Paramétrisation: paramètres spectraux
Paramétrisation spectrale: analyse d’un signal audio (d’après Laroche)
Gaël RICHARD – Master IAD - PS – Février 2008 5
Paramétrisation
Echelle BARK (tableau d’après Hartmann97)
Est basée sur les bandes critiques telles qu’elles sont perçues par l’oreille Assez proche d’une échelle logarithmique
C’est probablement la paramétrisation la plus répandue
dans les systèmes actuels
Gaël RICHARD – Master IAD - PS – Février 2008 19
Paramétrisation MFCC
Calcul des coefficients MFCC
Une implémentation classique:
13 Coefficients (sans C0) Filtres Mels espaces de 150 Mel (largeur de bandes 300 Mels) Utilisation des dérivées premières et secondes Soit des vecteurs de 39 paramètres acoustiques
Gaël RICHARD – Master IAD - PS – Février 2008 20
Lissage cepstral
Estimation de l’enveloppe par le cepstre:
Calcul du cepstre réel Cn, puis lifrage basses quéfrences Reconstruction de l’enveloppe spectrale d’amplitude E =FFT(Cn)
Gaël RICHARD – Master IAD - PS – Février 2008 21
Paramétrisation LPCC
Schéma général
Gaël RICHARD – Master IAD - PS – Février 2008 22
Paramétrisation LPCC
Préaccentuation
Gaël RICHARD – Master IAD - PS – Février 2008 23
Paramétrisation LPCC
Fenêtrage Par exemple fenêtre de Hamming
Recouvrement entre fenêtres
Gaël RICHARD – Master IAD - PS – Février 2008 24
Paramétrisation LPCC
Analyse LPC (modélisation AR)
Plusieurs coefficients peuvent être utilisés:
Les coefficients de prédiction: Les coefficients de réflexion (PARCOR): Les coefficients LAR:
Gaël RICHARD – Master IAD - PS – Février 2008 25
Paramétrisation LPCC
Conversion des paramètres LPC en coefficients cepstraux
(Les paramètres LPCC)
On peut écrire (Expansion de Laurent):
En dérivant par rapport à
Gaël RICHARD – Master IAD - PS – Février 2008 26
Conversion LPC ➳ LPCC
Gaël RICHARD – Master IAD - PS – Février 2008 27
Paramétrisation LPCC
Pondération Grande sensibilité des premiers coefficients cepstraux sur la pente spectrale générale Sensibilité au bruit des coefficients élevés
Utilisation d’une pondération pour minimiser cette
sensibilité:
Exemple de fenêtres
Gaël RICHARD – Master IAD - PS – Février 2008 28
Paramétrisation LPCC
Calcul des dérivées temporelles et secondes:
Un simple moyennage aux différences donne des estimations bruitées
Utilisation d’un plus grand horizon temporel:
est une constante de normalisation
Gaël RICHARD – Master IAD - PS – Février 2008 29
Les paramètres LPCC
Vecteur de paramètres acoustiques
(LPCC)
Gaël RICHARD – Master IAD - PS – Février 2008 30
Les paramètres PLP (d’après Hermansky90)
PLP = Perceptual Linear Prediction
Schéma général
Gaël RICHARD – Master IAD - PS – Février 2008 31
Les paramètres PLP (d’après Hermansky90)
Analyse échelle Bark (légèrement différente) :
le spectre est recalculé en utilisant la transformation :
Convolution entre le spectre et les filtres de gain
Gaël RICHARD – Master IAD - PS – Février 2008 32
Les paramètres PLP (d’après Hermansky90)
Banc de filtres en bandes critiques
Gaël RICHARD – Master IAD - PS – Février 2008 33
Les paramètres PLP (d’après Hermansky90)
Préaccentuation perceptuelle consiste à prendre en compte les variations de sensibilité de l'oreille avec la fréquence Réalisée en pré-accentuant le spectre de puissance précédemment calculé à l'aide de la fonction qui simule la sensibilité de l'oreille à - 40 dB :
La courbe de sensibilité de l’oreille est approximée par (pour les
fréquences inférieures à 5000 Hz):
Gaël RICHARD – Master IAD - PS – Février 2008 34
Les paramètres PLP (d’après Hermansky90)
Compression (Intensity/loudness conversion)
C'est ici une approximation de la loi de Stevens et elle
simule la relation non-linéaire entre l'intensité d'un son et la sensation de puissance sonore correspondante.
On peut ensuite en déduire des coefficients cepstraux
PLP en suivant la même approche que pour les coefficients LPCC.
Gaël RICHARD – Master IAD - PS – Février 2008 35
Comparaison PLP – MFCC (Hönig et al 05)
Gaël RICHARD – Master IAD - PS – Février 2008 36
Comparaison PLP – MFCC (Hönig et al 05)
Comparaison des pré-accentuations:
A gauche: Préaccentuation perceptuelle pour les PLP (la courbe en pointillée intégrant un facteur correctif pour les fréquences au dessus de 5 kHz); A droite : La courbe de préaccentuation traditionnelle pour les MFCC est donnée à droite
Gaël RICHARD – Master IAD - PS – Février 2008 37
Comparaison PLP – MFCC (Hönig et al 05)
Comparaison des bancs de filtres:
En haut: Banc de filtres Bark pour les PLP En bas: Banc de filtres MEL pour les MFCC
Gaël RICHARD – Master IAD - PS – Février 2008 38
Distances et Mesures de distorsion spectrale
Essentielles en reconnaissance
Les distances dépendent bien sur de la paramétrisation
