MODELOS DE MRKOV

OCULTOS
John J. Sprockel D.
MISyC
Departamento de Ingeniera de Sistemas
Facultad de Ingeniera
Pontificia Universidad Javeriana

AGENDA
1. Aspectos histricos
2. Cadenas de Mrkov
3. Definicin de un modelo oculto de Mrkov
a.
b.
c.
d.
e.

Modelo formal
Obtencin de los parmetros del modelo
Algoritmo forward-backward
Algoritmo de Viterbi
Algoritmo de Baum-Welch

4. Aplicaciones de los modelos oculto de Mrkov

5. Presentacin de los artculos
6. BIBLIOGRAFIA

ASPECTOS HISTRICOS

Lawrence Rabiner, 1989.

Marc el xito de HMM en
reconocimiento de la voz

L. P Neuwirth acu el
trmino Modelo oculto de
Mrkov

Leonard E. Baum,
Dcada de 1960s e
inicios de 1970s.
Andri Andryevich
Mrkov, 1906: Cadenas
de Mrkov. Heredero de
la ctedra de Chebyshev

Estudi, entre otros muchos aspectos, las

construcciones lingsticas a partir del
clculo matemtico (1913). As, por
ejemplo, analiz la novela de Puschkin
Eugenio Oniegui, y dedujo que las letras
del alfabeto cirlico, como las de cualquier
otro alfabeto, iban apareciendo
relacionadas con las que las precedan en
la escritura. La nueva letra est
determinada por la anterior, pero es
independiente de la manera en la que
aparece respecto de las anteriores.

CADENA DE MRKOV
! !!!! = ! !! = !, !!!! = !!!! , !!!! = !!!! , , !! = !! = !! !!!! = ! !! = !, !!!!
= !!" !
$

$
$

1/3$

$
1$

$
$
$

1/2$

2/3$

$
$ 1/2$

2$

1$

3$

1/2$

Matriz$de$transiciones$$$Q=$(qij)=$$
$
$

1/4$

1
1

2
0
1
2

1/4$

4$

0
3 0
0 12 0 $
0
0
1
0 14 14

CADENA DE MRKOV
Suponga(que((en(el(tiempo(n,(Xn(tiene(una(distribucin(!(((vector(de(columna,(que(es(la(
PMF)(

!(!!!! = !) =

! !!!! = ! !! = ! ! !! = ! ! = !
!

!! !!" (
!

lo(que(significa(que(es(la(entrada(j(de(!!(

(
! !!!! = ! !! = ! = !!" (
! !!!! = ! !! = ! =

! !!!! = ! !!!! = !, !! = ! ! !!!! = ! !! = ! !

!

=!

!!! !!! (
!

(
(
As(que(
(
(
(
(

lo(que(significa(que(es(la(entrada((i,j)de(!!! (

!!(es(la(distribucin(en(el(tiempo(n+1;(
!!! (es(la(distribucin(en(el(tiempo(n+2;(
!!! (es(la(distribucin(en(el(tiempo(n+3(

CADENA DE MRKOV

CADENA DE MRKOV

Ejercicio 1:
Dado que el da de hoy es soleado, cual es la probabilidad
que maana sea soleado y el siguiente da lluvioso

CADENA DE MRKOV

Ejercicio 2:
Dado que el da de hoy es nublado, cual es la probabilidad
que en dos das sea lluvioso

MODELO DE MRKOV OCULTO

MODELO DE MRKOV OCULTO

Ejercicio:
Se encerr un da soleado, el siguiente da el cuidador tuvo
una sombrilla. Cul es la probabilidad que el siguiente da
sea lluvioso?

MODELO DE MRKOV OCULTO

Definicin formal:

Valores observables

probab de las
observaciones
i probab que el estado
inicial sea Qi

MODELO DE MRKOV OCULTO

Definicin formal:

MODELO DE MRKOV OCULTO

Arquitectura:

MODELO DE MRKOV OCULTO

Obtencin de los parmetros del modelo:

MODELO DE MRKOV OCULTO

Existen tres problemas cannicos asociados con HMM:
1. Dados los parmetros del modelo, comptese la probabilidad de una secuencia
de salida en particular. Este problema se resuelve con el algoritmo de avanceretroceso.
2. Dados los parmetros del modelo, encuntrese la secuencia ms probable de
estados ocultos que puedan haber generado una secuencia de salida dada. Este
problema se resuelve con el algoritmo de Viterbi.
3. Dada una secuencia de salida o un conjunto de tales secuencias, encuntrese el
conjunto de estados de transicin y probabilidades de salida ms probables. En
otras palabras, entrnense a los parmetros del HMM dada una secuencia de
datos. Este problema se resuelve con el algoritmo de Baum-Welch.

MODELO DE MRKOV OCULTO

La probabilidad de una secuencia de salida en particular.

MODELO DE MRKOV OCULTO

La probabilidad de una secuencia de salida en particular.

MODELO DE MRKOV OCULTO

La probabilidad de una secuencia de salida en particular.

MODELO DE MRKOV OCULTO

La probabilidad de una secuencia de salida en particular.

MODELO DE MRKOV OCULTO

La secuencia ms probable de estados ocultos

MODELO DE MRKOV OCULTO

La secuencia ms probable de estados ocultos

MODELO DE MRKOV OCULTO

Problema de entrenamiento: Encontrar el conjunto de estados de transicin y
probabilidades de salida ms probables. Algoritmo de Baum-Welch.

MODELO DE MRKOV OCULTO

Problema de entrenamiento: Algoritmo de Baum-Welch.

MODELO DE MRKOV OCULTO

Problema de entrenamiento: Algoritmo de Baum-Welch.

MODELO DE MRKOV OCULTO

Problema de entrenamiento: Algoritmo de Baum-Welch.

MODELO DE MRKOV OCULTO

Problema de entrenamiento: Algoritmo de Baum-Welch.

APLICACIONES DEL HMM

RECONOCIMIENTO DE LA VOZ:

CLASIFICADOR GAUSSIANO O ANN

DEPENDE DE LA PRONUNCIACION

APLICACIONES DEL HMM

Reconocimiento de la voz, gestos, escritura manual.

Etiquetado gramatical (Traduccin)
Criptoanlisis
Bioinformtica y genmica (predecir zonas que
codifiquen proteinas en el ADN, modelar familias
proticas, predecir estructuras)
Seguimiento de partituras musicales

HERRAMIENTAS PARA DESARROLLO

DE HMM
1.
2.
3.
4.
5.
6.
7.
8.

Hidden Markov Model (HMM) Toolbox for Matlab

Jahmm - Hidden Markov Model (HMM) en Java
Mathworks stats toolbox 4.1
GNU HMM toolbox
Bayes-Net-Toolkit / HMM para Matlab
PMT para Matlab
HHpred (bioinformtica)
AK toolkit

RECONOCIMIENTO DEL HABLA

1. Hidden Markov Model Toolkit (HTK)
2. Discrete HMM toolkit en C++

PRESENTACION DE ARTICULOS
PROBLEMA:

Myocardial infarction classification with multi-lead ECG using

hidden Markov models and Gaussian mixture models

Myocardial infarction classification with multi-lead ECG using

hidden Markov models and Gaussian mixture models

UTILIZAN EL ALGORITMO DE K MEDIAS Y DE BAUM-WELCH

Myocardial infarction classification with multi-lead ECG using

hidden Markov models and Gaussian mixture models

CUANDO ESTA ENTRENADO, USAN EL PROCEDIMIENTO AVANCE- RETROCESO PARA EL

CALCULO DE LA VEROSIMILITUD DE CADA COMPLEJO QRS

USO DEL ALGORITMO

DE VITERBI

Myocardial infarction classification with multi-lead ECG using

hidden Markov models and Gaussian mixture models

1129 Latidos evaluados:

582 con infarto y 547 normales. (pruebas 100 y 100, el resto entrenamiento)
Cada experimento fue probado 30 veces

Base de datos: Long-Term ST Database en

PhysioBank
50 secuencias, la mitad de entrenamiento
Algoritmo de Baum-Welch
Algoritmo de avance-retroceso para comparaciones

An approach to determine myocardial ischemia by

hidden Markov models

BIBLIOGRAFIA
1.
2.
3.
4.

5.
6.

7.

L. Rabiner, A tutorial on hidden Markov models and selected applications in speech

recognition, Proceedings of the IEEE, vol. 77, no. 2, pp. 257286, Feb. 1989.
H. Stark, J. W. Woods, and H. Stark, Probability, statistics, and random processes for
engineers. Boston: Pearson, 2012.
J. A. Gubner and Cambridge University Press, Probability and random processes for
electrical and computer engineers. Cambridge: Cambridge University Press, 2006.
S. Graja and J.-M. Boucher, Hidden Markov tree model applied to ECG delineation,
IEEE Transactions on Instrumentation and Measurement, vol. 54, no. 6, pp. 2163
2168, Dec. 2005.
L. Bergasa, Introduccin a los modelos ocultos de Mrkov. Dpto de Electrnica,
Universidad de Alcal. March. 2006
X. Tang, L. Xia, W. Liu, Y. Peng, T. Gao, and Y. Zeng, An approach to determine
myocardial ischemia by hidden Markov models, Comput Methods Biomech Biomed
Engin, vol. 15, no. 10, pp. 10651070, 2012.
P.-C. Chang, J.-J. Lin, J.-C. Hsieh, and J. Weng, Myocardial infarction classification
with multi-lead ECG using hidden Markov models and Gaussian mixture models,
Applied Soft Computing, vol. 12, no. 10, pp. 31653175, Oct. 2012.