CADENAS DE MARKOV

Espacio de estados de un proceso:

El conjunto de todos los posibles estados que un proceso puede ocupar en los distintos movimientos se llama espacio de estados. Un espacio de estados puede ser finito, numerable no numerable. Usaremos a1,a2,.....an para representar los (n) estados de un estado ai ------> aj para representar que el proceso se mueve del estado (i) al estado (j).

Probabilidades de transicin de un solo paso

probabilidad condicional para que el proceso que se encuentra en el estado ai se mueva al estado aj en un slo paso, y se designa por Pij . Esto recibe el nombre de probabilidad de transicin de un slo paso. Si todas estas probabilidades son conocidas para todos los pares de estados se ordenan en una matriz cuadrada que recibe el nombre de matriz de transicin.

P(ai -----> aj) es la

Ejemplo: Sea una persona sentada en el asiento de en medio de una fila de cinco asientos

[marcados con A,B,C,D,E] de izquierda

P = [pij]

derecha. Esta persona se mueve por seis veces de una silla a la otra, estando sus movimientos controlados por una moneda que se tira al aire. a) Si no est al final de una fila de asientos se mueve hacia la derecha si sale CARA y hacia la izquierda si sale CRUZ. b) Si est al final se quedar donde est salga lo que salga.

Espacio de Estados: [ A, B, C, D, E ]
A A B C D E 1 B 0 C 0 D 0 E 0 0
P[A ---> A] = P[E ---> E] = 1 ya que se queda donde est. P[B ---> A] = 1/2 puesto que la probabilidad de que salga CR es 1/2. P[C ---> C] = 0 ya que aqu no se puede quedar. La pij = 1 Las matrices que tienen elementos no negativos y a suma de los elementos de sus filas valen la unidad se llaman matrices estocsticas

1/2 0 0 0 0

1/2 0

1/2 0 0 0

1/2 0 1

1/2 0 0 0

Vector probabilidad inicial

Existe un vector probabilidad inicial tal que: En el ejemplo anterior El vector probabilidad inicial sera a = (0, 0,.1, 0, 0) puesto que el proceso comienza en la silla C.

a = (a1, a2,....an) en la que los elementos ai

son las probabilidades de que el estado inicial del proceso sea Si.

Propiedad de Markov
Considerar una secuencia Si,Sj,Sk de un experimento cuyo vector y matriz inicial son conocidos. Entonces la secuencia de probabilidad ser: P( Si,Sj,Sk ) = P( Si) P( Si--->Sj) P( Sj--->Sk) P( Si) Podramos ampliar la regla para cubrir secuencias de cualquier nmero de pasos. A los procesos a los cuales podemos aplicar esta regla se dicen que tienen la propiedad de Markov. Para tales procesos la probabilidad de la siguiente direccin depende del estado presente del proceso y no depende del estado precedente. Ejemplo: En el problema anterior calcular la probabilidad de la secuencia.

P[C,D,C,B,A,A,A] = P[C] P[C -->D] P[D -->C] P[C -->B]. P[B -->A] P[A -->A] P[A -->A] =1.1/2.1/2.1/2.1/2.1.1 =1/16

Cadena de Markov finita y estacionara.

Una cadena de Markov estacionara y finita queda completamente definida cuando se conoce: a) Espacio de estados finito. b) Una matriz [Pij] de probabilidades de transicin de un slo paso estacionara. c) El vector de probabilidad inicial.

. Cadena ergdica: transicin de n pasos

El diagrama es un grfico de una secuencia de una muestra de una cadena de Markov de cinco estados A ----> E .En los doce pasos se recorren todos los estados y se sale. Evidentemente el proceso no puede quedarse nunca atrapado. A los estados que pueden atrapar un proceso se les llaman estados absorventes.

Probabilidades de transicin superiores

La probabilidad de que el proceso pase del estado Si al Sj en (n) pasos se llama probabilidad de transicin en n pasos y se simboliza por : TEOREMA: Si P es la matriz de transicin de un paso en una cadena finita de Markov, entonces Pn es la matriz de transicin de (n) pasos.

P(n)ij
La matriz formada por todos los P(n)ij es una matriz cuadrada y se denomina matriz de transicin de un (n) pasos.

La probabilidad P(n)ij es la probabilidad de pasar de Si a Sj en dos pasos. Suponiendo (m) estados en S. Existen m caminos mutuamente excluyentes Si---->S1---->Sj Si---->S2---->Sj....... Las probabilidades de esos caminos son:

pi1 pi2 ........

p1j p2j

Por lo que por la regla de la cadena la probabilidad del suceso Si---->Sj en dos pasos ser la suma de estas dos probabilidades. As

Pij(n) = Pir Prj

Pero por definicin de la multiplicacin de matrices, la sumatoria es el elemento ij-simo de la matriz P2. Luego

P2 = Pij
Por induccin se puede demostrar que

Pn = Pij(n)

MATRIZ DE UN SOLO PASO

MATRIZ DE DOS PASOS

A A B C D E 1

B 0

C 0

D 0

E 0 0 A B C D E

A 1

B 0

C 0

D 0

E 0

1/2 0 0 0 0

1/2 0

1/2 1/4 0 1/4 0 0 0

1/4 0 1/4

1/2 0 0 0

1/2 0 1

1/2 0

1/2 0 0 0

1/4 0 0 0

1/4 0 1

CADENAS DE MARKOV ABSORVENTES

Estados transitorios:

Sea T un subespacio de S y T' su complementario. Si cada estado de T se puede alcanzar desde otro estado de T y es posible moverse de un estado de T a otro T', entonces T es un conjunto transitorio. Un estado transitorio es un elemento de un conjunto transitorio.

Estados ergdicos: Sea E un subconjunto

de S y E' el complementario de E en S. Si cada estado de E se puede alcanzar desde cualquier otro estado de E, pero ningn estado de E' se puede alcanzar desde E, entonces E recibe el nombre de conjunto ergdico. Un estado ergdico es un elemento de un conjunto ergdico.

 CADENAS DE MARKOV ABSORVENTES Son cadenas en donde todos los estados transitorios son absorventes.

CADENAS ERGODICAS Cadena que est formada por un conjunto ergdico se llama cadena ergdica. Se distinguen dos tipos de cadenas ergdicas: a) Cadena ergdica cclica: en ella slo se puede entrar en un estado a intervalos peridicos fijos. b) Cadena ergdica regular: cadena ergdica no-cclica.

EJEMPLO

S1 S1 S2 1/2 1/2

S2 1/2 1/2
Est claro que el sistema completo nunca estar completamente "atrapado" en un estado, as que la cadena es regular.

S1 S1 S2
Siempre es posible moverse de un estado a cualquier otro, en cualquier paso siendo los movimientos no-cclicos. As la cadena y la matriz son regulares.

S2 3/4 0 3/4

S3 1/4 1/2 0

0 1/2 1/4

S3

S1 S1 S2 S3 0 0

S2 1/4 1/3 1/4

S3 1/4 1/3 1/4

Despus de n pasos la cadena entrar (con probabilidad 1 cuando n tiende a ) en S2 o en S3. Una vez situada en uno de estos estados nunca podr pasar a S1. Por lo tanto S1 es un estado transitorio y as la cadena es no regular y por lo tanto no-ergdica, aunque el conjunto [ S2, S3 ] sea un conjunto ergdico.

S1 S1 S2 S3 0 1 0

S2 0 0 1

S3 1 0 0
La cadena se mueve con perodo 3 a travs de los conjunto cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por lo tanto una cadena cclica ergdica y no una cadena regular.

Fuentes de Markov
Fuentes de Markov Hasta este momento se ha considerado las fuentes de memoria nula, pero en la mayora de los casos reales los smbolos del alfabeto no tienen probabilidades fijas, sino que dichas probabilidades dependern en general de los smbolos emitidos. A este tipo de fuentes se les denomina fuentes de Markov.

Fuentes de Markov
Supongamos que un sistema evoluciona con el tiempo. En cada instante t cada parmetro tendr unos valores determinados. Cada coleccin de esos valores define lo que llamamos estado del sistema. La evolucin es tal que en unos instantes determinados el estado cambia o permanece fijo. Es decir que en cada instante el sistema evoluciona con una transicin de un estado a otro, o bien permanece en el anterior.

ESTADOS DE UN SISTEMA
En cada instante t ( t1 <t< t2) el sistema se encuentra en el estado E1. En t2 existe una transicin a E2 y en t3 permanece en este estado. Para conocer el estado del sistema es preciso conocer la probabilidad de transicin P(E1--->E2).

E3 E2 E1 t1 t2 t3 t4

 La fuente de Markov , o fuentes con memoria, es aquella en que la presencia de un determinado smbolo ai depende de un nmero finito m de smbolos precedentes. Esta fuente se llama fuente de Markov de orden m y viene definida por su alfabeto A = (a1, a2,....an) y el conjunto de probabilidades P( ai/aj1, aj2,....ajm) Para i = 1,2....n y j = 1, 2....m

 Esto nos indica que la probabilidad de un smbolo cualquiera viene determinada por la secuencia de los m smbolos que lo preceden . Definiremos el estado de la fuente de Markov de orden m por los m smbolos precedentes y puesto que el alfabeto de la fuente es de n smbolos, entonces una fuente de Markov de orden m admite nm estados posibles. Al emitir la fuente nuevos smbolos el estado de la fuente cambia.

 Sea una fuente de Markov de n smbolos de alfabeto A = (a1, a2,.aj...an). Se define la probabilidad de aparicin del smbolo ai despues de la secuencia (aj1, aj2,....ajm) por

P( ai/aj1, aj2,....ajm)

 Como hay nm sucesiones posibles de m smbolos y cada una de estas sucesiones puede considerarse como un estado del sistema.

Xi` = ai2,....aim. ai
o P( ai/ai1, ai2,....aim) Xi = ai1, ai2,....aim P( ai/ Xi)

Fuentes de Markow ergdicas:

Se dice que una fuente de Markov es ergdica, cuando siendo estacionara las probabilidades de estado tienden a estabilizarse y hacerse constantes cuando t . A esta distribucin lmite de probabilidades se le denomina rgimen permanente de la fuente, o sea que cuando una fuente entra en un estado y queda atrapado en l. La condicin necesaria y suficiente para que una fuente sea ergdica es que si Pij es la matriz estocastica de la fuente y p1,p2......pn cantidades desconocidas que representan a las probabilidades de estado, se tiene que cumplir que: Pj = Pj Pij sea compatible y la distribucin estacionara.

Entropa de una fuente de Markov:

Sea una fuente de Markov de alfabeto A = (a1, a2,....an). Para hallar la informacin media por smbolo procedamos de la siguiente manera: 1.- Determinacin de la informacin absoluta por smbolo emitido en una transicin de estado fija. Si nos encontramos en el estado definido por Xj= (aj1, aj2,....ajm), es decir los m smbolos emitidos anteriormente fueron (aj1, aj2,....ajm), la probabilidad condicional de recibir ai es decir de pasar al estado Xj= (aj2, aj3,....ajm, ai) es: P( ai/aj1, aj2,....ajm).

 Utilizaremos la siguiente notacin: Probabilidad de aparicin del smbolo ai despus de la secuencia (aj1, aj2,...ajm): P(ai/aj1,aj2,..ajm).= P(ai/Xj) probabilidad del smbolo emitido en estado anterior. Probabilidad de la secuencia (aj1, aj2,....ajm): P( aj1, aj2,....ajm).= P(Xj) = Probabilidad de Estado anterior.

Indudablemente la probabilidad del estado actual es igual a la probabilidad del estado anterior por la probabilidad de transicin de un estado a otro., esto es : P(Xj) = P(ai/Xi).P(Xi) [I]

 Al emitir el smbolo ai y se pasa del estado Xj = (aj1, aj2,....ajm) al Xj= ( aj2,....ajm ai ) . La cantidad de informacin correspondiente es: I( ai/aj1, aj2,....ajm) = log P( ai/aj1, aj2,....ajm) utilizando la otra notacin I( ai/Xj /) = - log P(ai/Xj)

 2.- Si ahora dejamos fijo el estado Xj = (aj1, aj2,....ajm) y recorremos todos los smbolos ai de la fuente y calculamos el promedio obtendremos la informacin media por smbolo para un estado dado Xj, valor ya independiente de los smbolos. Este valor ser: H [ A/aj1, aj2,....ajm] = P( ai/aj1, aj2,....ajm) I ( ai/aj1, aj2,....ajm) H [ A/aj1, aj2,....ajm] = - P( ai/aj1, aj2,....ajm) log P( ai/aj1, aj2,....ajm)

 3.- Si ahora promediamos el valor anterior recorriendo los nm estados posibles, tendremos la cantidad media de informacin o entropa de la fuente de Markov de orden m . Ser entonces: H[A] = - nm H[ A/aj1, aj2,....ajm] P( aj1, aj2,....ajm) Sustituyendo el valor H[A] = - nm P( aj1, aj2,....ajm) P( ai/aj1, aj2,....ajm) log P( ai/aj1, aj2,....ajm)

Ejemplo: Supongamos una fuente de Markov de cuatro estados cuyo diagrama se presenta en la fig. Demostrar que la fuente es ergdica y calcular la informacin suministrada por la fuente.

 Los estados iniciales son: E1 = (0,0) E2 = (0,1) E3 = (1,0) E4 = (1,1)

Las probabilidades de transisicin son: P11 = 0.8 P12 = 0.2 P13 = 0 P14 = 0 P21 = 0 P22 = 0 P23 = 0.5 P24 = 0.5 P31 = 0.5 P32 = 0.5 P33 = 0 P34 = 0 P41 = 0 P42 = 0 P43 = 0.2 P44 = 0.8

La matriz de transicin sera:

E1 E1 E2 E3 E4 0.8 0 0.5 0 E2 0.2 0 0.5 0 E3 0 0.2 0 0.2 E4 0 0 0 0.8

Aplicando la condicin necesaria y suficiente de ergocidad Pi = Pi Pij

0 0 0.8 0.2 0 0.2 0 0 p4 = 0.5 0.5 0 0 0 0.2 0 0

p1

p2

p3

p1

p2

p3

p4

 Resolviendo: p1 = 0.8p1 + 0.5p3 p2 = 0.2p1 + 0.5p3 p3 = 0.5p1 + 0.2p4 p4 = 0.2p3 + 0.8p4 p1 + p2 + p3 + p4 = 1 Compatible y determinado cuya solucin es: p1 = p4 = 5/14 p2 = p3 = 2/14

Entonces las probabilidades de estado son: p1 = p(0,0) = 5/14 p2 = p(0,1) = 2/14 p3 = p(1,0) = 2/14 p4 = p(1,1) = 5/14 Luego la fuente es ergdica y las probabilidades de estado son las probabilidades son las anteriores independientes de la distribucin inicial.

Recurdese que la probabilidad del estado actual es la probabilidad del estado anterior por la probabilidad de transicin del estado anterior al actual. P(Xj) = P(ai/Xi) P(Xi)

ESTADO ANTERIOR

PR. ESTADO ANTERIOR

SIMBOLO EMITIDO

ESTADO ACTUAL

PR. ESTADO ACTUAL

PR. TRANSICION AN-AC

00 00 01 01 11 11 10 10

5/14 5/14 2/14 2/14 5/14 5/14 2/14 2/14

0 1 0 1 0 1 0 1

00 01 10 11 10 11 00 01

0.8 5/14 = 4/14 0.2 5/14 = 1/14 0.5 2/14 = 1/14 0.5 2/14 = 1/14 0.2 5/14 = 1/14 0.8 5/14 = 4/14 0.5 2/14 = 1/14 0.5 2/14 = 1/14

0.8 0.2 0.5 0.5 0.2 0.8 0.5 0.5

 La cantidad de informacin Para obtener la cantidad media de informacin por adquirida cuando se pasa smbolo a partir del estado de un estado Xi a un estado Xi, dejamos fijo el estado Xj es: Xi = ai1 ,...ain y I(aj/Xi) = - log P(aj/Xi) = Ij recorremos todos los I(0/00) = - log p(0/00) =-log 0.8 = I1 smbolos de la fuente. I(1/00) = - log p(1/00) =-log 0.2 = I2 I(0/01) = - log p(0/01) =-log 0.5 = I3 . H[A/Xi] = p(aj/Xi) Ij H[A/Xi]= - p(aj/Xi) log p(aj/Xi)

Entonces H[A/00] = - p(0/00) log p(0/00) - p(1/00) log p(1/00) H[A/01] = - p(0/01) log p(0/01) - p(1/00) log p(1/01) H[A/10] = - p(0/10) log p(0/10) - p(1/10) log p(1/10) H[A/11] = - p(0/11) log p(0/11) - p(1/11) log p(1/11) La informacin media suministrada por la fuente independiente de los estados y de los smbolos lo obtenemos promediando [*] recorriendo los Nn estados posibles. H[A] = i p(Xi) H[A/Xi] Sustituyendo el valor de [*] en la anterior H[A]= -i p(Xi) ij p(aj/Xi) log p(aj/Xi)

 Entonces H[A] = i p(Xi) H[A/Xi] H[A] = p(00) H[A/00] + p(01) H[A/01] + p(10) H[A/10] + p(11) H[A/11] H[A] = 0.8 5/14 log 0.8 + .......... = - [4/14 log 0.8 +1/14 log 0.2 +1/14 log 0.5 +1/14 log 0.5 +1/14 log 0.2 +4/14 log 0.8 +1/14 log 0.5 +1/14 log 0.5 = 0.81 Bits

Extensin de una fuente de Markov de orden N

Sea una fuente de Markov de orden N y alfabeto A = [a1,a2...an]. La extensin de orden n de la fuente anterior es otra fuente de Markov de alfabeto Nn elementos, estando cada elemento formado por n smbolos de A. La entropa de esta fuente es H[An] = n H[A]

Fuente afn de una fuente de Markov

Dada una fuente de Markov de orden de orden n y alfabeto [a1,a2...am] y sean [ p(a1), p(a2)......p(am)] las probabilidades absolutas de los smbolos. Se denomina fuente afn de A y la representamos por A* a la fuente de memoria nula que tiene el mismo alfabeto que A e igual juego de probabilidades.

Teorema: Una fuente de Markov proporciona menor cantidad de informacin que su fuente afn. Vamos a demostrarlo para fuentes de Markov de primer orden y luego lo generalizamos. Las probabilidades de transicin son de la forma: p(ai/aj) y cumplen la condicin p(ai/aj) = 1 Recordando la desigualdad logartmica log x < x - 1 p(ai) p(aj)

p( a1 ) p( a2 ) p( a1 , a2 )

p( a1 ) p( a 2 ) p( a1 ) p( a 2 ) log e -1 p( a1 , a 2 ) p( a1 , a 2 )

i =1 j =1

p( a i ) p( a j ) p( a i , pa j ) log e 0 p( a i )/p( a j )
n i j m i j

p( a , pa
i=1 j=1

) log p( ai ) n

( pa , pa
i=1 j=1

) log p( ai / a j ) e 0

i 1

p( ai ) log p( ai ) -

( pa , pa
i i 1 j 1

) log p( ai / a j ) e 0

Pero p(ai) log p(ai) = - H[A*] p(ai,aj) log p(ai/aj) = - H[A] Entropa de la fuente de Markov de primer orden Luego H[A*] H[A] La igualdad se cumple solamente en el caso de que p(ai, aj) = p(ai) p(aj)

i=1 j=1

p( ai ) p( a j ) e p( ai , pa j ) log p( ai , a j )

p( ai ) p( a j ) ( pai , pa j ) p( ai , a j ) i=1 j=1

n m

p(ai ) p(a j ) n p(ai , paj ) log p(ai ,aj ) e ( pai )( paj ) - p(ai ,aj ) i 1 j 1 i 1 j 1
El segundo miembro de la desigualdad vale 0 ya que cada doble sumando es la unidad.
n m

i=1 j=1

p( ai ) p( a j ) p( ai , pa j ) log e 0 p( ai , a j )

Pero p(ai aj) = p(aj) p(ai/aj) Luego

Estructura del lenguaje

Un caso particularmente importante de generacin de informacin es la creacin de un mensaje compuesto de palabras de la lengua inglesa. Demostraremos en este apartado como podremos aproximarnos a un mensaje de este tipo mediante una secuencia de fuentes de informacin cada vez mas complicadas
Sea un conjunto de 27 smbolos, las 26 letras del alfabeto ingls, mas un espacio La fuente mas simple de este alfabeto seria aquella de memoria nula, con todos los smbolos igualmente probables. La entropia de esta fuente seria H (S) = log 27 = 4,75 bits/smbolos La secuencia siguiente muestra una secuencia tpica de smbolos emitidos por la fuente Definiremos esta secuencia como aproximacin cero al ingls ZEWRTZYNSADXESYJRQY_ WGECIJJ_oBVI~RBQPOZBYM
BUAWVLBTQCNIKFMP T~MVUUGBSAXHLHSIE _ M

TABLA 2-2 PROBABILIDADES DE LOS SIMBOLOS EN INGLES (REZA 1961)

SIMBOLOS Espacio A B C D E F G H I J K L M

PROBABILIDAD 0.1859 0.0642 0.0127 0.0128 0.0317 0.1031 0.0208 0.0152 0.0467 0.0575 0.0008 0.0049 0.0321 0.0198

SIMBOLOS N O P Q R S T U V W X Y Z

PROBABILIDAD 0.0574 0.0632 0.0152 0.0008 0.0484 0.0514 0.0796 0.0228 0.0083 0.0175 0.0013 0.0164 0.0005

La entropia de una fuente de memoria nula, cuyas probabilidades sean las de esa tabla, tiene el valor H (S) = - Pilog pi = 4,03 bits/smbolos

La siguiente frase representa una secuencia tpica de simbolos emitidos por esta fuente. .AI_NGAE__TI'F_NNR_ASAEV _OIE_BAINTHA_HYROO_POE R_SETRYGAIETRWCO_ _EHDUARU_EU_C_FT_NSRE M_DIY_ SE__F_O_SRIS _R _UNNASHOR Primera aproximacin al ingls. Aun cuando no puede calificarse de buen ingls, esta secuencia presenta la estructura propia del lenguaje (comprese con la aproximacin cero):

Las (.palabras de esta aproximacin son, en su mayor parte, de longitud apropiada, y la proporcin entre vocales y consonantes ms real Aun cuando no puede calificarse de buen ingls, esta secuencia presenta la estructura propia del lenguaje (comprese con la aproximacin cero): Las (.palabras de esta aproximacin son, en su mayor parte, de longitud apropiada, y la proporcin entre vocales y consonantes ms real

 Utilizando una fuente de Markov de primer orden, con smbolos de probabilidades condicionales bien elegidas Estas probabilidades fueron definidas por Pratt (1942) H (A) = - P(ai/bj) log P(ai/bj) = 3,32 bit/smbolos URTESEIETHING_AD_E_AT_FOULE_ITHALIORT _ WACT _ D _ STE _ MINTSAN _ OLINS _ TWID _ OULY _ TE _ THIGHE _ CO _ YS _ TH _ HR _ UPAVIDE _ PAD _ CTAVED Segunda aproximacin al ingls La secuencia obtenida en la segunda aproximacin ya deja trascender un regusto a ingls

 El mtodo de Shannon puede aplicarse a la construccin de mejores aproximaciones al ingls. En efecto, pueden elegirse las letras precedentes, construyendo as una secuencia tpica de una fuente de Markov, aproximacin del ingls, de segundo orden.

IANKS_CAN_OU_ANG_RLER _THATTED_OF_TO_SHOR _ OF _ TO _ HAVEMEM _ Al _ MAND _ AND _ BUT _WHISSITABLY _ THERVEREER _ EIGHTS _ TAKILLIS _ TA Tercera aproximacin al ingls Puede ampliarse el procedimiento anterior, para generar secuencias tpicas de probabilidades idnticas Sin embargo, es prcticamente im-posible para m mayor de 2

 Shannon, utiliz una fuente de informacin de memoria nula que emite palabras inglesa en lugar de letras Las probabilidades de ocurrencia de las diferentes palabras son aproximadamente las mismas que en un texto ingls Shan-non (1948) obtuvo la aproximacin mostrada en la siguiente secuencia. REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES THE LINE MES SAGE HAD BE THESE Cuarta aproximacin al ingles

 haciendo depender de la palabra precedente la probabilidad de que una palabra sea elegida La fuente correspondiente sera una fuente de Markov de primer orden, con palabras inglesa como smbolos Shannon (1948) construy una secuencia tpica a partir de una fuente de este tipo. THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT TIIE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNE~ PECTED Quinta aproximacin al ingls

 R_EPTTFVSIEOISETE_ TLTGNSSSNLN_UNST_ FSNSTF_E_IONIOILEC MPADINMEC_TCEREPT TFLLUMGLR ADBIUVDCMSFUAISRP MLGAVEAI _ MILLUO a) Primera aproximacin al francs

UOALNAO_NEL_D_NIS _ETR_TEGATUEOEC_S _ASUDU_ZELNNTSSCA SOSED_T_I_R_EIS_TA MMO_TIIUOEDEO _ UEI _ EOSEELA _ NMSLAANTEC a) Primera Aproximacin al Espaol

 ITEPONT_JENE_IESEM ANT _ PAVEZ _ L_BO _ S _ PASE_LQU _ SUIN _ DOTI _ CIS _ NCMOUROUNENT_FUIT _JE_DABREZ oAUIETOUNT_LAGAUV RSOUT_MY b) Segunda aproximacin al francs

CINDEUNECO_PE_CAL _PROS_E_LAS_LABITE JASTE_ONTOMECITRO DRESIO_PAY_EN_SPU SEL_LA_ S _ UTAJARETES _ OLONDAMIVE _ ESA _ S _ CLUS _ b) Segunda aproximacin al Espaol.

 JOU_MOUPLAS_DE_M ONNERNAISSAINS_DE ME US_VREH_BRE_TU_DE _TOUCUEUR_DIMMER E_IL ES _ MAR _ELAME _ RE _ A _ VER _ IL _ DOUVENTS _ SO c) Tercera aproximacin al francs.

RAMA _ DE T.LA _ EL _ GUIAIMO _ SUS _ CONDIAS_SU _ E _ UNCONDADADO _ DEA _ MARE _ TO_UERBALIA_NUE_Y _HERARSIN_DE_SE_S US_SUPAROCEDA C) Tercera aproximacin al Espaol.