Vous êtes sur la page 1sur 14

última revisión: 26 Enero 2009

1 Cadenas de Markov

Un proceso de la cadena de Markov es un tipo simple de proceso estocástico con muchas aplicaciones de las
ciencias sociales. Comenzaremos con una descripción abstracta antes de pasar al análisis de corto plazo y la
dinámica de largo plazo. En este capítulo también introduce una aplicación sociológico - la movilidad social - que se
persigue en el capítulo 2.

1.1 Descripción
Considere un proceso que ocupa una de norte estados posibles en cada período. Si el proceso se encuentra en el estado de yo,
entonces se ocupará Estado j en el próximo período con probabilidad
P (i, j). Fundamentalmente, las probabilidades de transición se determinan en su totalidad por el estado actual
- no más lejos “dependencia de la historia” se permite - y estas probabilidades se mantienen fijo en el tiempo. En estas
condiciones, este proceso es un proceso de la cadena de Markov, y la secuencia de estados generado en el tiempo es una
cadena de Markov.
Para reiterar este un poco más formalmente, supongamos que los estados posibles del proceso son dados por el
conjunto finito

S = { 1, 2, . . . , norte}.

Dejar s t ∈ S denotar el estado ocupada por el proceso en el periodo t ∈ { 0, 1, 2, . . .}. Además suponer que

Prob (s t + 1 = j | s t = i) = P (i, j)

dónde P (i, j) se parámetro fi ja para cada par de estados ( i, j) ∈ S × S. Como esta notación hace explícita, la
probabilidad de pasar a cada estado j en período t + 1 depende sólo del estado yo ocupada en el periodo t. Dados
estos supuestos, el proceso es un proceso de la cadena de Markov, y la secuencia ( s 0, s 1, s 2, . . .) es una cadena de
Markov.
Los parámetros de un proceso de la cadena de Markov de este modo se pueden resumir por una matriz de transición, Escrito como

• •
PAG( 1, 1) PAG( 1, 2). . . PAG( 1, n) P ( 2, 1) PAG( 2, 2). . . PAG(
• 2, norte)

• •
P= • .. .. .. .. • .
• . . . . •
P (n, 1) P (n, 2). . . P (n, n)

Por supuesto, debido a que los elementos de esta matriz se interpretan como probabilidades, deben ser no
negativo. Es decir,

P (i, j) ≥ 0 para todo i, j ∈ S.

1
Además, cada fila de PAG debe ser un vector de probabilidad, lo que requiere que

Σ
P (i, j) = 1 para todos yo ∈ S.
j∈S

En consecuencia, mientras que la matriz de transición tiene norte 2 elementos, el proceso de la cadena de Markov tiene solamente n (n - 1)

parámetros libres.

Para hacer esta descripción más concreta, considere un ejemplo (dibujado fromKemeny et al, 1966, p 195). Un
proceso de Markov tiene 3 estados, con la matriz de transición
• •
0 1 00
P= • 1/2 1/2 1/3 0 2/3 • .

En otras palabras, si el proceso se encuentra en el estado 1, es siempre una transición al estado 2 en el próximo período. Si el
proceso está en el estado 2, se mantiene en el estado 2 con una probabilidad de 1/2, y las transiciones al estado 3 con probabilidad
media. Por último, si el proceso está en el estado 3, se mantiene en el estado 3, con una probabilidad de 2/3, y se mueve al estado 1
con una probabilidad de 1/3.
Más allá de la matriz específica de cationes de las probabilidades de transición, también puede ser útil para visualizar un proceso de

la cadena de Markov utilizando una diagrama de transición. A continuación se muestra el diagrama de transición para la 3 × matriz 3

transición dada anteriormente.

1 1/2
1 - 2

1/3 1/2
Así SSSS
/
3
2/3
6

Los nodos del diagrama de transición se corresponden con los estados posibles del proceso (marcado en
negrita); los bordes dirigidos indican posibles transiciones entre los estados. Si una transición es posible a partir
del estado yo a estado j, la arista dirigida de nodo yo al nodo j se marca con la probabilidad P (i, j). Un bucle (un
borde de algún nodo a sí mismo) indica la posibilidad de que el proceso continúa a ocupar el mismo período
siguiente estado. Por convención, no borde se extrae de nodo yo al nodo j Si P (i, j) = 0.

1.2 Análisis utilizando un árbol de probabilidad

Tener especi fi cado un proceso de cadena de Markov, podríamos ahora hacer frente a los siguientes tipos de preguntas: Si el
proceso se inicia en el estado yo en el período 0, ¿cuál es la probabilidad de que

2
el proceso estará en estado j en el periodo 1? en el período 2? en período t? en el largo plazo, como t se vuelve muy grande?
pronto vamos a aprender métodos de matrices simples para responder a estas preguntas. Pero podría ser instructiva primeros
en acercarse a estas preguntas dibujando una
diagrama de árbol de probabilidad.

El nodo inicial de un árbol de probabilidad (llamado acertadamente la “raíz”) viene dada por el estado
yo ocupada en el periodo 0. El primer conjunto de “ramas” están dadas por los bordes que indican posibles transiciones de
estado yo. Estos bordes están etiquetados con las probabilidades P (i, j)
al igual que en el diagrama de transición. De cada nuevo nodo - cada estado j que el proceso puede ocupar en el
periodo 1 - podemos entonces dibujar otro conjunto de ramas que indican posibles transiciones de ese estado. Esto
crea otro conjunto de nodos - todos los estados
j que el proceso puede ocupar en el periodo 2 - que cada brotar otro conjunto de ramas. Continuando de esta
manera, podríamos (al menos en principio) construir un árbol de probabilidad para describir el futuro de la cadena
de Markov durante los primeros t períodos (para cualquier número de períodos t). Una cadena de Markov particular,
generada por el proceso corresponde a un único camino a través del árbol, a partir de la inicial (periodo 0) nodo y
terminando en uno de los terminales (período t) linfáticos.

Para ilustrar, volvamos al ejemplo 3-estado anterior, y supongamos que el proceso se inicia en el estado 2 en el periodo
0. El árbol de probabilidad para los próximos 3 períodos se muestra a continuación.

1/2
2
((((((((hhhhhhhh
2
1/2
1/2
3

2
,, HHHHHHHH
, 1/3
1/2 , 1
, 1/2 3 ((((((((hhhhhhhh
,
,
, 2/3
2 3
llllllll
1

1/3 1
1/2 2

3
HHHHHHHH
1
1/3
2/3 ((((((((hhhhhhhh
3

3
2/3

0 periodo periodo 1 periodo 2 3 periodo

3
Habiendo asumido (arbitrariamente) que el proceso iniciado en el estado 2 en el período 0, también podríamos construir
diagramas similares con el estado 1 o el estado 3 como el nodo inicial. (Ver Kemeny et al, 1966, p 196 para el diagrama a
partir de un estado 1. Voy a dejar el diagrama de estado 3 como ejercicio.)

Utilizando el diagrama de árbol de probabilidad, ahora podemos empezar a responder a las preguntas planteadas
anteriormente. Por supuesto, el proceso comienza en el estado 2 en el periodo 0. Después de una de las dos ramas de
este nodo inicial, el proceso ocupa entonces ya sea el estado 2 (con una probabilidad de 1/2) o estado 3 (con una
probabilidad de 1/2) en período 1. Por supuesto, podríamos haber obtenido esas probabilidades directamente de la
segunda fila de la matriz de transición sin la ayuda del diagrama de árbol. Sin embargo, para el periodo 2, el diagrama se
hace más útil, que muestra que el proceso ha alcanzado el estado 1 con probabilidad

(1/2) (1/3) = 1/6,

ha alcanzado el estado 2 con probabilidad

(1/2) (1/2) = 1/4,

y ha alcanzado el estado 3 con probabilidad

(1/2) (1/2) + (1/2) (2/3) = 7/12.

Es importante destacar que, como se refleja en este último cómputo, hay dos caminos Erent di ff que el proceso
podría haber tomado desde el estado inicial al estado de destino. En particular, el proceso podría haber hecho la
transición del estado 2 al estado 3 al estado 3 (con probabilidad (1/2) (1/2) = 1/4) o podría haber hecho la transición
del estado 2 al estado 2 al estado 3 ( con probabilidad (1/2) (2/3) = 1/3). Para obtener la probabilidad de que el
proceso ha hecho la transición del estado 2 al estado 3 a través alguna camino, añadimos estas dos probabilidades
juntos (por lo tanto 1/4 + 1/3 = 7/12). También es importante tener en cuenta que

1/6 + 1/4 + 7/12 = 1,

lo que re fl eja el hecho de que el proceso debe ocupar algunos Estado en el periodo 2. Más formalmente, se dice que
el vector de probabilidad

[ 1/6 1/4 7/12]

constituye una Distribución de probabilidad sobre los estados del proceso en el periodo 2.
De una manera similar, se puede utilizar el diagrama de árbol para obtener la distribución de probabilidad sobre estados en el
período 3. El proceso ha alcanzado el estado 1 con probabilidad

(1/2) (1/2) (1/3) + (1/2) (2/3) (1/3) = 7/36,

4
ha alcanzado el estado 2 con probabilidad

(1/2) (1/2) (1/2) + (1/2) (1/3) (1) = 7/24,

y ha alcanzado el estado 3 con probabilidad

(1/2) (1/2) (1/2) + (1/2) (1/2) (2/3) + (1/2) (2/3) (2/3) = 37 / 72.

Los cálculos reflejan 2 caminos posibles (de longitud 3) del estado 2 al estado 1, 2 caminos posibles (de
longitud 3) del estado 2 al estado 2, y 3 posibles caminos (de longitud
3) del estado 2 al estado 3.

1.3 Análisis usando álgebra de matrices


Mientras que los árboles de probabilidad O ff er un enfoque primera intuitiva para el análisis de las cadenas de Markov, es
obvio que este método podría convertirse rápidamente en poco práctico ya que el número de estados ( norte) o períodos de
tiempo ( t) se hace grande. Afortunadamente, hay un enfoque de la matriz simples de multiplicación iterado de la matriz de
transición. El aumento de la matriz PAG al poder t, obtenemos la matriz PAG t. Deje elemento ( i, j) de esta matriz se denota
como PAG t ( i, j). Este elemento tiene la siguiente interpretación: PAG t ( i, j) es la probabilidad de que un proceso que comienza
en el estado de yo en el período 0 ocupará Estado j en período t.

Por consiguiente, el estado inicial dado yo, la distribución de probabilidad sobre los estados después de t

períodos está dada por la yo ª fila de PAG t matriz.


Tras resumir tan rápidamente que el enfoque de la matriz, tal vez una ilustración sería útil. Volviendo de
nuevo al ejemplo 3-estado, podemos utilizar Matlab para determinar el futuro (probabilística) de la cadena
después de 2, 3, 4, 5, 10, o 100 períodos.

> > P = [0 1 0; 0 1/2 1/2; 1/3 0 2/3] matriz de transición%

P=
0 1.0000 0
0 0.5000 0.5000
0.3333 0 0.6667

> > P período ^ 2% 2

ans =
0 0.5000 0.5000
0,1667 0,2500 0.5833
0,2222 0.3333 0.4444

> > P período ^ 3% 3

ans =
0,1667 0,2500 0.5833
0.1944 0.2917 0.5139
0,1481 0.3889 0.4630

5
> > P período ^ 4% 4

ans =
0.1944 0.2917 0.5139
0.1713 0.3403 0.4884
0.1543 0.3426 0.5031

> > P período ^ 5% 5

ans =
0.1713 0.3403 0.4884
0.1628 0.3414 0.4958
0.1677 0.3256 0.5067

> > P período ^ 10% 10

ans =
0.1666 0.3335 0.4998
0.1666 0.3334 0.5000
0,1667 0.3332 0.5001

> > P período ^ 100% 100

ans =
0,1667 0.3333 0.5000
0,1667 0.3333 0.5000
0,1667 0.3333 0.5000

Para conciliar estos cálculos con nuestro análisis del árbol de probabilidad, lo que supone que el proceso fue
inicialmente en el estado 2, considere la segunda fila de la PAG 2 y PAG 3

matrices. En consonancia con nuestro anterior análisis del periodo 2, encontramos

PAG 2 ( 2, 1) = 0,1667, PAG 2 ( 2, 2) = 0,25, y PAG 2 ( 2, 3) = 0,5833.

Y consistente con nuestro análisis del periodo 3, encontramos

PAG 3 ( 2, 1) = 0,1944, PAG 3 ( 2, 2) = 0.2917, y PAG 3 ( 2, 3) = 0,5139.

Pero yendo más allá de los resultados de nuestro análisis del árbol de probabilidad, podemos aprender mucho más de los
cálculos matriciales anteriores. Supongamos que el proceso fue inicialmente en el estado 1. Para utilizar el enfoque del árbol de
probabilidad, tendríamos que dibujar un nuevo árbol (con el estado 1 como la raíz). Pero teniendo en cuenta estos cálculos,
podemos simplemente inspeccionar la primera fila de la matriz PAG t para determinar la distribución de probabilidad sobre
estados en período t. Del mismo modo, sin sacar un nuevo árbol de probabilidad con el estado 3 como la raíz, podemos
inspeccionar la tercera fila de PAG t para determinar la distribución de probabilidad sobre estados en período t. Además, aunque
el método del árbol de probabilidad es poco práctico cuando el número de periodos es grande, es trivial (usando el software de
álgebra de matrices) para calcular las distribuciones de probabilidad para cualquier número de períodos t.

6
Después de haber visto cómo utilizar el álgebra matricial, también hay que considerar por qué este enfoque funciona. El
argumento ya está implícito en nuestra reconciliación de los cálculos de la matriz con el diagrama de árbol de probabilidad.
Pero reexpresado un poco más formalmente, el argumento procede por inducción. Considere elemento ( i, j) del PAG 2 matriz.
Debido a que este elemento se calcula multiplicando la fila yo de PAG por la columna j de PAG , obtenemos

PAG 2 ( i, j) = Σ P (i, k) P (k, j).


k∈S

los k ésimo término de esta suma da la probabilidad de que las transiciones de proceso de estado
yo a estado k a estado j en el transcurso de dos períodos. Sumando sobre todo k, obtenemos la probabilidad de que el proceso
se mueve desde el estado yo en período de 0 a estado j en el periodo 2 a través de cualquier estado intermedio en el periodo 1.
Ahora elemento considerar ( i, j) del PAG 3

matriz. Porque PAG 3 = PAG 2 PAG , este elemento se puede encontrar multiplicando fila yo de PAG 2 por la columna j de PAG , y así
obtenemos

PAG 3 ( i, j) = Σ PAG 2 ( i, k) P (k, j).


k∈S

los k ésimo término de esta suma da la probabilidad de que las transiciones de proceso de estado yo en período de 0 a estado k
en el periodo 2 a través de cualquier estado intermedio y, a continuación, las transiciones de estado k a estado j. Sumando
sobre todo k, obtenemos la probabilidad de que el proceso se mueve desde el estado yo en período de 0 a estado j en el
periodo 3 a través de cualquier estados intermedios en los períodos 1 y 2. Debido a este argumento podría extenderse para
cubrir todos los períodos posteriores, hemos establecido que PAG t ( i, j) es la probabilidad de que el proceso se mueve desde el
estado yo en período de 0 a estado j en período t a través de cualquier estados intermedios en Períodos 1 a t - 1.

Volviendo a los cálculos de la matriz, es interesante (quizá incluso sorprendente) de encontrar que las filas de la PAG
t matriz ser más similar a la t se hace grande. Volveremos a este resultado “convergencia” a continuación. Pero
primero, vamos a considerar otro ejemplo que introduce una aplicación sociológico primera de las cadenas de
Markov.

1.4 La movilidad social


Los sociólogos tiempo se han interesado por mobilidad social - la transición de los individuos entre las clases sociales de fi
nido sobre la base de los ingresos o la ocupación. Algunas investigaciones se han centrado en intergeneracional la movilidad
de la clase de los padres a la clase del niño, mientras que otras investigaciones han examinado intrageneracional movilidad
más largo de la vida de un individuo. Capítulo 2 explorará este varios aspectos de este tema con mayor profundidad. Pero
aquí, vamos a desarrollar un sencillo ejemplo hipotético.

Considere una sociedad con tres clases sociales. Cada individuo puede pertenecer a la clase baja (estado 1), la
clase media (estado 2), o de la clase superior (estado 3). Por lo tanto, la clase social ocupado por un individuo en la
generación t pueden estar indicados por s t ∈ { 1, 2, 3}. Además suponer que cada individuo en la generación t tiene
exactamente un niño

7
en la generación t + 1, que tiene exactamente un niño en la generación t + 2, y así sucesivamente. 1 Finalmente,
supongamos que la movilidad intergeneracional se caracteriza por una (3 × 3) matriz de transición que no cambia con el
tiempo. En estas condiciones, un solo “historia familiar” - la secuencia de las clases sociales ( s 0, s 1, s 2, . . .) - es una cadena de
Markov. Para O ff er un ejemplo numérico, supongamos que la movilidad intergeneracional es descrita por la matriz de
transición

• •
0,6 0,4 0
P= • 0,3 0,4 0,3 •
0 0,7 0,3

que pueden, a su vez, ser representado por el diagrama de transición de abajo.

0.6 0.4 0.3

? ? ?
0.4 0.3
1 - 2 - 3
Y Y

0.3 0.7

Por lo tanto, un niño con un padre de clase baja tiene una probabilidad del 60% de permanecer en la clase baja, tiene una
probabilidad del 40% a la altura de la clase media, y no tiene ninguna oportunidad de llegar a la clase alta. Un niño con un padre
de clase media tiene una probabilidad del 30% de la caída de la clase baja, una probabilidad del 40% restante de la clase media,
y una probabilidad de 40% de aumento a la clase alta. Por último, un niño con un padre de clase alta no tienen ninguna
posibilidad de caer a la clase baja, tiene una probabilidad del 70% de la caída de la clase media, y tiene un 30% de
probabilidades de permanecer en la clase alta.

Si bien la movilidad a través de una generación por lo tanto se puede leer directamente de la matriz de transición,
¿cómo podemos calcular las “oportunidades de vida” de las generaciones posteriores? Es decir, ¿cómo la clase de los
padres de un ff ect la clase alcanzado por el nieto, bisnieto, etc.? Habiendo asumido que la movilidad social es un proceso
de la cadena de Markov, podemos volver a obtener las respuestas a través de álgebra matricial.

> > P = [0.6 0.4 0; 0,3 0,4 0,3; 0 0,7 0,3]

P=
0.6000 0.4000 0
0.3000 0.4000 0.3000

1 Dos supuestos están implícitos aquí. En primer lugar, estamos suponiendo que las tasas de fecundidad no varían entre las clases sociales. En
segundo lugar, estamos ignorando las complicaciones que surgen debido a las personas en realidad tienen dos padres (que podría mismos han
venido de las clases sociales di ff Erent). Para usar la terminología demógrafos, estamos considerando un ‘one-sexo’ (en lugar de ‘los dos sexos’)
modelo. Mientras que el modelo actual o ff ers un punto de partida útil, vamos a empezar a abordar di ff reproducción diferencial y los modelos de
dos de sexo en los capítulos 3 y xx.

8
0 0.7000 0.3000

>> P ^ 2

ans =
0.4800 0.4000 0,1200
0.3000 0.4900 0.2100
0.2100 0.4900 0.3000

>> P ^ 3

ans =
0.4080 0.4360 0,1560
0.3270 0.4630 0.2100
0.2730 0.4900 0.2370

>> P ^ 4

ans =
0.3756 0.4468 0.1776
0.3351 0.4630 0.2019
0.3108 0.4711 0.2181

>> P ^ 5

ans =
0.3594 0.4533 0.1873
0.3400 0.4606 0.1995
0.3278 0.4654 0.2068

> > P ^ 10

ans =
0,3447 0.4589 0.1965
0.3441 0.4591 0.1968
0.3438 0.4592 0.1970

> > P ^ 100

ans =

0.3443 0.4590 0.1967


0.3443 0.4590 0.1967
0.3443 0.4590 0.1967

Dada la matriz de transición asumido, es imposible para los hijos de padres de clase inferior a la transición
directamente a la clase alta. Pero estos cálculos muestran que los nietos de estos padres tienen un 12% de
llegar a la clase alta, que bisnietos tienen mayor del 15% de probabilidad, y que en el largo plazo (después de
muchas generaciones) hay una probabilidad de casi el 20%.

9
1.5 La distribución límite
En los dos ejemplos numéricos que hemos considerado, las filas de la PAG t matriz de ser cada vez más similar a la t
se eleva, y llegar a ser idéntica a t se hace muy grande. Esta “convergencia” resultado puede ser descrito de varias
maneras. Podemos decir que, después de un proceso de cadena de Markov se ha utilizado por muchos períodos, el
estado actual de la cadena no depende del estado inicial de la cadena. Alternativamente, podemos decir que la

distribución límite - la distribución de probabilidad sobre estados en el largo plazo - es independiente del
estado inicial.
Para definir la distribución límite más precisamente, supongamos que el estado inicial de la cadena se
caracteriza por el vector fila X 0. Por ejemplo, dado un proceso de Markov con 3 estados, y suponiendo que el
proceso comienza en el estado 2, este vector es

X 0 = [ 0 1 0] ,

lo que indica que el proceso está inicialmente en el estado 2 con una probabilidad de 1 (y los otros estados con
probabilidad 0). Tener fi especificarse la condición inicial de esta manera, la distribución de probabilidad sobre estados
en el periodo 1 está dada por

X 1 = X 0 PAG,

la distribución de probabilidad en el período 2 está dada por

X 2 = X 1 P = ( X 0 P) P = X 0 PAG 2,

y la distribución de probabilidad en el período 3 está dada por

X 3 = X 2 P = ( X 1 P) P = (( X 0 P) P) P = X 0 PAG 3.

Por inducción, la distribución de probabilidad para el período t está dada por

X t = X 0 PAG t.

Por definición, la distribución limitante es la distribución de probabilidad X t como t se hace muy grande (es decir, como t se
acerca al “límite” de lo infinito).
En los ejemplos que hemos visto, la distribución límite no depende de la condición inicial X 0. Por supuesto,
porque hemos considerado sólo dos ejemplos, no debemos asumir que este resultado se mantendrá durante
todo el proceso cadena de Markov. De hecho, resulta que este resultado sólo se garantiza si la transición
matriz satisi fi es la condición descrita en la siguiente

De fi nición. 2 Un cuadrado, matriz no negativo UNA es primitivo si y sólo si existe alguna t ≥ 1 de tal manera que cada
elemento de UNA t es positivo (es decir, UNA t ( i, j) > 0 para todos i, j).

2 Algunos autores - en particular Kemeny y Snell (1960) - se refieren a una matriz primitiva como una regular

matriz. En cualquier caso, esta condición no debe confundirse con irreductibilidad, una condición más débil que será discutido en el
capítulo 7.

10
Teniendo en cuenta nuestros cálculos matriciales, es fácil ver que las dos matrices de transición que hemos considerado
son primitivos. En el primer ejemplo, todos los elementos de la PAG t matriz son positivas para cada t ≥ 3. En el segundo
ejemplo (movilidad social), todos los elementos de la PAG t matriz son positivas para cada t ≥ 2. Habiendo O ff Ered esta
definición, la “convergencia” número ahora se pueden definir de manera exacta como la siguiente

Teorema. 3 Considere un proceso de la cadena de Markov para el que la matriz de transición PAG es primitivo, y el estado
inicial de la cadena viene dada por X 0 de modo que la distribución de probabilidad en período t está dada por el vector X t = X 0 PAG
t. Como t se hace muy grande, X t
converge al vector de probabilidad único X de tal manera que x = x pag.

Por lo tanto, si la matriz de transición es primitiva, la distribución de probabilidad X t converge a la distribución


límite X como t se hace grande. Por otra parte, la distribución límite
X no depende de la condición inicial X 0.

1.6 Solución de algebraicamente para la distribución límite


Ya hemos visto cómo resolver numéricamente para la distribución limitante. El aumento de la matriz de transición
(primitiva) PAG en cierta su fi cientemente alta potencia t, cada fila de PAG t

es igual a X. Sin embargo, es útil reconocer que la condición

x = x PAG

es un sistema de ecuaciones simultáneas que también se puede resolver algebraicamente. Como ejemplo, consideremos de
nuevo el ejemplo de movilidad social. La distribución límite está determinada por la condición


[ X( 1) X( 2) X( 3)] = [ X( 1) X( 2) X( 3)] •• 0,6 0,4 0
0,3 0,4 0,3 •
0 0,7 0,3

junto con el requisito de que X es un vector de probabilidad. Volviendo a la álgebra de secundaria, la condición de la
matriz se puede reescribir como

X( 1) = 0,6 X( 1) + 0,3 X( 2)
X( 2) = 0,4 X( 1) + 0,4 X( 2) + 0,7 X( 3)
X( 3) = 0,3 X( 2) + 0,3 X( 3)

y el requisito de vector de probabilidad es

X( 1) + X( 2) + X( 3) = 1.

3 Ver Kemeny y Snell (1960, Capítulo 4) para una nueva exposición y demostración de este teorema. Este teorema también se puede ver
como un caso especial del teorema de Perron-Frobenius, que es el resultado centro necesarias para la comprensión de la dinámica de largo
plazo de los sistemas lineales. Véase el Capítulo 3 para más discusión.

11
El uso de la primera y tercera ecuaciones, obtenemos

X( 1) = (3/4) X( 2)
X( 3) = (3/7) X( 2)

y la sustitución en los rendimientos probabilidad condicionada vector

(3/4) X( 2) + X( 2) + (3/7) X( 2) = 1.

Obtenemos así
X( 1) = 21/61 ≈ 0.3443
X( 2) = 28/61 ≈ 0.4590
X( 3) = 12/61 ≈ 0.1967

lo cual es consistente con nuestros cálculos numéricos.


Este enfoque algebraica se convierte en esencial cuando los elementos de la matriz de transición son especi fi
simbólicamente (en lugar de numéricamente). Por ejemplo, considere el proceso de la cadena de Markov de 2 estados
genérico, con matriz de transición
[ 1 - una ]
ab
P= .
1 - segundo

Sin especificar los parámetros una y segundo no podemos resolver numéricamente para la distribución limitante.
Pero de proceder en forma algebraica, es fácil comprobar que la distribución límite está dado por

x = [ b / (a ​+ b) a / (a ​+ b)] .

Intuitivamente, un incremento en el parámetro una ( participación segundo constante) implica que el sistema pasa más
a menudo del estado 1 al estado 2, y por lo tanto aumenta la probabilidad de ocupar el estado 2 (y disminuye la
probabilidad de ocupación estado 1) en el largo plazo. A la inversa, un aumento de la b ( participación una constante)
aumenta la probabilidad de que el proceso ocupa el estado 1 en el largo plazo.

1.7 A “nivel macro” interpretación


A lo largo de este capítulo, hemos mantenido hasta ahora una interpretación “a nivel micro” de los procesos de la
cadena de Markov. Por ejemplo, en el ejemplo de la movilidad social, adoptamos la perspectiva de un individuo en
particular, y consideramos la forma en que la clase social del individuo una ff eja las “oportunidades de vida” de su hijo
y el nieto y descendientes posteriores. Por lo tanto, la condición inicial X 0 refleja la clase de la persona, y el vector de
probabilidad X t refleja la distribución de probabilidad sobre clases por un descendiente en particular en la generación t.

Pero también es posible adoptar una interpretación “a nivel macro” de este proceso. Teniendo en cuenta una gran
población en la que cada individuo pertenece a una de las clases sociales,

12
podemos interpretar X 0 ( yo) como la proporción de la población en la clase yo en la generación de 0. Por ejemplo, el establecimiento de

X 0 = [ 0,2 0,3 0,5] ,

estamos suponiendo que 20% de la población pertenece a la clase inferior, que el 30% pertenecen a la clase
media, y que el 50% pertenecen a la clase superior. Suponiendo que cada individuo tiene un hijo, dinámica de
la población son determinados por la ecuación

X t = X 0 PAG t

y sabemos (a partir del teorema anterior) que la distribución de la población X t convergerá a la distribución límite X como
t se hace grande. Como ejemplo, consideremos dinámica de la población en los próximos 15 generaciones
(calculada utilizando una para bucle en Matlab).

> > x = [0.2 0.3 0.5]; P = [0.6 0.4 0; 0,3 0,4 0,3; 0 0,7 0,3];

> > para t = doce y cuarto; disp (x * P ^ t); fin

0,2000 0.3000 0.5000

0.2100 0.5500 0.2400

0.2910 0.4720 0.2370

0.3162 0.4711 0.2127

0.3310 0.4638 0.2051

0.3378 0.4615 0.2007

0.3411 0.4602 0.1987

0.3427 0.4596 0.1977

0.3435 0.4593 0.1972

0.3439 0.4592 0.1969

0.3441 0.4591 0.1968

0.3442 0.4590 0.1968

0.3442 0.4590 0.1967

0.3442 0.4590 0.1967

0.3443 0.4590 0.1967

0.3443 0.4590 0.1967

13
Por lo tanto, para este ejemplo, la distribución de la población ha convergido a la distribución límite en menos
de 15 generaciones.
Teniendo en cuenta la interpretación de nivel micro, procesos de la cadena de Markov son estocástico. Nuestro
conocimiento de la clase actual de un individuo yo en el período 0 nos permite deducir la probabilidad de que un descendiente
está en la clase yo en período t. Pero, obviamente, no podemos conocer la realización del proceso - la clase social particular
que ocupada - en el periodo
t. En contraste, la adopción de la interpretación de nivel macro, procesos de la cadena de Markov generan dinámica de la
población que son determinista. Intuitivamente, cada individuo en la población se asocia con una cadena de Markov di ff
Erent, y puede ignorar la variación de muestreo debido a que son un promedio a través de las realizaciones de muchas
cadenas. 4

1.8 Otras lecturas


Bradley y Meek (1986, cap 6) proporcionan una introducción informal a cadenas de Markov. El texto de grado
clásico de Kemeny, Snell, y Thompson (1966) o ff ers una introducción un tanto más formal (pero sigue siendo muy
legible) a las cadenas de Markov (véase especialmente los capítulos 4.13 y 5.7), así como la teoría de la
probabilidad, álgebra de matrices, y otros temas útiles en matemáticas discretas. Ver Kemeny y Snell (1960) para
un tratamiento más riguroso de las cadenas de Markov.

4 Más formalmente, suponiendo que el tamaño de la población se aproxima a infinito, podemos invocar la ley de los números grandes

(véase, por ejemplo, Kemeny y Snell, 1960, p 73).

14

Vous aimerez peut-être aussi