Vous êtes sur la page 1sur 61

Matematyka stosowana

Wykad z Rachunku
Prawdopodobiestwa II
Adam Oskowski
ados@mimuw.edu.pl
http://www.mimuw.edu.pl/~ados

Uniwersytet Warszawski, 2011

Streszczenie. Celem niniejszego skryptu jest wprowadzenie i omwienie podstawowych obiektw i poj pojawiajcych si w drugiej czci kursowego wykadu z Rachunku Prawdopodobiestwa.

Wersja internetowa wykadu:


http://mst.mimuw.edu.pl/lecture.php?lecture=rp2
(moe zawiera dodatkowe materiay)

Niniejsze materiay s dostpne na licencji Creative Commons 3.0 Polska:


Uznanie autorstwa Uycie niekomercyjne Bez utworw zalenych.
c Oskowski, Uniwersytet Warszawski, Wydzia Matematyki, Informatyki i Mechaniki, 2011. Niniejszy
Copyright
plik PDF zosta utworzony 13 kwietnia 2011.

Projekt wspfinansowany przez Uni Europejsk w ramach


Europejskiego Funduszu Spoecznego.

Skad w systemie LATEX, z wykorzystaniem m.in. pakietw beamer oraz listings. Szablony podrcznika i prezentacji:
Piotr Krzyanowski; koncept: Robert Dbrowski.

Spis treci
1. Zbieno wedug rozkadu zbieno miar probabilistycznych w przestrzeniach
metrycznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2. Funkcje charakterystyczne rozkadw prawdopodobiestwa w
2.1. Zmienne losowe o wartociach zespolonych. . . . . . . . . . . . .
2.2. Funkcje charakterystyczne . . . . . . . . . . . . . . . . . . . . . .
2.3. Przykady. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Rd
. .
. .
. .
. .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

14
14
14
16
21

3. Centralne Twierdzenie Graniczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24


3.1. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4. Warunkowa warto oczekiwana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5. Martyngay z czasem dyskretnym . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.1. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6. acuchy Markowa . . . . . . . . . .
6.1. Podstawowe definicje . . . . . . .
6.2. Klasyfikacja stanw . . . . . . . .
6.3. Rozkady stacjonarne i twierdzenie
6.4. Zadania . . . . . . . . . . . . . . .

. . . . . . .
. . . . . . .
. . . . . . .
ergodyczne
. . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

49
49
52
55
58

Literatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

c Oskowski, Uniwersytet Warszawski, 2011.


Wykad z Rachunku Prawdopodobiestwa II

1. Zbieno wedug rozkadu zbieno miar


probabilistycznych w przestrzeniach metrycznych
Celem tego rozdziau jest wprowadzenie pewnego nowego typu zbienoci zmiennych losowych, tzw. zbienoci wedug rozkadu. Zacznijmy od pewnych intuicji zwizanych z tym pojciem. Jak sama nazwa wskazuje, zbieno ta odnosi si do rozkadw zmiennych losowych.
Zatem, aby j zdefiniowa (na pocztek, dla rzeczywistych zmiennych losowych), potrzebujemy
metody pozwalajcej stwierdzi czy dwa rozkady prawdopodobiestwa na R s bliskie. Jeli
tak na to spojrze, to automatycznie narzuca si uycie tzw. cakowitej wariacji miary. cilej,
definiujemy odlego dwch miar probabilistycznych , na R jako cakowit wariacj ich
rnicy:
|| || = sup

|(An ) (An )|,

n=1

gdzie supremum jest wzite po wszystkich rozbiciach prostej rzeczywistej na przeliczaln liczb
zbiorw borelowskich (An )
n=1 . I teraz mwimy, e Xn zbiega do X jeli ||PXn PX || 0 gdy
n .
To podejcie jest jednak zbyt restrykcyjne i zbieno wedug rozkadu wprowadzimy w inny
sposb. W caym niniejszym rozdziale, (E, ) jest przestrzeni metryczn, B(E) oznacza klas
podzbiorw borelowskich E oraz
C(E) = {f : E R cige i ograniczone}.
Definicja 1.1. Niech (Pn )n bdzie cigiem miar probabilistycznych na B(E) (rozkadw prawdopodobiestwa na E). Mwimy, e cig (Pn ) jest zbieny wedug
rozkadu
do P (lub sabo
R
R
zbieny do P ), jeeli dla kadej funkcji f C(E) mamy E f dPn E f dP . Oznaczenie:
Pn P .
Dowd poprawnoci definicji: Musimy udowodni, e jeli Pn P oraz Pn P 0 , to
P = P 0 . Innymi sowy, musimy wykaza nastpujcy fakt.
Stwierdzenie
1.1.
Zamy, e P , P 0 s takimi rozkadami w E, e dla kadej funkcji f
R
R
C(E), E f dP = E f dP 0 . Wwczas P = P 0 .
Przytoczmy pomocniczy fakt z Topologii I.
Lemat 1.1. Niech F bdzie domknitym podzbiorem E. Wwczas dla kadego > 0 istnieje
f C(E) jednostajnie ciga speniajca 0 f 1 oraz
(

f (x) =

1
0

jeli x F,
jeli (x, F ) .

Dowd Stwierdzenia 1.1:. Wystarczy udowodni, e dla kadego domknitego F E zachodzi


P (F ) = P 0 (F ) (teza wynika wwczas prosto z lematu o ukadach). Dla kadego n i
= 1/n, Lemat 1.1 daje funkcj fn o odpowiednich wasnociach. Widzimy, i dla kadego
x E, fn (x) 1F (x), zatem
Z

P (F ) =
E

1F dP

fn dP =
E

fn dP 0 P 0 (F ).

c Oskowski, Uniwersytet Warszawski, 2011.


Wykad z Rachunku Prawdopodobiestwa II

5
Przykady:
1. Zamy, e (an ) jest cigiem punktw z Rd oraz a Rd . Wwczas an a wtedy i tylko
an a wtedy
i tylko wtedy, gdy dla kadej funkcji f C(E)
wtedy, gdy an a . Istotnie,
R
R
mamy f (an ) f (a), czyli Rd f dan Rd f da .
2. Zamy, e (Pn ) jest cigiem miar probabilistycznych na R, zadanym przez
Pn ({k/n}) = 1/n,

k = 1, 2, . . . , n.

Wwczas Pn P , gdzie P jest rozkadem jednostajnym na [0, 1]. Istotnie, dla dowolnej
funkcji f C(R),
n
X

1
f dPn =
f (k/n)
n
R
k=1

Z 1

f (x)dx =
0

f dP.
R

Wana uwaga: Z tego, e Pn P nie wynika, e dla dowolnego B B(E) mamy


Pn (B) P (B). Np. wemy a R oraz cig (an ) liczb rzeczywistych taki, e an > a oraz
an a. Jak ju wiemy, an a , ale
an ((, a]) = 0 6 1 = a ((, a]).

Twierdzenie 1.1. Niech Pn , P (n = 1, 2, . . .) bd miarami probabilistycznymi na


B(E). Nastpujce warunki s rwnowane.
a) Pn P .
R
R
b) Dla kadej funkcji f C(E) jednostajnie cigej, E f dPn E f dP .
c) Dla kadego domknitego F E, lim supn Pn (F ) P (F ).
d) Dla kadego otwartego G E, lim inf n Pn (G) P (G).
e) Dla kadego A B(E) takiego, e P (A) = 0, mamy limn Pn (A) = P (A).

Dowd:. a) b) oczywiste.
b) c) Ustalmy > 0 i niech F = {x E : (x, F ) }. Na mocy Lematu 1.1 istnieje
f C(E) jednostajnie ciga, przyjmujca wartoci w [0, 1], rwna 1 na F oraz 0 na Fc . Mamy
Z

Pn (F ) =

f dPn

f dPn

f dP P (F ).

f dP =
F

Zatem lim supn Pn (F ) P (F ), i z dowolnoci wynika, co trzeba.


c) a) Wystarczy udowodni, e dla kadej funkcji f C(E),
Z

lim sup
n

f dPn

f dP,

(1.1)

gdy po zastpieniu f przez f dostaniemy lim inf n E f dPn E f dP , a wic w rzeczywistoci


mamy rwno, gdy lim inf lim sup.
Zauwamy, e jeli f C(E), to istniej a > 0 oraz b R takie, e af + b przyjmuje
wartoci w przedziale (0, 1). Co wicej, jeli wykaemy (1.1) dla af + b, to nierwno bdzie
take zachodzi dla f . Innymi sowy, moemy bez straty oglnoci zaoy, e 0 < f (x) < 1 dla
kadego x E.
Ustalmy tak funkcj f i wemy dodatni liczb cakowit k. Rozwamy zbiory


Ai = x E :

i1
i
f (x) <
,
k
k


i = 1, 2, . . . , k.

1. Zbieno wedug rozkadu zbieno miar probabilistycznych w przestrzeniach metrycznych

Oczywicie

Sk

i=1 Ai

= E oraz zbiory A1 , A2 , . . . , Ak s parami rozczne. Ponadto,


k
X
i1

L :=

i=1

P (Ai )

k Z
X

f dP =
E

f dP

i=1 Ai

k
X
i
i=1

P (Ai ) =: R.

Zauwamy, e
i1
i
f (x) \ x : f (x) =: Fi1 \ Fi ,
k
k
i = Fk Fk1 . . . F1 F0 = E jest zstpujcym cigiem zbiorw domknitych. Zatem
P (Ai ) = P (Fi1 ) P (Fi ), i = 1, 2, . . . , k, i podstawiajc dostajemy


Ai = x :

L=

k
X
i1
i=1

(P (Fi1 ) P (Fi )) =

k1
X
i=0

k1
1
P (Fk ) +
k
k

k1
X

P (Fi ) =

i=1

k
X
i
i1
P (Fi )
P (Fi )
k
k
i=1

X
1 k1
P (Fi )
k i=1

oraz
R=

k
X
i
i=1

(P (Fi1 ) P (Fi )) =

k1
X
i=0

1
= P (Fk ) +
k

k
X
i+1
i
P (Fi )
P (Fi )
k
k
i=1

k1
X

X
1 1 k1
P (Fi ) = +
P (Fi ).
k k i=1
i=0

Przeprowadzamy analogiczne oszacowania dla


Z
E

f dPn

R
E

f dPn : w szczeglnoci mamy

X
1 1 k1
Pn (Fi ),
+
k k i=1

skd wynika, na mocy c),


Z

lim sup
n

f dPn

Z
X
X
1 1 k1
1 1 k1
1
f dP.
+
lim sup Pn (Fi ) +
P (Fi ) +
k k i=1
k k i=1
k
n
E

Wystarczy tylko zbiec z k do nieskoczonoci.


c) d): oczywiste po przejciu do dopenie zbiorw.
c) e) Zamy, e A B(E) spenia warunek P (A) = 0. Poniewa A = A \ intA oraz
intA A, mamy P (A) = P (intA) = P (A). Z drugiej strony, korzystajc z c) oraz d), mamy
P (A) lim sup Pn (A) lim sup Pn (A)
n

lim inf Pn (A) lim inf Pn (intA) P (intA),


n

a zatem wszdzie mamy rwnoci: to oznacza tez podpunktu e).


e) c) Wemy dowolny domknity zbir F E. Dla kadego > 0 zbir F = {x :
(x, F ) } jest domknity. Ponadto, zbir { > 0 : P ({x : (x, F ) = }) > 0} jest co najwyej
przeliczalny; zatem istnieje cig (n ) liczb dodatnich malejcy do 0 taki, e P ({x : (x, F ) =
n }) = 0 dla kadego n. Poniewa F {x : (x, F ) = }, mamy wic P (Fn ) = 0 dla kadego
n, a zatem, korzystajc z e), przy ustalonym k,
lim sup Pn (F ) lim sup Pn (Fk ) = P (Fk ).
n

Zbiegajc z k , mamy k 0 oraz P (Fk ) P (F ), na mocy tego, i F jest domknity.

7
Stwierdzenie 1.2. Zamy, e Pn , P s rozkadami prawdopodobiestwa w Rd (n = 1, 2, . . .),
o dystrybuantach Fn , F , odpowiednio. Wwczas Pn P wtedy i tylko wtedy, gdy Fn (x) F (x)
dla kadego punktu x, w ktrym F jest ciga.
Dowd:. Wemy punkt x = (x1 , x2 , . . . , xd ) cigoci dystrybuanty F i niech A = {y Rd :
yi xi , i = 1, 2, . . . , d}. Zauwamy, i P (A) = 0; w przeciwnym razie F miaaby niecigo
w punkcie x (istotnie, mielibymy
1
1
1
1
lim F (x1 , x2 , . . . , xd ) = lim P ({y Rd : yi xi })
k
k
k
k
k
< P (A) = F (x) ).

Zatem na mocy podpunktu e) Twierdzenia 1.1, Fn (x) = Pn (A) P (A) = F (x).


Najpierw udowodnimy
Lemat 1.2. Zamy, e E jest przestrzeni metryczn, K B(E) jest -ukadem takim, e
kady zbir otwarty jest sum skoczon lub przeliczaln zbiorw z K. Jeli Pn , P (n = 1, 2, . . .)
s miarami probabilistycznymi na B(E) takimi, e dla kadego A K mamy Pn (A) P (A), to
Pn P .
Dowd. Udowodnimy, e dla kadego zbioru otwartego G E, lim inf Pn (G) P (G). Ustalmy
wic zbir otwarty G oraz > 0. Z zaoe lematu istnieje skoczony cig A1 , A2 , . . . , Ak
elementw K taki, e
A1 A2 . . . Ak G, oraz P (G \ (A1 A2 . . . Ak )) < .
Mamy P (G \ (A1 A2 . . . Ak )) = P (G) P (A1 A2 . . . Ak ), skd, na mocy wzoru wcze
i wycze,
P (G) < + P (

k
[

Ai ) = +

k
X
i=1

= + lim Pn (
n

k
[

P (Ai Aj ) + . . .

1i<jk

lim Pn (Ai )

P (Ai )

i=1

i=1

=+

k
X

1i<jk

lim Pn (Ai Aj ) + . . .

Ai ) + lim inf Pn (G).

i=1

Wystarczy skorzysta z tego, e > 0 byo dowolne.


Wracamy do dowodu stwierdzenia. Dla kadego i = 1, 2, . . . istnieje co najwyej przeliczalnie wiele hiperpaszczyzn H Rd prostopadych do osi OXi , o dodatniej mierze P ; niech S
oznacza dopenienie sumy wszystkich takich hiperpaszczyzn (sumujemy take po i). Jak atwo
zauway, S jest gstym podzbiorem Rd oraz kady punkt z S jest punktem cigoci F . Zbir
K = {(a, b] = (a1 , b1 ] (a2 , b2 ] . . . (ad , bd ] : a, b S, ai < bi dla kadego i}
jest -ukadem i kady zbir otwarty jest sum skoczon lub przeliczaln zbiorw z K. Mamy
Pn ((a, b])
=

(1)d(1 +2 +...+d ) Fn (b1 + 1 (b1 a1 ), . . . , bd + d (bd ad ))

i {0,1}

(1)d(1 +2 +...+d ) F (b1 + 1 (b1 a1 ), . . . , bd + d (bd ad ))

i {0,1}

= P ((a, b]).
Wystarczy skorzysta z poprzedniego lematu.

1. Zbieno wedug rozkadu zbieno miar probabilistycznych w przestrzeniach metrycznych

Definicja 1.2. Zamy, e Xn , X (n = 1, 2, . . .) s zmiennymi losowymi o wartociach w E


oraz jest miar probabilistyczn na B(E).
(i) Mwimy, e cig (Xn ) jest zbieny wedug rozkadu do X, jeli PXn PX . Oznaczenie:
D
Xn X lub Xn
X.
(ii) Mwimy, e cig (Xn ) jest zbieny wedug rozkadu do , jeli PXn . Oznaczenie
D
Xn lub Xn
.
Uwagi:
1. W definicji zbienoci wedug rozkadu, zmienne Xn mog by okrelone na rnych przestrzeniach probabilistycznych.
2. Rwnowanie, (Xn ) zbiega do X wedug rozkadu wtedy i tylko wtedy, gdy dla kadej funkcji
f C(E),
lim Ef (Xn ) = Ef (X).
(1.2)
n

Ponadto, na mocy podpunktu b) Twierdzenia 1.1, mona si ograniczy w (1.2) do funkcji


jednostajnie cigych.
3. Saba zbieno odnosi si wycznie do rozkadw zmiennych losowych. Na przykad, rozwamy cig (Xn ), zadany na przestrzeni probabilistycznej ([0, 1], B([0, 1]), | |) wzorem
X2n1 = 1[0,1/2] , X2n = 1[1/2,1] ,

n = 1, 2, . . . .

Jak atwo zauway, (Xn ) nie jest ani zbieny prawie na pewno, ani wedug prawdopodobiestwa. Natomiast z punktu widzenia sabej zbienoci, jest to cig stay: PXn = 21 0 + 21 1 .
Cig ten zbiega sabo do X1 oraz do X2 .
Stwierdzenie 1.3. Zamy, e E jest przestrzeni orodkow oraz X, Xn , Yn (n = 1, 2, . . .)
s zmiennymi losowymi o wartociach w E, przy czym dla kadego n, zmienne Xn oraz Yn
P
s okrelone na tej samej przestrzeni probabilistycznej. Jeli Xn X oraz (Xn , Yn )
0, to
Yn X.
Biorc Xn = X, dostajemy std natychmiast nastpujcy fakt.
Wniosek 1.1. Jeli (Xn ) zbiega do X wedug prawdopodobiestwa, to zbiega take wedug rozkadu.
Dowd Stwierdzenia 1.3. Niech F bdzie dowolnym domknitym podzbiorem przestrzeni E i
ustalmy > 0. Zbir F = {x : (x, F ) } jest domknity i mamy
PYn (F ) = P(Yn F, (Xn , Yn ) ) + P(Yn F, (Xn , Yn ) > )
P(Xn F ) + P((Xn , Yn ) > ).
Zatem
lim sup PYn (F ) lim sup PXn (F ) + 0 PX (F )
n

i przechodzc z do 0 dostajemy lim supn PYn (F ) PX (F ). Z dowolnoci F oraz podpunktu


c) Twierdzenia 1.1 wynika teza.
Definicja 1.3. Niech P bdzie pewnym zbiorem miar probabilistycznych na B(E). Mwimy,
e ten zbir jest ciasny (jdrny) jeli dla kadego > 0 istnieje zwarty podzbir K przestrzeni
E taki, e P (K) 1 dla kadego P P.

9
Przykad:
Zamy, e (Xi )iI jest rodzin zmiennych losowych o wartociach rzeczywistych, takich, e
dla pewnego > 0, a := supiI E|Xi | < . Wwczas rodzina rozkadw (PXi )iI jest ciasna.
Istotnie, ustalmy > 0 i L > 0. Na mocy nierwnoci Czebyszewa, dla kadego i I,
PXi ([L, L]) = P(|Xi | L) = 1 P(|Xi | > L) 1

E|Xi |
a
1 = 1 ,
L
L

o ile a/L = ; wystarczy wic wzi K = [(a/)1/ , (a/)1/ ].

Twierdzenie 1.2 (Prochorow).


(i) (Twierdzenie odwrotne) Jeli P jest zbiorem ciasnym, to z kadego cigu elementw P mona wybra podcig zbieny.
(ii) (Twierdzenie proste) Jeli E jest przestrzeni polsk (tzn. orodkow i zupen)
i P ma t wasno, e z kadego cigu mona wybra podcig zbieny, to P jest zbiorem
ciasnym.

Potrzebne nam bd nastpujce trzy fakty: z Topologii, Analizy Funkcjonalnej oraz Teorii
Miary.
Stwierdzenie 1.4. Zamy, e K jest przestrzeni metryczn zwart. Wwczas C(K) jest
orodkowa.

Twierdzenie 1.3 (Riesz). Zamy, e : C(K) R jest dodatnim funkcjonaem


liniowym cigym, tzn.
(i) (af + bg) = a(f ) + b(g) dla dowolnych a, b R, f, g C(K).
(ii) Istnieje staa L taka, e |(f )| L supxK |f (x)| dla wszystkich f C(K).
(iii) Dla dowolnej nieujemnej funkcji f C(K) mamy (f ) 0.
Wwczas
istnieje dokadnie jedna miara skoczona na B(K) taka, e (f ) =
R
K f (x)(dx) dla dowolnej funkcji f C(K).

Stwierdzenie 1.5 (Regularno). Zamy, e jest miar skoczon na B(E). Wwczas dla
kadego A B(E) istnieje cig (Fn ) zbiorw domknitych zawartych w A oraz cig (Gn ) zbiorw
n
n
otwartych zawierajcych A, takie, e (Fn ) (A) oraz (Gn ) (A).
Dowd twierdzenia odwrotnego. Zamy, e P jest ciasny. Wobec tego, dla kadego m = 1, 2, . . .
1
istnieje zwarty podzbir Km przestrzeni E taki, e P (Km ) 1 m
dla wszystkich P P. Bez
straty oglnoci moemy zaoy, e cig (Km ) jest wstpujcy (zastpujc ten cig, w razie
potrzeby, przez cig K1 , K1 K2 , K1 K2 K3 , . . .).
Niech (Pm ) bdzie cigiem miar z P. Dla wikszej przejrzystoci dowodu, podzielimy go na
kilka czci.
1. Na mocy Stwierdzenia 1.4, dla kadego m = 1, 2, . . ., C(Km ) jest przestrzeni orodkow.
Niech {fmr }r=1, 2, ... bdzie jej przeliczalnym gstym podzbiorem. Dla kadego m, r, cig
R
( Km fmr dPn )n jest ograniczonym cigiem liczbowym; mona z niego wybra podcig zbieny.
Stosujc metod
przektniow widzimy, i istnieje podcig (n1 , n2 , . . .) taki, e dla wszystkich
R
m, r, cig ( Km fmr dPni )i jest zbieny.

10

1. Zbieno wedug rozkadu zbieno miar probabilistycznych w przestrzeniach metrycznych

2. Pokaemy, e dla kadego m = 1, 2, . . . i kadej funkcji f C(Km ), cig (


jest zbieny. Ustalmy > 0 oraz r takie, e supxKm |f (x) fmr (x)| /3. Mamy

R
Km

f dPni )i


Z
Z




f dPni
fmr dPni
f dPni
f dPnj
K
Km
Km
Km

Z m
Z



fmr dPnj
fmr dPni
+
K

ZKm
Z m



fmr dPnj
f dPnj .
+

Km

Km

Dwa skrajne skadniki po prawej stronie szacuj si przez /3; na przykad, mamy
Z


Km

f dPni

Z
Km

Z

fmr dPni

Km

|f fmr |dPni

sup |f fmr |Pni (Km ) /3.


K

rodkowy skadnik nie przekracza /3 o ile i, j s dostatecznie due; wynika to z definicji


podcigu (ni ).
R
3. Oznaczmy m (f ) = limi Km f dPni , dla f C(Km ). Jest oczywiste, e R spenia
zaoenia Twierdzenia Riesza. Zatem istnieje miara m na B(Km ) taka, e m (f ) = Km f dm
dla wszystkich f C(Km ), m = 1, 2, . . .. Rozszerzmy t miar na B(E), kadc m (A) =
m (A Km ).
4. Udowodnimy, e dla kadego A B(E) cig (m (A)) spenia warunek Cauchyego. cilej,
wykaemy, e
1
0 m1 (A) m2 (A)
dla m1 > m2 1.
(1.3)
m2
Najpierw zamy, e F jest zbiorem domknitym i niech > 0. Niech f bdzie nieujemn
funkcj jednostajnie cig pochodzc z Lematu 1.1. Mamy
0

Z
Km1 \Km2

f dPni =

Km1

f dPni

Z
Km2

f dPni

sup |f |(Pni (Km1 ) Pni (Km2 )) 1 Pni (Km2 )


E

1
.
m2

Zbiegajc teraz z i do nieskoczonoci dostajemy


0

Z
Km1

f dm1

Z
K m2

f dm2 =

f dm1

Z
E

f dm2

1
.
m2

Wemy teraz 0; poniewa f 1A , otrzymujemy (1.3) dla zbiorw domknitych, na


mocy twierdzenia Lebesguea. Aby otrzyma t nierwno w przypadku oglnym, posuymy
si regularnoci. Dla dowolnego A B(E) istniej cigi (Fk0 ) oraz (Fk00 ) zbiorw domknitych
zawartych w A, takie, e m1 (Fk0 ) m1 (A) oraz m2 (Fk00 ) m2 (A). Korzystajc z (1.3) dla
zbioru domknitego Fk = Fk0 Fk00 i zbiegajc z k otrzymujemy dan nierwno.
5. Wiemy, na mocy poprzedniej czci, e cig (m (A))m jest zbieny dla kadego A B(E).
Oznaczmy jego granic przez (A). Wykaemy, e jest miar probabilistyczn oraz Pni .
Pierwsza wasno wyniknie z nastpujcych trzech faktw.
a) (E) = 1.
b) (A1 A2 ) = (A1 ) + (A2 ) dla A1 , A2 B(E) takich, e A1 A2 = .
T
c) Jeli A1 A2 . . . oraz
k=1 AkR= , to (Ak ) 0.
1
. Zbiegajc z i do nieskoczonoci
Dowd a) Mamy 1 Pni (Km ) = Km 1dPni 1 m
1
dostajemy 1 m (E) 1 m , i teraz dc z m do nieskoczonoci otrzymujemy (E) = 1.

11

1.1. Zadania

Dowd b) Jasne na mocy definicji i tego, e m jest miar dla kadego m.


1
Dowd c) Na mocy (1.3), mamy 0 (A) m (A) m
dla wszystkich A B(E) oraz
m = 1, 2, . . .. Zatem, dla dowolnego k,
(Ak ) = (Ak ) m (Ak ) + m (Ak )

1
+ m (Ak ).
m

Zbiegajc z k widzimy, e lim supk (Ak ) 1/m, co na mocy dowolnoci m daje


lim supk (Ak ) = 0, czyli limk (Ak ) = 0.
Pozostao ju tylko sprawdzi, e Pni . Dla usalonej f C(E), mamy
Z

Z
Z
Z
Z






f dPn
f dPni
f dm
f dPni +
f d
i


Km
c
Km
Km
E
E

Z
Z


f d = I + II + III.
+ f dm
E

Na mocy ciasnoci, I supE |f |

1
m.

Ponadto, z definicji m , II 0 gdy m . Wreszcie,

Z



1

III = f d( m ) sup |f |((E) m (E)) sup |f | .
m
E

Zatem I + II + III 0 gdy m . Dowd jest zakoczony.


Dowd prostego twierdzenia Prochorowa jest znacznie atwiejszy i pozostawiamy go jako
wiczenie (patrz zadanie 13).
Na zakoczenie, zaprezentujemy nastpujce dwa fakty (bez dowodu).

Twierdzenie 1.4 (Skorochod). Zamy, e E jest przestrzeni orodkow oraz Pn ,


P (n = 1, 2, . . .) s miarami probabilistycznymi na B(E). Jeli Pn P , to istniej
zmienne losowe Xn , X (n = 1, 2, . . .), okrelone na tej samej przestrzeni probabilistycznej (, F, P) takie, e PXn = Pn , PX = P (n = 1, 2 . . .) oraz Xn X prawie na
pewno.

Twierdzenie 1.5. Zamy, e E jest przestrzeni orodkow i niech M oznacza klas


wszystkich miar probabilistycznych na E. Dla P, Q M definiujemy
(P, Q) = inf{ > 0 : AB(E) Q(A) P (A ) + , P (A) Q(A ) + }.
Wwczas jest metryk w M (jest to tzw. metryka Levy-Prochorowa) oraz zbieno
w sensie tej metryki pokrywa si ze zwyk zbienoci miar probabilistycznych.

1.1. Zadania
1. Udowodni, e cig (Exp(n/(n + 1))) jest zbieny wedug rozkadu do Exp(1).
2. Dany jest cig (Xn ) zmiennych losowych zbieny wedug rozkadu do zmiennej losowej
X. Udowodni, e cig (sin Xn ) jest zbieny wedug rozkadu do zmiennej sin X.

12

1. Zbieno wedug rozkadu zbieno miar probabilistycznych w przestrzeniach metrycznych

3. Czy zmienne losowe posiadajce gsto mog zbiega wedug rozkadu do zmiennej o
rozkadzie dyskretnym? Czy zmienne losowe o rozkadach dyskretnych mog zbiega do zmiennej o rozkadzie cigym?
4. Niech X1 , X2 , . . . bd zmiennymi losowymi, przy czym dla n 1 rozkad zmiennej Xn
okrelony jest nastpujco:
j
P Xn =
n


2j
, j = 1, 2, . . . , n.
n(n + 1)

Udowodni, e cig (Xn ) jest zbieny wedug rozkadu. Wyznaczy rozkad graniczny.
5. Niech B(n, p) oznacza rozkad Bernoulliego o n prbach z prawdopodobiestwem sukcesu
p, a Pois() - rozkad Poissona z parametrem . Wykaza, e jeli npn , to B(n, pn )
P ois().
6. Zmienne losowe X1 , X2 , . . . zbiegaj wedug rozkadu do zmiennej X staej p.n. Wykaza,
e cig (Xn ) zbiega do X wedug prawdopodobiestwa.
7. Niech gn , g oznaczaj odpowiednio gstoci rozkadw prawdopodobiestwa n , na RN .
Udowodni, e jeli gn g p.w., to n .
8. Niech S bdzie przeliczalnym podzbiorem RN , za n , - miarami probabilistycznymi
skupionymi na S. Wykaza, e jeli dla kadego x S mamy n ({x}) ({x}), to n .
9. Cig dystrybuant (Fn ) zbiega punktowo do dystrybuanty cigej F . Wykaza, e zbieno
jest jednostajna.
10. Dane s cigi (Xn ), (Yn ) zmiennych losowych, okrelonych na tej samej przestrzeni probabilistycznej, przy czym (Xn ) zbiega wedug rozkadu do X, a (Yn ) zbiega wedug rozkadu
do zmiennej Y staej p.n.. Udowodni, e (Xn + Yn ) zbiega wedug rozkadu do X + Y . Czy
teza pozostaje prawdziwa bez zaoenia o jednopunktowym rozkadzie Y ?
11. Dany jest cig (Xn ) zmiennych losowych przyjmujcych wartoci w przedziale [0, 1].
n
1
, to (Xn ) jest zbieny
Udowodni, e jeli dla kadego k = 0, 1, 2, . . . mamy EXnk k+1
wedug rozkadu.
12. Zamy, e (Xn ) jest cigiem niezalenych zmiennych losowych o rozkadzie Cauchyego
z parametrem a > 0, tzn. z gstoci
g(x) =
Udowodni, e
rozkadu.

1
n

maxkn Xk

1
T,

a
.
(a2 + x2 )

gdzie T ma rozkad wykadniczy. Wyznaczy parametr tego

13. Zamy, e E jest przestrzeni polsk oraz P jest rodzin miar probabilistycznych na
B(E), tak, e z kadego cigu jej elementw mona wybra podcig zbieny.
(i) Udowodni, e
>0 >0 x1 , x2 , ..., xn E P P P (

n
[
k=1

B(xk , )) 1 ,

1.1. Zadania

13

gdzie B(x, ) = {y E : (x, y) < }.


(ii) Wywnioskowa z (i) proste twierdzenie Prochorowa (wskazwka: w przestrzeni metrycznej zupenej zbir domknity i cakowicie ograniczony - tzn. dla kadego > 0 posiadajcy
skoczon -sie - jest zwarty).
14. Zamy, e cig (Xn ) zbiega wedug rozkadu do X. Niech h : R R bdzie tak
funkcj borelowsk, e P(X {punkty niecigoci h}) = 0.
(i) Udowodni, e h(Xn ) h(X).
n
(ii) Udowodni, e jeli h jest dodatkowo ograniczona, to Eh(Xn ) Eh(X).
15. Zamy, e cig (Xn ) zbiega wedug rozkadu do X. Udowodni, e
(i) E|X| lim inf n E|Xn |.
(ii) jeli X1 , X2 , s dodatkowo jednostajnie cakowalne, to EXn EX.
n
(iii) jeli X, X1 , X2 , . . . s calkowalne, nieujemne i EXn EX, to X1 , X2 , . . . s
jednostajnie cakowalne.
16. Dane s dwa cigi (Xn ) oraz (Yn ) zmiennych losowych, zbienych wedug rozkadu do
X oraz Y , odpowiednio.
(i) Czy (Xn , Yn ) zbiega wedug rozkadu do (X, Y )?
(ii) Jaka jest odpowied w (i) jesli dodatkowo przy kadym n zmienne Xn oraz Yn s niezalene?

2. Funkcje charakterystyczne rozkadw


prawdopodobiestwa w Rd
Do tej pory zajmowalimy si zmiennymi losowymi o wartociach w Rd bd, oglniej, w
przestrzeniach metrycznych (bez adnej dodatkowej struktury). W tym rozdziale wan rol
bd peniy zmienne losowe o wartociach w C.

2.1. Zmienne losowe o wartociach zespolonych.


Zamy, e (, F, P) jest przestrzeni probabilistyczn. Funkcja X : C jest zmienn
losow, jeli jest zmienn losow przy utosamieniu C = R2 - innymi sowy, jeli (X1 , X2 ) =
(ReX, ImX) jest zmienn
losow w R2 . Jeli X1 oraz X2 s cakowalne (co jest rwnowane
q

temu, e E|X| = E X12 + X22 < ), to definiujemy EX = EX1 + iEX2 . Bez trudu dowodzimy,
i maj miejsce nastpujce fakty.
(i) Mamy |EX| E|X|.
(ii) Zachodzi twierdzenie Lebesguea o zmajoryzowanym przejciu do granicy pod znakiem
wartoci oczekiwanej.
(iii) Dla dowolnych z1 , z2 C i dowolnych zespolonych zmiennych losowych X, Y takich, e
EX, EY istniej, mamy
E(z1 X + z2 Y ) = z1 EX + z2 EY.

2.2. Funkcje charakterystyczne


Przechodzimy do definicji gownego pojcia tego rozdziau.
Definicja 2.1. (i) Zamy, e P jest rozkadem prawdopodobiestwa w Rd . Funkcj
Z

P (t) =

ei(t,x) P (dx),

Rd

t Rd ,

nazywamy funkcj charakterystyczn P .


(ii) Zamy, e X jest zmienn losow o wartociach w Rd , okrelon na (, F, P). Wwczas
X := PX nazywamy funkcj charakterystyczn (rozkadu) zmiennej losowej X.
Uwaga: Z twierdzenia o zamianie zmiennych wynika, i X (t) = Eei(t,X) .
Bezporednio z definicji widzimy, e funkcja charakterystyczna zmiennej losowej zaley tylko
od rozkadu tej zmiennej.
Wasnoci funkcji charakterystycznych.
1) Zamy, e X jest d-wymiarow zmienn losow. Wwczas X jest dobrze okrelona na
caym Rd , ponadto X (0) = 1 oraz
|X (t)| E|ei(t,X) | = 1

dla wszystkich t Rd .

c Oskowski, Uniwersytet Warszawski, 2011.


Wykad z Rachunku Prawdopodobiestwa II

15

2.2. Funkcje charakterystyczne

2) Zamy, e X jest d-wymiarow zmienn losow. Wwczas X jest jednostajnie ciga


na Rd ; istotnie, dla h Rd ,
sup |X (t + h) X (t)| = sup |Eei(t+h,X) Eei(t,X) |

tRd

tRd

sup E|ei(t+h,X) ei(t,X) | E|ei(h,X) 1| 0,


tRd

gdy h 0.
3) Zamy, e X jest d-wymiarow zmienn losow. Wwczas X jest dodatnio okrelona,
tzn. dla wszystkich a1 , a2 , . . . , an C oraz t1 , t2 , . . . , tn Rd ,
X

X (tj tk )aj ak 0.

j,k

Istotnie, mamy
2


n
Z X

X
i(tj ,x)

aj ei(tj ,x) ak ei(tk ,x) PX (dx)
aj e
0
PX (dx) = d

R j,k
Rd j=1

Z
X
X
Z

aj ak

j,k

Rd

ei(tj ,x) ei(tk ,x) PX (dx) =

X (tj tk )aj ak .

j,k

Powstaje naturalne pytanie: kiedy funkcja : Rd C jest funkcj charakterystyczn pewnego


rozkadu? Odpowied jest zawarta w nastpujcym twierdzeniu.

Twierdzenie 2.1 (Bochner). Funkcja : Rd C jest funkcj charakterystyczn pewnego rozkadu prawdopodobiestwa w Rd wtedy i tylko wtedy, gdy jest ciga, dodatnio
okrelona oraz (0) = 1.

4) Zamy, e X jest d-wymiarow zmienn losow, A jest macierz n d oraz b Rn .


Wwczas
AX+b (t) = Eei(t,AX+b) = ei(t,b) Eei(t,AX) = ei(t,b) Eei(A

T t,X)

= ei(t,b) X (AT t).

W szczeglnoci, X (t) = X (t) = X (t). Oznacza to, i jeli PX = PX (rozkad zmiennej


jest symetryczny), to X jest rzeczywista.
5) Zamy, e X jest rzeczywist zmienn losow tak, e E|X|k < dla pewnej liczby
cakowitej dodatniej k. Wwczas X ma k-t pochodn cig i
(k)

X (t) = ik E(eitX X k ).
(k)

W szczeglnoci, X (0) = ik EX k .
Wemy najpierw k = 1. Mamy
X (t + h) X (t)
ei(t+h)X eitX
=E
= EeitX
h
h

eihX 1
.
h

Zauwamy, e limh0 h1 (eihX 1) = iX oraz





ihX 1
| cos(hX) 1| sin(hX)
itX e

+
e



h
|h|
|h|




sin(hX/2) | sin(hX)|

= |X| sin(hX/2)
+
2|X| L1 ,
hX/2
|hX|

2. Funkcje charakterystyczne rozkadw prawdopodobiestwa w Rd

16

zatem z twierdzenia Lebesguea wynika teza. Dla k > 1 dowd jest analogiczny, opierajcy si
na indukcji.
Zachodzi nastpujcy oglniejszy fakt: jeli X = (X1 , X2 , . . . , Xd ) jest d-wymiarow zmienn losow tak, e E|X|k < , to X ma cige pochodne czstkowe k-tego rzdu i
k
tj11 tj22

X (t1 , t2 ,
. . . tjdd

. . . , td ) = ik E(ei(t,X) X1j1 X2j2 . . . Xdjd ).

6) Jeli zmienne X1 , X2 , . . ., Xn s niezalene, to


X1 +X2 +...+Xn (t) = X1 (t)X2 (t) . . . Xn (t).
Istotnie, mamy, i ei(t,X1 ) , ei(t,X2 ) , . . . , ei(t,Xd ) s niezalene, skd
X1 +X2 +...+Xn (t) = E

n
Y

ei(t,Xj ) =

j=1

n
Y

Eei(t,Xj ) =

j=1

n
Y

Xj (t).

j=1

2.3. Przykady.
(I) Zamy najpierw, e X jest d-wymiarow zmienn losow o rozkadzie skokowym i niech
SX oznacza zbir atomw. Bezporednio z definicji mamy, i
X (t) =

ei(t,x) PX ({x}).

xSX

W szczeglnoci:
1) Jeli PX = a , a Rd , to X (t) = ei(t,a) . Co wicej, jeli a = 0, to X 1.
2) Zamy, e PX =Pois(), > 0. Mamy
X (t) =

X
k=0

eitk

X
(eit )k
k
it
it
e = e
= e ee = e(e 1) .
k!
k!
k=0

3) PX =B(n, p). Niech X1 , X2 , . . . , Xn bd niezalenymi zmiennymi losowymi o tym samym rozkadzie P(Xi = 1) = p = 1 P(Xi = 0). Poniewa X1 + X2 + . . . + Xn ma ten sam
rozkad co X, to
X (t) = X1 +X2 +...+Xn (t) = X1 (t)X2 (t) . . . Xn (t)
= (X1 (t))n = (1 + p(eit 1))n .
(II) Zamy teraz, e X jest d-wymiarow zmienn losow o rozkadzie cigym z gstoci
g. Z definicji mamy, i
Z
X (t) =

ei(t,x) g(x)dx.

Rd

W szczeglnoci:
4) Jeli PX jest rozkadem jednostajnym na przedziale [a, b], to
1
X (t) =
ba

Z b
a

eitx dx =

1
(eitb eita ).
it(b a)

Jeli b = a, to X jest funkcj rzeczywist i X (t) =

sin(tb)
tb .

17

2.3. Przykady.

5) Jeli PX = N (m, 2 ), m R, > 0, to


(x m)2
1
exp
g(x) =
2 2
2

oraz
X (t) = eitm e

()

2 t2 /2

(w szczeglnoci, dla standardowego rozkadu normalnego, dostajemy (t) = et /2 ).


Istotnie, wemy X jak wyej. Zmienna (X m)/ ma standardowy rozkad normalny i
X (t) = Xm +m (t) = (Xm)/ (t)eitm .

Zatem wystarczy udowodni wzr (*) dla rozkadu N (0, 1). Zamy wic, e X ma ten rozkad
i zauwamy najpierw, e X jest funkcj rzeczywist, gdy rozkad X jest symetryczny. Zatem
1
2
cos(tx) ex /2 dx
2
R

X (t) =
oraz
0X (t)

1
2
sin(tx) (x)ex /2 dx
2
R
Z

1
1
2
x2 /2
t cos(tx)ex /2 dx = tX (t).
= sin(tx)e

2
2 R
Z

Dodatkowo, jak wiemy, X (0) = 1: std X (t) = et /2 .


Oglniej, jeli X ma d-wymiarowy rozkad normalny z gstoci



detA
1
g(x) =
exp (A(x m), x m)
2
(2)d/2
(gdzie A to pewna macierz d d symetryczna i dodatnio okrelona, a m jest pewnym wektorem
z Rd ), to
1
X (t) = ei(m,t) e(A t,t)/2 .
Dowd tego faktu przeprowadzimy nieco pniej.
Przejdziemy teraz do twierdzenia o jednoznacznoci: okazuje si, e funkcja charakterystyczna wyznacza rozkad jednoznacznie.

Twierdzenie 2.2 (O jednoznacznoci). Jeli P , P 0 s rozkadami prawdopodobiestwa


w Rd takimi, e P (t) = P 0 (t) dla wszystkich t Rd , to P = P 0 .

Zanim podamy dowd, najpierw sformuujmy wniosek.


Stwierdzenie 2.1. Zmienne losowe X1 , X2 , . . . , Xn s niezalene wtedy i tylko wtedy, gdy
()

(X1 , X2 , ..., Xn ) (t1 , t2 , . . . , tn ) = X1 (t1 )X2 (t2 ) . . . Xn (tn )

dla wszystkich (t1 , t2 , . . . , tn ) Rn .

2. Funkcje charakterystyczne rozkadw prawdopodobiestwa w Rd

18
Dowd:. Mamy

(X1 , X2 , ..., Xn ) (t1 , t2 , . . . , tn ) = P(X1 , X2 , ..., Xn ) (t1 , t2 , . . . , tn )


= PX1 PX2 ...PXn (t1 , t2 , . . . , tn )

=
Rn

n
Y

exp i

n
X

tj xj PX1 (dx1 ) . . . PXn (dxn )

j=1

j=1 R

eitj xj PXj (dxj ) =

n
Y

Xj (tj ),

j=1

gdzie w przedostatnim przejciu korzystalimy z twierdzenia Fubiniego.


Korzystajc z przed chwil udowodnionej implikacji, moemy zapisa (*) w postaci
P(X1 , X2 , ..., Xn ) (t1 , t2 , . . . , tn ) = PX1 PX2 ...PXn (t1 , t2 , . . . , tn ),
a wic twierdzenie o jednoznacznoci daje
P(X1 , X2 , ..., Xn ) = PX1 PX2 . . . PXn ,
czyli niezaleno zmiennych X1 , X2 , . . . , Xn .
W dowodzie twierdzenia o jednoznacznoci bdziemy potrzebowa nastpujcego pomocniczego faktu.

Twierdzenie 2.3 (Weierstrass). Zamy, e f : R R jest cig funkcj okresow.


Wwczas istnieje cig (wn ) wielomianw trygonometrycznych o tym samym okresie
co f , zbieny jednostajnie do f . (wielomian trygonometryczny o okresie T to funkcja
P
w : R R postaci w(x) = nk=0 [k sin(kx 2/T ) + k cos(kx 2/T )].)

Dowd twierdzenia o jednoznacznoci (tylko dla d = 1):. Wystarczy udowodni, e dla dowolnej funkcji f C(R) mamy
Z

f dP =

()
R

f dP 0 .

Z zaoenia, (*) zachodzi dla funkcji x 7 eitx , x R, przy kadym ustalonym t R. Zatem, z
liniowoci, powysza rwno ma miejsce dla dowolnego wielomianu trygonometrycznego; mamy
bowiem sin(tx) = (eitx eitx )/(2i), cos(tx) = (eitx + eitx )/2. Na mocy twierdzenia Weierstrassa, (*) jest prawdziwa dla dowolnej funkcji cigej okresowej. Niech teraz f bdzie dowoln
funkcj cig i ograniczon. Istnieje cig (fn ) funkcji cigych i okresowych o nastpujcej
wasnoci:
f (x) = fn (x) dla x [n, n] oraz sup |fn (x)| sup |f (x)|.
xR

xR

Mamy, na mocy nierwnoci trjkta,


Z
Z
Z
Z
Z
Z




0
0
f dP

f
dP

|f

f
|dP
+
f
dP

f
dP
|f fn |dP 0
n
n
n



+
R
R
R
R
ZR
Z R

=
[n,n]c

|f fn |dP + 0 +

[n,n]c
0

|f fn |dP 0

2 sup |f (x)| P ([n, n]c ) + P ([n, n]c ) 0




xR

gdy n . Std otrzymujemy tez. W przypadku oglnym (tzn. dla d > 1) dowd jest bardzo
podobny; rol twierdzenia Weierstrassa peni oglniejsze twierdzenie Stonea-Weierstrassa.

19

2.3. Przykady.

Rozkady Gaussa (rozkady normalne) w Rd . Zamy, e X ma rozkad normalny w


Rd , o wartoci ozekiwanej m i macierzy kowariancji . Udowodnimy, e
X (t) = ei(t,m)(t,t)/2 .
Istotnie, niech Y1 , Y2 , . . ., Yd bd niezalenymi zmiennymi losowymi o standarowym rozkadzie
normalnym na R i niech Z = BY + m, gdzie B jest macierz d d i m Rd . Mamy
Y (t) = e|t|
Z (t) = ei(t,m) Y (B T t) = ei(t,m)(B

2 /2

T t,B T t)/2

= ei(t,m)(BB

T t,t)/2

Zauwamy, e BB T jest macierz symetryczn, nieujemnie okrelon. Co wicej, kada macierz symetryczna d d nieujemnie okrelona da si ta zapisa; std, dla dowolnej nieujemnie
okrelonej symetrycznej macierzy o wymiarach d d i dowolnego wektora m Rd , funkcja
(t) = ei(t,m)(t,t)/2
jest funkcj charakterystyczn dokadnie jednego rozkadu prawdopodobiestwa w Rd . Rozkady tej postaci nazywamy rozkadami Gaussa w Rd . Zauwamy, e niektre rozkady Gaussa nie
maj gstoci.
Bezporednio z definicji dostajemy nastpujce wnioski.
Stwierdzenie 2.2. Zamy, e X ma rozkad Gaussa w Rd , a A jest macierz n d i m Rn .
Wwczas AX + m ma rozkad Gaussa w Rn .
Stwierdzenie 2.3. Jeli X, Y s niezalenymi zmiennymi losowymi o rozkadach Gaussa w
Rd o wartociach oczekiwanych mX , mY oraz macierzach kowariancji 1 , 2 , odpowiednio, to
X + Y ma rozkad Gaussa w Rd o wartoci redniej mX + mY oraz macierzy 1 + 2 .
Przechodzimy do kolejnego bardzo wanego faktu, czcego zbieno wedug rozkadu ze
zbienoci funkcji charakterystycznych.

Twierdzenie 2.4 (Levy - Cramera). Zamy, e Pn (n = 1, 2, . . .) s rozkadami


prawdopodobiestwa w Rd .
(i) Jeli Pn P , to dla kadego t Rd , Pn (t) P (t).
(ii) Jeli dla kadego t Rd mamy Pn (t) (t), gdzie -pewna funkcja ciga w
0, to = P dla pewnego rozkadu P i Pn P .

Dowd:. (i) Z definicji zbienoci wedug rozkadu mamy, dla dowolnego t Rd ,


Z

Pn (t) =

Z
d

cos(x, t)Pn (dx) + i

ZR

sin(t, x)Pn (dx)

ZR

cos(x, t)P (dx) + i


Rd

sin(t, x)P (dx) =


Rd

Rd

ei(t,x) (dx) = P (t).

(ii) Zacznijmy od pomocniczego faktu.


Lemat 2.1. Jeli Pn (t) (t) dla t nalecych do pewnego otoczenia 0 i jest ciga w 0,
to rodzina {Pn }n jest ciasna.

2. Funkcje charakterystyczne rozkadw prawdopodobiestwa w Rd

20

Dowd lematu:. Wprowadmy oznaczenie Qa = [a, a] [a, a] . . . [a, a] Rd . Przypumy,


wbrew tezie, e rodzina {Pn } nie jest ciasna. Wwczas istnieje > 0 o tej wasnoci, i przy
kadym k N mamy Pnk (Qk ) < 1 dla pewnego nk . Zauwamy, i nk ; istotnie, w
przeciwnym razie pewna liczba m znalazaby si w cigu (nk )k nieskoczenie wiele razy, co
prowadzioby do nierwnoci Pm (Rd ) 1 ; sprzeczno.
Poniewa jest ciga w 0, to Re take ma t wasno; ponadto, na mocy zbienoci
punktowej, Re(0) = (0) = 1. Wobec tego istnieje takie a > 0, e dla kadego t Qa mamy
Pn (t) (t) oraz Re(t) > 1 /2. Dalej,

Qa

(t)dt

Re(t)dt (1 /2)(2a)d ,

Qa


Z Z
Z Z



i(t,x)
i(t,x)




e
dtPnk (dx)
e
Pnk (dx)dt =
Pnk (t)dt =
d
d
R
Qa
Qa R
Qa


Z Z
Z Z




i(t,x)
i(t,x)


e
dt Pnk (dx)
e
dt Pnk (dx) +

Qk

Qa

Qk

Qa

(2a) Pnk (Qk ) + T,


gdzie
Z

T =

Qck

Qa




Y
Z a

d
itj xj


dt
e
j Pnk (dx).

Qck j=1 a


Z

ei(t,x) dt Pnk (dx) =

Ustalmy teraz x Qck . Istnieje wsprzdna xl punktu x wiksza co do moduu ni k, zatem





d Z a
eial xl eial xl
Y





eitj xj dtj (2a)d1
2(2a)a1 /k.



ix

j=1

Std
(2a)d Pnk (Qk ) + T (2a)d Pnk (Qk ) + 2(2a)d1 Pnk (Qck )/k
k

(2a)d (1 ) + 2(2a)d1 /k (2a)d (1 ).


Ale na mocy twierdzenia Lebesguea,
/2) < (2a)a (1 ).

R
Qa

Pnk (t)dt

R
Qa

(t)dt; std sprzeczno: (2a)d (1

Przechodzimy do dowodu czci (ii) twierdzenia Levy-Cramera. Powyszy lemat oraz twierdzenie Prochorowa daj istnienie miary probabilistycznej P na Rd oraz podcigu (Pnk )k zbiek

nego sabo do P . Na mocy czci (i) twierdzenia Levy-Cramera, mamy Pnk (t) P (t),
skd (t) = P (t). Pozostaje jeszcze Rtylko udowodni,
e Pn P . Przypumy przeciwnie, i
R
d
dla pewnej funkcji f C(R ) mamy Rd f dPn 6 Rd f dP ; std, dla pewnego podcigu (mk ),
Z

()
Rd

f dPmk 6=

f dP.
Rd

Ale na mocy lematu, rodzina (Pmk ) take jest ciasna, std z twierdzenia Prochorowa istnieje
podcig (mkj ) oraz miara probabilistyczna P 0 taka, e Pmkj P 0 . Zatem, korzystajc z (i),
Pmk (t) P 0 (t), czyli P = P 0 . Sprzeczno z (*) koczy dowd.
j

Na zakoczenie zaprezentujemy twierdzenie o odwrceniu, pozwalajce odczyta gsto rozkadu za pomoc jego funkcji charakterystycznej. Analogiczny fakt dla zmiennych dyskretnych
jest treci zadania 10 poniej.

21

2.4. Zadania

Twierdzenie 2.5. Zamy, e P jestR rozkadem prawdopodobiestwa w Rd o funkcji


charakterystycznej P . Wwczas jeli Rd |P (t)|dt < , to P ma cig ograniczon
gsto g dan wzorem
g(x) =

1
(2)d

Z
Rd

ei(t,x) P (t)dt.

Dowd:. Rozwamy funkcj


1
2 2
ei(t,x) P (t)e|t| /2 dt
d
d
(2) R
Z
Z
1
2 2
i(t,x)
e
ei(t,y) P (dy)e|t| /2 dt
d
(2) Rd
Rd
Z
Z
d
1

2 2
ei(t,yx) e|t| /2 dtP (dy)
d/2
d/2
d
d
d
(2) R (2)
R
Z
1
2
2
e|yx| /(2 ) P (dy),
d/2
d
(2) Rd
Z

g (x) =
=
=
=

2 2

gdzie w trzecim przejciu skorzystalimy z twierdzenia Fubiniego (dziki czynnikowi e|t| /2


wyraenie podcakowe jest cakowalne), a w czwartym uylimy faktu, i wewntrzna caka to
funkcja charakterystyczna rozkadu N (0, 2 ) w punkcie y x. Jak wida, ostatnie wyraenie to
splot rozkadu P z rozkadem N (0, 2 ), w punkcie x; innymi sowy, jeli X, Y s niezalenymi
zmiennymi o rozkadach P i N (0, 1), odpowiednio, to X + Y ma rozkad z gstoci g . Na
mocy cakowalnoci funkcji charakterystycznej
i twierdzenia Lebesguea, mamy g (x)
g(x) dla
R
R
kadego x R. Wykaemy teraz, e Rd g = 1. Oczywicie, na mocy lematu Fatou, Rd g 1. By
udowodni nierwno przeciwn, wemy > 0 oraz tak liczb M > 0, by P ((M, M )) > 1.
Poniewa X + Y X P , to
1 lim inf P(X + Y (M, M )) = lim inf
0+

0+

Z M

Z M
M

g (x)dx =

g(x)dx,
M

i z dowolnoci dostajemy, i g jest gstoci. Wystarczy teraz skorzysta z zadania 7 z pierwszego rozdziau: punktowa zbieno g g pociga za sob, i (X + Y ) zbiega, przy 0+,
do rozkadu o gstoci g; std teza.

2.4. Zadania
1. Rozstrzygn, czy podane niej funkcje s funkcjami charakterystycznymi i jeli tak,
poda odpowiedni rozkad.
a) cos t,

b) cos2 t,

c)

1
(1 + eit )2 ,
4

d)

1 + cos t
,
2

e) (2 eit )1 .

2. Niech 1 , 2 , . . ., n bd funkcjami charakterystycznymi pewnych rozkadw. Udowodni, i dowolna kombinacja wypuka tych funkcji jest funkcj charakterystyczn pewnego
rozkadu.
3. Dany jest cig (Xn ) niezalenych zmiennych losowych o tym samym rozkadzie. Zmienna
losowa N jest od nich niezalena i ma rozkad Poissona z parametrem . Wyznaczy funkcj

2. Funkcje charakterystyczne rozkadw prawdopodobiestwa w Rd

22

charakterystyczn zmiennej X1 + X2 + . . . + XN .
4. Niech bdzie funkcj charakterystyczn pewnego rozkadu. Rostrzygn, czy
a) 2 ,

c) ||2 ,

b) Re,

d) ||

s funkcjami charakterystycznymi.
5. Zmienne X, Y s niezalene, przy czym X oraz X + Y maj rozkady normalne. Udowodni, e Y ma rozkad normalny lub jest staa p.n..
6. Zmienne losowe X, Y s niezalene, przy czym X ma rozkad jednostajny U (0, 1), a Y
ma rozkad zadany przez
1
,
n

P(Y = k) =

k = 0, 1, 2, . . . , n 1.

Wyznaczy rozkad zmiennej X + Y .


7. Zmienne losowe X1 , X2 , . . . , Xn s niezalene i maj ten sam rozkad, przy czym zmienna
X1 + X2 + . . . + Xn ma rozkad normalny N (0, 1). Wyznaczy rozkad zmiennych Xi .
8. Zmienna losowa X ma rozkad jednostajny U (1, 1). Czy istnieje niezalena od niej
zmienna Y taka, e rozkady zmiennych X + Y oraz 21 Y s takie same?
9. Funkcja charakterystyczna zmiennej losowej X ma drug pochodn w zerze. Udowodni,
e EX 2 < .
10. Zmienna losowa X przyjmuje wartoci cakowite. Udowodni, e
1
P(X = k) =
2

eikt X (t)dt,

k Z.

11. Udowodni, e dla p > 2 funkcja (t) = e|t| nie jest funkcj charakterystyczn adnego
rozkadu.
12. Udowodni, e (t) = e|t| jest funkcj charakterystyczn rozkadu Cauchyego w R,
tzn. rozkadu o gstoci
1 1
g(x) =
.
1 + x2
13. Niech X1 , X2 , . . . bd niezalenymi zmiennymi losowymi o rozkadzie jednostajnym na
przedziale [1, 1]. Zdefiniujmy
Yn =

sgn Xn
,
|Xn |1/

n = 1, 2, . . . ,

gdzie (0, 2) jest ustalone. Udowodni, e cig


Y1 + Y2 + . . . + Yn
n1/
jest zbieny wedug rozkadu i wyznaczy funkcj charakterystyczn rozkadu granicznego.

23

2.4. Zadania

14. Udowodni, e jeli Pn (n = 1, 2, . . .) s rozkadami Gaussa w Rd i Pn P , to P jest


rozkadem Gaussa.
15. Rzucamy monet, dla ktrej prawdopodobiestwo wypadnicia ora wynosi p, a do
momentu, gdy uzyskamy n orw (cznie, niekoniecznie pod rzd). Niech Xp oznacza liczb
rzutw. Udowodni, e (2pXp ) jest zbieny wedug rozkadu gdy p 0.
16. Niech X bdzie zmienn losow o funkcji charakterystycznej X . Udowodni, e nastpujce warunki s rwnowane.
(i) Istnieje a 6= 0 takie, e |X (a)| = 1.
(ii) Istniej b, c R takie, e zmienna X jest skoncentrowana na zbiorze {ck + b : k Z}.
17. Dany jest cig (Xn ) niezalenych zmiennych losowych o tym samym rozkadzie, zadaP
n X jest zbieny p.n. i
nym przez P(Xn = 0) = P(Xn = 1) = 1/2. Wykaza, e szereg
n
n=1 2
wyznaczy rozkad sumy tego szeregu.
18. Dla a R, niech
(

a (t) =

1 + a|x|
1+a

jeli |x| 1,
jeli |x| > 1.

Dla jakich wartoci parametru a funkcja a jest funkcj charakterystyczn rozkadu pewnej
zmiennej losowej?
19. Zamy, e jest rozkadem prawdopodobiestwa o funkcji charakterystycznej . Udowodni, e dla dowolnego r > 0 zachodzi nierwno
([r, r]) 1
oraz
([0, r]) r

r
2

Z 2/r

(1 (s))ds

2/r

Z /2r
/2r

|(s)|ds.

3. Centralne Twierdzenie Graniczne


Centralne twierdzenie graniczne dotyczy zachowania si rozkadu sum niezalenych zmiennych losowych, przy odpowiedniej normalizacji i pewnych dodatkowych zaoeniach. Intuicyjnie,
suma duej liczby maych, niezalenych zmiennych losowych ma rozkad normalny. Gwny
wynik niniejszego rozdziau jest nastpujcy.

Twierdzenie 3.1 (Lindeberg). Zamy, e dla kadego n, zmienne X1n , X2n , . . .,


Xrn n s niezalenymi zmiennymi losowymi o redniej 0, takimi, e
rn
X

2
EXkn
1.

k=1

Dodatkowo, zamy, e jest speniony warunek Lindeberga


(L)

rn
X

2
EXkn
1{|Xkn |>} 0

dla kadego > 0.

k=1

Wwczas X1n + X2n + . . . + Xrn n N (0, 1).

Powstaje tu naturalne pytanie, co tak naprawd mwi warunek Lindeberga. Intuicyjnie rzecz
biorc, oznacza on, i przy n zbiegajcym do nieskoczonoci, zmienne X1n , X2n , . . ., Xrn n
s rwnie mae. Innymi sowy, w n-tym wierszu nie ma zmiennych losowych, ktre byyby
dominujce w stosunku do pozostaych. cilej, mamy nastpujce dwie wasnoci.
Wnioski z warunku Lindeberga
P
0. Istotnie, dla kadego > 0,
1. Mamy maxkrn |Xkn |
P(max |Xkn | > ) = P
krn

rn
[

{|Xkn | > }

k=1
rn
X

rn
X

P(|Xkn | > )

k=1
n

2
EXkn
1{|Xkn |>} 0.

k=1
2 0. Rzeczywicie, dla dowolnego > 0,
2. Mamy maxkrn EXkn

2
2
2
EXkn
= EXkn
1{|Xkn |>} + EXkn
1{|Xkn |}

rn
X

2
EXln
1{|Xln |>} + 2 22 ,

l=1

o ile n jest dostatecznie due.


Sformuujmy teraz nieco inn wersj CTG.
c Oskowski, Uniwersytet Warszawski, 2011.
Wykad z Rachunku Prawdopodobiestwa II

25

Twierdzenie 3.2. Zamy, e X1 , X2 , . . . , s niezalenymi zmiennymi losowymi


P
cakowalnymi z kwadratem, mn := EXn , n2 =VarXn , b2n = nk=1 n2 . Jeli jest speniony warunek Lindeberga
(L)

b2
n

n
X

E|Xk mk |2 1{|Xk mk |>bn } 0,

k=1

to

X1 + X2 + . . . + Xn m1 m2 . . . mn
N (0, 1).
bn

Dowd. Wynika to bezporednio z twierdzenia Lindeberga, przy rn = n, Xkn = (Xk mk )/bn .


Powstaje naturalne pytanie: kiedy warunek Lindeberga jest speniony? Podamy tu kilka
wasnoci wymuszajcych ten warunek.
Stwierdzenie 3.1. Zamy, e X1 , X2 , . . . s niezalene i maj ten sam rozkad o dodatniej
wariancji. Oznaczmy m = EX1 , 2 =VarX1 . Wwczas warunek Lindeberga jest speniony i
X1 + X2 + . . . + Xn nm

N (0, 1).
n
Dowd:. Wystarczy sprawdzi warunek Lindeberga. Mamy
n
1 X
1
E|Xn m|2 1{|Xn m|>n} = 2 E|X1 m|2 1{|X1 m|>n} 0,
n 2 k=1

na mocy twierdzenia Lebesguea.


Sprawdzenie dwch poniszych warunkw pozostawiamy jako wiczenie.
Stwierdzenie 3.2. Zamy, e X1 , X2 , . . . s wsplnie ograniczonymi niezalenymi zmienP
nymi losowymi speniajcymi warunek nk=1 VarXk . Wwczas speniony jest warunek
Lindeberga.
Stwierdzenie 3.3 (Lapunow). Zamy, e dla kadego n, X1n , X2n , . . ., Xrn n s niezalenymi,
scentrowanymi zmiennymi losowymi speniajcymi warunki
rn
X

2
EXkn
1

k=1

oraz

rn
X

E|Xkn |2+ 0

dla pewnego > 0.

k=1

Wwczas jest speniony warunek Lindeberga.


Przechodzimy do dowodu twierdzenia Lindeberga.
Lemat 3.1. Zamy, e a1 , a2 , . . . , an , b1 , b2 , . . . , bn s liczbami zespolonymi, z ktrych kada
ma modu niewikszy ni 1. Wwczas
|a1 a2 . . . an b1 b2 . . . bn |

n
X
k=1

|ak bk |.

26

3. Centralne Twierdzenie Graniczne

Dowd:. Stosujemy indukcj. Dla n = 1 nierwno jest oczywista. Dalej, zamy, e jest ona
prawdziwa dla pewnego n sprbujmy j udowodni dla n + 1. Oznaczajc a = a1 a2 . . . an ,
b = b1 b2 . . . bn , mamy
|a1 a2 . . . an+1 b1 b2 . . . bn+1 | = |aan+1 bbn+1 |
|aan+1 abn+1 | + |abn+1 bbn+1 |
= |a||an+1 bn+1 | + |bn+1 ||a b|

n+1
X

|ak bk |,

k=1

co koczy dowd.
Lemat 3.2. Dla dowolnego y R oraz k = 0, 1, 2, . . . mamy


iy
e

(iy)2
(iy)k
1 + iy +
+ ... +
2!
k!

!

|y|k+1

.


(k + 1)!

Dowd:. Stosujemy indukcj. Dla k = 0 mamy


|e

iy


Z y


ix

e dx |y|.
1| = i
0

Dalej, zamy, e nierwno zachodzi dla pewnego k. Wwczas



!

(iy)2
(iy)k+1
iy
+ ... +
e 1 + iy +


2!
(k + 1)!
Z
!


2
k
y
(ix)
(ix)


eix 1 + ix +
= i
+ ... +
dx
0

2!
k!

!
Z |y|
(ix)2
(ix)k
ix

+ ... +
e 1 + ix +
dx
2!
k!
0
Z |y|
k+1
k+2

x
|y|
dx =
.
(k + 1)!
(k + 2)!

Dowd jest zakoczony.


2 )1/2 , k = 1, 2, . . . , r , n = 1, 2, . . ..
Dowd twierdzenia Lindeberga:. Oznaczmy kn = (EXkn
n
Na mocy twierdzenia Levy-Cramera wystarczy udowodni, e dla kadego t R, X1n +X2n +...+Xrn n (t)
2
et /2 . Ustalmy wic t R. Mamy

An :=|X1n +X2n +...+Xrn n (t) e

t2 /2

r

rn
n
Y

Y
2 t2 /2

kn
|=
Xkn (t)
e



k=1

k=1

2 Prn 2

2


+ et k=1 kn /2 et /2 .
{z
}
|
Dn

Stosujemy teraz pierwszy z powyszych lematw oraz fakt, i ex = 1 x + r(x), gdzie


x0
r(x)/x 0. W konsekwencji,


rn
rn
2 t2
X
kn

X
2
|r(t2 kn
/2)| +Dn .
An
Xkn 1 +
+


2
k=1
k=1
|
{z
} |
{z
}
Bn

Cn

27
Wystarczy wykaza, e (Bn ), (Cn ), (Dn ) d do 0. Zbieno cigu (Dn ) do 0 jest oczywista
Pn
2 1. Zajmijmy si teraz cigiem (C ). Ustalmy > 0. Istnieje
na mocy warunku rk=1
kn
n
> 0 taka,e jeli |x| < , to |r(x)/x| < . Jak ju wiemy, warunek Lindeberga pociga za sob,
2 /2 < , a co za tym idzie,
i dla dostatecznie duych n, maxkrn t2 kn


rn
rn

2 2
X
t2 X
t2
r(t kn /2) 2 2
2
kn

,
Cn =
2 2
t kn /2 <
t kn /2
2 k=1
2
k=1

a wic cig (Cn ) zbiega do 0. Wreszcie, dla ustalonego > 0, korzystajc z drugiego z powyszych
lematw (z k = 2 oraz z k = 3),





2 t2
kn



2
/2)
Xkn 1 +
= E(eitXkn 1 itXkn + t2 Xkn


2



itXkn
2
1 itXkn + t2 Xkn
/2 1{|Xkn |}
E e




2
/2 1{|Xkn |>}
+ E eitXkn 1 itXkn + t2 Xkn


2
|Xkn t|3
t2 Xkn


E
1{|Xkn |} + E eitXkn 1 itXkn 1{|Xkn |>} + E
1{|Xkn |>}

6
2
|t|3 2
t2 Xkn

kn + 2E
1{|Xkn |>} .
6
2

Zatem
Bn

rn
rn
X
2|t|3
|t|3 X
2
2

kn
+ t2
EXkn
1{|Xkn |>}
+
6 k=1
6
k=1

dla dostatecznie duych n. Std teza.


Jako wniosek, otrzymujemy

Twierdzenie 3.3 (de Moivrea-Laplacea). Zamy, e n ma rozkad Bernoulliego


z parametrami n, p. Wwczas
n np
N (0, 1).
np(1 p)

Dowd:. Niech X1 , X2 , . . . bd niezalenymi zmiennymi losowymi o tym samym rozkadzie


dwupunktowym P(Xn = 0) = 1 p, P(Xn = 1) = p. Mamy
n np
X1 + X2 + . . . + Xn np
p

np(1 p)
np(1 p)

i wystarczy skorzysta z odpowiedniej wersji CTG.


Sformuujmy teraz uoglnienie twierdzenia Lindeberga. Dowodzi si je w sposb analogiczny.

28

3. Centralne Twierdzenie Graniczne

Twierdzenie 3.4. Zamy, e dla kadego n zmienne X1n , X2n , . . ., Xrn n s niezalene i cakowalne z kwadratem. Oznaczmy mkn := EXkn i przypumy, e
rn
X

EXkn m,

k=1

rn
X

VarXkn 2

k=1

oraz
rn
X

(L)

E(Xkn mkn )2 1{|Xkn mkn |>} 0.

k=1

Wwczas X1n + X2n + . . . + Xrn n N (m, 2 ).

Centralne twierdzenie graniczne pozwala bada zachowanie dystrybuant sum niezalenych


zmiennych losowych. Istotnie, zbieno

X1 + X2 + . . . + Xn (m1 + m2 + . . . + mn )
N (0, 1)
bn

jest rwnowana zbienoci punktowej dystrybuant:

X1 + X2 + . . . + Xn (m1 + m2 + . . . + mn )
x (x)
P
bn
Z x
1
2
=
ey /2 dy.
2


Co wicej, zbieno jest jednostajna wzgldem x R (por. zadanie 9 z rozdziau o sabej


zbienoci). Zatem dla kadego > 0 istnieje numer n0 taki, e dla n n0 ,

sup |P(X1 + X2 + . . . + Xn xbn + (m1 + m2 + . . . + mn )) (x)| < ,


xR

czyli




y m1 m2 . . . mn

sup P(X1 + X2 + . . . + Xn y)
< .
b
yR

Powstaje naturalne pytanie w jaki sposb wyznacza n0 w zalenoci od ; innymi sowy, w


jaki sposb szacowa bd zwizany z przyblieniem dysrtybuanty sumy przez dystrybuant
standardowego rozkadu normalnego.

29

3.1. Zadania

Twierdzenie 3.5 (Nierwno Berry-Essena). Zamy, e X1 , X2 , . . ., s niezalenymi scentrowanymi zmiennymi losowymi o tym samym rozkadzie i niech 2 =VarXn >
0, := E|Xn |3 < . Wwczas





X1 + X2 + . . . + Xn
c

sup P
x (x) 3 ,
n
n
xR

gdzie jako c mona wzi 0, 7655 (optymalna - czyli najmniejsza moliwa - warto c
nie jest znana).
W szczeglnoci, przy zaoeniach twierdzenia de Moivrea-Laplacea,



sup P
xR


p2 + (1 p)2
n np

p
x (x) c p
.

np(1 p)
np(1 p)

Jest to niezwykle uyteczny rezultat z punktu widzenia konkretnych zastosowa: w sposb


jawny okrela on tempo zbienoci.

3.1. Zadania
1. Sumujemy 10 000 liczb, kad zaokrglon z dokadnoci do 10m . Przypumy, e
bdy spowodowane przez zaokrglenia s niezalenymi zmiennymi losowymi o rozkadzie jednostajnym na przedziale (10m /2, 10m /2). Znale przedzia (moliwie krtki), do ktrego z
prawdopodobiestwem 0, 95 bdzie nalea bd cakowity (tzn. po zsumowaniu).
2. Obliczy
lim e

n
X
nk
k=0

k!

3. Udowodni Stwierdzenie 10 oraz Stwierdzenie 11.


4. Dany jest cig (Xn ) niezalenych zmiennych losowych, przy czym dla n 1,
1
1
1
1 2 , P(Xn = n) = P(Xn = n) = 2 .
P(Xn = 1) = P(Xn = 1) =
2
n
2n


Udowodni, e
X1 + X2 + . . . + Xn

N (0, 1),
n
mimo i limn VarXn = 2.
5. Zmienne losowe X1 , X2 , . . . s niezalene, przy czym dla n 1, P(Xn = n) = P(Xn =
P
n) = 1/2. Niech s2n = nk=1 VarXk . Czy cig zmiennych losowych
X1 + X2 + . . . + Xn
sn
jest zbieny wedlug rozkadu, a jeli tak, to do jakiej granicy?
6. Zamy, e X jest zmienn losow speniajc warunki

30

3. Centralne Twierdzenie Graniczne

(i) EX 2 < ,

(ii) Jeli Y , Z s niezalene i maj ten sam rozkad co X, to X (Y + Z)/ 2.


Wykaza, e X ma rozkad Gaussa o redniej 0.
7. Rzucono 900 razy kostk. Sumujemy oddzielnie parzyste liczby oczek i nieparzyste liczby
oczek. Jakie jest przyblione prawdopodobiestwo tego, e suma parzystych liczb oczek bdzie
o co najmniej 500 wiksza od sumy nieparzystych liczb oczek?
8. Liczba studentw przyjtych na pierwszy rok jest zmienn losow o rozkadzie Poissona z parametrem 100. Jeli ta liczba przekroczy 120, tworzy si 2 grupy wykadowe. Obliczy
przyblione prawdopodobiestwo (korzystajc z CTG), e nie trzeba bdzie tworzy dwch grup.
9. Dane s dwa cigi (Xn ), (Yn ) niezalenych zmiennych losowych, przy czym zmienne (Xn )
maj ten sam rozkad wykadniczy z parametrem 1, a (Yn ) maj rozkad Poissona z parametrem
1. Zbada zbieno wedug rozkadu cigu
(X1 + X2 + . . . + Xn )2 (Y1 + Y2 + . . . + Yn )2

.
n n

4. Warunkowa warto oczekiwana


Warunkowa warto oczekiwana jest jednym z kluczowych poj w teorii prawdopodobiestwa. Zacznijmy od sytuacji gdy warunkujemy wzgldem zdarzenia.
Definicja 4.1. Zamy, e (, F, P) jest przestrzeni probabilistyczn oraz B jest zdarzeniem
o dodatnim prawdopodobiestwie. Niech X bdzie cakowaln zmienn losow. Warunkow
wartoci oczekiwan X pod warunkiem B nazywamy liczb
Z

E(X|B) =

X()P(d|B).

Stwierdzenie 4.1. Przy zaoeniach jak wyej,


Z
1
()
E(X|B) =
XdP.
P(B) B
Dowd:. Stosujemy standardow metod komplikacji zmiennej X.
1. Zamy najpierw, e X = 1A , gdzie A F. Wwczas
E(X|B) = P(A|B) =

P(A B)
1
=
P(B)
P(B)

1A dP.
B

2. Z liniowoci, dowodzona rwno zachodzi take dla zmiennych prostych (kombinacji


liniowych indykatorw zdarze).
3. Teraz jeli X jest nieujemn zmienn losow, to bierzemy niemalejcy cig (Xn ) zmiennych
prostych zbieny prawie na pewno do X. Piszc (*) dla Xn i zbiegajc z n dostajemy (*)
dla X, na mocy twierdzenia Lebesguea o monotonicznym przejciu do granicy pod znakiem
caki.
4. Jeli X jest dowoln zmienn losow, to rozwaamy rozbicie X = X+ X i stosujemy
(*) dla X+ oraz X ; po odjciu stronami dostajemy (*) dla X.
Przechodzimy do definicji warunkowej wartoci oczekiwanej wzgldem -ciaa.
Definicja 4.2. Zamy, e (, F, P) jest przestrzeni probabilistyczn, M jest pod--ciaem
F, a X jest cakowaln zmienn losow. Warunkow wartoci oczekiwan X pod warunkiem
M nazywamy tak zmienn losow , e s spenione nastpujce dwa warunki.
1) jest mierzalna wzgldem M.
2) Dla kadego B M,
Z
Z
dP =
B

XdP.
B

Oznaczenie: E(X|M).
W szczeglnoci gdy X = 1A , A F, to definiujemy prawdopodobiestwo warunkowe
zdarzenia A pod warunkiem M poprzez P(A|M) = E(1A |M).
Twierdzenie 4.1. Zamy, e X jest cakowaln zmienn losow, a M jest
pod--ciaem F. Wwczas warunkowa warto oczekiwana istnieje i jest wyznaczona
jednoznacznie z dokadnoci do rwnoci p.n.

c Oskowski, Uniwersytet Warszawski, 2011.


Wykad z Rachunku Prawdopodobiestwa II

32

4. Warunkowa warto oczekiwana


R

Dowd:. Dla dowolnego B M definiujemy (B) = B XdP. Funkcja : M R jest przeliczalnie addytywn funkcj zbioru. Ponadto jeli P(B) = 0, to (B) = 0 (jest to tzw. absolutna
cigo wzgldem P). Na mocy twierdzenia Radona-Nikodyma istnieje M-mierzalna zmienna
losowa bdca gstoci wzgldem P, tzn. taka, e dla wszystkich B M,
Z

XP = (B) =
B

dP.
B

Jednoznaczno jest oczywista: jeli 1R, 2 s zmiennymi


losowymi speniajcymi 1) oraz 2), to
R
w szczeglnoci, dla kadego B M, B 1 dP = B 2 dP, skd 1 = 2 p.n.
Uwaga: Warto tu przyjrze si warunkowej wartoci oczekiwanej zmiennej X wzgldem
-ciaa M generowanego przez co najwyej przeliczalne rozbicie (Bn ) zbiorw o dodatnim
prawdopodobiestwie. Bardzo atwo wyznaczy t zmienn w oparciu o powysz definicj. Mianowicie, jak wida z warunku 1), E(X|M) musi by staa na kadym zbiorze Bn , n = 1, 2, . . .;
wasno 2) natychmiast implikuje, i E(X|M) = E(X|Bn ) na zbiorze Bn . To w jednoznaczny
sposb opisuje warunkow warto oczekiwan.
Przechodzimy do pojcia warunkowej wartoci oczekiwanej wzgldem zmiennej losowej. Bdziemy potrzebowa nastpujcego pomocniczego faktu.
Lemat 4.1. Zamy, e Y jest zmienn losow. Wwczas kada zmienna losowa X mierzalna
wzgldem (Y ) ma posta f (Y ) dla pewnej funkcji borelowskiej f .
Dowd:. Ponownie stosujemy metod komplikacji zmiennej.
1. Zamy, e X = 1A , gdzie A (Y ). Wwczas A = {Y B} dla pewnego B, skd
X = 1B (Y ), czyli jako f moemy wzi indykator 1B .
2. Jeli X jest zmienn prost, to jako f bierzemy kombinacj liniow odpowiednich indykatorw (patrz poprzedni punkt).
3. Zamy, e X jest nieujemn zmienn losow. Istnieje niemalejcy cig (Xn ) prostych,
(Y )-mierzalnych zmiennych losowych zbieny do X. Na mocy 2), mamy Xn = fn (Y ) dla
pewnego cigu funkcyjnego (fn ). Jak atwo sprawdzi, wystarczy wzi
(

f (x) =

limn fn (x) jeli granica istnieje,


0
jeli granica nie istnieje.

4. Jeli teraz X jest dowoln zmienn losow, to mamy X = X+ X = f+ (Y ) f (Y ) =


f (Y ), gdzie f+ , f to funkcje borelowskie odpowiadajce (Y )-mierzalnym X+ oraz X .
Definicja 4.3. Zamy, e X, Y s zmiennymi losowymi, przy czym X jest cakowalna. Definiujemy warunkow warto oczekiwan X pod warunkiem Y jako
E(X|Y ) = E(X|(Y )).
Uwaga: Na mocy lematu mamy E(X|Y ) = f (Y ) dla pewnej funkcji borelowskiej f . Liczb
f (y) moemy interpretowa jako E(X|Y = y).
Przykady:
1. Zamy, e X, Y posiadaj rozkady skokowe. Oznaczmy
PY (y) = P(Y = y) oraz P(X,Y ) (x, y) = P(X = x, Y = y).
Jeli h jest dowoln funkcj borelowsk tak, e h(X) L1 , to
E(h(X)|Y ) =

X
xSX

h(x)

P(X,Y ) (x, Y )
.
PY (Y )

33
Aby to wykaza, naley sprawdzi, i prawa strona (oznaczana dalej przez ) spenia wasnoci 1) i 2) z definicji E(h(X)|(Y )). Pierwszy warunek jest jasny - , jako funkcja Y , jest
(Y )-mierzalna. Zajmijmy si zatem drugim warunkiem. niech B (Y ). Poniewa Y ma rozkad dyskretny, B jest co najwyej przeliczaln sum zdarze postaci {Y = y} oraz zdarzenia
o prawdopodobiestwie 0. Wystarczy wic sprawdzi 2) dla zbiorw B postaci {Y = y}. Mamy
Z

dP =
{Y =y}

oraz

h(x)

{Y =y} xS

Z
{Y =y}

h(X)dP =

X
PX,Y (x, y)
dP =
h(x)PX,Y (x, y)
PY (y)
xS

h(x)

1{X=x} dP =

{Y =y}

xSX

h(x)PX,Y (x, y).

xSX

2. Konkretny przykad. Zamy, e X, Y s niezalenymi zmiennymi losowymi o rozkadzie


Poissona z parametrami , , odpowiednio. Wyznaczymy E(X|X + Y ).
Wiadomo, e X + Y ma rozkad Poissona z parametrem + . Std
PX+Y (k) =

( + )k (+)
e
,
k!

k = 0, 1, 2, . . . .

Ponadto, jeli k ` 0, to
PX,X+Y (`, k) = P(X = `, X + Y = k) = P(X = `)P(Y = k `)
`
k`
e
e
`!
(k `)!

=
i

PX,X+Y (`, k)
k!` k`
=
=
PX+Y (k)
`!(k `)!( + )k

k
`

!

` 

k`

Std

(X + Y ).
+

E(X|X + Y ) =

3. Zamy, e (X, Y ) ma rozkad z gstoci g i niech gY (y) =


zmiennej Y . Zdefiniujmy gsto warunkow wzorem
gX|Y (x|y) =

g(x,y)

jeli gY (y) 6= 0,

jeli gY (y) = 0.

gY (y)

R g(x, y)dx

bdzie gstoci

Wwczas dla dowolnej funkcji borelowskiej h : R R mamy


Z

()

h(x)gX|Y (x|Y )dx.

E(h(X)|Y ) =
R

Istotnie, sprawdzimy, e prawa strona spenia warunki 1) i 2) z definicji E(h(X)|Y ). Oczywicie


warunek 1) jest speniony - prawa strona jest funkcj od Y . Przejdmy do 2). Dla dowolnego
B (Y ) mamy, i B = {Y A} dla pewnego A R oraz
Z

h(X)dP =
B

1{Y A} h(X)dP =
1{yA} gY (y)

ZR Z

1{yA} h(x)g(x, y)dxdy

h(x)gX|Y (x|y)dxdy
R

h(x)gX|Y (x|Y )dxdP.

=
B

R2

34

4. Warunkowa warto oczekiwana

Wasnoci warunkowej wartoci oczekiwanej


Zamy, e (, F, P) jest ustalon przestrzeni probabilistyczn i niech M bdzie pewnym
pod--ciaem F. Ponadto, o wszystkich zmiennych losowych zakadamy, e s cakowalne.
0. Mamy E(E(X|M)) = EX. Wynika to natychmiast z 2), jeli wemiemy B = .
1. Niech , R. Wwczas
E(X1 + X2 |M) = E(X1 |M) + E(X2 |M).
Istotnie: sprawdzimy, e prawa strona (oznaczana dalej przez R) spenia warunki 1) i 2) z
definicji E(X1 + X2 |M). Pierwszy warunek jest oczywisty. Aby sprawdzi drugi zauwamy,
e dla dowolnego B M,
Z

RdP =
B

Z B

E(X1 |MdP +

Z
B

E(X2 |MdP =

X1 dP +
B

X2 dP
B

X1 + X2 dP.

=
B

2. Jeli X jest nieujemn zmienn losow, to E(X|M) 0 p.n. Istotnie, niech B = {E(X|M) <
0}. Wwczas B M i
Z
Z
B

E(X|M)dP =

XdP.
B

Widzimy, e gdyby zdarzenie B miao dodatnie prawdopodobiestwo, to lewa strona byaby


ujemna, a prawa - nieujemna.
3. Mamy
|E(X|M)| E(|X||M)

()

p.n.

Istotnie, na mocy 1. oraz 2. mamy, i nierwno X Y p.n. pociga za sob E(X|M)


E(Y |M). Std, z prawdopodobiestwem 1,
E(X1 |M) E(|X1 ||M)
i
E(X1 |M) E(|X1 ||M).
Biorc warto oczekiwan obu stron w (*) dostajemy, na mocy 0.,
E(|E(X|M)|) E|X|.
Innymi sowy, operator liniowy E(|M) : L1 (, F, P) L1 (, F, P) jest kontrakcj.
4. Warunkowa wersja twierdzenia Lebesguea o monotonicznym przejciu do granicy. Zamy, e Xn X. Wwczas E(Xn |M) E(X|M) p.n.
Aby to wykaza, zacznijmy od obserwacji i na mocy 1. i 2., cig (E(Xn |M)) jest z prawdopodobiestwem 1 niemalejcy, a wic w szczeglnoci zbieny. Oznaczmy jego granic przez ,
E(X1 |M) . Niech teraz B M. Mamy, na mocy 2) oraz bezwarunkowego twierdzenia
Lebesguea,
Z
Z
Z
Z
X = lim
B

n B

Xn = lim

n B

E(Xn |M) =

.
B

Poniewa jest M-mierzalna, to z powyszej rwnoci wynika, i = E(X|M).


5. Analogicznie dowodzimy warunkowe wersje twierdzenia Lebesguea o zmajoryzowanym
przejciu do granicy pod znakiem caki oraz lematu Fatou.
6. Zamy, e X1 jest mierzalna wzgldem M oraz X1 X2 jest cakowalna. Wwczas
(+)

E(X1 X2 |M) = X1 E(X2 |M)

p.n.

35
W szczeglnoci, biorc X2 1, dostajemy, i E(X1 |M) = X1 .
Sprawdzamy, e prawa strona spenia warunki 1) oraz 2) z definicji E(X1 X2 |M). Warunek
1) jest oczywisty, pozostaje wic sprawdzi drugi. Zastosujemy metod komplikacji zmiennej
X1 .
a) Jeli X1 = 1A , gdzie A M, to dla dowolnego B M,
Z
B

X1 E(X2 |M)dP =

AB

E(X2 |M)dP =

X2 dP =
AB

X1 X2 dP.
B

b) Jeli X1 jest zmienn prost, to wzr (+) dostajemy na mocy a) oraz liniowoci warunkowych wartoci oczekiwanych.
c) Jeli X1 jest nieujemn zmienn losow, to istnieje niemalejcy cig (Yn ) M-mierzalnych
zmiennych prostych, zbieny p.n. do X1 . Rozbijmy X2 = X2+ X2 i zastosujmy b) do zmiennych
Yn oraz X2+ :
E(Yn X2+ |M) = Yn E(X2+ |M).
Zbiegajc z n i korzystajc z warunkowej wersji twierdzenia Lebesguea (wasno 4.),
dostajemy
E(X1 X2+ |M) = X1 E(X2+ |M).
Zastpujc X2+ przez X2 i powtarzajc rozumowanie, dostajemy
E(X1 X2 |M) = X1 E(X2 |M)
i po odjciu stronami dostajemy (+).
d) Jeli X1 jest dowoln zmienn losow, to rozbijamy j na rnic X1+ X1 , stoujemy c)
do zmiennych X1+ , X2 , oraz X1 , X2 , i odejmujemy stronami uzyskane rwnoci.
7. Jeli M1 M2 s pod--ciaami F, to
(=)

E(X|M1 ) = E(E(X|M2 )|M1 ) = E(E(X|M1 )|M2 ).

Zacznijmy od obserwacji, i wyraenia stojce po skrajnych stronach s rwne. Wynika to


natychmiast z poprzedniej wasnoci: zmienna losowa E(X|M1 ) jest mierzalna wzgldem M2 .
Wystarczy wic udowodni, e pierwsze dwa wyrazy w (=) s rwne. Wemy B M1 . Mamy
B M2 , a wic
Z

Z
B

E(X|M1 ) =

X=
B

E(X|M2 ) =

E(E(X|M2 )|M1 ),

skd teza.
8. Zamy, e X jest niezalena od M. Wwczas E(X|M) = EX. Istotnie, sprawdzimy, e
EX spenia warunki 1) i 2) w definicji E(X|M). Warunek 1) jest oczywisty: EX jest zmienn:a
losow sta, a wic mierzaln wzgldem kadego -ciaa. Niech teraz B M. Mamy na mocy
niezalenoci 1B oraz X,
Z
B

EXdP = E1B EX = E(1B X) =

XdP.
B

9. Nierwno Jensena. Zamy, e f : R R jest funkcj wypuk tak, e f (X) jest


zmienn cakowaln. Wwczas
E(f (X)|M) f (E(X|M)).
Bdzie nam potrzebny nastpujcy prosty fakt. Dowd pozostawiamy jako proste wiczenie.

36

4. Warunkowa warto oczekiwana

Lemat 4.2. Zamy, e f : R R jest funkcj wypuk. Wwczas istniej cigi (an ), (bn )
takie, e dla dowolnego x R,
f (x) = sup(an x + bn ).
n

Powrmy do dowodu 9. Dla cigw (an ), (bn ), gwarantowanych przez powyszy lemat,
mamy f (X) an X + bn dla kadego n. Std, na mocy 1. oraz 2., z prawdopodobiestwem 1,
E(f (X)|M) an E(X|M) + bn .
Poniwea cigi (an ), (bn ) s przeliczalne, to moemy wzi supremum po n po prawej stronie i
dalej nierwnos bdzie zachodzia z prawdopodobiestwem 1:
E(f (X)|M) sup(an E(X||M) + bn ) = f (E(X|M)).
n

Jako wniosek, dostajemy, i dla p 1 i X Lp (, F, P),


E(|X|p |M) [E(|X||M)]p .
Std po wziciu wartoci oczekiwanej obu stron, E(|E(X|M)|p ) E|X|p , czyli
||E(X|M)||p ||X||p .
Zatem warunkowa warto oczekiwana E(|M) jest kontrakcj w Lp .

4.1. Zadania
1. Zamy, e X, Y s zmiennymi losowymi a G jest -ciaem takim, e X jest mierzalne
wzgldem G, a Y jest niezalene od G. Niech : R2 R bdzie funkcj borelowsk tak, e
(X, Y ) jest cakowaln zmienn losow. Udowodni, e
E[(X, Y )|G] = (X),
gdzie (x) = E(x, Y ).
2. Zamy, e X jest cakowaln zmienn losow, a -ciao G jest niezalene od X oraz od
-ciaa M. Udowodni, e
E(X|(G, M)) = E(X|M).
3. Zmienna losowa (X, Y ) ma gsto
g(x, y) =

x3 x(y+1)
e
1{x>0, y>0} .
2

Wyznaczy E(Y |X) oraz E(Y 2 |X).


4. Zmienna losowa (X, Y ) ma rozkad Gaussa o wartoci oczekiwanej 0, VarX = 12 ,
VarY = 22 , Cov(X, Y ) = c. Obliczy P(Y B|X) (dla B B(R)) oraz E(Y |X).
5. Zmienne losowe X, Y s niezalene i maj rozkad wykadniczy z parametrem 1. Obliczy
P(X B|X + Y ) (dla B B(R)) oraz E(sin X|X + Y ).

4.1. Zadania

37

6. Zmienne losowe 1 , 2 , 3 s niezalene i maj ten sam rozkad P(i = 1) = P(i = 1) =


1/2, i = 1, 2, 3. Obliczy E(1 |1 + 2 + 3 ) oraz E(1 2 |e1 + e2 e3 ).
7. Wiadomo, e p procent monet stanowi monety faszywe, z orem po obu stronach. Losujemy ze zwracaniem n monet i kad z nich wykonujemy rzut. Niech F oznacza liczb losowa,
w wyniku ktrych wycignito monet faszyw, O - liczba wyrzuconych orw. Udowodni, e
2p
E(F |O) = 100+p
O.
8. Zmienna losowa X ma rozkad wykadniczy z parametrem 1, za Y jest zmienn losow
tak, e jeli X = x, to Y ma rozkad wykadniczy z parametrem x.
a) Wyznaczy rozkad Y .
b) Obliczy P(X > r|Y ).
9. Losujemy ze zwracaniem po jednej karcie z talii 52 kart tak dugo a wycigniemy pika.
Niech Y oznacza zmienn losow rwn liczbie wycignitych kart, a X zmienn losow rwn
liczbie wycignitych kierw. Wyznaczy E(Y |X = 4) oraz E(X|Y = 4).
10. Zmienne lsowe X, Y s niezalene i maj rozkad wykadniczy z parametrem 1. Obliczy
E(X|X + Y ) oraz E(X| min(X, Y )).

5. Martyngay z czasem dyskretnym


Do tej pory, dysponujc cigiem zmiennych losowych, nie wizalimy z ich indeksami adnej
interpretacji. W wielu naturalnych sytuacjach mona je interpretowa jako wsprzdn czasow. W konkretnych przypadkach czsto Xn opisuje zachowanie ukadu w chwili n. Tak wic
indeks odpowiada za czas.
Zamy, e T jest zbiorem czasw: to znaczy, jest rwny {0, 1, 2, . . .}, {1, 2, . . . , },
{. . . , 2, 1, 0} lub {m, m + 1, . . . , n}.
Definicja 5.1. Zamy, e (, F, P) jest przestrzeni probabilistyczn, T - jak wyej. Filtracj
nazywamy rodzin (Ft )tT , gdzie dla kadego t, Ft jest -ciaem zawartym w F oraz Ft Fs
jeli s t.
Intuicja: -ciao Ft opisuje wszystko co si moe zdarzy do chwili t.
Definicja 5.2. Zamy, e (, F, P) jest przestrzeni probabilistyczn wyposaon w filtracj
(Ft )tT . Funkcj : T {+} nazywamy momentem zatrzymania, jeli dla kadego t T
mamy { = t} Fn .
Intuicyjnie, moment zatrzymania jest sensown regua stopowania: tak, i decyzj, czy
si zatrzymywa, podejmujemy na podstawie zdarze z przeszoci i teraniejszoci. Spjrzmy
na nastpujcy
Przykad: Rzucamy 10 razy monet. Niech Xn = 1, jeli w n-tym rzucie wypad orze,
i Xn = 0 w przeciwnym przypadku. Wprowadmy -ciaa Fn = (X1 , X2 , . . . , Xn ), n =
1, 2, . . . , 10 (jest to tzw. naturalna filtracja wzgldem cigu (Xn )) Rozwamy dwie strategie:
- wycofujemy si, gdy wypadnie orze po raz pierwszy, - wycofujemy si, gdy orze wypada
po raz ostatni (jeli wypadaj same reszki, przyjmujemy = = 10). Intuicja podpowiada, i
jest sensown regu zatrzymania - decyzj o tym, czy si wycofa, czy nie, podejmujemy na
podstawie informacji, ktre dopyny do nas do danej chwili. Strategia nie jest sensowna:
skd mamy wiedzie - nie znajc przyszoci - czy orze, ktry wanie wypad, jest ostatni?
Formalny dowd tego, e nie jest momentem zatrzymania, pozostawiamy jako wiczenie.
Uwaga:
Warunek definiujcy moment stopu mona zapisa rwnowanie w nastpujcy sposb.
Funkcja : T {+} jest momentem zatrzymania wtedy i tylko wtedy, gdy dla kadego
t T , { t} Ft .
Dowd. Mamy
{ t} =

t
[

{ = k} Ft ,

k=1

gdy dla kadego k t, { = k} Fk Ft .


Mamy { = t} = { t} \ { t 1} i oba zdarzenia nale do Ft .
Przykady:
c Oskowski, Uniwersytet Warszawski, 2011.
Wykad z Rachunku Prawdopodobiestwa II

39
1) n jest momentem zatrzymania wzgldem kadej filtracji:
(

{ = k} =

jeli n 6= k,
jeli n = k.

2) Zamy, e (, F, P) jest przestrzeni probabilistyczn wyposaon w filtracj (Fn )nT .


Zamy, e (Xn )nT jest rodzin zmiennych losowych (procesem stochastycznym) o tej wasnoci, e dla kadego n, zmienna Xn jest mierzalna wzgldem Fn (mwimy, e proces stochastyczny
(Xn ) jest adaptowany do filtracji (Fn )). Dalej, niech B B(R) oraz
B () = inf{n T : Xn () B},
przy czym przyjmijmy konwencj inf = +. Funkcja B to moment pierwszego dojcia procesu
(Xn ) do zbioru B. Wwczas B jest momentem zatrzymania: dla kadego n,
{B = n} = {Xn B oraz Xk
/ B dla k < n}
= {Xn B}

{Xk B c } Fn .

k<n

Analogiczny fakt zachodzi, gdy zmienne Xn przyjmuj wartoci w Rd , albo oglniej, w przestrzeni metrycznej E.
Definicja 5.3. Zamy, e (, F, P) jest przestrzeni probabilistyczn wyposaon w filtracj
(Ft )tT i niech bdzie momentem zatrzymania. Definiujemy
F = {A F : A { = n} Fn dla wszystkich n}
= {A F : A { n} Fn dla wszystkich n}.
Intuicyjnie, F opisuje wszystkie zdarzenia, ktre mog zaj do momentu .
Uwagi:
1) F jest -ciaem,
2) jeli n, to F = Fn .
Wasnoci:
1) Jeli 1 , 2 s momentami zatrzymania, to 1 2 = min{1 , 2 } oraz 1 2 = max{1 , 2 }
te s momentami zatrzymania. Istotnie,
{1 2 n} = {1 n} {2 n} Fn ,
{ 2 n} = {1 n} {2 n} Fn .
2) Jeli 1 , 2 s takimi momentami zatrzymania, e 1 2 , to F1 F2 . Istotnie, jeli
A F1 , to dla kadego n,
A {2 n} = (A {1 n}) {2 n},
i dwa ostatnie przecinane zbiory nale do Fn .
3) Moment zatrzymania jest mierzalny wzgldem F . Istotnie,
(

{ a} { = n} =

{ = n}

jeli a < n,
Fn .
jeli a n

40

5. Martyngay z czasem dyskretnym

4) Zamy, e (Xt )tT jest adaptowany do danej filtracji, a jest momentem zatrzymania
wzgldem tej filtracji speniajcym warunek < (jest to tzw. skoczony moment stopu.
Wwczas zmienna X jest mierzalna wzgldem F . Istotnie,
{X a} { = n} = {Xn a} { = n} Fn ,
jako e oba przecinane zdarzenia nale do Fn .
Przechodzimy do definicji gwnych poj niniejszego rozdziau.
Definicja 5.4. Zamy, e (, F, P) jest przestrzeni probabilistyczn wyposaon w filtracj
(Ft )tT . Zamy, e (Xt )tT jest adaptowanym cigiem cakowalnych zmiennych losowych.
Mwimy, e (Xt , Ft )tT jest
a) martyngaem, jeli dla wszystkich s, t T , s t zachodzi E(Xt |Fs ) = Xs .
b) nadmartyngaem, jeli dla wszystkich s, t T , s t zachodzi E(Xt |Fs ) Xs .
c) podmartyngaem, jeli dla wszystkich s, t T , s t zachodzi E(Xt |Fs ) Xs .
Jeli filtracja jest ustalona, to mwimy po prostu, e (Xt )tT jest martyngaem (nad-, pod-),
jeli zachodz powysze warunki.
Uwagi:
a) (Xt ) jest martyngaem, wtedy i tylko wtedy, gdy dla dowolnych s, t T , s < t, oraz
A Fs zachodzi
Z
Z
Xs dP.

Xt dP =
A

Analogicznie dla nad- i podmartyngaw.


b) U nas T = {0, 1, 2, . . .}, {1, 2, . . .}, {m, m + 1, . . . , n}, {. . . , 2, 1, 0}.
c) (Xt ) jest martyngaem wtedy i tylko wtedy, gdy jest nad- i podmartyngaem.
d) (Xt ) jest podmartyngaem wtedy i tylko wtedy, gdy (Xt ) jest nadmartyngaem.
e) Jeli (Xt ), (Yt ) s martyngaami wzgldem tej samej filtracji i a, b R, to (aXt + bYt )
te jest martyngaem. Analogiczny fakt zachodzi dla nad- i podmartyngaw, o ile a, b > 0.
f) Jeli zbir T jest taki jak w b), to (Xt )tT jest martyngaem wtedy i tylko wtedy, gdy dla
wszystkich n T takich, e n + 1 T , zachodzi E(Xn+1 |Fn ) = Xn (analogiczny fakt zachodzi
dla nad- i podmartyngaw).
Dowd:. oczywiste (szczeglny przypadek).
Zamy, e m, n T , m > n. Wwczas Fn Fm1 , a wic na mocy wasnoci warunkowej wartoci oczekiwanej,
E(Xm |Fn ) = E(E(Xm |Fm1 )|Fn ) = E(Xm1 |Fn ),
i dalej przez indukcj.
Przykady:
1) Zamy, e 1 , 2 , . . . s niezalenymi, cakowalnymi zmiennymi losowymi o redniej 0.
Niech Xn = 1 + 2 + . . . + n i Fn = (X1 , X2 , . . . , Xn ), n = 1, 2, . . .. Wwczas (Xn , Fn )
n=1
jest martyngaem:
E(Xn+1 |Fn ) = E(Xn + n+1 |Fn )
= E(Xn |Fn ) + E(n+1 |Fn ) = Xn + En+1 = Xn .
2) Zamy, e X jest cakowaln zmienn losow, (Ft )tT jest filtracj i niech Xt = E(X|Ft )
dla t T . Wwczas (Xt , Ft )tT jest martyngaem.

41
Dowd:. Wemy s, t T , s < t. Mamy, na mocy wasnoci warunkowej wartoci oczekiwanej,
E(Xt |Fs ) = E(E(X|Ft )|Fs ) = E(X|Fs ) = Xs .
Martynga taki jak w przykadzie 2) nazywamy prawostronnie domknitym. Czasami nazywa
si tak martynga wraz z domkniciem: (Xt , Ft )T {} , gdzie (X , F ) = (X, F).
Stwierdzenie 5.1. Zamy, e (Xt , Ft )tT jest martyngaem, a f : R R jest funkcj wypuk tak, e f (Xt ) jest zmienn cakowaln dla kadego t T . Wwczas (f (Xt ), Ft )tT jest
podmartyngaem.
Dowd:. Zamy, e s, t T , s < t. Wwczas, na mocy nierwnoci Jensena,
E(f (Xt )|Fs ) f (E(Xt |Fs )) = f (Xs ).
Wniosek 5.1. Zamy, e (Xt , Ft )tT jest martyngaem. Wwczas
a) Jeli dla pewnego p 1 mamy, i Xt Lp dla wszystkich t, to (|Xt |p , Ft ) jest podmartyngaem.
b) Dla dowolnej liczby rzeczywistej a, proces (Xt a, Ft )tT jest podmartyngaem. W szczeglnoci, (Xt+ ), (Xt ) s podmartyngaami.

Twierdzenie 5.1 (Dooba, optional sampling). Zamy, e (Xn , Fn )n0 jest nadmartyngaem (odp., martyngaem). Zamy, e 1 , 2 s momentami zatrzymania takimi, e 1 2 i 2 jest ograniczony. Wwczas mamy E(X2 |F1 ) X1 p.n. (odpowiednio, E(X2 |F1 ) = X1 p.n.).

Dowd:. Zamy, e 2 n. Zauwamy najpierw, i X1 , X2 s cakowalne, gdy |Xi |


max{|X1 |, |X2 |, . . . , |Xn |}. Zmienna X1 jest mierzalna wzgldem F1 , a zatem wystarczy wykaza, e dla kadego A F1 ,
Z
Z
A

X2 dP

X1 dP

(odpowiednio, z rwnoci w miejscu nierwnoci w przypadku martyngaowym).


Zamy najpierw, e 2 1 1. Mamy
Z
A

X1 X2 dP =
=

Z
A{2 >1 }
n Z
X

X1 X2 dP

k=0 {1 =k}A{2 >k}

Xk Xk+1 0

(odpowiednio, = 0). Ostatnia nierwno bierze si std, i {1 = k} A {2 > k} Fk .


Wemy teraz dowolne 1 2 n. Definiujemy (k) = max{1 , min{2 , k}}. Zmienne (k)
s momentami zatrzymania, a ponadto
1 = (0) (1) . . . (n) = 2
oraz (k+1) (k) 1. Zatem dla kadego A F1 F (k) ,
Z
A

X1 =

X (0)

Z
A

X (1)

Z
A

(z rwnociami w przypadku martyngaowym).

X (2) . . .

Z
A

X (n) =

X2

42

5. Martyngay z czasem dyskretnym

Twierdzenie 5.2 (Dooba o zbienoci p.n. nadmartyngaw). Zamy, e proces


(Xn , Fn )n=0,1,2,... jest nadmartyngaem takim, e supn EXn < . Wwczas cig (Xn )
jest zbieny p.n. do pewnej zmiennej losowej cakowalnej.

Wniosek 5.2. a) Kady nieujemny nadmartynga (Xn , Fn ) (tzn. speniajcy Xn 0 p.n. dla
wszystkich n) jest zbieny p.n.
b) Jeli (Xn , Fn )n=0,1,2,... jest podmartyngaem speniajcym supn EXn+ < , to (Xn ) jest
zbieny p.n.
c) Jeli (Xn , Fn )n=0,1,2,... jest nadmartyngaem, to warunek supn EXn < jest rwnowany
warunkowi supn E|Xn | < (tzn. ograniczonoci cigu (Xn ) w L1 ).
Dowd wniosku:. a) jest oczywiste, b) wynika wprost z twierdzenia Dooba poprzez przejcie do
procesu (Xn , Fn ), ktry jest nadmartyngaem. Zajmijmy si dowodem c). Implikacja jest
oczywista. Mamy |Xn | = Xn+ + Xn = Xn + 2Xn , skd
E|Xn | = EXn + 2EXn EX0 + 2 sup EXn < .
n

W dowodzie twierdzenia o zbienoci bdziemy uywa nastpujcych obiektw. Zamy,


e (xn )n=1,2,... jest cigiem liczbowym i niech a < b to ustalone liczby rzeczywiste. Okrelmy
0 = inf{n : xn < a},
1 = inf{n > 0 : xn > b},
...
2k = inf{n > 2k1 : xn < a},
2k+1 = inf{n > 2k : xn > b},
...
Liczba 2k1 to moment k-tego przejcia w gr cigu (xn ) przez przedzia [a, b]. Niech teraz
(

Uab

sup{k : 2k1 < }


0

jeli 1 < ,
jeli 1 =

bdzie liczb przej w gr cigu (xn ) przez przedzia [a, b].


Lemat 5.1. Cig liczbowy (xn ) jest zbieny (by moe do ) wtedy i tylko wtedy, gdy dla
wszystkich a, b Q, a < b, mamy Uab < .
Dowd:. Przypumy wbrew tezie, e (xn ) jest zbieny oraz e istniej a, b Q takie, e a < b
oraz Uab = . Wwczas znajdziemy nieskoczony podcig zawierajcy tylko wyrazy mniejsze
od a oraz nieskoczony podcig zawierajcego wyrazy tylko wiksze od b. Sprzeczno.
Zamy, e lim inf xn < lim sup xn . Wwczas istniej a, b Q takie, e lim inf xn < a <
b < lim sup xn ; mamy wwczas Uab = .
Lemat 5.2 (nierwno Dooba dla przej w gr). Zamy, e (Xn , Fn )m
n=0 jest nadmartyngaem. Wwczas dla dowolnych a < b,
EUab

1
E((Xm a) ).
ba

43
Dowd:. Zamy, e (j ) jest cigiem momentw przej cigu (Xn ) przez przedzia [a, b], i
niech Uab bdzie czn liczb przej. Widzimy, e (j ) jest cigiem momentw zatrzymania
(wzgldem filtracji (Fn )) oraz e Uab jest zmienn losow. Pomy j = j m i wprowadmy
zmienne Yk = X2k+1 X2k , k = 1, 2, . . .. Z definicji widzimy, i jeli 0 k Uab () 1, to
Yk () > b a. Ponadto, jeli k = Uab (), to
(

Yk () = Xm X2k =

0
jeli 2k = ,
(Xm a) .
Xm a jeli 2k <

Wreszcie, jeli k > Uab (), to Yk () = 0. Sumujc stronami powysze zwizki dostajemy
m
X

(X2k+1 X2k ) (b a)Uab (Xm a) ,

k=0

a zatem, biorc warto oczekiwan,


m
X

E(X2k+1 X2k ) (b a)EUab E(Xm a) .

k=0

Lewa strona jest niedodatnia, na mocy twierdzenia Dooba (optional sampling); dostajemy zatem
dan nierwno.
Dowd twierdzenia o zbienoci nadmartyngaw. Ustalmy a, b Q, a < b. Niech Uab (m) bdzie
b
b
czn liczb przej nadmartyngau (Xn )m
n=1 w gr przez przedzia [a, b]. Mamy Ua (m) Ua .
Na mocy drugiego z powyszych lematw,
1
1
E((Xm a) )
E(|Xm | + |a|)
ba
ba
1

(sup E|Xm | + |a|) < .


ba

EUab (m)

Zatem, na mocy twierdzenia Lebesguea, EUab < , skd Uab < p.n. Zatem
P(a,bQ, a<b Uab < ) = 1
i na mocy pierwszego z powyszych lematw, cig (Xn ) jest zbieny p.n. Pozostaje tylko wykaza, e granica jest cakowalna; wynika to natychmiast z lematu Fatou:
E| lim Xn | = E lim |Xn | lim inf E|Xn | sup E|Xn | < .
n

Twierdzenie 5.3 (Nierwno maksymalna dla nadmartyngaw). Zamy, e


(Xn , Fn )n=0,1,2,... jest nadmartyngaem. Wwczas dla kadego > 0,
P(sup |Xn | ) K
n

supn E|Xn |
,

przy czym mona wzi K = 1, jeli nadmartynga jest nieujemny (tzn. zmienne losowe X0 , X1 , . . . s nieujemne p.n.), niedodatni, bd jest martyngaem. W przypadku
oglnym nierwno zachodzi z K = 3.

44

5. Martyngay z czasem dyskretnym

Dowd:. Zauwamy, i wystarczy szacowa P(supn |Xn | > ), przez proste przejcie graniczne.
Mamy
P(sup |Xn | > ) P(sup Xn > ) + P(inf Xn < ).
n

Zajmiemy si oddzielnie prawdopodobiestwami wystpujcymi po prawej stronie.


a) Niech = inf{n : Xn > }. Na mocy twierdzenia Dooba (optional sampling),
EX0 EX n =

{ n}

X +

{ >n}

Xn P(max Xk > )
kn

Z
{ >n}

Xn .

Std
P(max Xk > ) EX0 +
kn

Z
{ >n}

Xn EX0 + sup E|Xn |.


n

Std teza (gdy wemiemy n ) gdy (Xn ) jest nieujemny.


b) Rozwamy moment zatrzymania = inf{n : Xn < }. Z twierdzenia Dooba,
EXn EXn
Z

=
{
n}

X +

{
>n}

Xn P(min Xk < ) +
kn

Z
{minkn Xk }

Xn ,

skd
()

P(min Xk < )
kn

Z
{minkn Xk <}

Xn sup EXn .
n

Std teza, gdy nadmartynga jest niedodatni. Ponadto, jeli (Xn ) jest martyngaem, to stosujemy powysz nierwno do niedodatniego nadmartyngau (|Xn |, Fn ).
W oglnym przypadku, wystarczy zsumowa dwie kocowe nierwnoci pochodzce z a) i
b), dosta nierwno ze sta 3.
Jeli (Xn ) jest podmartyngaem, to stosujc (**) dla (Xn ) dostajemy
Wniosek 5.3. Zamy, e (Xn , Fn )m
n=0 jest podmartyngaem. Wwczas dla > 0,
P(max Xn > )
nm

Z
{maxnm Xn >}

Xn .

Twierdzenie 5.4 (Nierwno maksymalna Dooba). Zamy, e (Xn , Fn )n0 jest


martyngaem speniajcym warunek Xn Lp , n = 0, 1, 2, . . . dla pewnego p > 1.
Wwczas
p
|| sup |Xn |||p
sup ||Xn ||p .
p1 n
n

45
Dowd:. Niech Yn = maxkn |Xk |, k = 0, 1, 2, . . .. Mamy, stosujc poprzedni wniosek do podmartyngau (|Xk |, Fk )k=0,1,2,...,n , dostajemy
EYnp

=p
p

Z0

p1 P(Yn > )d
p1

Z Z

=p
0

Z Z Yn

=p
0Z

p
p1

Z
{Yn >}

|Xn |dPd

p2 1{Yn >} |Xn |dPd


p2 |Xn |ddP
|Xn |Ynp1 dP

p
||Xn ||p ||Yn ||p(p1)/p .
p1

(p1)/p

Dzielc obustronnie przez ||Yn ||p


(jeli ta liczba jest zerem, to otrzymana poniej nierwno take jest prawdziwa) dostajemy
||Yn ||p

p
p
||Xn ||p
sup ||Xk ||p
p1
p1 k

i wystarczy zbiec z n .

Twierdzenie 5.5 (Zbieno martyngaw w L1 ). Zamy, e (Xn , Fn )n0 jest martyngaem. nastpujce warunki s rwnowane.
a) rodzina {Xn : n = 0, 1, 2, . . .} jest jednostajnie cakowalna.
b) (Xn ) jest zbieny w L1 .
c) Istnieje zmienna losowa X L1 taka, e Xn = E(X|Fn ), n = 0, 1, 2, . . . (czyli
martynga jest prawostronnie domknity).
Co wicej, jeli te warunki s spenione, to (Xn ) jest zbieny p.n. do
()

X = E(X|(

Fn ))

i X jest jedyn zmienn losow mierzaln wzgldem -ciaa (


E(X |Fn ), n = 0, 1, 2, . . ..

n Fn )

tak, e Xn =

Wniosek 5.4 (Twierdzenie Levyego). Jeli X L1 oraz (Fn ) jest filtracj, to


"


[
p.n. i w L1

E(X|Fn ) E X
Fn

!#

Dowd twierdzenia o zbienoci. a)b) Na mocy jednostajnej cakowalnoci dostajemy, i supn E|Xn | <
. Zatem na mocy twierdzenia Dooba martynga (Xn ) jest zbieny p.n., a zatem take wedug
prawdopodobiestwa. czc to z jednostajn cakowalnoci dostajemy zbieno w L1 .
b)c) Zamy, e Xm X w L1 . Dla ustalonego n i m > n mamy E(Xm |Fn ) = Xn . Z
drugiej strony, E(Xm |Fn ) E(X |Fn ) w L1 , gdy operator warunkowej wartoci oczekiwanej
jest kontrakcj w L1 : istotnie,
||E(Xm |Fn ) E(X |Fn )||1 ||Xm X ||1 0.
Std E(X |Fn ) = Xn .

46

5. Martyngay z czasem dyskretnym

c) a) Pozostawiamy jako wiczenie.


Pozostaje wykaza drug cz twierdzenia. Wiemy ju, e warunki a), b), c) pocigaj za
sob, i Xn = E(X |Fn ), n = 0, 1, 2, . . . (gdzie X jest granic, w sensie zbienoci w L1 i p.n.,
S
martyngau (Xn )). Oczywicie X jest mierzalna wzgldem ( n Fn ). Przypumy teraz, e Y
jest cakowaln zmienn losow, mierzaln wzgldem tego -ciaa, dla ktrej Xn = E(Y |Fn ),
n = 0, 1, 2, . . .. Zatem E(X |Fn ) = E(Y |Fn ), skd dla dowolnego n i dowolnego A Fn ,
Z

X dP =

Y dP.

Klasa n Fn jest -ukadem. Klasa tych zbiorw A, dla ktrych zachodzi powysza rwno, jest
-ukadem. Z lematu o - ukadach mamy, i powyrsza rwnos caek zachodzi dla dowolnego
S
A ( n Fn ). Na mocy mierzalnoci X oraz Y wzgldem tego -ciaa, mamy, i X = Y
p.n.
Wreszcie, pozostaje udowodni rwno (*). Jeli Xn = E(X|Fn ), to
S

"

Xn = E Xn |

!#
[

Fn

"



= E E X



= E E(X|Fn )

!!
[
n

Fn

"

!#
[

Fn

#


F n .

Na mocy powyszych rozwaa o jednoznacznoci, dostajemy (*). Dowd jest zakoczony.


Wniosek 5.5 (Prawo 01 Komogorowa). Zamy, e X1 , X2 , . . . s niezalenymi zmiennymi
T
losowymi i Fn = (X1 , X2 , . . . , Xn ) dla n 1. Wwczas jeli A
n=0 (Xn+1 , Xn+2 , . . .), to
P(A) {0, 1}.
Dowd. Oczywicie 1A jest mierzalne wzgldem -ciaa (
n=1 Fn ). Zatem na mocy twierdzenia Levyego,
"
!#


[
p.n. i w L1

Fn
E(1A |Fn ) E 1A
= 1A .
S

n=1

Ale z drugiej strony 1A jest niezalene od Fn , bo A (Xn+1 , Xn+2 , . . .), a to -ciao jest
niezalene od Fn . Std
E(1A |Fn ) = E1A = P(A) 1A ,
a zatem P(A) = 0 lub 1.
Zajmiemy si teraz zbienoci w Lp dla p > 1.

Twierdzenie 5.6. Zamy, e (Xn , Fn )n=0,1,2,... jest martyngaem i p > 1. Nastpujce warunki s rwnowane.
a) sup E|Xn |p < .
b) Rodzina {|Xn |p }n jest jednostajnie cakowalna.
c) Martynga (Xn ) jest zbieny w Lp .
d) Istnieje X Lp taka, e Xn = E(X|Fn ).
Jeli te warunki s spenione, to (Xn ) jest zbieny p.n. do zmiennej losowej X =
S
E(X|( n Fn )).

47

5.1. Zadania
p

p
Dowd. a)b) Wiemy, e E sup |Xn |p p1
supn E|Xn |p < , czyli sup |Xn |p L1 , skd
dostajemy b) (istnienie majoranty cakowalnej).
b)c) Mamy, i
sup E|Xn | sup(E|Xn |p )1/p < ,
n

a zatem na mocy twierdzenia Dooba o zbienoci nadmartyngaw, (Xn ) jest zbieny p.n..
Dokadajc jednostajn cakowalno dostajemy c).
c)d) Mamy Xn X w Lp . Przy ustalonym n oraz m > n, E(Xm |Fn ) = Xn . Poniewa
E(|Fn ) jest kontrakcj w Lp , wic E(X |Fn ) = Xn .
d)a) Mamy
E|Xn |p = E|E(X|Fn )|p E(E(|X|p |Fn )) = E|X|p < .

5.1. Zadania
1. Zamy, e (Fn ) jest filtracj, a (Xn ) jest cigiem zmiennych losowych adaptowanych do
tej filtracji. Niech B bdzie podzbiorem borelowskim R.
a) Udowodni, e 1 = inf{n : Xn + n B} jest momentem zatrzymania.
b) Udowodni, e dla dowolnego momentu zatrzymania , zmienna 2 = inf{n > : Xn B}
te jest momentem zatrzymania.
2. Dany jest cig (Xn )10
n=1 niezalenych zmiennych losowych o rozkadzie P(Xn = 1) =
P(Xn = 1) = 1/2. Niech
= inf{n > 1 : Xn > Xn1 },

= sup{n 1 : Xn > Xn1 }

(przyjmujemy inf = sup = ). Czy , s momentami zatrzymania?

2,

3. Zmienne , s momentami zatrzymania wzgldem filtracji (Fn )n=0,1,2,... . Czy zmienne


+ 1, + , 1, (2) s momentami zatrzymania?

4. Dany jest cig (n ) niezalenych zmiennych losowych o tym samym rozkadzie P(n =
1) = P(n = 1) = 1/2. Niech X0 = 0 i Xn = 1 + 2 + . . . + n dla n 1. Niech (Fn ) bdzie
naturaln filtracj generowan przez cig (Xn ).
a) Udowodni,e (Xn ) oraz (Xn2 n) s martyngaami.
b) Wyznaczy tak warto parametru a, by cig (an cos Xn ) by martyngaem.
c) Udowodni, e dla > 0, cig (exp(Xn 2 n/2)) jest nadmartyngaem.
5. Zamy, e (Xn )
n=0 jest cigiem niezalenych zmiennych loswych o tym samym rozkadzie o redniej 0. Niech Z0 = 0, Zn = X0 X1 + X1 X2 + . . . + Xn1 Xn dla n 1. Udowodni, e
cig (Zn ) jest martyngaem.
6. Dany jest cig (Xn ) adaptowany do filtracji (Fn ). Udowodni, e cig (Xn ) jest martyngaem wtedy i tylko wtedy gdy dla kadego ograniczonego momentu zatrzymania zachodzi
rwno EX = EX0 .
7. Dany jest martynga (Xn , Fn )n=0,1,2,... oraz moment zatrzymania . Udowodni, e (X n , Fn )
te jest martyngaem.

48

5. Martyngay z czasem dyskretnym

8. Egzaminator przygotowa m zestaww pyta. Studenci kolejno losuj kartki z pytaniami, przy czym zestaw raz wycignity nie wraca do ponownego losowania. tudent nauczy si
odpowiedzi na k zestaww (k m). Obserwujc przebieg egzaminu chce przystpi do niego w
takim momencie, eby zmaksymalizowa szanse zdania. Czy istnieje strategia optymalna?
9. Gramy w ora i reszk symetryczn monet. Przed n-t gr, opierajc si ewentualnie na
wynikach poprzednich gier, sami ustalamy stawk w n-tej grze: wybieramy Vn , 1 Vn a, i
jeli wypadnie orze dostajemy Vn z, jeli reszka - pacimy Vn z. Niech (Sn ) oznacza czn
wygran po n grach. Udowodni, e (Sn )n jest martyngaem (wzgldem naturalnej filtracji).
10. Mamy 10 z w monetach 1 z, a potrzebujemy pilnie 20 z. Jedynym sposobem zdobycia
tych pienidzy jest gra w 3 karty z szulerem (ktry wygrywa z prawdopodobiestwem 2/3).
Szuler gotw jest gra z nami wiele razy o dowolne stawki, jakie jestemy w stanie zaoy
(przyjmijmy dla uproszczenia, e stawka nie przekracza 10 z). Udowodni, e niezalenie od
wyboru strategii nasze szanse na uzyskanie brakujcych 10 z nie przekraczaj 1/3.
11. (Tosamo Walda). Dany jest cig (Xn ) cakowalnych zmiennych losowych o tym samym
rozkadzie, adaptowany do filtracji (Fn )n=1,2,... , taki, e zmienna Xn+1 jest niezalena od Fn .
Udowodni, e dla dowolnego momentu zatrzymania takiego, e E < , zachodzi wzr
E(X1 + X2 + . . . + X ) = EX1 E.
12. Zamy, e X1 , X2 , . . . s niezalenymi zmiennymi losowymi o redniej 0, speniajcymi
P
P
warunek
n=1 VarXn < . Udowodni, e szereg
n=1 Xn jest zbieny p.n.
W zadaniach 13 - 17 poniej rozpatrujemy cig X1 , X2 , . . . niezalenych zmiennych losowych
o rozkadzie P(Xn = 1) = p = 1 P(Xn = 1), i oznaczamy S0 = 0, Sn = X1 + X2 + . . . + Xn
dla n 1. Dla a, b Z, a, b > 0, niech a = inf{n : Sn = a} oraz a,b = inf{n : Sn {a, b}}.
13. Zamy, e p = 1/2 i niech = a,b . Korzystajc z teorii martyngaw obliczy
P(S = a), P(S = b) oraz E .
14. Rozwiza zadanie 13 przy zaoeniu 1/2 < p < 1.
15. Udowodni, e Ea = .
16. Zamy, e p = 1/2 oraz jest cakowalnym momentem zatrzymania. Udowodni, e
ES = 0 oraz ES2 = E .
17. Zbada zbieno p.n. oraz w Lp nadmartyngau (exp(Sn n/2))
n=0 (por. zadanie 4 c)).
18. Zmienne X1 , X2 , . . ., s niezalene i maj ten sam rozkad skoncentrowany na liczbach
nieujemnych, rny od {1} , o redniej 1. Udowodni, e cig (X1 X2 . . . Xn ) jest zbieny p.n.,
ale nie jest zbieny w L1 .
19. W pojemniku znajduje si pewna liczba czstek, z ktrych kada w chwili n z rwnym
prawdopodobiestwem albo dzieli si na dwie, albo ginie. W chwili 0 liczba czstek wynosi 1.
Udowodni, e z prawdopodobiestwem 1 po pewnym czasie wszystkie czstki zgin, tzn. w
pojemniku nie bdzie ani jednej czstki.

6. acuchy Markowa
6.1. Podstawowe definicje
Zajmiemy si teraz kolejn wan klas procesw stochastycznych: acuchami Markowa.
Niech E bdzie przestrzeni stanw: skoczonym lub przeliczalnym zbiorem. Jego elementy bdziemy oznacza literami j, k, . . . bd 1, 2, . . ..
Definicja 6.1. Macierz P = [pij ](i,j)EE nazywamy macierz stochastyczn, jeli pij [0, 1]
P
dla wszystkich i, j E oraz jE pij = 1 dla kadego i E.
Definicja 6.2. Zamy, e (, F, P) jest przestrzeni probabilistyczn, E, P s j.w., ustalone.
Jednorodnym acuchem Markowa o wartociach w E i macierzy przejcia P nazywamy cig
(Xn )n=0,1,2,... zmiennych losowych takich, e
P(Xn+1 = an+1 |Xn = an , Xn1 = an1 , . . . , X0 = a0 )
= P(Xn+1 = an+1 |Xn = an ) = pan an+1
dla wszystkich a0 , a1 , . . ., an+1 takich, e zdarzenie warunkujce ma dodatnie prawdopodobiestwo. Rwnowanie,
P(Xn+1 = j|X0 , X1 , . . . , Xn ) = P(Xn+1 = j|Xn ) = pXn j .
Liczba pij jest prawdopodobiestwem przejcia ze stanu i do stanu j w jednym kroku.
Przykady:
1) Zamy, e X0 , X1 , X2 , . . . s niezalenymi zmiennymi losowymi o tym samym rozkadzie,
przyjmujcymi wartoci w zbiorze E, przy czym P(Xn = j) = pj dla j E. Wwczas
P(Xn+1 = an+1 |Xn = an , . . . , X0 = a0 ) = P(Xn+1 = an+1 ) = pj
= P(Xn+1 = an+1 |Xn = an ),
a zatem (Xn )n jest acuchem Markowa; mamy

P =

p1 p2 . . .
p1 p2 . . .

.
p1 p2 . . .
...

2) (Bdzenie losowe) Zamy, e 1 , 2 , . . . s niezalenymi zmiennymi losowymi o rozkadzie P(n = 1) = p, P(n = 1) = q = 1 p. Niech X0 = 0, Xn = 1 + 2 + . . . + n dla n 1.
Mamy
P(Xn+1 = an+1 |Xn , Xn1 , . . . , X0 ) = P(Xn + n+1 = an+1 |0 , 1 , . . . , n )
=

jeli Xn = an+1 1,
jeli Xn = an+1 + 1,
w pozostaych przypadkach

= P(Xn+1 = an+1 |Xn ).


c Oskowski, Uniwersytet Warszawski, 2011.
Wykad z Rachunku Prawdopodobiestwa II

50

6. acuchy Markowa

3) (Bdzenie z pochanianiem na brzegu). Zamy, e a, b Z+ , (Xn ) jak poprzednio,


przy czym po dojciu do a bd b proces zatrzymuje si. Otrzymany cig zmiennych losowych
take jest acuchem Markowa. Mamy E = {a, a + 1, . . . , b 1, b} i

P =

1
q
0
0
...
0
0

0
0
q
0

0
p
0
q

0
0
p
0

...
...
...
...

0
0
0
0

0
0
0
0

0 p

0 0 0 ...
0 0 0 ... 0 1

4) (Bdzenie z odbiciem od brzegu). Niech a, b Z+ , (Xn ) jak poprzednio, przy czym


po dojciu do a przechodzimy do a + 1, po dojciu do b przechodzimy do b 1. Wwczas
otrzymany proces jest acuchem Markowa o macierzy przejcia jak poprzednio, tyle e pierwszy
wiersz to [0, 1, 0, 0, . . . , 0], a ostatni - [0, 0, . . . , 0, 1, 0].
5) (Model dyfuzji czstek). Danych jest n czstek w dwch pojemnikach: I i II. Co jednostk
czasu losowo wybrana czstka przemieszcza si z jednego pojemnika do drugiego.
Niech Xn oznacza liczb czstek w pojemniku I w chwili n. Przestrze stanw to E =
{0, 1, 2, . . . , n} oraz
pi,i+1 =

ni
i
dla i n 1, pi,i1 = dla i 1.
n
n

Pozostae pij s rwne 0:

P =

0
1
0
1/n
0 1 1/n
0
2/n
0
0
0
3/n
...0 0
0
0
0
0

...
...
...
...
...
...

0 0
0 0
0 0
0 0
0 1/n
1 0

Stwierdzenie 6.1. Zamy, e (Xn ) jest acuchem Markowa z macierz przejcia P = [pij ].
Wwczas dla kadej ograniczonej funkcji f : E R i dowolnego n,
E(f (Xn+1 )|X0 , X1 , . . . , Xn ) = E(f (Xn+1 )|Xn ) =

()

f (j)pXn j .

jE

Dowd:. Mamy
E(f (Xn+1 )|X0 , X1 , . . . , Xn ) =

E(f (Xn+1 )1{Xn+1 =j} |X0 , X1 , . . . , Xn

jE

f (j)P(Xn+1 = j|X0 , X1 , . . . , Xn )

jE

f (j)pXn j .

jE

Std rwno skrajnych stron w (*). Aby otrzyma praw rwno, wystarczy powtrzy powysze rozumowanie z warunkowaniem tylko po zmiennej Xn .

51

6.1. Podstawowe definicje

Twierdzenie 6.1. Zamy, e (Xn ), E, P - jak wyej. Wwczas dla wszystkich n =


0, 1, 2, . . ., k = 1, 2, . . ., j E,
(k)

P(Xn+k = j|X0 , X1 , . . . , Xn ) = P(Xn+k = j|Xn ) = pXn j ,


(k)

gdzie [pij ]i,jE = P k . Macierz t moemy interpretowa jako macierz przejcia w k


krokach.

Dowd:. Stosujemy indukcj ze wzgldu na k. Dla k = 1 dostajemy definicj acucha Markowa.


Przypumy, e teza zachodzi dla pewnego k 1. Mamy
P(Xn+k+1 = j|X0 , X1 , . . . , Xn ) = E(1{j} (Xn+k+1 )|X0 , X1 , . . . , Xn )
= E(E(1{j} (Xn+k+1 )|X0 , X1 , . . . , Xn+1 )|X0 , X1 , . . . , Xn )
X (k)
(k)
(k+1)
z.ind.
=
E(pXn+1 j |X0 , X1 , . . . , Xn ) Stw.
=
pij pXn iz.ind.
=
pXn j .
iE

Wniosek 6.1 (Rwnanie Chapmana-Komogorowa). Dla wszystkich k, n 1 oraz i, j E,


k+n
pij
=

pkil pnlj .

iE

Dowd:. Wynika to natychmiast z rwnoci P (k+n) = P k P n .


Stwierdzenie 6.2. Przy zaoeniach jak wyej, dla dowolnego n 0 oraz i0 , i1 , . . . , in E,
P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = P(X0 = i0 )pi0 i1 pi1 i2 . . . pin1 in .
Dowd:. Mamy
E(1{i0 } (X0 )1{i1 } (X1 ) . . . 1{in } (Xn )) = E[E(. . . |X0 , X1 , . . . , Xn1 )]
= E[1{i0 } (X0 )1{i1 } (X1 ) . . . 1{in } (Xn1 )) P(Xn = in |X0 , X1 , . . . , Xn1 )]
|

{z

pXn1 in =pin1 in

itd.
Definicja 6.3. Rozkad zmiennej X0 nazywamy rozkadem pocztkowym. Jest on jednoznacznie wyznaczony przez cig (i )iE liczb nieujemnych o sumie 1.
Podane niej twierdzenie mwi, i kada macierz stochastyczna i rozkad pocztkowy prowadz do pewnego acucha Markowa. Twierdzenie to pozostawimy bez dowodu.

Twierdzenie 6.2. Niech E bdzie zbiorem co najwyej przeliczalnym. Wwczas dla


kadej macierzy stochatycznej P oraz miary probabilistycznej na E istnieje przestrze probabilistyczna i okrelony na niej acuch Markowa o macierzy przejcia P i
rozkadzie pocztkowym .

52

6. acuchy Markowa

6.2. Klasyfikacja stanw


(n)

Mwimy, e stan j jest osigalny ze stanu i, jeli pij > 0 dla pewnego n 1. Mwimy,
e stany i oraz j si komunikuj, jeli j jest osigalny z i oraz i jest osigalny z j. Stan i jest
nieistotny, jeli istnieje taki stan j, e j jest osigalny z i oraz i nie jest osigalny z j. Jak
atwo sprawdzi, korzystajc z rwnania Chapmana-Komogorowa, relacja osigalnoci jest
przechodnia: istotnie, jeli j jest osigalny z i oraz k jest osigalny z j, to dla pewnych m, n 1,
(m)
pij > 0 i pnjk > 0, a zatem
pm+n
=
ik

(n)

(m) (n)

pm
il plk pij pjk > 0.

lE

Aby zilustrowa powysze definicje, odnotujmy, i dla bdzenia losowego po liczbach cakowitych (przykad 2 powyej), wszystkie stany wzajemnie si komunikuj. Natomiast w przypadku
pochaniania na brzegu (przykad 3), stany a + 1, a + 2, . . . , b 1 s nieistotne.
Zbir stanw S nazywamy zamknitym, jeli dla dowolnego i S oraz j
/ S, stan j nie jest
osigalny ze stanu i (innymi sowy, startujc ze stanu wewntrz C, z prawdopodobiestwem 1
nie wychodzimy nigdy z tego zbioru). Jeli stan k ma t wasno, e zbir {k} jest zamknity
(n)
(tzn. mamy pkk = 1 dla wszystkich n), to stan ten nazywamy pochaniajcym. acuch Markowa nazywamy nieprzywiedlnym, jeli wszystkie stany komunikuj si ze sob. Przykadowo,
acuch Markowa pojawiajcy si w modelu dyfuzji czstek (przykad 5) jest nieprzywiedlny.
Uwaga: Zamy, e C jest zamknitym zbiorem stanw acucha Markowa o macierzy
przejcia P = [pij ](i,j)EE . Wwczas moemy rozpatrzy acuch Markowa zawony do C:
jako now przestrze stanw bierzemy zbir C, a macierz przejcia zadana jest przez [pij ](i,j)]inCC
(wykrelamy z macierzy P wiersze i kolumny odpowieadajce stanom nienalecym do C).
Przykadowo, zamy, e macierz przejcia acucha na E = {1, 2, 3, 4} wynosi

1/2
1/4
0
1/5

1/2 0
0
3/4 0
0
1/3 1/2 1/6
1/5 2/5 1/5

Jak atwo zauway, zbir C = {1, 2} jest


" zamknity
# i indukuje acuch Markowa o warto1/2 1/2
ciach w tym zbiorze i macierzy przejcia
.
1/4 3/4
Niech
Fkj = P(

{Xn = j}|X0 = k)

n=1

bdzie prawdopodobiestwem tego, e startujc z k acuch dojdzie kiedy do stanu j. Mamy


Fkj =

fkj (n),

n=1

gdzie
fkj = P(X1 6= j, X2 6= j, . . . , Xn1 6= j, Xn = j|X0 = k)
jest prawdopodobiestwem e startujc z k acuch dochodzi do j po raz pierwszy w chwili n.
Definicja 6.4. Stan j nazywamy powracajcym, jeli Fjj = 1. Stan j nazywamy chwilowym
(tranzytywnym), jeli Fjj < 1.

53

6.2. Klasyfikacja stanw

Niech Nj =
n=1 1{Xn =j} bdzie zmienn losow zliczajc ile razy proces (Xn ) by w stanie
j (nie biorc pod uwag zmiennej X0 ). Mamy nastpujcy fakt.
P

Stwierdzenie 6.3. (i) Stan j jest powracajcy wtedy i tylko wtedy, gdy P(Nj = |X0 = j) = 1.
(ii) Stan j jest chwilowy wtedy i tylko wtedy, gdy P(Nj < |X0 = j) = 1.
Dowd:. Niech Ak = {proces (Xn ) by w stanie j co najmniej k razy}. Oczywicie Ak+1 Ak ,
a zatem z twierdzenia o ciagoci
lim P(Ak |X0 = i) = P(

Ak |X0 = i) = P(Nj = |X0 = i).

k=1

Wykaemy, e
k1
P(Ak |X0 = i) = Fij Fjj
.

()

Wwczas dostaniemy (stosujc t rwno dla i = j), i P(Nj = |X0 = j) = 1 wtedy i tylko
wtedy, gdy Fjj = 1 (to teza (i)) oraz P(Nj = |X0 = j) = 0 wtedy i tylko wtedy, gdy Fjj < 1
(co jest rwnowane tezie (ii)).
Pozostaje wic udowodni (*). Intuicyjnie ten wynik jest jasny: jeli mamy k razy odwiedzi
stan j (przy zaoeniu, e startujemy z i), to musimy doj z i do j, a potem k 1 razy powrci
do j po pewnych liczbach krokw. Formalnie, ustalmy n1 < n2 < . . . < nk . Mamy
P(Xnl = j dla l = 1, 2, . . . , k, Xn 6= j dla n 6= nl , n nk |X0 = i)
= P(X1 6= j, X2 6= j, . . . , Xn1 1 6= j, Xn1 = j|X0 = i)

k
Y


P(Xnl1 +1 6= j, Xnl1 +2 6= j, . . . , Xnl 1 6= j, Xnl = j|Xnl1 = j)

l=2

= fij (n1 )

n
Y

fjj (nl nl1 ).

l=2

Podstawmy m1 = n1 , mk = nk nk1 . Mamy, dla i 6= j,


X

P(Ak |X0 = i) =

fij (m1 )fjj (m2 ) . . . fjj (mk )

m1 ,...,mk 1

m1 =1

fij (m1 )

k
Y

l=2

k1
.
fjj (ml ) = Fij Fjj

ml =1

Uwaga: W szczeglnoci, P(Nj = |X0 = i) = 0 jeli j jest stanem chwilowym. Zatem w


przypadku stanu chwilowego, proces odwiedza go skoczenie wiele razy niezalenie od punktu
startowego.
Podane niej twierdzenie charakteryzuje stany chwilowe i powracajce w terminach macieP
(n)
rzy przejcia. Wprowadmy, dla kadego j E, liczb Pj =
n=1 pjj . Na mocy twierdzenia
Fubiniego (dla funkcji nieujemnych),
Pj =

E(1{j} (Xn )|X0 = j) = E(Nj |X0 = j),

n=1

czyli Pj jest rednim czasem przebywania acucha w stanie j (przy zaoeniu startowania z
tego stanu), nie liczc zmiennej X0 .

54

6. acuchy Markowa

Twierdzenie 6.3. (i) Stan j jest chwilowy wtedy i tylko wtedy, gdy Pj < .
(ii) Stan j jest powracajcy wtedy i tylko wtedy, gdy Pj = .

Dowd:. Zauwamy, i na mocy wzoru na prawdopodobiestwo cakowite,


k1
X

(k)

pjj =

(m)

fjj (k m)pjj ,

m=0
(0)

gdzie przyjmujemy pjj = 1. Zatem, na mocy twierdzenia Fubiniego (dla funkcji nieujemnych),
n
X
(k)

n k1
X
X

k=1

k=1 m=0
n1
n
X (m) X
pjj
fjj (k
m=0
k=m+1
n
X
(m)
pjj ,
Fjj + Fjj
m=1

pjj =
=
=

(m)

fjj (k m)pjj

m)

n
X
(m)

pjj Fjj

m=0

czyli, rwnowanie,
()

(1 Fjj )

n
X
(m)

pjj Fjj .

m=1

Jeli stan j jest chwilowy, to () daje, i


Pj

Fjj
< .
1 Fjj

I w drug stron: jeli Pj < , czyli E(Nj |X0 = j) < , to P(Nj = |X0 = j) = 0 i na mocy
poprzedniego twierdzenia j jest stanem chwilowym. To dowodzi (i). Cz (ii) jest konsekwencj
tego, e kady stan jest albo chwilowy, albo powracajcy oraz tego, e Pj jest albo skoczone,
albo nie.
Przykad: Zbadamy bdzenie losowe po liczbach cakowitych. Mamy
!

(2n)
p00

2n n n
1
p q (4pq)n ,
n
n

(2n+1)

na mocy wzoru Stirlinga. Ponadto, p00

= 0. Std

X
(n)

p00 <

n=1

wtedy i tylko wtedy,gdy p 6= 1/2. Zatem 0 jest stanem powracajcym wtedy i tylko wtedy, gdy
p = 1/2.
W przypadku gdy wszystkie stany komunikuj si wzajemnie, stany musz by tego samego
typu.

55

6.3. Rozkady stacjonarne i twierdzenie ergodyczne

Twierdzenie 6.4. Zamy, e acuch Markowa jest nieprzywiedlny. Wwczas jeli


jeden stan jest chwilowy, to wszystkie s chwilowe; jeli jeden stan jest powracajcy,
to wszystkie s powracajce.

Moemy wic mwi o acuchach okrelonego typu: chwilowych i powracajcych.


(r)

Dowd. Wemy dwa stany i, j. Istniej liczby caowite dodatnie r, s takie, e = pij > 0,
(s)

= pji > 0. Dla n 1 mamy


(r+s+n)

pii

(r) (n) (s)

pij pjj pji = pjj (n)

(n)

i podobnie pjj (r + s + n) pii . Zatem dla n > r + s,


1 (r+s+n)
(n)
(nrs)
p
pjj pii
,
ii
(n)

(n)

czyli asymptotyczne zachowanie cigw (pii )n oraz (pjj )n jest takie samo; w szczeglnoci,
(n)
n=1 pii

= wtedy i tylko wtedy, gdy

(n)
n=1 pjj

= .

Na zakoczenie - nastpujcy fakt dotyczcy struktury stanw acucha Markowa ze wzgldu


na stany chwilowe i powracajce (bez dowodu).
Stwierdzenie 6.4. Przestrze stanw E acucha Markowa moemy jednoznacznie przedstawi
w postaci
E = C D1 D2 . . . ,
gdzie C jest zbiorem stanw chwilowych, a Di , i 1 s nieprzywiedlnymi zamknitymi zbiorami
stanw powracajcych.
Przy danym rozbiciu przestrzeni E jak w powyszym stwierdzeniu, z prawdopodobiestwem
1 acuch Markowa zachowuje si nastpujco. Jeli startuje on w zbiorze Di , i 1, to nigdy
go nie opuszcza i odwiedza wszystkie elementy tego zbioru; jeli startuje on w zbiorze C, to
albo pozostaje tam na zawsze (co moe mie miejsce tylko wtedy, gdy C ma nieskoczenie wiele
elementw), albo po skoczonej liczbie krokw trafia do jednego ze zbiorw Di , i pozostaje tam
na zawsze.

6.3. Rozkady stacjonarne i twierdzenie ergodyczne


Definicja 6.5. Zamy, e P jest macierz stochastyczn. Rozkad na E nazywamy stacjoP
narnym (niezmienniczym), jeli P = (tzn. dla wszystkich j E, iE i pij = j .
Rozkad stacjonarny ma nastpujce wasnoci. Po pierwsze zauwamy, e jeli jest rozkadem stacjonarnym, to dla kadego n 1, P n = (oczywista indukcja). Innymi sowy, jeli
(Xn ) jest acuchem Markowa o macierzy przejcia P i rozkadzie pocztkowym , to dla n 1,
rozkad Xn jest rwny . Mona nawet powiedzie wicej: dla wszystkich n 1 oraz dowolnego
cigu m1 < m2 < . . . < mk (k 1 rwnie jest dowolne) wektor (Xm1 , Xm2 , . . . , Xmk ) ma ten
sam rozkad co (Xn+m1 , Xn+m2 , . . . , Xn+mk ). Istotnie,
P(Xn+m1 = j1 , Xn+m2 = j2 , . . . , Xn+mk = jk )

56

6. acuchy Markowa

(m m1 )

1 +n
i pm
pj1 j22
ij1

(m mk1 )

k
. . . pjk1
jk

(m m1 )

= j1 pj1 j22

(m mk1 )

k
. . . pjk1
jk

iE

co nie zaley od n.
acuch o takiej wasnoci nazywamy stacjonarnym.
Definicja 6.6. Okresem stanu j nazywamy najwiksz tak liczb n, e powrt do stanu j jest
(n)
moliwy tylko po liczbie krokw podzielnej przez n: o(j) =NWD{n : pjj > 0}.
Stan nazywamy okresowym jeli o(j) > 1 i nieokresowym, jeli o(j) = 1.
Stwierdzenie 6.5. W nieprzywiedlnym acuchu Markowa wszystkie stany maj ten sam okres.
Wobec tego nastpujca definicja ma sens.
Definicja 6.7. Nieprzywiedlny acuch Markowa (Xn ) nazywamy okresowym, jeli wszystkie
jego stany maj okres wikszy ni 1. W przeciwnym razie acuch nazywamy nieokresowym.
Lemat 6.1. acuch jest nieprzywiedlny i nieokresowy wtedy i tylko wtedy, gdy jest speniony
warunek
(n)

i,jE n0 nn0 pij > 0.

(O)

Dowd:. Oczywicie wystarczy tylko udowodni implikacj . Ustalmy i, j E oraz liczb m


(m)
tak, e pij > 0. Z definicji nieokresowoci, istniej liczby wzgldnie pierwsze n1 , n2 , . . . , nk
(n )

takie, e pjj l > 0, l = 1, 2, . . . , k. Jeli n jest dostatecznie due, to


dla pewnych al Z+ ,

n = a1 n1 + a2 n2 + . . . + ak nk ,
i mamy
(n)

pjj

Y (a n )
l l

pjj

Y (n )
(pjj l )al > 0.
l

Zatem
(m+n)

pij

(m) (n)

pij pjj > 0

o ile m + n jest dostatecznie due.

Twierdzenie 6.5. Zamy, e warunek (O) jest speniony i istnieje rozkad stacjonarny . Wwczas kady stan jest powracalny, rozkad stacjonarny jest jednoznaczny
oraz dla wszystkich i, j E,
(n)
lim pij = j .
n

(n)

Uwaga: Jak wida, przy zaoeniach twierdzenia, pij przestaje zalee od i o ile n jest
due. Innymi sowy, po duej liczbie krokw acuch zapomina, z jakiego stanu wystartowa.
Dowd:. Dowd przeprowadzimy w piciu krokach.
1. Wszystkie stany s albo powracalne, albo chwilowe. Zamy, e ma miejsce ta druga moP
(n)
liwo. Liczba
n=1 pij jest rednim czasem przebywania w stanie j przy zaoeniu startowania
ze stanu i. Na mocy wasnoci Markowa, mamy zatem

X
(n)

pij = Fij Pj < ,

k=1

57

6.3. Rozkady stacjonarne i twierdzenie ergodyczne


(n)

a zatem pij 0 gdy n . Z drugiej strony, dla kadego j E,


X

(n)

i pij = j

iE

i lewa strona dy do 0 na mocy tw. Lebesguea o zmajoryzowanym przejciu do granicy. Std


0 i sprzeczno.
2. Rozwamy now przestrze stanw E E oraz macierz przejcia P 2 na tej przestrzeni,
o wyrazach p(i,j)(k,l) = pik pjl (oczywicie jest to macierz stochastyczna). Niech 2 = (i
j )(i,j)EE bdzie rozkadem na E E: jest to rozkad stacjonarny dla P 2 . Niech (Xn0 , Xn00 )
bdzie acuchem Markowa z t macierz przejcia: (Xn0 ) oraz (Xn00 ) to dwa niezalene acuchy
Markowa o macierzach przejcia P , startujce ze stanw i, j, odpowiednio. Poniewa bdziemy
zmienia te punkty startowe, wygodnie nam bdzie pracowa na miarach probabilistycznych
Pij = P(|X00 = i, X000 = j). Jak atwo sprawdzi, warunek (O) jest speniony; zatem na mocy
kroku 1., z kadego stanu (i, j) mona doj do kadego innego; w szczeglnoci do stanu (k, k).
Zatem dla wszystkich i, j E, Pij (Xn0 = Xn00 dla pewnego n) = 1.
3. Niech = inf{n : Xn0 = Xn00 }. Definiujemy
(

(Yn0 , Yn00 ) =

(Xn0 , Xn00 )
(Xn0 , Xn0 )

dla n < ,
dla n .

Z powyszej dyskusji wynika, e dla wszystkich i, j E,


lim Pij (Yn0 6= Yn00 ) = 0.

Sprawdzimy teraz, e (Yn0 ), (Yn00 ) s acuchami Markowa (wzgldem miary probabilistycznej Pij )
z macierz przejcia P . Ograniczymy si tylko do procesu (Yn00 );w przypadku (Yn0 ) przeksztacenia
s analogiczne.
00
00
Pij (Yn+1
= k|Xs0 , Xs00 , s n) = Pij (Yn+1
= k, < n|Xs0 , Xs00 , s n)
00
+ Pij (Yn+1
= k, n|Xs0 , Xs00 , s n)
0
= Pij (Xn+1
= k|Xs0 , Xs00 , s n)1{ <n}
00
+ Pij (Xn+1
= k|Xs0 , Xs00 , s n)1{ n}
0
= Pij (Xn+1
= k|Xs0 , s n)1{ <n}
00
+ Pij (Xn+1
= k|Xs00 , s n)1{ n}

= pXn0 k 1{ <n} + pXn00 k 1{ n} = pYn00 k


i wystarczy oboy obie strony warunkow wartoci oczekiwan wzgldem cigu Y000 , Y100 , . . . , Yn00 .
(n)
(n)
4. Pokaemy, e dla i, j, k E, |pik pjk | 0. Mamy |P(A)P(B)| P(A\B)+P(B \A),
wic
(n)

(n)

|pik pjk | = |Pij (Yn0 = k) Pij (Yn00 = k)|


Pij (Yn0 = k, Yn00 6= k) + Pij (Yn0 6= k, Yn00 = k)
Pij (Yn0 6= Yn00 ) 0.
(n)

5. Mamy, dla wszystkich k E, iE i pik = k , skd, na mocy poprzedniej czci oraz


twierdzenia Lebesguea,
X
(n)
(n)
(n)
k pjk =
i (pik pjk ) 0.
P

iE

Jednoznaczno rozkadu stacjonarnego jest oczywista: k jest wyznaczony jako granice


(n)
pik .

58

6. acuchy Markowa

Na zakoczenie zaprezentujemy nastpujcy fakt. Dowodzi si go uywajc podobnej argumentacji jak w poprzednim twierdzeniu. Szczegy pozostawiamy czytelnikowi.

Twierdzenie 6.6. Jeli E jest zbiorem skoczonym i zachodzi warunek (O), to istnieje
rozkad stacjonarny i zachodzi teza poprzedniego twierdzenia.

6.4. Zadania
1. Niech E bdzie pewnym zbiorem przeliczalnym. Dany jest cig (Xn ) niezalenych zmiennych losowych oraz cig funkcyjny (fn ), fn : E R E. Definiujemy cig (Yn ) wzorem
Yn+1 = f (Yn , Xn ), n = 0, 1, 2, . . . ,
gdzie Y0 jest pewn zmienn losow o wartociach w E. Dowie, e (Yn ) jest acuchem Markowa.
2. Dany jest acuch Markowa (Xn ) na pewnej przestrzeni E oraz rnowartociowa funkcja
f : E E. Wykaza, e (f (Xn )) jest acuchem Markowa. Co jeli f nie jest rnowartociowa?
3. Dany jest cig (Xn ) niezalenych zmiennych losowych o tym samym rozkadzie P (Xn =
1) = 21 . Rozstrzygn, ktre z podanych niej procesw s acuchami Markowa:
U0 = 0,

Un = X1 + X2 + . . . + Xn , n 1,

Wn = X0 X1 X2 . . . Xn , n 0,
Vn = (1)Un , n 0,
Yn = Xn Xn+1 , n 0,
Xn + Xn+1
Zn =
, n 0.
2
4. Dany jest cig (Xn ) niezalenych zmiennych losowych o tym samym rozkadzie P(Xn =
1) = p = 1 P(Xn = 1), p (0, 1). Niech Sn = X1 + X2 + . . . + Xn , n = 1, 2, . . .. Udowodni,
e cigi
Yn = |Sn |, Zn = max Sk Sn
kn

s acuchami Markowa.
5. Rzucamy kostk tak dugo, a pojawi si cig 16 lub 66. Jakie jest prawdopodobiestwo,
e cig 16 pojawi si wczeniej?
6. Rzucamy symetryczn monet a do momentu, gdy wyrzucimy seri 4 orw. Obliczy
warto oczekiwan liczby przeprowadzonych rzutw.
7. Macierz przejcia acucha Markowa (Xn )n na przestrzeni E = {1, 2, 3, 4} dana jest
nastpujco:

0 12 21 0
1 1 0 1

4
P = 42 2
.
3 0 0 13
0 23 31 0

59

6.4. Zadania

a) Jakie jest prawdopodobiestwo dojcia w dwch krokach ze stanu 1 do stanu 2?


b) Zakadajc, e X0 = 1 p.n. obliczy prawdopodobiestwo tego, e Xn bdzie w stanie 2
przed stanem 4.
c) Zakadajc, e X0 = 3 p.n. obliczy warto oczekiwan czasu dojcia do stanu 2.
d) Wyznaczy rozkad stacjonarny. Czy acuch jest okresowy? Czy jest nieprzywiedlny?
8. Po wierzchokach piciokta ABCDE porusza si pionek. W chwili pocztkowej znajduje
si w punkcie A, a w kadym kolejnym ruchu przesuwa si w sposb niezaleny od poprzednich
ruchw z prawdopodobiestwem 1/2 do jednego z ssiednich wierzchokw. Obliczy
a) prawdopodobiestwo, e pionek powrci do punktu A przed dotarciem do punktu C,
b) warto oczekiwan liczby ruchw, jakie wykona pionek przed powrotem do punktu A.
9. Naukowiec majcy r parasoli wdruje midzy domem a biurem, zabierajc ze sob parasol
(jeli jest on pod rk) wtedy, gdy pada (prawdopodobiestwo p), lecz nie przy bezdeszczowej
pogodzie (prawdopodobiestwo q = 1 p). Niech stanem acucha Markowa bdzie liczba
parasoli znajdujcych si pod rk, bez wzgldu na to, czy naukowiec jest w domu, czy w miejscu pracy. Skonstruowa macierz przejcia i znale rozkad stacjonarny. Znale przyblione
prawdopodobiestwo zmoknicia naukowca w danym (odlegym) dniu, a nastpnie wykaza, e
5 parasoli jest w stanie ochroni go w 95% przed zmokniciem (dla dowolnego p).
10. Proces (Xn ) jest acuchem Markowa.
(i) Czy dla dowolnego n 0, liczb 0 i0 < i1 < . . . < ik = n oraz stanw a0 , a1 , . . ., ak+1
mamy
P(Xn+1 = ak+1 |Xik = ak , Xik1 = ak1 , . . . , Xi0 = a0 )
= P(Xn+1 = ak+1 |Xik = ak )?
(ii) Czy dla dowolnego n 0, liczb 0 i0 < i1 < . . . < ik = n oraz zbiorw A0 , A1 , . . .,
Ak+1 mamy
P(Xn+1 Ak+1 |Xik Ak , Xik1 Ak1 , . . . , Xi0 A0 )
= P(Xn+1 Ak+1 |Xik Ak )?
11. Dany jest acuch Markowa (Xn ) o macierzy przejcia P , ktrej kady wiersz jest taki
sam. Udowodni, e zmienne X0 , X1 , . . . s niezalene.
12. Dany jest acuch Markowa (Xn ) startujcy ze stanu i. Niech = inf{n 1 : Xn 6= i}.
Udowodni, e ma rozkad geometryczny.
13. Rozwaamy bdzenie losowe po Z2 : stan (i, j) Z2 komunikuje si w jednym kroku z
kadym ze stanw (i 1, j), (i, j 1) z prawdopodobiestwem 1/4. Udowodni, e wszystkie
stany s powracalne. Udowodni, e nie istnieje rozkad stacjonarny.
14. Niech bdzie ustalon liczb dodatni. Dany jest acuch Markowa na E = {1, 2, . . .}
startujcy z 1, o nastpujcych prawdopodobiestwach przejcia: stan k E prowadzi w jednym
kroku do 1 z prawdopodobiestwem (k+1) oraz do k+1 z prawdopodobiestwem 1(k+1) .
Czy acuch jest okresowy? Czy jest nieprzywiedlny? Dla jakich acuch jest powracalny? Dla
jakich istnieje rozkad stacjonarny?
15. Dany jest spjny graf (W, K) o skoczonej liczbie wierzchokw oraz acuch Markowa
o wartociach w V taki, e z kadego wierzchoka x V mona w jednym kroku doj do

60

6. acuchy Markowa

jednego z wierzchokw ssiadujcych z x. Niech n(x) oznacza liczb ssiadw x. Udowodni,


e x = n(x)/(2|K|) jest rozkadem stacjonarnym.
16. W modelu dyfuzji (przykad 5) powyej) z n = 20, zamy, e w chwili 0 nie ma adnej
czstki w pojemniku I. Wyznaczy przyblione prawdopodobiestwo tego, e w chwili 10000 nie
bdzie adnej czstki w I pojemniku.

Literatura

c Oskowski, Uniwersytet Warszawski, 2011.


Wykad z Rachunku Prawdopodobiestwa II