Elments de thorie des Probabilits Discrtes

Espaces de probabilit Dnition : une exprience alatoire est une exprience dont on ne connat pas le rsultat lavance. Dnition : on appelle univers des possibles, ou espace de probabilit lensemble des rsultats possibles dune exprience alatoire. Remarque : On se limitera dans toute la suite au cas o lunivers des possibles est ni1 . vnements Soit E un espace de probabilits. Dnition : toute partie de E est appele un vnement Un vnement qui contient un unique lment de E est un vnement lmentaire. Lensemble E tout entier est lvnement certain, lensemble vide est lvnement impossible. Lvnement contraire A dun vnement A est lvnement constitu par le complmentaire de A dans E. Deux vnements sont incompatibles sils ne peuvent tre raliss simultanment. Distribution de probabilit Dnition : une distribution de probabilit sur E = {e1 , . . . , en } est une fonction p : E I telle que : R 0 p(ek ) 1
1

et

n i=1 p(ei )

=1

On peut passer au cas continu,mais alors il faut faire un usage massifde la thorie de la mesure et de lintgration

Dnition : tant donne une distribution de probabilit p sur E, on appelle probabilit la fonction P : P(E) I dnie comme suit R P (A) =
eA

p(e)

(1)

Pour tout vnement A E, la probabilit de A est P (A). Oprations lmentaires Soit E quip dune distribution p. Thorme : P (A1 A2 ) = P (A1 ) + P (A2 ) P (A1 A2 ) P (A) = 1 P (A) Distribution uniforme Dnition : on appelle distribution uniforme la distribution qui assigne tout vnement lmentaire la mme valeur Il est immdiat de voir que si |E| = n, et p est uniforme, alors pour tout e E, p(e) = pour tout A E, P (A) = 1 n |A| |E| (2)

(3)

Exemples : le LOTO Nous avons dj calcul le nombre de combinaisons de 6 chiffres entre 1 et 49 : 6 C49 = 13983816 Donc la probabilit de gagner le gros lot est 1 13983816 parce-que lvnement gagnant est lmentaire. 2

Exemples : le LOTO Combien de chances a-t-on de trouver respectivement 6, 5, 4, 3, 2, 1 ou 0 bons numros en jouant n chiffres distinctes ? Notons L(k, n) lvnement on trouve k chiffres en jouant n chiffres. Combien y a-t-il dlments dans L(k, n) ?

Le paradoxe du BigDil Dans une variante du jeu du BigDil, le prsentateur offre la candidate de choisir un parmi 3 rideaux : lun dentre eux cache une voiture, les deux autres un verre en plastique. Une fois que la candidate a choisi un rideau, le prsentateur ouvre un des deux autres rideau et lui montre quil cache le verre en plastique. Ensuite, il lui offre lopportunit de changer son choix, si elle le souhaite. Que feriez-vous la place du candidat ? 3

Le paradoxe des anniversaires Dans un Amphi il y a 50 tudiants. Quellest la probabilit que au moins deux dentre eux soient ns le mme jour ?

F IG . 1 Probabilit de 0 conit en variant n Nombre de personnes P(anniversaires tous diffrents) 1 1 5 0.97 10 0.88 20 0.58 22 0.52 23 0.49 30 0.29 50 0.03 Donc, avec 23 tudiants, on peut dj parier avantageusement sur la concidence. Vrication exprimentale Probabilit conditionnelle Dnition : la probabilit de lvnement A sachant B, ou probabilit conditionnelle de A par rapport B est le rapport P (A|B) = P (A B) P (B)

Thorme : la fonction pA : E I dnie comme pA (ei ) = P ({ei }|A) R est une distribution de probabilit, quelque soit le choix de A vnement non ngligeable2 .
2

i.e. P (A) > 0

Formule de Bayes Thorme : soit {Ak }kK une partition3 de E ; alors P (B) =
kK

P (B|Ak )P (Ak )

Thorme :(Bayes) soit {Ak }kK une partition4 de E ; alors pour tout vnement non ngligeable B on a P (Ai |B) = Preuve : P (Ai |B) = P (Ai B) 5 = P (B) P (B|Ai )P (Ai ) kK P (B|Ak )P (Ak ) P (B|Ai )P (Ai ) kK P (B|Ak )P (Ak )

vnements indpendants Dnition : deux vnements A et B sont indpendants ssi lune des conditions quivalentes suivantes est vrie : P (A|B) = P (A) P (B|A) = P (B) P (A B) = P (A)P (B) Dnition : les vnements e1 , . . . , en sont conditionnellement indpendants par rapport h si P (e1 . . . en |h) = P (e1 |h) . . . P (en |h) Bayes pour vnements indpendants Thorme :(Bayes) soit {Ak }kK une partition6 de E ; alors pour tout vnements non ngligeables et conditionnellement indpendants e1 , . . . , en on a P (Ai |e1 . . . en ) =
Ai Aj = kK {Ak } = E Ai Aj = kK {Ak } = E 5 def de P (B|Ai ) et thorme prcdent 6 Ai Aj = kK {Ak } = E
4 3

P (e1 |Ai ) . . . P (en |Ai )P (Ai ) kK P (e1 |Ak ) . . . P (en |Ak )P (Ak )

Une vraie application : ltrage Bayesien du spam On veut ltrer les message contenant du spam : on calcule la frquence M (auvais) des mots apparaissant dans une bote--lettres contenant du spam on calcule la frquence B(on) des mots apparaissant dans une bote-lettres contenant des vrais messages une fois reu un nouveau message, on prend les 15 mots m1 , . . . , m15 ayant la probabilit la plus loigne de 0.5 on calcule P (M |m1 et . . . et m15 ) et on ltre le message si ellest plus grande de 0.9 Problme : comment calculer P (M |m1 et . . . et m15 ) en ne connaissant que les frquences des mi dans M et B ? Paul Grapham a propos en 2002, dans A plan for spam une stratgie base sur ce raisonnement, avec des heuristiques qui ont t ensuite incorpors, par exemple, dans SpamOracle. Variable alatoire Dnition : une fonction X : E I est dite une variable alatoire R Exemple : On tire une pice 3 fois. Soit X(t) le nombre de faces obtenues. Alors X(F F F ) = 3 X(F F P ) = X(F P F ) = X(P F F ) = 2 X(P P P ) = 0 X(F P P ) = X(P P F ) = X(P F P ) = 1 Une variable alatoire assigne une valeur tout vnement. Dnition : on crira p(X = v) pour P (X 1 (v)) Esprance mathmatique tant donne une variable alatoire X : E I on peut chercher en R, trouver la valeur moyenne : Dnition : lesprance mathmatique dune variable alatoire X : E I dnie sur lespace de probabilit E, quip de la distribution de probaR bilit P , est E(X) =
ei E

p(ei )X(ei )

On a bien que E(X) =

ei E

p(ei )X(ei ) =
vX(E)

p(X = v)v

Distribution Binomiale Dnition : Une exprience de Bernoulli est une exprience pouvant avoir seulement deux valeurs7 , avec probabilit p de succs et 1p dchec. Dnition : Considrons une variable alatoire X gale aux nombre de succs dans une suite de n expriences de Bernoulli indpendantes : la probabilit davoir exactement k succs suit la distribution binomiale
k p(X = k) = Cn q k (1 q)nk

et on a E(X) = nq Proprits de lesprance Thorme : Pour X1 , . . . , Xn variables alatoires, on a E(X1 + . . . + Xn ) = E(X1 ) + . . . + E(Xn ) E(aX1 + b) = aE(X1 ) + b Indpendance Dnition : deux variables alatoires X1 et X2 sont indpendantes si p(X1 = v et X2 = w) = p(X1 = v)p(X2 = w) Proposition : si deux variables alatoires X1 et X2 sont indpendantes, alors E(X1 X2 ) = E(X1 )E(X2 ) Variance et dviation standard Dnition : on dnit la variance V (X) dune variable alatoire X comme V (X) = E((X E(X))2 ) et la dviation standard de X comme = V (X) (4) (5)

Exercice : prouvez que V (X) = E(X 2 ) E(X)2

7

typiquement, succs et chec

Ingalit de Chebischev Thorme : pour X variable alatoire, et pour tout > 0 p (X E(X))2 V (X)/ Do p (|X E(X)| c) 1/c2 Donc, X tombe plus de c de E(X) avec probabilit 1/c2 . Cela dit, par exemple, que au moins dans 75% de cas X est moins de 2 de E(X).