Licence R&T S6 Université de BLIDA1

Série de TD 01 : Rappel sur les Probabilités

Exercice 1. Considérez la fonction de répartition suivante

 0 si x < 0
FX (x) = x/2 sinon
k si x ≥ 1


1. Quelle est la valeur de k ?

2. Donner la fonction densité de probabilité fX (x).
3. Calculez les probabilités suivantes : P (X = 1), P (0.5 < X ≤ 1), P (X > 2).
Exercice 2. Une expérience aléatoire consiste à tirer une boule d’une urne contenant quatre boules
rouges numérotées 1, 2, 3, 4 et trois boules noires numérotées 1, 2, 3. Les évenements suivants sont définis
ainsi :
– E1 = le nombre sur la boule est pair.
– E2 = la couleur de la boule est rouge, et le nombre est plus grand que 1.
– E3 = le nombre sur la boule est inférieur à 3.
– E4 = E1 ∪ E3 .
– E5 = E1 ∪ (E2 ∩ E3 ).
1. Quelle est P (E2 ).
2. Quelle est P (E3 |E2 ).
3. Quelle est P (E2 |E4 E3 ).
4. Les événements E3 et E5 sont-ils indépendants.
Exercice 3. Soit le densité de probabilité conjointe suivante pX,Y (x, y) :
pX,Y (x, y) x=1 x=2
y=1 0.5 0.1
y=2 0.1 0.3
1. Trouver les lois marginales pX (x) pY (y).
2. Trouver les lois conditionnelles pX (x|y = 1) pY (y|x = 2).
Exercice 4. Soit la densité de probabilité conjointe de X et Y suivante :
x+y
pXY (x, y) = , pour x = 0, 1, 2, 3; y = 0, 1, 2,
30
1. Trouver : P (X ≤ 2, Y = 1) et P (X > 2, Y ≤ 1) ; P (X > Y ) et P (X + Y = 4).
2. Trouver les densités marginales de X et Y .
Exercice 5. Soit X une variable aléatoire, dont la loi de probabilité est donnée par le tableau
X 0 1 2 3 4 5
P (X) 1/10 2/10 4/10 1/10 1/10 1/10
(a) Déterminer la fonction de répartition ;
(b) Calculer : F (4.5), P (X ≥ 2) et P (2 ≤ X ≤ 3).
Exercice 6. La fonction densité de probabilité de X et Y est donnée par :
6 2 xy
fX,Y (x, y) = x + 0 < x < 1, 0 < y < 2
7 2
(a) Calculer la fonction densité de probabilité de X.
(b) Calculer P (X > Y ).
(c) Calculer P (Y > 0.5|X < 0.5).
(d) Calculer E[X].
(e) Calculer E[Y ].

H. AIT SAADI 22 Février 2016

Licence R&T S6 Université de BLIDA1

Série de TD 02 : Théorie de l’information (entropie, information mutuelle

Exercice 1. On considère une source S qui émet les symboles (a ; b ; c ; d ; e ; f) avec probabilités
respectives (0,15 ; 0,27 ; 0,20 ; 0,10 ; 0,05 ; 0,23).
1. Calculer l’entropie H(S).
2. Comment doivent être les probabilités pour avoir une entropie maximale ? Expliquez. Calculer cette
entropie maximale.
3. Calculer et commenter la quantité d’information associée à une expérience dont le résultat est
certain. Choisissons, par exemple, la une source qui émet la phrase suivante : « Demain il fera jour
».
Exercice 2. Soit le densité de probabilité conjointe suivante pX,Y (x, y) :
pX,Y (x, y) x=0 x=1
y=0 1/3 1/3
y=1 0 1/3
Calculer : H(X), H(Y ), H(X/Y ), H(Y/X ), H(X, Y ), H(Y ) − H(Y/X ) et I(X; Y ).
Exercice 3. Soit X une variable aléatoire discrète et g(X) une fonction de X.
Montrer que : H(g(X)) ≤ H(X). Astuce : Utiliser en justifiant les étapes suivantes :
H(X, g(X)) = H(X) + H(g(X)/X )) (1)
= = H(X) (2)
= H(g(X)) + H(X/g(X)) (3)
Exercice 4. Soit une variable aléatoire continue X avec une fonction densité de probabilité fx (x) et soit
Y = aX. Où a est une constante non nulle.
(a) Montrer que H(Y ) = log 2 |a| + H(X).
(b) Trouvons nous la même relation lorsque X est une variable aléatoire discrète ?
Exercice 5. Soit X1 et X2 sont deux variables aléatoires identiquement distribuées mais non nécessaire-
ment indépendantes. Posons : ρ = 1 − H(X 2 /X1 )
H(X1 )
I(X1 ;X2 )
(a) Montrer que ρ = H(X1 )
(b) Montrer que 0 ≤ ρ ≤ 1.
(c) Dans quel cas on peut avoir ρ = 0 ? et dans quel cas on peut avoir ρ = 1 ?
Exercice 6. Soit le canal illustré par la figure 2. Sachant que P (x = a) = 1 − p, P (x = b) = p/2 et
P (x = c) = p/2.
1. Calculer H(X), H(Y ) et H(Y/X ).
2. Trouve l’expression de l’information mutuelle I(X; Y ).
3. Trouver la capacité du canal C et la valeur de p qui maximise cette capacité.

1
2
1
2
1
2

1
2

Figure 1 – Exemple d’un canal.

H. AIT SAADI 22 Février 2016