Vous êtes sur la page 1sur 2

TD N°1 

: Entropie
EXERCICE : 1

Une usine fabrique des pièces dont certaines présentent un défaut de fabrication. On met au
point un test pour détecter de tels défauts. On peut alors modéliser la situation par un
système (X,Y), où X correspond à l qualité de la pièce et prend les valeurs « défaut » et « sans
défaut », et Y représente le résultat du test, et prend les 3 valeurs « Positif », « Négatif », et
« Douteux ».

On sait que 95% des pièces sont sans défaut, c'est-à-dire que Prob(X=Défaut)=0.05, et que
les caractéristiques du test sont :

Prob(Y=Positif|X=Sans Défaut)=0.95
Prob(Y=Négatif|X=Sans Défaut)=0.03
Prob(Y=Positif|X= Défaut)=0.0
Prob(Y=Négatif|X= Défaut)=0.9
Prob(Y=Douteux|X=Défaut)=0.1
Prob(Y=Douteux|X=Sans Defaut)=0.02
1. Donner la loi de X, la loi de (X,Y) et la loi de Y.
2. Calculer H(X), H(Y) et H(X,Y).
3. En déduire les valeurs de H(Y|X) et H(X|Y).
4. En déduire les valeurs de I(X,Y).
5. On définit l’efficacité du test par r=I(X,Y)/H(X). Déterminer la valeur de « r »
6. Quelqu’un prétend avoir trouvé un nouveau test, dont l’efficacité serait de 1.15. Est-
ce possible ? Justifier votre réponse.
7. On crée un nouveau test de la manière suivante : on réalise deux fois, de manière
indépendante, le test d’origine, et on note Z=(Y,Y2) les résultats obtenus. On définit
l’efficacité de ce nouveau test par r’=I(X,Z)/H(X).
a. Comparer H(X|Y) et H(X|Z) sans faire de calcul. Justifier votre réponse.
b. Comparer I(X,Z) et I(X,Y).
c. Comparer r et r’. Commenter le résultat.

EXERCICE 2

Un tournoi consiste dans une séquence de trois combats entre deux joueurs. Il se termine
aussitôt qu’un des deux joueurs gagne deux combats. Soit X la variable aléatoire qui
représente le résultat d’un tournoi entre les joueurs A et B, par exemple : AA, ABB, ou BAB.
Soit Y le nombre de combats effectués. Y peut prendre les valeurs 2 et 3.

1. Rappeler les définitions de l’entropie, l’entropie conditionnelle, l’entroprie conjointe


et de l’information mutuelle.
2. Sous l’hypothèse que les joueurs A et B sont équilibrés et que les combats sont
indépendants, calculez :
a. H(X),
b. H(Y ),
c. H(X|Y ).

3. Soit Z l’équipe gagnante :


a. Déterminez H(X|Z).
b. Comparez H(X|Z). avec H(X).
c. Déterminez H(Z|X).
4. Déterminez l’information mutuelle I(Y ;Z).

EXERCICE 3

Soient X, Y et Z trois sources d’information discrètes et blanches.

1. Rappeler la définition de l’entropie et donner l’expression de H(X).


2. Donner l’expression de l’entropie conjointe H(X,Y) et des entropies conditionnelles
H(X|Y) et H(Y|X).
3. Montrer que H(X|Z) ≤ H(X|Y) + H(Y|Z).
4. Rappeler la définition de l’information mutuelle I(X,Y) et donner la relation qui existe
entre I(X,Y), H(X,Y), H(Y|X) et H(X|Y).
5. On défini la distance d’information entre X et Y par :

d ( X , Y )=H ( X , Y )−I (X , Y )

a. Montrer que d ( X , Y )=H ( X∨Y )+ I (Y ∨X ).


b. En déduire que d ( X , Y ) ≥ 0
c. En utilisant le résultat de la question 3, montrer l’inégalité triangulaire
suivante :

d ( X , Z ) ≤d ( X , Y ) +d (Y , Z )

6. On défini le coefficient de dépendance entre les variables aléatoires X et Y par :


I (X ,Y )
ρ ( X , Y )=
H (X , Y )
a. Montrer que 0 ≤ ρ ( X ,Y ) ≤ 1
b. A quelle condition a-t-on ρ ( X , Y )=0?
c. A quelle condition a-t-on ρ ( X , Y )=1?
d. Comparer ces propriétés à celles du coefficient de corrélation défini par :
Cov( X ,Y )
σ X σY

Vous aimerez peut-être aussi