Hassan I Faculté des Sciences et Techniques Settat
TD N°1 Exercice 1: Une source émet aléatoirement un symbole parmi quatre symboles possibles. Ces quatre symboles ont des probabilités d’occurrence telles que p0 = 0.4, p1 = 0.3, p2 = 0.2 et p3 = 0.1 et sont statistiquement indépendants.
1. Calculer l’information associée à l’émission de chacun de ces 4 symboles.
2. Calculer l’entropie de la source.
Exercice 2 : Soit deux variables aléatoires X, Y de probabilité jointe dans le tableau suivant :
X Y 0 1 0 1/3 1/3 1 0 1/3
1. Calculer H(X), H(Y), H(X/Y), H (Y/X), H(X, Y) et I(X, Y)
Exercice 3: Un joueur A extrait sans remise deux cartes au hasard d’un jeu de 32 cartes.
Un joueur B pose des questions au joueur A afin de découvrir la main des deux cartes choisis par A.
On suppose que A répond d’une manière honnête et précise au joueur B.
1. Calculer l’incertitude moyenne (Entropie) à la détermination de la main choisi par A.
2. Même question : combien y-at.-il de cœur dans la main ? Calculer la quantité d’information moyenne apporté par la réponse à cette première question sur la détermination de la main.
1 Université Hassan I Faculté des Sciences et Techniques Settat
Exercice 4: Soit U, V et W trois variables aléatoires indépendantes d’entropie Hu, Hv, Hw. Soit alors les variables X = (U, V), Y = (V, W).
1. Calculer H(X, Y), H(X | Y) et I(X; Y).
2. Prouver que l’entropie jointe est additive pour des v.a. indépendantes :
H(X, Y) = H(X) + H(Y) si P(x, y) = P(x)P(y)
3. Prouver que H(X | Y) ≤ H(X)
4. Prouver que H(X, Y) = H(X) + H (Y | X)
Exercice 5: On considère un jeu de 32 cartes et une main de 4 cartes, soit les événements suivants :
L’événement E1 {la main ne contient aucune carte inférieur au valet}
L’événement E2 {la main ne contient pas de figure}
L’événement E3 {la main contient quatre cartes identiques}
L’événement E4 {la main contient les 4 As}
1. Calculer la self information associé à chacun de ses événements ainsi que les informations mutuelle I (E1, E2) et I (E1, E3). 2. Evaluer approximativement le nombre d’éléments binaires nécessaires pour spécifier 4 cartes et le comparer à l’entropie de la variable aléatoire correspondant à une main.
2 Université Hassan I Faculté des Sciences et Techniques Settat
Exercice 6 Dans un disque dur se trouvent deux dossiers : Desktop et Documents. On suppose que Desktop contient 20 fichiers .jpg et 30 fichiers.txt et que home en contient 110 fichiers .jpg et 40 fichiers .txt.
1. Quelle est la quantité d'information I1 associée à l'événement e1 "le fichier appartient au
dossier Desktop" ?
2. Quelle est la quantité d'information I2 associée à l'événement e2 "le fichier est de type .jpg"?
3. Quelle est la quantité d'information I3 associée à l'événement "le fichier est de type .jpg et
Se trouve dans le dossier Desktop" ?
4. Es-ce que I3 = I1 + I2 ?
5. Peut-on en conclure que les deux événements e1 et e2 sont dépendants ou indépendants ?
6. Calculer l'entropie des sources : A = {.jpg ; .txt} et B = {Desktop ; Documents}.
Exercice 7: Soit un ensemble XY dont la distribution jointe est la suivante :
1. Calculer l’entropie jointe H(X, Y).
2/ Calculer les entropies marginales H(X) et H(Y).
3/ Pour chaque valeur de y quelle est l’entropie conditionnelle H(X | y) ?
