Académique Documents
Professionnel Documents
Culture Documents
TD de Théorie de l’information. 1
1. Rappelez la définition de l'entropie d'une source discrète. Quel est son signe ?
Que représente l'entropie en terme d'information ?
Pour un source S générant des symboles s1, s2, ..., sn, de probabilités respectives
p1, p2, ..., pn , l'entropie est H (S) = – [ p1 log2 (p1) + p2 log2 (p2) + ... + pn log2 (pn) ] .
On peut aussi l'écrire H (S) = p1 log2 (1/p1) + p2 log2 (1/p2) + ... + pn log2 (1/pn). On
peut également considérer qu'il s'agit des réalisations possibles d'une variable aléatoire
discrète X, représentant un expérience aléatoire, de valeurs numériques x1, x2, ..., xn .
Elle est toujours positive. Elle représente la quantité d'information moyenne apportée
par l'observation d'un symbole (ou par la réalisation d'une valeur de X).
Il s'agit aussi de l'espérance mathématique de la variable aléatoire discrète Y, qui
prend les valeurs – log2 (p1), – log2 (p2), ... , – log2 (pn) avec les probabilités
p1, p2, ..., pn (Les valeurs de Y correspondent à la quantité d'information apportée par
l'observation des différents symboles.
1
Polytech Marseille, IRM4
avec une longueur moyenne de 27/16 = 1.688 bits, à comparer à l'entropie 2H = 1.63.
A:1
G : 01
C : 001
T : 000
Il s'agit bien d'un code non ambigu, car il respecte la condition préfixe (aucun mot
n'est préfixe d'un autre mot du code). On peut déterminer sa longueur moyenne :
L = 1.89. C'est donc bien un code optimal. L'écart avec l'entropie est lié à un effet de
bord (l'égalité ne peut avoir lieu que si toutes les probabilités des symboles de la
source sont des inverses de puissances de 2).
T (0.14) 1
2
Polytech Marseille, IRM4
4. Pour une source à trois symboles quelles sont les valeurs possibles de l’entropie
de la source ? Même question pour une source à 4 symboles. Peut-on citer des
conditions sur les probabilités des 4 symboles pour qu’il existe un code meilleur
que le code fixe de longueur 2 ? Quelle est la condition pour qu'un code optimal
coïncide avec l'entropie ?
Pour une source à M symboles, l'entropie peut prendre toutes les valeurs entre 0 et
l'entropie maximale, log2 (M). Pour le vérifier il suffit d'observer qu'elle peut prendre
des valeurs arbitrairement petites, en prenant la probabilité d'un des symboles proche
de 1, et qu'elle est continue, et donc vérifie le théorème des valeurs intermédiaires.
Si on pose p1 = 1 – 1/n et pk = 1/n (M – 1), 1 < k ≤ M, l'entropie peut s'écrire H (n) , et
H (n) ∼ 1/n + (M – 1) . 1/n (M – 1) [log2 (n) + log2 ((M – 1 ] ∼ log2 (n) / n tend vers 0
quand n tend vers l'infini. Pour la continuité il s'agit d'une fonction de M variables à
valeurs dans R, mais le théorème reste valide.
Pour la condition d'existence d'un code efficace, meilleur que le code fixe, on peut
reprendre une remarque précédente. Si la source a 4 symboles, de probabilités
p1 ≥ p2 ≥ p3 ≥ p4, la longueur moyenne du code sera L = p1 + 2 p2 + 3 p3 + 3 p4, et
comme p1 + p2 + p3 + p4 = 1, L = p1 + 2 p2 + 3 [1 – (p1 + p2) ] = 3 – 2 p1 – p2. La
condition que ce code est meilleur que le code ixe s'écrit donc L = 3 – 2 p1 – p2 < 2, ou
encore 2 p1 + p2 > 1. On peut noter une condition nécessaire, que p1 > 1/3.
Les exemples précédents vérifiaient bien ces conditions : 2 × 0.44 + 0.23 = 1.11
(exercice 3), et 2 × 9/16 + 3/16 = 21/16 > 1 (exercice 2). Si on prend des valeurs moins
éloignées de l'équirépartition cela ne sera plus possible : si p1 = 0.33, ou si p1 = 0. 35 et
p2 = 0.29, avec par exemple p3 = 0.2 et p4 = 0.16 la redondance réelle présente dans
les données ne permet pas la moindre compression.
Le fait que la longueur moyenne d'un code optimal puisse atteindre l'entropie
n'arrivera, comme on l'a déjà souligné, que si tous les pk s'écrivent 1/2αk. La
démonstration de cette propriété est une conséquence du théorème de comparaison.
5. Vérifiez que pour une source discrète de n symboles l’entropie est maximale si les
probabilités sont identiques. Montrez que pour une source continue prenant ses
valeurs dans l’intervalle [a, b] l’entropie est maximale si la loi de probabilité est
uniforme. Y a-t-il une loi qui minimise la valeur de l’entropie ?
3
Polytech Marseille, IRM4
L'entropie conjointe est définie de manière assez naturelle à partir de la loi conjointe
de X et Y. Si X prend les valeurs x1, x2, ... , xn avec les probabilités p1, p2, ... , pn et si Y
prend les valeurs y1, y2, ... , ym avec les probabilités q1, q2, ... , qm, on notera
pkl = P (X = xk , Y = yl) et qkl = P (X = xk / Y = yl) = P (X = xk , Y = yl) / P (Y = yl) .
On peut remarquer que pour tout indice k = 1, 2, ..., n, pk1 + pk2 + ... + pkm = pk, et
pour tout indice l = 1, 2, ..., m, p11 + p2l + ... + pnl = ql.
n m
H (X, Y) = – ∑k = 1 ∑l = 1 pkl log2(pkl) et
n m
H (X/ Y) = – ∑k = 1 ∑l = 1 pkl log2(qkl)
7. Vérifiez que l’entropie d’une somme de variables est supérieure à celle des deux
termes de la somme (cas discret et cas continu). Rappelez l’énoncé du théorème
de limite centrale, et des applications de ce théorème. Indiquez un lien entre la
notion d’entropie et le théorème de limite centrale.