Chapitre I

Mesure de l’information
But : Donner une mesure de l’information
adaptée à la description statistique des
sources et des canaux.

1
 Information propre
• Fournir une information consiste à lever une incertitude sur
l’issue d’une expérience aléatoire.
⇒ Plus l’incertitude est grande, plus on a d’information.
• On considère une Variable Aléatoire (VA) X prenant se valeurs
dans un alphabet fini 𝒳 de taille ∣𝒳∣ (∣𝒳∣= card(𝒳)), avec
une loi de probabilité pX (.).
• L’incertitude sur l’évènement aléatoire {X=x}, x∈𝒳,
diminue quand sa probabilité pX (x) augmente.
⇒ Pour mesurer l’incertitude, il faut donc choisir une
fonction décroissante de la probabilité. Elle doit être
également continue et s’annule en 1 (évènement certain).
2
 Information propre
• Définition (Information propre) On note I(x) l’incertitude sur
l’évènement aléatoire {X=x}, encore appelée information
propre de x. I(x) est définie par

I(x) représente la quantité d’information fournie par la

réalisation de l’évènement {X=x}.
L’unité est le bit informationnel ou Shannon dans le cas d’un
logarithme de base 2. Un bit informationnel est égal à la
quantité d’information fournie par la réalisation d’une
alternative parmi deux équiprobables.

3
 Information propre
• Le choix de la fonction logarithme n’est pas arbitraire. En
effet, si on considère 2 VA X et Y, on souhaite que la quantité
d’information fournie par la réalisation de 2 évènements {X=x}
et {Y=y} statistiquement indépendants soit égale à la somme
des quantités d’information fournies par les réalisations de
chaque évènement pris séparément.

étant la loi de probabilité conjointe de X et Y.

Si les 2 évènements sont indépendants alors

4
 Entropie
• Définition (Entropie) Soit X une VA discrète sur un alphabet
fini 𝒳, avec une loi de probabilité pX (.). L’entropie de cette
VA est définie par

(avec par convention 0.log2(0)=0).

H(X) n’est autre que la moyenne statistique de
l’information propre. Son unité est le bit informationnel ou
Shannon / lettre de l’alphabet.
• Remarque L’entropie d’une VA ne dépend pas des valeurs
prises par cette VA, c-à-d. des éléments de l’alphabet , mais
uniquement des probabilités de ces valeurs.
5
 Entropie
• Entropie d’une VA uniforme Soit X une VA discrète de loi
uniforme sur un alphabet fini 𝒳

alors

• Entropie d’une variable déterministe Soit X une variable

déterministe qui prend toujours la valeur

alors H(X) = 0. (Pas d’incertitude sur une variable déterministe).

6
 Entropie
• Résultat 1 Pour toute variable aléatoire X sur un alphabet fini
𝒳, l’entropie de X satisfait

En outre
 ssi X est déterministe.
 ssi X est uniforme sur 𝒳.
Preuve
Il est évident que H(X) ≥ 0.
Montrons que avec égalité ssi la loi pX (.)
de X est uniforme sur 𝒳. Pour cela on utilise la propriété
suivante de la fonction ln

7
 Entropie
Preuve (suite)

⇒ L’entropie est maximale quand la loi de probabilité est uniforme.

8
 Entropie
• Fonction d’entropie binaire La fonction d’entropie binaire est définie
comme suit :

où le seul argument p doit être un nombre réel dans l’intervalle

[0, 1].
• Notons que Hb(p) = H(X) si X VA binaire p-Bernouilli (X prend la valeur
1 avec une probabilité p et la valeur 0 avec une probabilité (1-p)).
• Hb(p) est une fonction strictement concave

9
 Entropie conjointe
• Définition (Entropie conjointe) Soient deux VA X et Y sur deux
alphabets finis respectifs 𝒳 et 𝒴 avec comme loi de probabilité
conjointe pXY(x,y). L’entropie conjointe de cette paire de VA est
définie par

• Notons que
• L’entropie conjointe ne mesure pas les incertitudes des 2 VA
individuellement, mais l’incertitude qui existe sur l’ensemble
des 2. Elle prend en compte les liens qui existent entre X et Y.

10
 Entropie conjointe
• Résultat 2 Pour toute paire de VA X et Y sur deux alphabets
finis respectifs 𝒳 et 𝒴 avec comme loi de probabilité conjointe
pXY(x,y), l’entropie conjointe H(X,Y) satisfait

En outre
ssi X et Y sont indépendantes.
Preuve

11
 Entropie conjointe
Preuve

12
 Entropie conditionnelle
• L’entropie conditionnelle d’une VA X par rapport à une autre VA Y
exprime l’incertitude qu’on a sur X, une fois qu’on a observé Y.

• On définit d’abord l’entropie conditionnelle de X sachant que Y est

égale à une réalisation y ∊ 𝒴. Soit pX∣Y (x∣y) la loi de probabilité
conditionnelle de X sachant Y.

• L’entropie conditionnelle de X sachant que Y est la moyenne de

toutes les entropies conditionnelles H(X∣Y=y), moyennées avec la
loi de probabilité pY (.).

13
 Entropie conditionnelle
• Définition (Entropie conditionnelle) Soient X et Y deux VA sur des
alphabets finis respectifs 𝒳 et 𝒴 avec comme loi de probabilité
conjointe pXY(x,y). L’entropie conditionnelle de X sachant que Y est

14
 Entropie conditionnelle
• Résultat 3 (Règle de chaînage ou Chain rule) Pour toute paire
de VA X et Y sur des alphabets finis 𝒳 et 𝒴, on a

Preuve

15
 Entropie conditionnelle
• Résultat 4 Pour toute paire de VA X et Y sur des alphabets finis
𝒳 et 𝒴, l’entropie conditionnelle satisfait

En outre
Preuve
On a

16
 Information mutuelle
• C’est l’information obtenue sur une VA X en révélant une
deuxième VA Y. Techniquement parlant, elle est définie comme la
réduction en incertitude (entropie) sur X qu’on obtient en
révélant Y (ou vice-versa).
• Définition (Information mutuelle) Soient deux VA X et Y sur deux
alphabets finis respectifs 𝒳 et 𝒴 avec comme loi de probabilité
conjointe pXY(x,y). L’information mutuelle de X et Y est

17
 Information mutuelle
• Résultat 5 Soient deux VA X et Y sur deux alphabets finis 𝒳 et
𝒴. L’information mutuelle entre X et Y satisfait

En outre
Preuve
On a

⇒ La connaissance de Y réduit toujours l’incertitude sur X

sauf dans le cas d’indépendance des 2 VA.

18