TICT2

MESURE DE L'INFORMATION
Pr F. Merazka
L3 GTR

03/01/2021 1
 1-Quantité d'information
• La quantité́ d'information d'un symbole est d'autant plus grande que celui-ci est peu
probable.
• La quantité́ d'information de deux symboles successifs est la somme de leurs quantités
d'information.
• La quantité́ d'information notée I est une fonction qui doit ainsi avoir les propriétés suivantes:
• I(.) est une fonction continue de la probabilité pi.
• I(pk) ↑ si pk ↓ ⇒ I(pk) est une fonction décroissante de pk.
• I(pk et pj) = I(pk) + I(pj).
• Un symbole certain possède une quantité́ d'information nulle : I(pk=1) = 0.
• Une fonction mathématique remplit les conditions 1, 3 et 4 : log(pk). Pour obtenir la propriété
2, il suffit de prendre – log(pk) = log(1/pk).
La quantité́ d'information d'un symbole xk de probabilité́ p a ainsi été́ définie par Shannon
k

comme :

03/01/2021 2
 unités
•Base 2 : pk=1/2 et I(xk) = 1 bit .

•Base e : logarithme Népérien dit encore logarithme naturel.

L'unité devient alors le nats pour natural units. Sachant que Ln(a) =
Ln(2).log2(a) = 0,69315.log2(a) ⇒ 1 nats = 0,69315 bits et 1bit = 1,44269
nats.

changements de base:
Soit deux bases de logarithmes : base a et base b.

Le passage entre les bases se fait par : logb( p ) = logb( a ) . loga( p )

03/01/2021 3
I.2 Entropie d'une source :

• L'entropie H(X) d'une source X est la quantité d'information moyenne

contenue dans l'alphabet X de cette source.
• Du point de vue mathématique, cela s'exprime par H(X) = E[ I(X) ] soit:

• E[I(X)]=∑pk I(xk)=∑pk log( 1/ pk )

• H(X)=∑pk log( 1/ pk ) exprimée en bits/symbole ou Shannon/symbole.

03/01/2021 4
Exemple: source binaire avec deux symboles
"0" et "1" de probabilités respectives p et 1-p.

H(X)=plog(1/p)+(1-p)log( 1/1-p )

entropie est maximale pour p = 0,5 et vaut 0 pour p = 0 et p = 1.

Entropie est maximale lorsque tous les symboles sont équiprobables

donc pk = 1/K et l'entropie devient:

H( X ) = ∑1/ K log( K ) = log( K ) . Ce qui montre le théorème suivant

sur l'entropie d'une source:
k=1

0≤H(X)≤log(K)

03/01/2021 5
 Entropie jointe entre deux sources
• Cette notion permet de mesurer le degré́ de similitude entre deux sources.
Soit 2 sources : X d'alphabet {x1, x2,...,xN} et Y d'alphabet {y1, y2,...,yM}
Si p( xi , yj ) est la densité́ de probabilité́ jointe entre 2 caractères alors la quantité́
d'information jointe est :

• l'entropie jointe des 2 sources est alors la quantité d'information moyenne

jointe entre 2 caractères de la source :

03/01/2021 6
• Cas ou les 2 sources sont indépendantes:

03/01/2021 7
Quantité d'information mutuelle :

03/01/2021 8
En définissant la quantité d'information mutuelle I( X , Y ) entre les 2 sources comme
une quantité positive nous aurons:

Nous retrouvons bien sûr le cas de2 sources indépendantes pour

lesquelles :

p(xi ,yj )=p(xi ).p(yj ) ⇒ I(X,Y)=0 ⇒ H(X,Y)=H(X)+H(Y)

03/01/2021 9
 Entropie conditionnelle :
• Nous pouvons définir à partir des densités de probabilité́ conditionnelles une
quantité d'information conditionnelle:

• entropie conditionnelle :

• entropie conditionnelle moyenne:

03/01/2021 10
La quantité d'information mutuelle et l'entropie conditionnelle moyenne :

• L'entropie conditionnelle permet d'obtenir d'autres formulations de ces

quantités en utilisant la loi de Bayes :

03/01/2021 11
• En permutant le rôle de x et y d'où les deux expressions équivalentes de la
quantité́ d'information mutuelle:

03/01/2021 12
Intérêt de ces quantités:
• Lors de la transmission par un canal, nous souhaitons récupérer l'information
sans distorsion, autrement dit, l'alphabet de sortie du canal doit être le même que
celui de l'entrée.
• Si nous appelons p la probabilité d'erreur nous pouvons schématiser le
fonctionnement du canal par le graphe suivant :

binaire symétrique

03/01/2021 13
03/01/2021 14
03/01/2021 15
03/01/2021 16
Etant donné la symétrie des relations, H(X/Y)=H(Y/X)

03/01/2021 17
03/01/2021 18
Remarques :
1. si p = 0 ce qui veut dire pas d'erreur de transmission alors I( X , Y ) = 1.
Similitude parfaite entre les 2 sources, la transmission se passe bien. H( X ,
Y ) = 1.

2. si p = 1⁄2, pagaille complète lors de la transmission. Dans ce cas I( X , Y )

= 0, plus du tout de similitude entre les 2 sources. H( X , Y ) = H( X ) + H( Y
) = 2. Tout se passe comme si les 2sources entaient indépendantes.

3. Si p=1, à nouveau I(X,Y)=1. Les 2 sources sont à nouveau tous à fait

semblables. Le fait qu’il ya dans ce cas permutation du "0" et du "1" n'ayant
pas d'importance.

03/01/2021 19