Vous êtes sur la page 1sur 29

Théorie de l’information

Théorie de l’information 2011 - 2012 THEORIE DE L’INFORMATION CORRIGES EISTI Guy Almouzni

2011 - 2012

THEORIE DE L’INFORMATION

CORRIGES

Théorie de l’information 2011 - 2012 THEORIE DE L’INFORMATION CORRIGES EISTI Guy Almouzni

EISTI

Guy Almouzni

Théorie de l’information

TD 1 Corrigé. Modélisation mathématique d’une source d’information

TD 1 Corrigé. Modélisation mathématique d’une source d’information

Partie I. Entropie d’une source. Définitions et propriétés.

Exercice 1. Entropie d’une source.

On utilise la définition :

(

H X

)

=

n

i = 1

p

i

log

2

(

p

i

)

en bits/symbole (n est la taille de l’alphabet). Ici n = 5.

1.

2.

H

(

X

)

=

H

(

X

)

0.1 log (0.1)

2

0.2 log (0.2)

2

0.3 log (0.3)

2

=

4 0.05 log (0.05)

2

0.8 log (0.8)

2

0.15 log (0.15)

1.12 bits/symbole

2

0.25 log (0.25)

2

2.23 bits/symbo le

3. Par la définition :

(

H X

)

=

log

2

(

n

)

(

H X

)

=

=

log (5)

2

5

0.2

log

2

(

0.2

)

2.32 bits/symbole

=

.

log

2

1

5

 

bits/symbole

, ou plus directement par la relation :

L’entropie représente l’incertitude sur l’issue de l’expérience; c’est l’information moyenne apportée par l’expérience.

On remarquera que l’entropie est la plus élevée dans le cas 3. : c’est une propriété générale de l’entropie :

L’entropie atteint son maximum lorsque tous les symboles d’un alphabet donné de taille n sont équiprobables

(l’incertitude sur la prédiction de détermination d’un symbole est maximale). Elle vaut alors

log

2

(n)

.

Exercice 2. Information moyenne.

1. L’alphabet ici ne contient que le symbole « pile ». On remarque que « pile » est un évènement certain (probabilité 1).

Il n’y a aucune incertitude sur l’issue de l’expérience. On a donc H (X ) = 0

(rappel : log

2

(1)

=

0

)

2.

Soit

Y =

1


si le chiffre sur le dé (1à 6) est pair

0 si le chiffre sur le dé (1à 6) est impair

P(Y = 1) = P(Y = 0) = 0.5 .

. L’alphabet est de taille 2.

D’après la propriété de l’entropie dans le cas d’une distribution uniforme, on a immédiatement :

(

H Y

)

=

log (2)

2

=

1bit/symbole

3. Soit Y

{ , , , }. L’alphabet est de taille 4. On calcule la distribution de probabilités associée :

Y

       

P(Y )

3/10

4/10

2/10

1/10

On en déduit l’entropie :

(

H Y

)

=

3

10

log

2

3  

10

4

10

log   4

2

10

2

10

log   2  

2

10

1

10

log

2

1  

10

1.85 bits/symbole

Théorie de l’information

TD 1 Corrigé. Modélisation mathématique d’une source d’information

Exercice 3. Propriété de groupe.

1.

H

(

)

X =

0.1 log

2

(0.1)

0.2 log

2

(0.2)

0.3 log

2

(0.3)

2.

p = P(A) = 0.1+ 0.3 + 0.25 = 0.65

q

H

= P(B) = 1

(

p q

,

)

=

p = 0.2 + 0.15 = 0.35

p

log

2

(

p

)

q

log

2

(

q

)

0.93 bit/symbole

0.15 log

2

(0.15)

0.25 log

2

(0.25)

2.23bits/symbole

3. Les distributions de probabilité de A et B sont :

x

1

3

5

P (x)

A

0.1/0.65

0.3/0.65

0.25/0.65

= 10/65

= 30/65

= 25/65

H

A

=

10

65

log

2

10  

65

30

65

log

2

30  

65

25

65

log

2

25  

65

(on normalise pour que la somme des probabilités soit égale à 1)

x

2

4

P (x)

B

0.2/0.35

0.15/0.35

= 20/35

= 15/35

1.46 bits/symbo le

H

B

=

20

35

log

2

20

35

15

35

log

2

15

35

0.98 bit/symbole

Vérification de la propriété de groupe :

H

(

X

)

= H

(

p, q

)

+ pH

A

+ qH

B

:

H

(

X

)

=

H

(

p

,

q

)

+

pH

A

+

qH

B

= 0.93 + (0.65 1.46)+ (0.35 0.98) = 0.93 + 0.95 + 0.34 2.23 bits/symbo le

Exercice 4. Vers le codage de Shannon.

1.

H

(

)

X =

0.1 log

2

(0.1)

2. Propriété de groupe :

H

0.2 log

)

2

(0.2)

p, q

(

X

= H

(

)

0.3 log

+ pH

A

2

(0.3)

+ qH

B

Interprétation : H (X ) est composée de :

0.15 log

2

(0.15)

0.25 log

avec

q = 1

p

1. l’incertitude sur le choix de l’une des 2 parties A et B : c’est H(p,q)

2. la moyenne des incertitudes associées à chacune des 2 parties séparément : c’est

pH

A

+ qH

B

Ici :

2

(0.25)

2.23bits/symbole

H (p, q) représente la quantité moyenne d’information apportée par l’observation d’une source binaire.

La source est la réponse à une question et p, la probabilité de la réponse « oui ».

H(p q)

,

=

p

log

2

(p)

q

log

2

(q)

3. D’après les propriétés de l’entropie : dans le cas d’un alphabet de taille n, l’entropie atteint son maximum (égal à

(n) ) uniquement dans le cas de distribution de probabilités uniforme. Dans le cas d’un canal binaire ( n = 2 ) et une

distribution de probabilités uniforme ( p = q = 0.5 ), on a donc :

log

2

H

(

)

=

log (2)

2

max

p

[

0,1

]

p q

,

=

1 bit/symbole

.

4. Propriété de groupe : La réponse à une question binaire partage l’ensemble des valeurs possibles de X en 2 parties disjointes : celle du « oui » et celle du « non ». On peut alors appliquer la propriété de groupe :

Propriété de groupe :

H

(

X

)

= H

(

p, q

)

+ pH

A

Interprétation : H (X ) est composée de :

+ qH

B

= H

(

p, q

)

1. l’incertitude sur le choix de l’une des 2 parties A et B : c’est H(p,q)

2. la moyenne des incertitudes associées à chacune des 2 parties séparément : c’est

+ pH

oui

+ qH

pH

A

+ qH

B

non

H

H

q

A

B

=

=

=

1

H

H

oui

non

p

Théorie de l’information

TD 1 Corrigé. Modélisation mathématique d’une source d’information

Si H (X ) est l’incertitude moyenne que l’on a sur le résultat du tirage de X en début de jeu, la quantité H (p, q)

représente l’information moyenne apportée par la réponse à la 1 ère question, et la quantité l’incertitude moyenne restant sur la valeur de X une fois la réponse obtenue. On a alors intérêt à choisir la 1 ère question de sorte qu’elle apporte le maximum d’information.

La question à poser doit partager l’ensemble des valeurs de X en 2 parties équiprobables (à approcher autant que possible).

pH

oui

+ qH

est

non

Ici, c’est possible

en posant la question :

X

A =

{2,3} ?

car p(X

A) = p(X = 2)+ p(X = 3) = 0.2

+ 0.3 = 0.5

5.

) = 0 . 2 + 0 . 3 = 0 . 5 5. 6. A

6. A la lecture de l’arbre, on obtient la table de code :

X

1

2

3

4

5

m

i

(mot-code)

001

11

10

000

01

l i (longueur de mot-code)

3

2

2

3

2

Remarque : on verra au chapitre 3 (Codage de source) avec l’inégalité de Kraft, qu’un code sans préfixe existe car

n

= 1

i

d

d

=

l

2;

i

L’inégalité de Kraft indique qu’un code sans préfixe de longueurs de mots-données (

l ,l

1

2

,

K

,l

n

)

existe si et seulement si

=

(

2 2

)

3

+

(

3 2

)

2

=

1

.

n

=

5

n d est la taille

d

l

i

1

i = 1

de l’alphabet du canal (d = 2 pour un canal binaire comme ici) et n, la taille de l’alphabet de la source.

7. A la lecture de l’arbre :

(la méthode utilisée ici est la même que celle du codage de Shannon, qui sera étudiée plus tard)

X

1

2

3

4

5

P

X

(probabilité)

0.1

0.2

0.3

0.15

0.25

N

(nombre de questions)

3

2

2

3

2

Nombre moyen de questions (moyenne de N ) :

E[N ]= (3 0.1)+ (2 0.2)+ (2 0.3)+ (3 0.15)+ (2 0.25) = 2.25 questions.

à comparer à l’entropie de X :

H(X ) 2.23bits/symbole .

On remarque que E[N ] est proche de H(X ) avec E[N ] > H (X ) (sauf à perdre de l’information, on ne peut descendre en deça

de H (X ) qui représente l’information moyenne intrinsèque).

Théorie de l’information

TD 2 Corrigé. Cryptographie

Partie I. Entropie : un jeu d’espion !

TD 2 Corrigé. Cryptographie

Exercice 1. Rendons à César ce qui est à César : son chiffre !

1. L’ensemble

latin et on a :

des clairs possibles M , celui des chiffrés C ainsi que celui des clés K coïncident avec l’alphabet

m

M,

(

P M = m

)

=

1

26

De plus, la fonction de chiffrement établit un lien entre le clair (m), le chiffré (c) et la clé (k) :

c = (m + k) mod 26

Alors, pour tout c

C et pour tout m

[

P M

=

m C

=

M , on a :

]

=

P

[

M

=

Rappel :

m et C

=

c

]

=

P

P

(

(

A

A

P M

[

B

)

=

=

B

)

(

P A

B

)

=

P B

(

(

)

)

P A P B si AB indépendants

(

)

m et K

=

c

m

]

 

c

[

P C

=

c

]

P[C

=

c]

 

et du fait de l’indépendance de m et k :

P

[

M

=

m C

=

 

]

=

P

[

M

=

m P K

]

[

=

c

m

]

 

[

P M

=

m P K

]

[

 

=

k

]

c

 

[

P C

=

c

]

=

1

26

 

P[C

= c]

 

Le choix du message et de la clé étant indépendants :

(

P C = c

)

(

= P K = k

)

=

 

On a finalement :

[

P M

=

m

C

=

c]

=

P[M

=

m]

2. Il est facile de constater qu’il n’existe aucun décalage de l’alphabet qui transforme le message m = AB en le

chiffré c = DM

(les lettres A et B sont consécutives dans l’alphabet, elles devraient l’être dans l’alphabet décalé).

Donc P[M = m et C = c]= 0 .

Nous avons alors

[

P M

=

m

C

=

c]

=

0

(

π

P[M

=

m])

car

[

P M = m

]

=

1

26

1

26

=

1

26

2

.

Le chiffrement de César avec l > 1 ne vérifie donc pas la condition de Shannon de système parfaitement sûr.

Théorie de l’information

Exercice 2. Cryptanalyse du chiffre de César.

TD 2 Corrigé. Cryptographie

1. On peut trouver la clé par force brute (méthode exhaustive) (25 essais de décalage à faire). La méthode d’analyse des fréquences permet de trouver la clé (le décalage) car les lettres les plus fréquentes du message clair sont celles de la langue française.

Remarque :

26 lettres) sinon les fréquences ne sont pas significatives (théorème central limite des probabilités).

Avec la méthode d’analyse des fréquences, il faut que le texte soit suffisamment long (au moins la taille de l’alphabet latin, soit

Clair :

BELLE MARQUISE VOS YEUX ME FONT MOURIR D AMOUR

Chiffré :

HKRRK SGXWAOYK BUY EKAD SK LUTZ SUAXOX J GSUAX

FréquencesClair

20 18 16 14 12 10 Série1 8 6 4 2 0 1 4 7
20
18
16
14
12
10
Série1
8
6
4
2
0
1
4
7
10
13
16
19
22
25
Décalage (clé) par analyse des fréquences :

Décalage (clé) réel :

FrequencesChiffré

Série1
Série1
14,00 12,00 10,00 8,00 6,00 4,00 2,00 0,00 1 4 7 10 13 16 19
14,00
12,00
10,00
8,00
6,00
4,00
2,00
0,00
1
4
7
10
13
16
19
22
25
k = 6 = Pic Chiffré (11) - Pic Clair (5)
k = 6

Lettre

OccurChiffré

FréquencesChiffré

FréquencesClair

A

4

10,53

8,4

B

1

2,63

1,06

C

0

0,00

3,03

D

1

2,63

4,18

E

1

2,63

17,26

F

0

0,00

1,12

G

2

5,26

1,27

H

1

2,63

0,92

I

0

0,00

7,34

J

1

2,63

0,31

K

5

13,16

0,05

L

1

2,63

6,01

M

0

0,00

2,96

N

0

0,00

7,13

O

2

5,26

5,26

P

0

0,00

3,01

Q

0

0,00

0,99

R

2

5,26

6,55

S

4

10,53

8,08

T

1

2,63

7,07

U

4

10,53

5,74

V

0

0,00

1,32

W

1

2,63

0,04

X

4

10,53

0,45

Y

2

5,26

0,3

Z

1

2,63

0,12

Som

38

100,00

99,97

Théorie de l’information

TD 2 Corrigé. Cryptographie

2. On peut trouver la clé par force brute (méthode exhaustive) (25 essais de décalage à faire). La méthode d’analyse des fréquences est piégée ici car les lettres les plus fréquentes du message clair ne sont pas celles de la langue française.

Clair : BONJOUR NOUS VOUS PROPOSONS TROIS WAGONS POUR PARTIR AU ZANZIBAR VOTRE AVION VA PARTIR LA OU VOUS VOULEZ UN VRAI VAUTOUR VEUT TOUJOURS VOLER HAUT POUR VOIR SA PROIE UN ZOMBI MARCHAIT EN ZIGZAGANT SUR LA ROUTE

Chiffré : UHGCHNK GHNL OHNL IKHIHLHGL MKHBL PTZHGL IHNK ITKMBK TN STGSBUTK OHMKX TOBHG OT ITKMBK ET HN OHNL OHNEXS NG OKTB OTNMHNK OXNM MHNCHNKL OHEXK ATNM IHNK OHBK LT IKHBX NG SHFUB FTKVATBM XG SBZSTZTGM LNK ET KHNMX

FréquencesClair

20 18 16 14 12 10 Série1 8 6 4 2 0 1 4 7
20
18
16
14
12
10
Série1
8
6
4
2
0
1
4
7
10
13
16
19
22
25
Décalage (clé) par analyse des fréquences :

Décalage (clé) réel :

FrequencesChiffré

Série1
Série1
16,00 14,00 12,00 10,00 8,00 6,00 4,00 2,00 0,00 1 4 7 10 13 16
16,00
14,00
12,00
10,00
8,00
6,00
4,00
2,00
0,00
1
4
7
10
13
16
19
22
25
k = 3 = Pic Chiffré (8) - Pic Clair (5)
k = 19

Lettre

OccurChiffré

FréquencesChiffré

FréquencesClair

A

2

1,16

8,4

B

11

6,40

1,06

C

2

1,16

3,03

D

0

0,00

4,18

E

4

2,33

17,26

F

2

1,16

1,12

G

10

5,81

1,27

H

24

13,95

0,92

I

7

4,07

7,34

J

0

0,00

0,31

K

20

11,63

0,05

L

10

5,81

6,01

M

11

6,40

2,96

N

19

11,05

7,13

O

11

6,40

5,26

P

1

0,58

3,01

Q

0

0,00

0,99

R

0

0,00

6,55

S

6

3,49

8,08

T

18

10,47

7,07

U

3

1,74

5,74

V

1

0,58

1,32

W

0

0,00

0,04

X

7

4,07

0,45

Y

0

0,00

0,3

Z

3

1,74

0,12

Som

172

100,00

99,97

Théorie de l’information

Partie II. Entropie et arbres de décision

Exercice 3. Le jeu de la fausse pièce.

1. n = 8

pièces.

(a) Il y a 2x8 = 16 réponses possibles.

TD 2 Corrigé. Cryptographie

En effet, une réponse est un couple dont le 1 er élément donne la fausse pièce et le 2 nd le sens de la différence de poids. Si on suppose que les pièces sont numérotées et si on note – pour la pièce la moins lourde et + pour la pièce la plus lourde, les réponses possibles sont alors de la forme (i, -) ou (i, +) avec i = 1, 2, …, 8.

(b)

Le résultat de chaque pesée peut prendre une des 3

1 =

3

valeurs possibles G, E, D.

Les résultats de 2 pesées sont des couples prenant des valeurs dans {G, E, D}x{G, E, D}.

Il y a donc 3

2 =

9

résultats possibles.

 

De façon analogue, les résultats de 3 pesées sont des triplets et il y a 3

3 =

27

valeurs possibles.

(c)

Non, car le résultat de cette pesée est connu d’avance.

En effet, nous savons qu’il existe une seule pièce fausse. Elle sera obligatoirement dans l’un des 2 lots. La balance penchera vers la Gauche ou vers la Droite sans que cela nous apporte un maximum d’information.

(d)

Manipultation.

(e)

Ne pas effectuer de pesées dont on connaît le résultat (tout ou partie) et donc n’apportant aucune ou peu

d’information (entropie nulle ou faible). Faire des pesées maximisant l’information apportée (donc l’entropie).

Voici une 1 ère stratégie possible : n = 8 pièces, 3 pesées successives.

l’entropie). Voici une 1 è r e stratégie possible : n = 8 pièces, 3 pesées

Théorie de l’information

TD 2 Corrigé. Cryptographie

Voici une 2 nde stratégie possible : n = 8 pièces, 3 pesées successives.

possible : n = 8 pièces, 3 pesées successives. Enfin, voici une 3 è m e

Enfin, voici une 3 ème stratégie possible : n = 8 pièces, 3 pesées successives.

Enfin, voici une 3 è m e stratégie possible : n = 8 pièces, 3 pesées

Théorie de l’information

TD 2 Corrigé. Cryptographie

2. Voici une stratégie possible : n = 9 pièces, 3 pesées successives.

2 Corrigé. Cryptographie 2. Voici une stratégie possible : n = 9 pièces, 3 pesées successives.

Théorie de l’information

TD 3 Corrigé. Codage de source

TD 3 Corrigé. Codage de source

Partie I. Codes sans préfixe.

Exercice 1. Décodage.

Procédure de décodage pas à pas : 1011 000 010 1010 100 donne la séquence dhief

Exercice 2. Code sans préfixe.

Il suffit d’appliquer l’inégalité de Kraft, avec n = 10 (taille de l’alphabet de la source), d = 2 (code binaire) et

(

l ,l

1

2

,

K

,l

n

)

= {4, 4, 4, 3, 2, 4, 3, 4, 3, 4} :

Théorème 3.1. Inégalité de Kraft.

(

l ,l

1

2

,

K

,l

n

)

existe si et seulement si

Un

code

instantané

n

i = 1

d

l

i

1

(

sans

préfixe)

de

longueurs

de

mots-données

d est la taille de l’alphabet du canal, et n, la taille de l’alphabet de la source (d = 2 pour un canal binaire).

Ici :

n

i = 1

d

l i

=

(

6

2

4

)

+

(

3

2

3

)

l’inégalité de Kraft est vérifiée

+

(

1

2

2

)

=

6

3

1

6

+

6

+

4

 

+

+

=

16

8

4

16

= 1

un code binaire sans préfixe existe avec ces longueurs de mots.

Partie II. Codes sans préfixe et arbres binaires.

Exercice 3. Code sans préfixe. Arbre binaire.

1. Arbre associé au code suivant :

s

i

a

b

c

d

e

f

g

h

i

j

m

i

1111

1110

110

1011

1010

100

011

000

010

001

Il s’agit d’un code sans préfixe.

1

1 0 c 1 1 0 0
1
0
c 1
1
0
0
1 1 0 f 0 1
1
1
0
f 0
1

0

0
0

g

1

sans préfixe . 1 1 0 c 1 1 0 0 1 1 0 f 0
sans préfixe . 1 1 0 c 1 1 0 0 1 1 0 f 0

0

1

0 j 1
0
j
1

0

1

1 1 0 c 1 1 0 0 1 1 0 f 0 1 0 0
0
0
1
1
1 1 i 0 0 1 0 h
1
1
i
0
0
1
0
h

0

a

b

d

e

…. élagage (code sans préfixe)

Théorie de l’information

2. Un code sans préfixe de longueurs de mots suivantes :

TD 3 Corrigé. Codage de source

s

i

a

b

c

d

e

f

g

h

i

j

l

i

4

4

4

3

2

4

3

4

3

4

1

1 0 1 1 0 0 1
1
0
1
1
0
0
1
1 0 0 d 1 0 0
1
0
0
d
1
0
0
1 1 i 0 1 0 e 1 0
1
1
i
0 1
0
e 1
0
g 1
g
1

0

1

0 1 0 1 0 0
0
1
0
1
0
0

a

b

c

f

j

h

…. élagage (code sans préfixe)

Table de code :

s

i

a

b

c

d

e

f

g

h

i

j

m

i

1111

1110

1101

100

00

1100

011

1010

010

1011

 

l i 4

4

4

3

2

4

3

4

3

4

s

i

a

b

c

d

e

f

g

h

i

j

p

i

0.2

0.05

0.1

0.05

0.15

0.05

0.1

0.05

0.15

0.1

Source d’alphabet

Partie III. Codage de Huffman

Exercice 4. Code sans préfixe optimal. Méthode de Huffman.

de probabilité :

et de distribution

1. Longueur moyenne minimale pour un code binaire de cette source : on utilise le théorème de la borne inférieure :

Théorème 3.3. Borne inférieure. Soit une source S d’alphabet

probabilités

stationnaire et sans mémoire. Soit un code déchiffrable { Alors la longueur moyenne de mots de code vérifie :

S

=

{

s ,

1

de taille n et de distribution de

C = {0, 1} , donc de taille d = 2 , sans bruit,

, s

n

}

L

P

S

=

{

p ,

1

, p

n

}

L

. Soit un canal d’alphabet binaire

m ,

1

}

L de longueurs de mots {

, m

n

l

1

,

, l

n

}

.

L

L’égalité n’est possible que si

L

i

n

=

i =

1

p l

i

i

= 1,L,

n

H

(

S

)

log

2

p

i

=

(

d

d

)

l

i

= 2

l

i

.

L

=

n

i

=1

p l

i

i

H(S)

La longueur moyenne minimale des mots d’un code binaire de cette source est l’entropie :

L

min

=

H

(

S

)

log

2

(

d

)

=

H

(

S

)

=

n = 10

i = 1

p

i

log

2

(

p

i

)

avec

H

( )

S

=

n = 10

i = 1

p

i

log

2

(

p

i

)

=

3.14 bits/symbole

Lmin = 3.14 bits/symbole

Théorie de l’information

TD 3 Corrigé. Codage de source

2. Un code absolument optimal est tel que la longueur moyenne des mots-codes est égale à la borne inférieure

H

(

S

)

log

2

(d)

. Le théorème de la borne inférieure indique que la borne inférieure est atteinte si les probabilités des

symboles de la source sont des puissances de 2 :

Un code absolument optimal n’existe pas pour cette source, car les probabilités des symboles de la source ne sont pas toutes des puissances de 2.

i

= 1,L,

n

p

i

=

d

l

i

= 2

l

i

. Ce n’est pas le cas ici.

3. Construction d’un code sans préfixe optimal selon la méthode de Huffman :

On trie les caractères de la source par probabilité décroissante pour que les symboles les plus probables (revenant donc

souvent dans le message émis) soient codés avec un nombre de bit minimal (réduction de la quantité d’information, du débit, pour compression par exemple).

Parcours feuilles racine :

Ici, on regroupe les 2 caractères les moins probables (f et h), on l’appelle fh, on additionne les probabilités correspondantes et on recommence.

s

i

a

e

i

c

g

j

b

d

f

h

p

i

0.2

0.15

0.15

0.1

0.1

0.1

0.05

0.05

0.05

0.05

s

i

a

e

i

c

g

j

fh

b

d

 

p

i

0.2

0.15

0.15

0.1

0.1

0.1

0.1

0.05

0.05

s

i

a

e

i

c

g

j

fh

bd

 

p

i

0.2

0.15

0.15

0.1

0.1

0.1

0.1

0.1

s

i

a

fhbd

e

i

c

g

j

 

p

i

0.2

0.2

0.15

0.15

0.1

0.1

0.1

 

s i fhbd

a

 

gj

e

i

c

 

p

i

0.2

0.2

0.2

0.15

0.15

0.1

s

i

ic

a

fhbd

gj

e

 

p

i

0.25

0.2

0.2

0.2

0.15

 

s i gje

ic

a

fhbd

 

p

i

0.35

0.25

0.2

0.2

s

i

afhbd

gje

ic

 

p

i

0.4

0.35

0.25

s

i

gjeic

afhbd

 

p

i

0.6

0.4

Théorie de l’information

TD 3 Corrigé. Codage de source

4. Représentation du code sous forme d’arbre :

Parcours racine feuilles :

Convention arbitraire : 1 symboles les plus probables, 0 symboles les moins probables

gj 0.1 1 g 1 0.2 gje 0 0.1 j 0.15 1 0.35 0 e
gj
0.1
1
g
1 0.2
gje
0
0.1
j
0.15
1
0.35 0
e
0.15 1 ic 0 0.1 0.25
0.15
1
ic
0
0.1
0.25

0

gjeic

1
1

0.6

i c 1 0.05 h 0.05 b bd 0 1 0 0.05 d
i
c
1
0.05
h
0.05 b
bd
0 1
0
0.05 d
0.2 a 1 0 0.4 fh 0.05 f 0.1 1 fhbd afhbd 0 0.1 0.2
0.2
a
1
0
0.4
fh
0.05 f
0.1
1
fhbd
afhbd
0
0.1
0.2

0

Un code optimal sans préfixe

Table de code :

 

s

i

a

b

c

d

 

e

f

g

 

h

i

j

 

p

i

0.2

 

0.05

0.1

 

0.05

 

0.15

0.05

0.1

 

0.05

0.15

0.1

 

m

i

01

 

0001

100

 

0000

 

110

0011

1111

 

0010

101

1110

 

l i 2

4

3

4

 

3

4

4

 

4

3

4

p l

i

i

=

2(0.2)

+

4(0.05)

+

3(0.1)

+

4(0.05)

+

3(0.15)

+

4(0.05)

+

4(0.1)