Vous êtes sur la page 1sur 3

FICHE DE TD 1 : MATHÉMATIQUES POUR L’INFORMATION

EXERCICE 3

Une source d’information génère des zéros et des uns avec les probabilités p(0)=0,8 et p(1)=0,2.

Les séquences de symboles sont codées avec les symboles code {a,b,c,d} selon la table :

Message Code
1 a
01 b
001 c
0001 d
0000 e

1- Ce code est- il uniquement et instantanément décodable ?


2- Déterminer la quantité d’information moyenne pour un symbole de code. Quelle est
l’efficacité de ce code ?

Mesure quantitative de l’information

Exercice 10

Une personne que vous ne connaissez pas dit : «aujourd’hui, c’est mon anniversaire ! ».

Calculer l’information propre véhiculée par cette déclaration. Calculer la quantité d’information
moyenne associée à une communication de cette nature.

Exercice 11

On suppose que les 64 cases d’un échiquier sont équiprobables. Déterminer la quantité d’information
moyenne contenue dans une communication indiquant la position d’une pièce du jeu. Proposer une
stratégie dichotomique, reposant sur des questions du type. ‘’la pièce est-elle sur cette partie de
l’échiquier ?’’, permettant de deviner la position d’une pièce en un nombre moyen minimum de coups.
Comparer le nombre de questions posées à l’entropie en shamon calculée en début d’exercice.

Exercice 18

Énumérer les propriétés de chacun des codes suivants :

C1={00,01,10,11}
C2={0,01,11}

C3={0,10,11}

C4={0,11,111}

Série d’exercices2 : code de Huffman

Problème 1

Soit une source qui génère des lettres de l’alphabet A={a1, a2, a3, a4,a5} avec les probabilités
suivantes : p(a1)= 0,15 ; p(a2)= 0,04 ; p(a3)= 0,26 ; p(a4)= 0,05 ; p(a5)= 0,5.

1- Calculer l’entropie de la source.


2- Trouver le code de Huffman de la source.
3- Calculer la redondance de ce code.
4- Calculer l’efficacité de ce code.

Problème 2

Soit une source qui génère des lettres de l’alphabet A= {a1, a2, a3, a4} avec les probabilités suivantes :
p(a1)= 0,1 p(a2)=0,3 p(a3)=0,25 p(a4)=0,35

1- Trouver un code de Huffman selon la procédure habituelle.


2- Trouver un code de Huffman avec la procédure habituelle de variance minimale.
3- Calculer la variance de ces deux codes.
4- Discuter des performances de ces deux codes.

Exercice 19

On considère une source S pouvant émettre 5 symboles, dont la probabilité p, de chacun figure dans
ce tableau ci-dessous. Ce dernier fournit également deux codages binaires possibles C1, C2 de S.
Indiquer si ces codes sont déchiffrables et instantanés. Calculer la longueur moyenne n1 et n2 de leurs
mots.

S s1 s2 s3 s4 s5
P 0,5 0,18 0,14 0,12 0,06
C1 0 10 11 101 1001
C2 00 10 11 010 011

Exercice 20
On considère une variable aléatoire X pouvant prendre n valeurs distribuées selon la loi P(X=xi)= (1/2)i
lorsque i€{1,2,…,n-1}, et P(X=xn)=(1/2)n-1. Déterminer la longueur moyenne minimum des mots d’un
code binaire consacré aux valeurs possibles du X. Proposer un code binaire à l’aide de la méthode de
Huffman et calculer la longueur moyenne des mots de celui-ci. Expliquer le résultat obtenu.