Université Mohamed Bachir El Ibrahimi de Bordj Bou Arréridj

Département d’électronique-Faculté S.T

Travaux Dirigés
Master I- Systèmes de Télécommunications
(2019-2020)

UE: Codage et Compression

Série 1: Codage et Compression

Responsable de l’UE: Prof. AIDEL Salih

I. Exercice 1.

Rappelez la définition de l'entropie d'une source discrète. Quel est son signe ?
Que représente l'entropie en terme d'information ?

II. Exercice 2:

On considère un fichier binaire formé de valeurs aléatoires. A quelles conditions

est-il possible (en théorie) de compresser l’information ?

III. Exercice 3:

Une source fournit des symboles de l’alphabet {A, G, C, T} de probabilités connues,

respectivement 0.44 ; 0.23 ; 0.19 ; 0.14 .
1. Y a-t-il pour coder ces symboles un code efficace ?
2. Quelles performances pourrait-on attendre d’un tel code ?
3. Pouvez-vous en proposer un ?
IV . Exercice 4:
Pour une source à trois symboles quelles sont les valeurs possibles de l’entropie
de la source ?
1. Même question pour une source à 4 symboles.
2. Peut-on citer des conditions sur les probabilités des 4 symboles pour qu’il existe
un code meilleur ?
3. que le code fixe de longueur 2 ?
4. Quelle est la condition pour qu'un code optimal coïncide avec l'entropie ?

V. Exercice 5:

Vérifiez que pour une source discrète de n symboles l’entropie est maximale si les
probabilités sont identiques.
1. Montrez que pour une source continue prenant ses valeurs dans l’intervalle [a, b]
l’entropie est maximale si la loi de probabilité est uniforme.
2. Y a-t-il une loi qui minimise la valeur de l’entropie ?