Filière d’ingénieurs :

Cyber-sécurité - AU 2022/23
Module : Théorie de l’information & codage
Exercices de Travaux dirigés.


EXERCICE 1
On considère un jeu de 32 cartes et une main de 4 cartes. Soient les événements :
E1 = {La main ne contient aucune carte inférieure au valet},
E2 = {La main ne contient pas de figure},
E3 = {La main contient quatre cartes identiques (de même nom)},
E4 = {La main contient les quatre as}.
1. Calculer la self-information associée à chacun de ces événements ainsi que les
informations mutuelles : I(E1;E2) et I (E1;E3).
2. Evaluer approximativement le nombre d'éléments binaires nécessaires pour spécifier
quatre cartes et le comparer à l'entropie de la variable aléatoire correspondant à une
main.

EXERCICE 2
Deux variables aléatoires X et Y sont décrites par la loi de distribution de la probabilité jointe :
p(X=Y = 0) = p(X = 0, Y = 1) = p(X = Y = 1) =1/3 ; Calculer H(X), H(Y), H(X IY), H(Y IX), and H(X, Y).

EXERCICE 3
Une source admet comme alphabet {a1, a2, a3, a4} avec des probabilités correspondantes
{0.1,0.2,0.3,0.4}.
1. Trouvez l'entropie de la source.
2. Quelle est la longueur moyenne minimale par mot, requise pour représenter cette source ?
3. Concevez un code de Huffman et un code de Shanon-Fano pour la source et comparez la
longueur moyenne par mot code de chaque codage avec l'entropie de la source.
4. Concevez un code de Huffman pour la deuxième extension de la source. Quelle est la longueur
moyenne des mots de code ? Quelle est la moyenne par lettres ?
5. Lequel est le codage le plus efficace, le codage de Huffman de la source primaire ou l’extension
d’ordre 2 ?? Justifier

EXERCICE 4
Pour mettre au point un asservissement de position, on mesure toutes les 1 mSec, l’état S d’une
erreur (entre la sortie d’un capteur et une commande) à valeurs parmi : { N (négative), Z (zéro), P
(positive)} avec les probabilités respectives pN , pZ , pP .On suppose alors que les états de S correspondent
à une source simple sans mémoire de probabilités : pN = 1/8 ; pZ = 1/2 ; pP = 3/8.
1) Calculer l’entropie, la redondance, et le débit d’information de S.
2) Après codage de source idéal, quel serait théoriquement le débit binaire minimum (Db_min) ?
3) On réalise un codage binaire de Shannon-Fano puis d’huffman : donner le résultat du codage,
l’efficacité de chaque code, et en déduire le débit Db après codage , en bit /sec.
4) Le codage aurait-il été plus efficace en ternaire plutôt qu’en binaire (Justifier) ?
5) Après recentrage du dispositif, on obtient de nouvelles probabilités : pN = pp = 1/4 ; pP = 1/2;
Donner le nouveau Db_min, et un codage binaire instantané permettant de l’atteindre (Justifier).

Pr Farid ABDI , DGE, Faculté des Sciences et Techniques Fès B.P. 2202, Route d’Imouzzer FES
( 212 (35) 60 80 14 – 212 (35) 60 96 35 7 212 (35) 60 82 14
+abdi_farid@yahoo.fr abdi@metz.supelec.fr farid.abdi@usmba.ac.ma
www.fst-usmba.ac.ma
EXERCICE 5
Un joueur A lance deux dés non pipés. On désigne par S la variable aléatoire égale à la somme des
chiffres indiqués par les deux dés après immobilisation.
¨ 1. Donner les valeurs possibles de S et leurs probabilités
¨ 2. Effectuer un codage de Huffman des valeurs possibles de S (on attribuera explicitement
un mot code binaire à chaque valeur de S).
¨ 3. Un joueur B doit deviner le nombre S en posant des questions à réponse en oui-non.
On qualifie de stratégie optimale la série de questions à réponse en oui-non qui permet de découvrir
S en un nombre moyen de questions minimum.
3.1. Quel est le nombre moyen de questions contenues dans la stratégie
optimale?(nombre de questions à poser)
3.2. Quelle est la première question de la stratégie optimale?
3.3. Si la première question peut s'énoncer "la somme S appartient-elle à l'ensemble
{3,5,9,10,11}?
Quelle est l'information moyenne apportée par le joueur A au joueur B lorsqu'il répond à la
première question de la stratégie optimale? C’àd I(R,S)

EXERCICE 6
Considérons la séquence binaire suivante 0001001000000110000100000001000000
Utilisez l’algorithme Lempel-Ziv LZ78 pour coder cette séquence.

EXERCICE 7
Supposons une source pouvant émettre des caractères (code ASCII étendu). On voudrait coder les
messages qu’elle émet au moyen de l’algorithme de Lempel−Ziv. On a à disposition une table de
traduction de 4096 locations, dont les adresses sont représentées en hexadécimal. Supposons pour
simplification que les locations mémoires aient une profondeur illimitée.
a) Expliquer l’état de la table de traduction après la phase d’initialisation.
b) Remplissez le tableau de codage de premiers mots du texte : « vous voulez vouer cette action a l
echec ». Calculer le taux de compression obtenu sur cet exemple.