Chapitre

Université des Sciences et de la Technologie Houari Boumédiene L'information et le codage

Exercice 1.1
Faculté de Génie Electrique Un groupe d’étudiants de licence de télécommunication décide de créer un
forum d'échanges sur une plateforme numérique afin d’améliorer leur
compétence. Les étudiants se sont entendus pour publier des livres (L), sujets
Département de Télécommunications
d’examen (SE), images (I) et vidéo (V).
Une étude statistique sur 100 publications déposées sur la plateforme
Licence Télécommunications numérique donne la répartition suivante :

Type de
L SE I V
publication
Nombre de
35 15 20 30
publications
Manuel d'exercices
1. Quelle est la nature de la source d’informations ? En déduire l’alphabet de
la source.
2. Calculer la probabilité d’apparition des éléments de la source. Quel est
l’élément le plus dominant ?
3. Calculer les probabilité de publier :
livres ou les sujets d’examen.
Théorie de l’Information et Codage livres ou images ou sujets d’examen.
sujets d’examen et la vidéo.
(Information Theory and Coding) Exercice 1.2
On souhaite étudier le comportement statistique d’une chaîne de
communication pour la surveillance médicale à distance d’un patient. Pour cela,
Youcef CHIBANI et Hassiba NEMMOUR un capteur est fixé sur le corps d’un patient pour mesurer le taux de glycémie.
Ce capteur délivre les résultats suivants :
‘Normal’, si le taux de glycémie est entre 0.9 et 1.10 g/l
Sommaire : ‘Hypoglycémie ‘, si le taux est inférieur à 0.9 g/l
‘Hyperglycémie’, si le taux est supérieur à 1.10 g/l
Chapitre 1 : L'information et le codage ‘Erreur ‘, s’il survient un problème pendant la mesure.
Chapitre 2 : Codage de source
Ce capteur est relié à une carte radio sans fil de type XBee. Les résultats
Chapitre 3 : Canal de transmission
obtenus sont alors transmis vers une carte RaspBerry Pi 3 pour affichage sur
Chapitre 4 : Principes généraux des codes correcteurs d'erreurs écran.
Une mesure est collectée par la carte XBee toutes les 30 mn. Le tableau suivant
montre la répartition des résultats pour 100 mesures :
Sections de troisième année A et B : 2022/2023

Y. Chibani et H. Nemmour Page 1/27 Y. Chibani et H. Nemmour Page 2/27

 Glycémie Normal Hypo Hyper Erreur X
Y B TB Ex
Résultats avant l'émission 30 10 55 5
B 25 10 0
Résultats à la réception 45 12 35 8 TB 5 25 5
Ex. 0 5 25
On suppose que les mesures réalisées à la source et à la réception sont
indépendantes. 1. Rappeler brièvement le rôle du codeur et du décodeur.
2. Quels sont les alphabets utilisés par la source et l’observation ? En déduire
1. Tracer le schéma de la chaîne de communication de la source jusqu’au les éléments des alphabets.
récepteur. 3. Calculer la probabilité d’apparition conjointe.
2. Quel est l’alphabet utilisé par la source ? 4. Calculer les probabilités d’apparition associées à la source et l’observation.
3. Calculer la probabilité d’apparition des éléments de la source et du 5. Calculer les probabilités conditionnelles / ( / ) et / ( / ). Quelle est
récepteur. En déduire les éléments les plus incertains ? Justifier votre la différence entre ces deux probabilités ?
réponse. 6. Dans le cas où la source et l’observation sont indépendantes, que
4. Calculer le nombre de mesures réalisées pendant 24 heures à la source et à deviennent les probabilités conditionnelles ?
la réception. 7. On suppose que la source délivre un échantillon toutes les 5ms. Calculer le
5. Calculer la probabilité conjointe entre la source et le récepteur. nombre d’échantillons délivrés par seconde.
6. Calculer les probabilités conditionnelles du récepteur sachant la source et 8. Calculer le nombre d’apparitions de chaque qualité de café par seconde.
de la source sachant le récepteur. Que peut-on dire ? 9. Calculer la moyenne et l’écart type pour la source.
10. En déduire les valeurs minimale et maximale délivrées par la source. Que
Exercice 1.3 peut-on dire ?
On souhaite étudier le comportement statistique d’un système de
communication qui permet de mesurer à distance la qualité du café produit Exercice 1.4
dans une usine de torréfaction. Pour cela, on considère la chaîne de On souhaite déterminer le nombre de chiffres pouvant être stocké dans une
communication suivante : puce de mémoire de taille 1 Kbits. Pour cela, on considère que les chiffres
composants les numéros de téléphone proviennent de trois sources différentes.
Source Observation L’étude est menée sur 100 chiffres de chaque source. Le tableau suivant décrit
Codeur
Canal de
Décodeur la fréquence d'apparition de chaque chiffre pour les trois sources.
communication
Chiffre Source 1 Source 2 Source 3
0 10 15 5
La source permet de fournir une information sur la qualité du café grâce à un 1 10 5 5
nez électronique. L’information est transmise dans une chaîne de 2 10 5 5
communication composée d’un codeur, d’un canal de communication sans fil de 3 10 5 5
type WIFI et d’un décodeur. 4 10 5 5
La source délivre trois types d’information sur la qualité du café : B (Bon), TB
5 10 25 15
(Très bon) et Ex (Excellent) correspondants aux notes 14, 16 et 18. Les mesures
6 10 20 25
effectuées simultanément sur la source (Variable ) et l’observation (Variable
7 10 10 15
) montrent les répartitions suivantes :
8 10 5 10
9 10 5 10

Y. Chibani et H. Nemmour Page 3/27 Y. Chibani et H. Nemmour Page 4/27

1. Calculer la probabilité d’apparition de chaque chiffre pour chacune des 3. Montrer que et ne sont pas indépendantes.
sources. 4. Calculer les entropies associées à et .
2. Calculer la quantité d’information en bits délivrée par chaque chiffre. Quel 5. Calculer l’information mutuelle.
est le chiffre qui fournit la plus faible incertitude d’apparition ? 6. En déduire l’entropie conditionnelle de sur .
3. En déduire la quantité moyenne de l’information délivrée par les deux
sources. Que peut-on dire ? Exercice 1.7
4. Calculer le nombre de chiffres pouvant être stocké dans la puce mémoire. On considère deux sources d’information telles que : = {1, 2, 3} et = {1, 2}.
5. Que peut-on dire ? Les symboles sont supposés équiprobables. et sont considérées
indépendantes.
Exercice 1.5 1. Quels sont les symboles associés à × ?
On souhaite étudier une source d’information décrite par un signal ECG mesuré 2. Calculer les entropies suivantes : ( ), ( ) et ( × ).
par un capteur fixé au niveau du cœur d’un malade et relié par Bluetooth au
smartphone. Cette étude permet d’évaluer la quantité d’information contenue Exercice 1.8
dans le signal pour son stockage. Pour cela, le signal ECG est mesuré pendant et sont deux variables aléatoires définies sur un alphabet binaire {0, 1}. La
60s avec une période d’échantillonnage de 500ms. Chaque échantillon peut probabilité conjointe ( , ) est telle que :
prendre les valeurs suivantes : 0, 2, 4, 6, 8.
1. Calculer le nombre d’échantillons de la source.
2. Quel est le nombre de symboles ? En déduire l’alphabet utilisé. 0 1
3. On suppose que les échantillons délivrés par la source sont équiprobables. 0 1/3 1/3
Calculer dans ce cas la probabilité associée à chaque symbole.
4. On suppose que les trois premiers symboles représentent 70% des 1 0 1/3
échantillons délivrés avec la même probabilité. Les autres symboles
représentant les 30% restants sont délivrés avec la même probabilité. 1. Calculer les entropies suivantes: ( ), ( ), ( | ), ( | ), ( , )
Calculer la probabilité d’apparition de chaque symbole. 2. En déduire l’information mutuelle : ( , ).
5. Calculer la quantité d’information moyenne en bits pour la source pour les
deux cas de probabilité uniforme (équiprobable) et non uniforme (non Exercice 1.9
équiprobables). Un appareil photo numérique est considéré comme un canal de transmission
6. Calculer la taille requise pour stocker le signal pour les deux cas de bruité entre les couleurs originales et les couleurs captées. L’entrée et la sortie
probabilité uniforme et non uniforme. de ce canal sont respectivement modélisées par deux variables aléatoires X et Y
définies chacune sur 4 symboles : , , , . La distribution
Exercice 1.6 conjointe de ces variables est telle que :
Dans une chaîne de communication, une source délivre des échantillons
représentés par des symboles définis dans l’alphabet { 2, 0, 1}. A la réception, X
Rouge Vert Bleu Jaune
la variable reçoit des échantillons représentés par l’alphabet { 1,1,2}. Les Y
deux variables sont liées par la loi conjointe définie dans le tableau suivant : Rouge 1/8 1/16 1/16 1/4
Vert 1/16 1/8 1/16 0
( = , = ) = 1 =1 =2 Bleu 1/32 1/32 1/16 0
= 2 0.2 0.2
Jaune 1/32 1/32 1/16 0
=0 0.1 0.1 0.05
=1 0.2 0.0 0.1
1. Calculer les entropies à l’entrée et à la sortie du canal ( ) et ( ).
1. Calculer la valeur de . 2. Calculer l’entropie conjointe ( , ) et l’entropie conditionnelle ( | )
2. Calculer les lois marginales de et de . 3. En déduire l’information mutuelle ( , ) en bits.
Y. Chibani et H. Nemmour Page 5/27 Y. Chibani et H. Nemmour Page 6/27
Exercice 1.10 Chapitre
On considère trois sources représentées par les variables aléatoires discrètes et Codage de source
de valeurs entières , et , avec :
( ) = , = 1, … ,10 , ( ) = , = 1, … ,4, ( ) = 0.99 =1
Exercice 2.1
0.01 =2
Une entreprise de distribution de café souhaite superviser à distance l’état de
1. Calculer les entropies suivantes : ( ), ( ), ( ), ( , ), ( | ). l’eau de la machine pour intervenir en cas de panne. Pour cela, trois états sont
2. On définit une variable aléatoire = + . Calculer ( ), ( | = 1), définis : Chaud, Tiède et Froid associés aux probabilités : 0.7, 0.2 et 0.1. Les
( | ). états de l’eau sont codés respectivement en utilisant le code
= {0, 0010, 0001100}.
1. Calculer l’entropie de la source.
2. Calculer le taux de redondance de la source. Est-il nécessaire de la
compresser ?
3. Quels sont les propriétés de ce code ?
4. Calculer la longueur moyenne du code et comparer à l’entropie ?
5. Est-il possible de décoder la séquence 0001000000110000100 ? Justifier
votre réponse ?

Exercice 2.2
On souhaite développer un système de surveillance à distance de l’activité d’un
individu vivant seul à la maison. Pour cela, une caméra scrute en permanence
l’individu pour transmettre l’un des 5 états : Assis, Debout, Marche, Allongé,
Plié. Les probabilités et les codes associés à chaque activité sont reportés dans
le suivant :

Activité Assis Debout Marche Allongé Plié

Index de l’activité 1 2 3 4 5
Probabilité 0.125 0.25 0.025 0.5 0.1
Code 01 00 110 10 111

1. Calculer l’entropie de la source ? Est-elle redondante ?

2. Quels sont les propriétés de ce code ?
3. Coder le message 5312241.
4. Décoder la séquence : 111110100111011110.
5. Donner la longueur moyenne du code. En déduire le taux de redondance de
la source codée. Que peut-on dire ?

Exercice 2.3
On souhaite étudier deux codes différents pour la surveillance à distance d’une
machine de fabrication de plastique. La machine délivre quatre états de
fonctionnement : Normal, Défaut 1, Défaut 2 et Défaut 3. L’objectif de cette

Y. Chibani et H. Nemmour Page 7/27 Y. Chibani et H. Nemmour Page 8/27

étude est d’évaluer les performances de chaque code. Pour cela, on considère Exercice 2.6
les deux codes suivants : On souhaite concevoir un système de codage pour identifier la qualité de l’eau
dans un barrage. La qualité de l’eau est classée selon une grille de 8 échelles
Code 1 : = 01, = 10, = 110, = 001 allant de A (Eau excellente) jusqu’à H (Eau extrêmement polluée). Les
Code 2 : = , = , = , = , = , = probabilités associées à chaque qualité de l’eau sont reportées dans le tableau
suivant :
1. Dans le cas où le code est ambigu, donner une séquence de décodage
ambigu. Qualité A B C D E F G H
2. Dans le cas où le code est préfixe et non ambigu, dessiner l’arbre de codage
correspondant. Probabilité 1/4 1/8 1/8 1/16 1/16 1/16 5/32 5/32

Exercice 2.4 1. Calculer l’entropie de la source. Est-elle redondante ?

On considère les codes suivants associés aux symboles d'un alphabet : 2. Donner le code binaire préfixe avec une longueur de mots de code à 3 bits.
En déduire l’arbre de codage. Est-il complet ?
3. Calculer la longueur du mot-code pour chaque état en utilisant l’information
propre ? En déduire la longueur moyenne ?
2 3 3 2 3 4 2 3 2 2 4. En déduire l’existence d’un code instantané (préfixe) ? Proposer alors dans
ce cas un code instantané ?
1. Déterminer la taille minimale de l’alphabet du code pour rendre le code 5. Déterminer le code en utilisant la méthode Shannon-Fano. En déduire la
préfixe en gardant les mêmes longueurs. longueur moyenne.
2. Pour une taille minimale de l’alphabet de codage, dessiner un arbre de 6. Déterminer le code en utilisant la méthode de Huffman. En déduire la
codage possible. longueur moyenne.
7. Comparer les codes. Quel est le code le plus efficace ?
Exercice 2.5 8. Que peut-on dire de cette étude ?
On souhaite coder les états émotionnels pour une identification automatique
par smartphone. Pour cela, sept (7) états sont définis avec leur index : Exercice 2.7
Tranquillité (1), Joie (2), Colère (3), Tristesse (4), Surprise (5), Peur (6), On considère une image représentée par une matrice de 8 8 pixels dont
Terreur (7). La probabilité d’apparition de chaque état émotionnel est reportée chacun prend une valeur comprise dans l'intervalle [0,255] où 0 correspond au
dans le tableau suivant : noir et 255 au blanc. Les valeurs intermédiaires définissent les niveaux de gris.
La matrice image est représentée par les valeurs suivantes :
Etat 1 2 3 4 5 6 7
Fréquence 0.40 0.15 0.15 0.15 0.05 0.05 0.05 44 170 95 210 44 128 95 128
95 128 44 95 128 95 95 44
1. Calculer l’entropie de la source. Est-il nécessaire de la compresser ?
95 95 210 95 95 44 128 95
2. Calculer la longueur du mot-code pour chaque état en utilisant
l’information propre ? En déduire la longueur moyenne ? 44 170 44 170 95 44 210 95
3. En déduire l’existence d’un code instantané (préfixe) ? Proposer alors dans 95 95 128 44 95 95 170 44
ce cas un code instantané ? 95 44 170 95 128 44 95 128
4. Déterminer le code en utilisant la méthode Shannon-Fano.
95 128 95 210 0 95 0 0
5. Déterminer le code en utilisant la méthode de Huffman.
44 170 44 95 0 44 128 44
6. Comparer les taux de redondance avant et après codage. Que peut-on dire
de cette étude ?
Y. Chibani et H. Nemmour Page 9/27 Y. Chibani et H. Nemmour Page 10/27
1. Calculer l’entropie. Est-il nécessaire de compresser cette image ? Justifier 1. Calculer l’entropie.
votre réponse. 2. On réalise un codage binaire de Shannon-Fano , donner le code résultant et
2. Effectuer un codage binaire de Shannon et calculer son efficacité. Donner l’efficacité du code.
dans ce cas la taille du fichier image. Que peut-on dire ? 3. On applique un codage ternaire de cette source. Le codage obtenu est-il
3. Effectuer un codage binaire de Shannon-Fano et calculer son efficacité. plus efficace que le codage binaire ? Justifier votre réponse.
Donner dans ce cas la taille du fichier image. Que peut-on conclure ?
4. Comparer les deux méthodes de codage en utilisant le paramètre efficacité. Exercice 2.11
5. Donner la probabilité d’avoir un 0 ou 1 à la sortie du codeur Shannon-Fano. Soit le tableau suivant donnant la distribution de probabilité des caractères
Calculer l’entropie à la sortie du codeur. pour la langue anglaise :

Exercice 2.8 Caractère « » E T A O I N S R

On souhaite mesurer la température d’une serre et la transmettre par onde
radio en utilisant XBee et récupérer le résultat sur carte Raspberry. Pour cela, Probabilité 0.1859 0.1031 0.0796 0.0642 0.0632 0.0575 0.0574 0.0514 0.0484
on considère 5 états de température du maximum (Niveau 5) au minimum Caractère H L D U C F M W Y
(Niveau 1) avec les probabilités {0.4, 0.3, 0.15, 0.1, 0.05}.
Probabilité 0.0467 0.0321 0.0317 0.0228 0.0218 0.0208 0.0198 0.0175 0.0164
1. Coder la source par l’algorithme de Shannon-Fano. Caractère G P B V K X J Q Z
2. Calculer la longueur moyenne de ce code et comparer son efficacité à celle
d’un codage binaire simple. Probabilité 0.0152 0.0152 0.0127 0.0083 0.0049 0.0013 0.0008 0.0008 0.0005

Exercice 2.9 1. Calculer l’entropie de la langue anglaise.

On souhaite concevoir un système de codage pour identifier la qualité du sol 2. Construire le code de Huffman binaire pour cette source.
d’une surface agricole. La qualité du sol est mesurée sur une échelle allant de A 3. En déduire le taux de compression.
(Sol excellent) jusqu’à H (Sol extrêmement pollué). Les probabilités associées à
chaque qualité du sol sont reportées dans le tableau suivant : Exercice 2.12
Soit le message suivant à transmettre via un canal de communication :
Qualité A B C D E F G H I J K Message = ' telecomcommtelecomm'
1. Quel est l'alphabet utilisé dans ce message.
Probabilité 0.22 0.15 0.12 0.11 0.1 0.08 0.07 0.06 0.04 0.03 0.02 2. Calculer la probabilité d'apparition de chaque symbole.
3. Calculer le nombre de bits nécessaire pour code le message en utilisant le
1. Donner le code binaire de la source par l’algorithme de Shannon-Fano. code ASCII à 8 bits.
2. Donner un codage binaire par la méthode de Huffman et décoder la 4. Calculer le nombre de bits nécessaire pour coder le message en utilisant la
séquence « 001110101110101100 ». méthode de codage de Huffman.
3. Comparer les deux codes en fonction de la longueur moyenne du code, le 5. Calculer le taux de compression. Que peut-on dire ?
taux de redondance et l’efficacité.
Exercices extraits des contrôles continus et examens
Exercice 2.10
Pour mettre au point un asservissement de position, on mesure l’état S d’une Exercice 2.13
erreur entre la sortie d’un capteur et une commande. Les situations possibles 1. Définir un code préfixe et donner ses principales propriétés.
de l’erreur sont : { : é , : é , : } avec des probabilités : 2. Soit une source définie sur un alphabet de taille 4 et une redondance nulle.
Donner la valeur de l’entropie. Comment doit-on prendre la longueur du
= , = , = . code pour qu’il soit efficace ?

Y. Chibani et H. Nemmour Page 11/27 Y. Chibani et H. Nemmour Page 12/27

Exercice 2.14 8. Que peut-on dire de cette étude ? Justifier votre réponse.
1. Définir le taux de redondance après un codage source et donner son objectif
principal Exercice 2.18
2. On propose plusieurs codes préfixes avec des longueurs moyennes 1. Soit un code d’une source S avec une longueur moyenne =
différentes. Sur quelle base on peut choisir le code adéquat ? justifier votre 2.82 / . L’entropie de cette source définie sur 8 symboles est :
réponse ( ) = 2.55 / . Quel est le rôle de l’entropie dans le
codage (Justifier par une règle théorique)? Calculer l’efficacité du code.
Exercice 2.15 2. On propose trois codes pour la source de la question 1, ayant les
1. A quoi correspond l’entropie conditionnelle H(Y/X) entre l’entrée (X) et la longueurs moyennes suivantes :
sortie (Y) d’un canal ? Donner la relation avec l’information mutuelle I(X ;Y) ( = 2.45, = 3.54, = 3.58 ) / . Peut-on accepter ces
2. Définir l’inégalité de Kraft et expliquer son intérêt codes ? (Justifier votre réponse ).

Exercice 2.16 Exercice 2.19

1. Soit une source définie sur un alphabet de taille 3. On suppose que On souhaite déterminer le codage le plus efficace pour une source composée de
l’incertitude sur la source est maximale. Calculer dans ce cas l’entropie de 6 symboles notés de 1 à 6 pour les stocker dans une carte à puce de taille 1000
la source et donner la longueur des mots de code. bits. Pour cela, on considère les deux codes suivants :
2. On souhaite coder une source définie sur un alphabet de 4 symboles avec
les probabilités suivantes : P1= 0.5, P2=0.3, P3=0.15, P4=0.1. Comment doit- Symbole 1 2 3 4 5 6
on choisir les longueurs des mots de code pour un codage binaire? Code 1 0 01 011 1011 0110 1101
Exercice 2.17 Code 2 01 11 000 001 100 101
On souhaite coder en binaire les plantes médicinales composées de six (6)
catégories pour un stockage sur une carte de puce de taille 2000 octets. La 1. Donner les propriétés de chacun des codes. A votre avis, quel est le code le
fréquence d’apparition de chaque catégorie de plante est reportée dans le plus rapide ? Justifier votre réponse.
tableau suivant : 2. Soit la séquence du message codé MC=011011011101011. Quel est le code
utilisé pour coder le message source ? Donner alors la séquence du message
Catégorie 1 2 3 4 5 6 source. Justifier votre réponse.
3. En supposant que les probabilités associées aux symboles sont
Fréquence 16 15 14 7 4 4 respectivement ( ) = {0.30; 0.25; 0.20; 0.13; 0.08; 0.04}. Calculer
l’entropie de la source. En déduire le taux de redondance.
1. Calculer la probabilité d’apparition de chaque catégorie de plante. 4. En utilisant les probabilités associées aux symboles, calculer les longueurs
2. Calculer l’entropie de la source. En déduire le taux de redondance. moyennes des codes 1 et 2. En déduire les taux de redondance après codage.
3. Calculer la longueur du code associée à chaque catégorie de plante en Quel est le code le plus efficace ?
utilisant l’information propre ? En déduire la longueur moyenne du code. 5. Pour chacun des codes 1 et 2, donner un avantage et un inconvénient.
4. En déduire l’existence d’un code instantané (sans préfixe) ? Proposer alors 6. On souhaite coder plus efficacement la source en utilisant la méthode de
dans ce cas un code instantané. Shannon-Fano. Donner alors les codes correspondants.
5. Déterminer le code en utilisant la méthode de Huffman. En déduire la 7. Calculer la longueur moyenne du code. En déduire le taux de redondance.
longueur moyenne du code. Comparer son efficacité par rapport aux codes 1 et 2.
6. Comparer les taux de redondance avant et après codage pour les deux 8. Calculer le nombre d’échantillons moyen que l'on peut stocker dans la carte
méthodes de codage. à puce pour les trois codes (Code 1, Code 2, Code Shannon-Fano). A votre
7. Calculer le nombre d’échantillons par catégorie de plante pouvant être avis, quel est le code le plus efficace ? Justifier votre réponse.
stocké dans la carte à puce en utilisant les deux méthodes de codage.
Y. Chibani et H. Nemmour Page 13/27 Y. Chibani et H. Nemmour Page 14/27
Chapitre Exercice 3.3
Canal de transmission On considère le canal de transmission d’un module de communication de type
XBEE par le graphe suivant où représente le message vide, la probabilité
Exercice 3.1 d’erreur et la probabilité de perte.
On souhaite étudier la qualité d’un canal de communication bruité d’un appareil
photo numérique. Pour cela, on considère que la source débite les couleurs est 1- -
modélisé par la matrice de transition suivante : 0 0

0.50 0.30 0.20 0.00

0.00 0.50 0.30 0.20 p
( , ) = [ ( / )] =
0.20 0.00 0.50 0.30
0.30 0.20 0.00 0.50

4. Montrer que ce canal est symétrique.

5. Tracer la représentation graphique du canal. 1 1
1- -
6. Pour des entrées équiprobables, calculer les probabilités en sortie du canal.
Que peut-on dire ? 1. Montrer que le canal est symétrique.
7. Calculer l’information mutuelle. En déduire la capacité du canal. 2. Calculer sa capacité en fonction de et .
3. Pour = 0, tracer la représentation graphique du canal. Qu'advient-il de la
Exercice 3.2 capacité du canal ?
On souhaite étudier le canal de communication de la mémoire d’un disque dur 4. Pour = 0, tracer la représentation graphique du canal. Qu'advient-il de la
qui reçoit en entrée la source délivrant des échantillons d’alphabet binaire 0 capacité du canal ?
et 1 avec des probabilités équiprobables. Le canal de communication du disque
dur est modélisé par une matrice de transition entre la sortie et l’entrée comme Exercice 3.4
suit : On considère le canal de transmission ci-dessous :

A 1 A
1
1 1
B B

1 C
est la probabilité de l’erreur de transmission. C
1. Tracer la représentation graphique du canal. Est-il symétrique.
1
2. Calculer les entropies à l’entrée et à la sortie du canal ( ) et ( ). D D
3. Calculer l’information mutuelle du canal. En déduire la capacité du canal.
1
4. Pour quelle valeur de , la capacité du canal est maximale ? E E
5. Que peut-on dire sur la qualité du canal de communication de la mémoire du
disque dur ?
1. Donner la matrice de transition. Le canal est-il symétrique ?
2. Calculer la capacité du canal.
3. En supposant que le canal possède les caractéristiques suivantes :
Probabilité d’erreur est fixée à = 10 et débit du canal est de 5000
symboles/seconde. Quelle doit être la valeur maximale du débit de la source
Y. Chibani et H. Nemmour Page 15/27 Y. Chibani et H. Nemmour Page 16/27
 permettant une transmission avec une probabilité d’erreur suffisamment 2. Calculer sa capacité.
petite lorsque la source débite les symboles avec la distribution des 3. On souhaite utiliser ce canal pour transmettre une source binaire .
probabilités suivante , , , , ? Déterminer l’ordre d’extension de la source pour que les mots source
soient transmis directement sur le canal.
4. Est-il possible de transmettre l'information dans le cas d'une distribution
4. La source délivre des symboles avec la même probabilité à un débit de
uniforme de la source ?
= . Quel devrait être le débit d’utilisation du canal pour que la
Exercice 3.5 transmission s’effectue avec une probabilité d’erreur aussi petite que
On souhaite étudier la qualité d’un système de communication bruité d’un souhaitée ?
appareil photo numérique. Pour cela, on considère que la source correspond à
une variable aléatoire définie sur 4 symboles , , et qui Exercice 3.8
débite un symbole toutes les 0.2 ms. Les couleurs de la source sont codés en On considère un canal avec un alphabet binaire qui reçoit deux bits à l’entrée et
binaire par la méthode de Huffman puis transmis dans un canal binaire fournit deux bits en sortie de la façon suivante : 00 01, 01 10, 10 11, et
symétrique bruité sans effacement avec une probabilité d’erreur de 10 . 11 00. Donc, si le canal reçoit 01, la sortie correspond à 10 avec une
1. Calculer le débit de symboles de la source. probabilité 1. Les symboles d’entrée sont délivrés pas les sources et . Les
2. Que devrait être le débit d’utilisation du canal pour une source qui débite les symboles de sortie sont désignés par et .
symboles avec les probabilités ( ) = {0.25, 0.20, 0.5, 0.05} ? 1. Calculer l’information mutuelle ( , ; , ) en fonction des probabilités
3. Que peut-on dire ? des symboles d’entrée.
2. Pour une loi uniforme de l’entrée, montrer que la capacité du canal est égale
Exercice 3.6 à 2 bits.
On souhaite transmettre des pixels de l’image dans un système de
3. Dans ce cas, calculer la probabilité conjointe ( ; ) et montrer que
communication numérique sans bruit. Pour cela, on considère que la source
délivre trois symboles : , , avec un débit de 100 symboles/s ( ; ) = 0. Que peut-on conclure ?
avec respectivement les probabilités ( ) = {0.80, 0.15, 0.05}.
1. Est-il possible de transmettre l’information sur le canal binaire pour un Exercices extraits des contrôles continus et examens
débit d’utilisation de 100 bits/s ?
2. Pour transmettre les informations, on utilise le codage de Huffman. Ce code Exercice 3.9
est-il adapté au canal ? Justifier votre réponse.
On souhaite étudier les performances d’un système de communication
numérique pouvant transmettre 6 symboles selon les probabilités suivantes :
Exercice 3.7
On considère le canal a 4 entrées et 5 sorties :
Symbole A B C D E F
1
A A Probabilité 0.35 0.20 0.10 0.05 0.15 0.15
1
B B
Le système de communication est modélisé par une matrice de transmission
définie par :
E
0 0 0 0
1
C C 0 0 0 0
1 0 0 0 0
( , )=
D D 0 0 0 0
0 0 0 0
1. Montrer que le canal est symétrique.
0 0 0 0
Y. Chibani et H. Nemmour Page 17/27 Y. Chibani et H. Nemmour Page 18/27
avec = 0.05. La source d’informations débite 1500 symboles/s alors que le Symbole J K
canal peut transmettre 1800 symboles/s.
Probabilité 0.99 0.01
1. Etude théorique des performances du système
1.1. Montrer que le canal est symétrique. Les symboles de la source sont transmis dans un canal binaire symétrique avec
1.2. Calculer les probabilités d’apparition des symboles en sortie du système une probabilité d’erreur = 0.05.
en fonction de . En déduire les valeurs des probabilités de chaque
symbole en sortie. 1. Calculer la capacité du canal.
1.3. Comparer les entropies de la source et du récepteur. Que peut-on dire ? 2. Pour protéger l’information, on ajoute 1 bit de répétition à chaque
1.4. Calculer la capacité du canal. symbole (J JJ, K KK). Quelle est la nouvelle longueur moyenne du code ?
1.5. Dans ce cas, est-il possible de transmettre théoriquement l’information Justifier votre réponse.
avec une erreur aussi petite que souhaitée ? Justifier votre réponse. 3. Dans ce cas, est-il possible de transmettre l’information ? Justifier votre
réponse.
2. Transmission de l’information par fusion de deux symboles 4. Pour transmettre l’information dans le canal, quelle devrait être
On se propose de transmettre les symboles de la source en fusionnant deux l’extension de la source ? Justifier votre réponse.
symboles deux à deux pour former de nouveaux symboles avec les probabilités 5. Calculer alors la longueur moyenne de la source étendue en utilisant la
suivantes : méthode de Huffman.
6. En déduire la longueur moyenne de la source réduite. Cette longueur est-
Symbole G H I elle compatible avec le premier théorème de Shannon ? Justifier votre
réponse.
Probabilité 0.50 0.30 0.20
Exercice 3.10
Le canal de transmission est modélisé par la matrice de transmission suivante : On considère une source d’information définie sur un alphabet { , et }
avec les probabilités suivantes :
= 0.34375, = 0.34375, = 0.3125

Transmission de la source
2.1. Quelle doit-être la valeur maximale de la longueur moyenne du code pour On souhaite transmettre cette source d’information à travers un canal
qu’il existe théoriquement un procédé de codage assurant la transmission représenté par la matrice de transmission suivante :
fiable de l’information ?
2.2. On souhaite utiliser ce canal pour transmettre la source codée par G 00, 21
11, I 01. La transmission de toute l’information délivrée par cette 3 3 0
source est-elle possible ? ( , )= 0 2 1
3 3
2.3. On propose d’utiliser un codage de Huffman de la source. Vérifier dans ce 1 2
3 0 3
cas la possibilité de transmettre toute l’information délivrée par la source.

3. Transmission de l’information par fusion de trois symboles
On se propose de transmettre les symboles de la source en fusionnant trois
symboles trois à trois pour former de nouveaux symboles avec les probabilités
suivantes :
1. Donner le diagramme du canal et commenter sa symétrie.
2. Calculer la capacité du canal et expliquer son intérêt.
3. Les taux de symboles de la source et du canal sont définis respectivement
par Ds=70k symb/s et Dc=100k symb/s. Est-il possible de transmettre
efficacement cette source ? Justifier votre réponse.

Y. Chibani et H. Nemmour Page 19/27 Y. Chibani et H. Nemmour Page 20/27

4. Pour effectuer la transmission, on effectue un codage de Huffman de cette
Source. Donner les mots de codes des symboles.
5. Est-il possible de transmettre les symboles de la source codée par la
méthode de Huffman ? Justifier votre réponse.
6. Pour détecter une erreur de transmission, on rajoute un bit de parité au
début de chaque mot-code. Si le nombre de 1 est pair, le bit de parité est
mis à 0 sinon il est mis à 1. Calculer la nouvelle longueur moyenne du code.
Est-il possible de transmettre l'information source codée avec le bit de
parité ? Justifier votre réponse.
Transmission de l’information dans un canal binaire
On effectue une deuxième observation des amplitudes du signal source et on
quantifie les valeurs en deux amplitudes et ayant les probabilités
suivantes : = 0.998 et = 0.002. Les taux de symboles source et canal sont
tels que : Ds=600k symb/s et Dc=300k symb/s. La probabilité d’erreur de
transmission est fixée à = 0.0017.
1. Est-il possible d’effectuer une transmission directe des symboles source à
travers un canal binaire symétrique ? Justifier votre réponse par un calcul.
2. Quelle devrait être la longueur moyenne des mots de code des symboles
de la source initiale pour pouvoir effectuer une transmission efficace de
son extension d’ordre 2?
3. Effectuer le codage de Huffman de l’extension d’ordre 2 et vérifier la
transmission à travers le canal.
Exercice 3.11
Pour évaluer la qualité de service dans un réseau de télécommunication, on
évalue six (6) KPI (Key Performance Indicators) sur une heure de temps qui
sont respectivement :
Call drop rate (A)
Taux de coupure des appels (B)
Taux de connexions réussies (C)
Taux d’échec des appels (D)
Taux d’efficacité des appels nationaux (E)
Taux d’efficacité des appels mobiles (F)
L’analyse révèle que sur 1000 dysfonctionnements du réseau, le KPI
responsable est comme suit :
Pour évaluer la qualité de service, l’ensemble de ces KPI est considéré comme
une source d’information que l’on doit coder et transmettre à une station de
traitement de l'information.
1. Codage de la source
1.1. Calculer l’entropie de la source et évaluer le taux de la redondance.
1.2. Pour effectuer une compression de la source, quelle est la condition que
doit vérifier la longueur moyenne du code pour qu’il soit utilisable ? Justifier
votre réponse.
1.3. Effectuer un codage par les méthodes de Shannon-Fano et Huffman et
évaluer la redondance des codes obtenus. Que peut-on dire ?
1.4. On suppose que la source envoie un symbole chaque 2 ms, calculer le débit
de symboles de cette source et en déduire le nombre de bits émis par seconde
après le codage.
2. Transmission des codes
On souhaite transmettre la source codée à travers un canal binaire à
effacement. On suppose que la probabilité d’effacement est telle que :
= 0.002. Lors de la transmission d’un bit de la source codée {0, 1}, on reçoit
le même bit avec une probabilité (1 ) et on observe un effacement E avec
une probabilité .
2.1. Donner le diagramme du canal. En déduire la matrice de transmission et
vérifier sa symétrie.
2.2. Calculer les probabilités en sortie du canal. En déduire sa capacité.
2.3. On suppose que la source débite = 800 / et le canal possède un
débit d’utilisation de = 5000 / . Peut-on transmettre la source codée
avec une probabilité d’erreur très petite ? Justifier votre réponse.
2.4. Pour protéger l’information, on souhaite rajouter des bits de redondance
pour chaque mot de code. Quel est le nombre de bits supplémentaires que l’on
peut rajouter afin de permettre la transmission avec ce canal ?

KPI A B C D E F
Fréquence 150 170 100 130 200 250

Y. Chibani et H. Nemmour Page 21/27 Y. Chibani et H. Nemmour Page 22/27

Chapitre 4. On considère le message [011110]. Démontrer que le message est erroné
Principes généraux des codes correcteurs d'erreurs (3 semaines) par le calcul du syndrome.
5. Corriger le message reçu en utilisant la matrice de contrôle
Exercice 4.1
On considère la matrice génératrice du code suivant : Exercice 4.3
On considère la matrice génératrice suivante :
1 0 0 1 1 0 1 1 0 0 1 1 0
= 0 1 0 1 0 1 1 0 1 0 1 0 1 1 0 0 0 0 1 1
0 0 1 1 1 1 0 0 0 1 1 1 1
= 0 1 0 0 1 0 1
0 0 1 0 1 1 0
1. Donner le rendement du code. 0 0 0 1 1 0 0
2. Donner la matrice de contrôle du code.
3. Donner les équations permettant de générer les mots de code. 1. Donner le nombre de bits de redondance et le rendement du code.
4. Donner la liste des mots de code. 2. Donner la matrice de contrôle et donner la distance minimale du code
5. Donner la distance minimale du code. En déduire le nombre d’erreurs 3. Donner le nombre de mots source qu’on peut coder avec ce code
détectables et corrigeables par le code 4. Calculer tous les mots de codes
5. Donner la table de correction des codes par syndrome. Corriger le message
Exercice 4.2 suivant [0110101]
Soit un code systématique représenté par les codes donnés dans le tableau ci-
dessous. Exercice 4.4
Soit le code systématique C défini par les équations de parité suivantes :
c1 c2 c3 c4 c5 c6
0 0 0 0 0 0 1 = 2 + 3 + 4
0 0 1 1 1 0 2 = 1 + 2 + 3
0 1 0 1 0 1 3 = 1 + 2 + 4
0 1 1 0 1 1 4 = 1 + 3 + 4
1 0 0 0 1 1
1 0 1 1 0 1 où [ 1, 2, 3, 4] sont les bits d’informations et [ 1, 2, 3, 4] sont les bits de
1 1 0 1 1 0 parité (bits de redondance).
1 1 1 0 0 0
1. Déterminer la dimension, la longueur et le rendement du code.
1. Donner la dimension, la longueur et le rendement du code. 2. Donner tous les mots de ce code. En-déduire la distance minimale, le
2. Donner la matrice génératrice du code et en-déduire la matrice de contrôle nombre des erreurs détectables et corrigeables.
3. Calculer le poids de Hamming de chaque code et donner la distance 3. Donner une matrice génératrice de sous forme systématique et la
minimale du code. Vérifier le résultat sur la matrice de contrôle et en matrice de contrôle de parité.
déduire le nombre d’erreurs détectables et corrigeables. 4. Calculer le syndrome des mots de code de = [00101101] et =
[11011100]. Que peut-on dire ?
5. En déduire le bon mot de code dans le cas d’une erreur.
Y. Chibani et H. Nemmour Page 23/27 Y. Chibani et H. Nemmour Page 24/27
Exercice 4.5 5. On reçoit les codes suivants : Ca= 0111010 et Cb= 1011110, calculer le
On considère la matrice de contrôle suivante : syndrome de ces deux codes. Dans le cas d'une erreur, donner les codes
corrigés en utilisant la matrice de contrôle.
1 0 1 0 0
= 0 1 0 1 0 Exercice 4.7
1 1 0 0 1
On souhaite enregistrer des données dans un CD-ROM par utilisation d'un code
le plus performant. Pour cela, six (6) symboles sont considérés notés A, B, C, D,
1. Donner la distance minimale et le nombre d’erreurs détectables et E, F associés aux probabilités suivantes :
corrigeables par le code.
2. Déterminer la matrice génératrice du code linéaire. Symbole A B C D E F
3. Générer les mots de code. Probabilité 0.15 0.07 0.13 0.09 0.25 0.31
4. Donner toutes les configurations qui correspondent au nombre d’erreurs
corrigeables par le code. 1. Codage de la source
5. On reçoit le mot suivant = [01111]. Corriger ce mot de code par la 1.1. Calculer l’entropie de la source.
1.2. Pour stocker les données dans le CD-ROM, on utilise le codage de Shannon.
distance minimale et vérifier avec les configurations d’erreurs de la
Donner les codes correspondants. Le code résultant est-il instantané ?
question précédente. Justifier votre réponse.
6. Donner la table de correction par syndrome. Corriger le mot de code reçu 1.3. Effectuer un codage par la méthode de Huffman.
de la question précédente. 1.4. Calculer les taux de redondance de la source, du code de Shannon et du
7. Comparer les deux méthodes des questions 5 et 6. code de Huffman. Que peut-on dire ?
1.5. On suppose que la source émet un symbole toutes les 4 ms durant une
minute, calculer la taille en bits des données à stocker avec les deux
Exercices extraits des contrôles continus et examens
méthodes de codage. Que peut-on dire ?
Exercice 4.6 2. Transmission des mots de code
Avant de transmettre la source, on décide d’appliquer un codage linéaire en On souhaite transmettre les six symboles par groupe de deux (2) pour former
blocs de Hamming C(7,3). trois (3) nouveaux symboles notés Q, R, S. Chaque nouveau symbole est formé
par deux symboles ayant les probabilités les plus proches classées dans l'ordre
1. Donner la longueur, la dimension et le rendement du code croissant.
2. On suppose que ce codage est systématique. Donner la table de tous les
2.1. Calculer les probabilités associées aux nouveaux symboles.
codes = { 1, 2, 3, 4, 5, 6, 7} si on admet que la matrice génératrice 2.2. Les nouveaux symboles sont transmis de la mémoire avec le CD-ROM dans
utilise le codage suivant pour les bits de redondance : un canal considéré comme bruité. Chaque symbole est transmis avec une
probabilité d'erreur et génère un symbole supplémentaire noté G avec
4 = 1 + 2, 5 = 2 + 3, 6 = 1 + 3, 7 = 1 + 2 + 3. une probabilité (1 ). Donner le diagramme de transmission du canal. En
déduire la matrice de transmission et vérifier sa symétrie.
En déduire le poids de chaque mot-code. 2.3. Calculer les probabilités en sortie du canal. En déduire sa capacité en
3. Calculer la distance minimale de Hamming. En-déduire le nombre d’erreurs fonction de .
détectables et corrigeables par le code. 2.4. En supposant que la source émet les symboles à un débit de 250
4. Donner la matrice génératrice du code et la matrice de contrôle de parité. symboles/s et que le canal possède un débit d’utilisation de =
En déduire le nombre d'erreurs détectables et corrigeables. 800 / , déterminer la probabilité d'erreur afin de permettre la

Y. Chibani et H. Nemmour Page 25/27 Y. Chibani et H. Nemmour Page 26/27

 transmission des symboles avec une probabilité d'erreur aussi petite que
souhaitée ?

3. Codage canal
Avant de transmettre la source, on décide d’appliquer un codage linéaire en
blocs de Hamming C(7,4).

3.1. Donner la longueur, la dimension et le rendement du code

3.2. En supposant que le codage est systématique, donner la matrice
génératrice des codes = { 1, 2, 3, 4, 5, 6, 7} avec les bits de
redondance définis par les équations suivantes :

5 = 1 + 2, 6 = 2 + 3, 7 = 3 + 4

En déduire le nombre d'erreurs détectables et corrigeables.

3.3. En déduire la table des codes.
3.4. Déterminer la matrice de contrôle. En déduire le nombre d'erreurs
détectables et corrigeables.
3.5. On reçoit les mots de code suivants : Ca= 1011110 et Cb= 0111100, calculer
le syndrome de ces deux mots de code. Dans le cas d'une erreur, donner les
mots de code corrigés en utilisant la matrice de contrôle.

Y. Chibani et H. Nemmour Page 27/27