Cours 25 10

INFORMATION
ET CODAGE
Hicham Jakjoud
h.jakjoud@uiz.ac.ma
Chapitre 0:
Introduction pédagogique
Chapitre 0 : Introduction pédagogique
Plan du cours
Chapitre 1: Généralité sur la théorie de l’information

codage de source,
codage du canal,
Terminologie,
Notions sur la correction des erreurs
Chapitre II: Modulations analogiques
Chapitre III: Modulations numériques

Plan du cours

Modulation d’amplitude,
Modulation de fréquence,
Modulation de phase,
Technique de la boucle à verrouillage,

Plan du cours

Interférences inter symbole,
Diagramme de l’œil,
Supports de transmission,
Modulations à porteuse unique (ASK, FSK, PSK)
Modulations en quadrature xQAM
Modulation à grand nombre de porteuses
Multiplexage
Chapitre 1:
Généralités sur la théorie de
l’information
Généralités sur la théorie de l’information
1. Introduction
• La science qui s’intéresse à l’analyse des systèmes de communication.

• Sous la forme de diagramme en blocs
Source des
messages Codeur Canal Décodeur Destination
Bruit
La source des messages
une machine ou une personne produisant l’information à

communiquer
1. Introduction

Source des
Bruit
Le codeur
dispositif qui permet d’associer à chaque message

un « objet » adapté à la transmission sur le canal
1. Introduction

Source des
Bruit
Le canal
le milieu à travers quoi le message

est transmis
1. Introduction

Source des
Bruit
Le décodeur
d’extraire le message original pour le destinataire

1. Introduction
• La science qui tente de produire des modèles mathématiques pour chaque

bloc.
 la théorie de l’information tend à garantir une transmission de

l’information d’une manière sûre et fiable.
• Dans ce cours, nous nous limitons à cette vision.
• La théorie de l’information en se résume pas à ça.

• touche à plusieurs discipline telles que la physique, les mathématique,
les sciences d’ingénieurs etc.
•Théorème fondamental de la théorie d’information : « Il est possible de

transmettre une information à travers un canal bruité avec un taux de bruit
inférieur à la capacité du canal avec une probabilité minimale d’erreur ».
1. Introduction
• La théorie de l’information tend à répondre à deux grande question :
Quelle est la compression optimale des données ?
Et quel est le débit optimal de la transmission ?

1. Introduction
• Les deux questions se rapportent à la compression et à la transmission des

données.
• Les réponses des deux questions sont des quantités physiques telles que:
• l’entropie
• et l’information mutuelle,
• fonctions probabilistes qui sont à la base du processus de la communication.

2. Entropie, entropie relative et information mutuelle
Soit une variable X de probabilité p(X),
l’entropie de cette variable est définie comme:
𝐻 𝑋 =− 𝑝 𝑥 𝑙𝑜𝑔2 𝑝 𝑥
𝑥
L’utilisation du logarithme à base de 2 fait que l’entropie soit une mesure

binaire.
L’entropie représente l’incertitude moyenne d’une variable aléatoire.
C’est, donc, le nombre moyen des bits nécessaires pour la description de la

variable aléatoire.
Exercices:
Calculer l’entropie d’une variable aléatoire qui suit une loi uniforme sur
32 résultats.
Considérons qu’une course de chevaux est organisée avec 8 chevaux dont

les probabilités de gagner sont : ½, ¼, 1/8, 1/16, 1/64, 1/64, 1/64, 1/64
calculer l’entropie de la course
• Nous espérons transmettre un message indiquant le cheval gagnant.
• On peut donc envoyer le numéro du cheval ce qui nécessite 3 bits.
• Cependant la loi de probabilité suivie dans ce cas n’est pas uniforme.
• Utiliser des descriptions
•Courtes plus de probabilité de gagner
•Longues probabilité moins importante.
• 0, 10, 110, 1110, 111100, 111101, 111110, 111111

• Longueur minimale de 1 bit
• L’entropie H(X) est l’incertitude d’une seule variable aléatoire.
• On peut également définir l’entropie conditionnelle H(X|Y) qui décrit

l’entropie d’une variable X sur la base de la connaissance d’une autre
variable Y.
• L’entropie H(X), ainsi définie, concerne une seule variable.
• On définit l’entropie de deux variables aléatoires (en considérant que (X, Y)

constituent un seul vecteur de données):
𝐻 𝑋, 𝑌 = − 𝑝 𝑥, 𝑦 𝑙𝑜𝑔𝑝(𝑥, 𝑦)
𝑥,𝑦
• Théorème de la règle de la chaine:

𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌|𝑋
•La réduction de l’incertitude due à une autre variable est dite l’information
mutuelle.
• Pour deux variable X et Y l’information mutuelle est donnée par

𝑝(𝑥, 𝑦)
𝐼 𝑋; 𝑌 = 𝐻 𝑋 − 𝐻 𝑋 𝑌 = 𝑝 𝑥, 𝑦 𝑙𝑜𝑔
𝑝 𝑥 𝑝(𝑦)
𝑥,𝑦
• L’information mutuelle I(X ;Y) est une mesure de la dépendance entre les
deux variables aléatoires.
•I est toujours positive, symétrique et peut être nulle si les deux variables
sont indépendantes
•Le canal de communication est un système dont la sortie dépend d’une

manière probabiliste de sont entrée.
• Caractérisé par une matrice de probabilité de transition p(y|x).
• Représentation intuitive
• Pour un canal de communication d’entrée X et de sortie Y, on définit la

capacité C par
𝐶 = 𝑚𝑎𝑥𝑝(𝑥) 𝐼(𝑋; 𝑌)
• Plus loin nous allons définir la capacité comme étant le maximum de la

vitesse à laquelle nous pouvons envoyer des données sur un canal et
reconstruire l’information à la réception avec une faible probabilité d’erreur
• Exercices :
Canal binaire sans bruit :
Soit un canal binaire sans bruit dont la sortie est identique à l’entrée
Calculer la capacité du canal.
0 0
1 1
• Dans le cas où le canal de l’exemple précédent est bruité,
• On considère qu’en envoyant un symbole on a une probabilité p pour

recevoir une sortie identique.
• Ainsi, le calcul de la capacité est donnée par :
𝐶 = 1 + 𝑝𝑙𝑜𝑔(𝑝) + 1 − 𝑝 𝑙𝑜𝑔⁡(1 − 𝑝)
• Un tel canal est dit symétrique,
• Sa matrice de transition est également symétrique

• La capacité d’un canal quantifie la vitesse maximale sur un canal.
• Le théorème du codage du canal montrera que cette limite peut être atteinte
en utilisant de longs blocs de code.
• En pratique, il y a des limitations pour la complexité des codes à utiliser et

donc on peut passer sans atteindre cette limite.
• L’information mutuelle est, donc, un cas particulier d’une notion plus

générale dite l’entropie relative
• Elle mesure la ‘distance’ entre les probabilités p et q. Elle est donnée par
𝑝 𝑥
𝐷 𝑝||𝑞 = 𝑝 𝑥 𝑙𝑜𝑔
𝑞 𝑥
𝑥
• Propriétés:
1) 𝐻 𝑋, 𝑌 ≥ 0
2) 𝐻 𝑋|𝑌 ≥ 0
3) 𝐻 𝑔 𝑋 |𝑋 = 0 𝐻(𝑔 𝑋 ) ≤ 𝐻(𝑋)
4) 𝐻 𝑋, 𝑌 = 𝐻(𝑌, 𝑋)
5) 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐼(𝑋|𝑌)
6) 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 X et Y sont indépendantes
7) 𝐻(𝑋|𝑌) = 𝐻(𝑋) X et Y sont indépendantes
8) 𝐻(𝑋, 𝑌|𝑍) = 𝐻(𝑋|𝑍) + 𝐻(𝑌 |𝑋, 𝑍) = 𝐻(𝑌 |𝑍) + 𝐻(𝑋|𝑌, 𝑍)

3. Codage de source
• Le codage entropique ou compression réversible d'une source

 un codage sans perte des symboles de la source
• Objectif : maximiser l’information mutuelle sur le canal.
• Le but du codage de la source :

remplacer les messages d’une source S utilisant un alphabet donné
par des messages codés de longueur variables.
• La longueur des variables est choisie de telle manière à ce que les

messages les plus redondants soient codés en utilisant une longueur
minimale du code et vice-vers-ça.
3. Codage de source
3.1. Source de Markov
• Chaque source émet des messages suivant une loi qui peut dépendre des
symboles qui l’ont précédé.
• En particulier une source est markovienne si elle établit la chaine de

Markov
𝑃 𝑆𝑛+1 = 𝑠𝑛+1 |𝑆𝑛 = 𝑠𝑛 , . . . , 𝑆1 = 𝑠1 = 𝑃 𝑆𝑛+1 = 𝑠𝑛+1 |𝑆𝑛 = 𝑠𝑛

• Il en résulte directement
𝑃 𝑆1 , … 𝑆𝑛 = 𝑃 𝑆1 𝑃 𝑆2 |𝑆1 … 𝑃 𝑆𝑛 |𝑆𝑛−1
3. Codage de source
3.1. Source de Markov
Exemple:
Ecrire la matrice de transition

3. Codage de source
3.2. Classe de codes
• Un code de la source C d’une variable aléatoire X est une application de

l’ensemble des valeurs de X vers l’ensemble des codes dans un alphabet
D-air.
• C(x) est le code de la variable X et l(x) est la longueur.
Exemple:
C(rouge)=00; C(bleu)=10
c’est une source X={rouge, bleu} et D={0,1}
• La longueur moyenne L d’un code de source C d’une variable aléatoire

X de probabilité p est donnée par :
𝐿(𝐶) = 𝑝 𝑥 𝑙 (𝑥)
𝑥∈𝜒
3. Codage de source
Exercice:
Soit X une variable aléatoire avec la distribution et le code suivants :
Distribution Code
P(X=1) = 1/2 C(1)=0
P(X=2) = 1/4 C(2)=10
P(X=3) = 1/8 C(3)=110
P(X=4) = 1/8 C(4)=111
1. Calculer l’entropie H(X), La longueur moyenne L(C)
2. Codifier le message : 134231
3. Calculer H(X) et L(C) pour une variable aléatoire opérant sur X={1, 2,
3} et dont les probabilités pour chacun des symboles est de 1/3 et pour
lequel D={0, 10, 11}
3. Codage de source
• On appel un code non-singulier si et seulement si les codes de deux

messages différents sont forcément différents.
𝑥 ≠ 𝑥′ 𝐶(𝑥) ≠ 𝐶(𝑥 ′ )
• Code non-singulier est une garantie pour un décodage sans ambigüité
• Dans le cas réel où l’on envoie une série, on peut assurer le décodage en
ajoutant un symbole spécial entre chaque deux mots.
• Cela aurait pour effet d’altérer l’efficacité de la transmission.
• Il est encore plus efficient d’utiliser des codes auto-ponctuels ou

instantanés.
3. Codage de source
• Un code est dit instantané si et seulement si aucun mot de code n’est

préfixe d’un autre.
• On définit l’extension d’un code comme suit :
𝐶 𝑥1 𝑥2 𝑥3 … 𝑥𝑛 = 𝐶 𝑥1 𝐶 𝑥2 𝐶 𝑥3 … 𝐶 𝑥𝑛
• Un code est décodable d’une manière unique si et seulement si son

extension est non-singulière
3. Codage de source
Les classes de codes
x singulier Non-singulier Décodable unique instantané
1 0 0 10 0
2 0 010 00 10
3 0 10 11 110
4 0 01 110 111
Tous les codes
Décodable
uniquement
Instantanés
Non-singuliers
3. Codage de source
3.3. Inégalité de Kraft
• On désire construire des codes instantanés avec une longueur minimale.
• Il est clair que l’on ne peut assigner des courts mots de code à tous les
symboles et qu’ils restent sans aucun préfixe.
• La longueur des mots de code est régie par l’inégalité de Kraft
• Théorème (Inégalité de Kraft) :Pour tout code instantané sur un alphabet

D-aire, les longueursl1,..ln des mots de code doivent satisfaire l’inégalité.
𝐷 −𝑙𝑖 ≤ 1
𝑖
• Un code est dit complet si et seulement s’il garantit l’inégalité dans
l’expression de Kraft ci-dessus.
3. Codage de source
3.4. Construction de code
a. La méthode directe
• Soit une variable aléatoire X de distribution p(x)
• Calculer le logarithme des probabilités
• La longueur du code de chaque x est donnée par le logarithme des

probabilités
Exercice:
Présenter un code pour la variable X définie par :p(1)=0.35, p(2)=0.22,
p(3)=0.18, p(4)=0.15, p(5)=0.10
Calculer la longueur moyenne et l’entropie du code

3. Codage de source
b. Code de Shannon Fano
Premier théorème de Shannon : Pour toute source stationnaire, il existe un

procédé de codage déchiffrable où la longueur moyenne des mots est
voisine de l’entropie.
3. Codage de source
b. Code de Shannon Fano
• Rangement des états du système suivant les probabilités décroissantes

• Subdivision des états en 2 groupes dont les probabilités sont voisines G1
et G2 (sans pour autant de changer l’ordre)
• Chaque groupe est subdivisé en deux sous-groupes Gx1 et Gx2 de la
même manière
• La procédure continue tant que les groupes ont plus qu’un seul état.
L’indice de chaque groupe donne le mot de code.
Exercice:
p(3)=0.18, p(4)=0.15, p(5)=0.10

3. Codage de source
c. Code de Huffman
• Le code de Huffman permet d’avoir une longueur moyenne minimale.
• Regrouper les deux états les moins probables

• Les traiter comme un seul en sommant leur probabilité.
• Cette technique est réitérée sur les états restants jusqu’à ce qu’il n’en reste
que deux.
Exercice:
p(3)=0.18, p(4)=0.15, p(5)=0.10

EXERCICE D’APPLICATION
Considérons la source aléatoire X définie sur l'ensemble {A1, A2, A3, A4, A5, A6, A7}. Les
Les probabilité d'apparition des éléments de l'ensemble de départ sont:
X p(X)
A1 0.19
A2 0.03
A3 0.38
A4 0.14
A5 0.05
A6 0.2
A7 0.01
On désire transmettre les messages de cette source sur un canal 'Ch1' exempté de bruit.
1) Calculer la longueur moyenne optimale du codage à utiliser.
2) Adoptant les trois méthodes de codage de source,
2.1. Donner le code de chacun des Ai.
2.2. Déterminer la longueur moyenne du code et comparer avec la valeur de (1)
3) Quelle est la classe de ces codes?

Cours 25 10

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours 25 10

Transféré par

Droits d'auteur :

Formats disponibles

INFORMATION

Chapitre 1: Généralité sur la théorie de l’information

Chapitre II: Modulations analogiques

Chapitre III: Modulations numériques

Chapitre 1: Généralité sur la théorie de l’information

Chapitre II: Modulations analogiques

Chapitre III: Modulations numériques

Chapitre 1: Généralité sur la théorie de l’information

Chapitre II: Modulations analogiques

Chapitre III: Modulations numériques

• La science qui s’intéresse à l’analyse des systèmes de communication.

La source des messages

une machine ou une personne produisant l’information à

• La science qui s’intéresse à l’analyse des systèmes de communication.

dispositif qui permet d’associer à chaque message

• La science qui s’intéresse à l’analyse des systèmes de communication.

le milieu à travers quoi le message

• La science qui s’intéresse à l’analyse des systèmes de communication.

d’extraire le message original pour le destinataire

• La science qui tente de produire des modèles mathématiques pour chaque

 la théorie de l’information tend à garantir une transmission de

• Dans ce cours, nous nous limitons à cette vision.

• La théorie de l’information en se résume pas à ça.

•Théorème fondamental de la théorie d’information : « Il est possible de

• La théorie de l’information tend à répondre à deux grande question :

Quelle est la compression optimale des données ?

Et quel est le débit optimal de la transmission ?

• Les deux questions se rapportent à la compression et à la transmission des

• fonctions probabilistes qui sont à la base du processus de la communication.

2. Entropie, entropie relative et information mutuelle

Soit une variable X de probabilité p(X),

l’entropie de cette variable est définie comme:

L’utilisation du logarithme à base de 2 fait que l’entropie soit une mesure

L’entropie représente l’incertitude moyenne d’une variable aléatoire.

C’est, donc, le nombre moyen des bits nécessaires pour la description de la

2. Entropie, entropie relative et information mutuelle

Considérons qu’une course de chevaux est organisée avec 8 chevaux dont

2. Entropie, entropie relative et information mutuelle

• Nous espérons transmettre un message indiquant le cheval gagnant.

• On peut donc envoyer le numéro du cheval ce qui nécessite 3 bits.

• Cependant la loi de probabilité suivie dans ce cas n’est pas uniforme.

• Utiliser des descriptions

•Courtes plus de probabilité de gagner

•Longues probabilité moins importante.

• 0, 10, 110, 1110, 111100, 111101, 111110, 111111

2. Entropie, entropie relative et information mutuelle

• L’entropie H(X) est l’incertitude d’une seule variable aléatoire.

• On peut également définir l’entropie conditionnelle H(X|Y) qui décrit

• L’entropie H(X), ainsi définie, concerne une seule variable.

• On définit l’entropie de deux variables aléatoires (en considérant que (X, Y)

2. Entropie, entropie relative et information mutuelle

• Théorème de la règle de la chaine:

• Pour deux variable X et Y l’information mutuelle est donnée par

2. Entropie, entropie relative et information mutuelle

•Le canal de communication est un système dont la sortie dépend d’une

• Caractérisé par une matrice de probabilité de transition p(y|x).

2. Entropie, entropie relative et information mutuelle

• Pour un canal de communication d’entrée X et de sortie Y, on définit la

• Plus loin nous allons définir la capacité comme étant le maximum de la

2. Entropie, entropie relative et information mutuelle

Canal binaire sans bruit :

2. Entropie, entropie relative et information mutuelle

• Dans le cas où le canal de l’exemple précédent est bruité,