Vous êtes sur la page 1sur 6

Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1,
Département de
Université de BLIDA1, Département de l’électronique l’électronique

CONTENU
Chapitre 1. L’information et le codage : (3 semaines)

COURS : Notion de quantité d’information, mesure de l’information, information mutuelle, entropie et


applications.

CODAGE & THÉORIE Chapitre 2. Canal de transmission : (2 semaines)


Définition d’un canal de transmission, la capacité du canal, exemples de calcul de capacité.

DE L’INFORMATION Chapitre 3. Codage de source : (3 semaines)


Généralités, Codage de Shannon-Fanno, algorithmes de Huffman, algorithme arithmétique,
algorithme de Lempel-Zip, le codage d’une source discrète.
Hocine AIT SAADI , Chapitre 4. Principes généraux des codes correcteurs d’erreurs : (4 semaines)
, = ,
Notions de décodage hard et soft, Paramètres d’un code correcteur, Notion d’une distance
minimale d’un code, Décodage complet et incomplet, Exemple code de Hamming.
Chapitre 5. Introduction au codage canal : (3 semaines)
Principes, théorème de codage de canal de Shannon, Codage en bloc, codage convolutif,
évaluation de performances.
Mode d’évaluation : Contrôle continu : 40% ; Examen : 60%.
1
⋯ … ,
⋯ … ,
G= × = ⋮ ⋮ ⋮
⋮ ⋮ ⋱ ⋮ ⋱
⋯ , , … ,
2

Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1,
Département de
LE CANAL DE TRANSMISSION DISCRET ET SANS l’électronique

MÉMOIRE :

Un canal de transmission reçoit un message d'entrée et restitue un

2

message de sortie . Nous avons vu dans le chapitre précèdent, qu’il
existe plusieurs supports pour transmettre un signal. Ce canal est en
général bruité si on veut le modéliser il est nécessaire de connaitre les
entrées et l’ensemble des sorties possibles. Le cas le plus simple est celui
CANAL DE TRANSMISSION : du canal discret sans mémoire :
 On dit que le canal est discret si l’entrée et la sortie du canal sont des
alphabets discrets avec un nombre fini de symboles.
 On dit que le canal est sans mémoire si chaque symbole de la séquence
reçue ne dépend statistiquement que du symbole émis au même instant (ne
dépend pas des précédents ni des suivants).
 Ainsi un canal discret sans mémoire est entièrement décrit par les
probabilités conditionnelles pour tout dans l’alphabet d’entrée et
tout dans l’alphabet de sortie.

3 4

Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 1
Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

L’INFORMATION CANAL L’INFORMATION CANAL


 Un canal d'information est caractérisé par un ensemble de L’ensemble des probabilités ( / ) peuvent se mettre dans une
symboles entrées { , , . . . , } , un ensemble de sorties matrice qui caractérise complètement le canal discret
{ , , … } et un ensemble de probabilités conditionnelles correspondant : =
qui déterminent la relation entre les entrées et les ⋯
sorties . Cette probabilité conditionnelle qui correspond à la ⋯
=
réception du symbole si le symbole a été précédemment ⋮ ⋮ ⋱ ⋮

transmis, comme le montre la figure suivante .
La probabilité marginale est calculée da la manière suivante :
= |
Canal de Et les probabilités conditionnelles sont calculées en appliquant la
transmission discret règle de Baye’s :
( / ) ( )
( / ) =
5 ( ) 6

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

CAPACITÉ DU CANAL: CAPACITÉ DU CANAL:


Propriétés :
La capacité de canal de transmission discret sans mémoire est  ≥0
par définition mesurée par la valeur maximale de l’information  ≤ log | | car ≤ ( ),
moyenne ( , ), avec :  ≤ log | |, même argument
= max , a) Exemple d’un canal binaire sans bruit
, Pour ce canal l’entrée est reproduite exactement à la sortie (pas
Où , = , d’erreurs). Pour chaque transmission, on peut transmettre 1 bit et
donc la capacité est de 1 bit.
0 0

Le max est donc pris sur toutes les distributions possibles de


1 1
l’entrée . En fait, la capacité représente le nombre moyen
de bits que l’on peut transmettre sans erreur par utilisation du Quelle est l’entropie ( | ) et par conséquent quelle est l’information
canal. Il est facile de constater que si l’évènement est mutuelle ?
indépendant de l’évènement alors l’information mutuelle est = , = 1 bit
nulle. 7 8

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 2
Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

CAPACITÉ DU CANAL: CAPACITÉ DU CANAL


b) Exemple d’un Canal symétrique binaire CSB
b) Exemple d’un Canal symétrique binaire CSB On sait que l’entropie ( ) max est atteinte pour ce canal, lorsque les probabilités de transmettre 0
Le canal symétrique binaire CSB comme le montre la figure 9 est ou 1 sont équiprobables, c’est-à-dire : = .
caractérisé par une probabilité de transition d’un symbole à un autre On sait également que : = , = −
Quelle est l’entropie ?
= −
0 0
CANAL = =− = 1 = 0 log =1 =0 − =0 = 0 log =0 =0
= − log − (1 − ) log 1 −
SYMÉTRIQUE
BINAIRE CSB Par symétrie on calcul: = 1 = − log − 1 − log 1 −
1 1
= =0 =0 + =1 =1

=0 = × =1 + 1− × =0 =
Chaque symbole peut être transmis sans erreurs avec une probabilité
et =1 = × =0 + 1− × =1 =
=1− .
= =0 =0 + =1 =1
La matrice de transition du canal est donnée par : 1
= = = = − = − log − 1− log 1 − − log − (1 − ) log 1 − = − log − log
2
= =
= = = = − = max , = −
9 10
= 1 + log + log = 1 + log + 1− log 1 −

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

COURBE DE LA CAPACITÉ D’UN CANAL CSB CAPACITÉ DU CANAL


1  Exemple d’un canal binaire à effacement :
Pour : = = , on a = 0.
2 1−
est maximum pour = 1, = 0, ou = 0, = 1. 0 0

1 1
0.8 1−
 La matrice du canal est donnée par :

=
Capacité C

0.6

Exercice
0.4
Dans les systèmes de communication utilisant un détecteur
d’erreurs, lorsqu’une erreur est détectée, le système ARQ
0.2 (automatic request for retransmission) permet la retransmission
de l’erreur erronée. La donnée erronée dans ce canal est donc
0 11
effacée d’où l’appellation canal binaire à effacement (CBE). 12
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
probabilité de transition p
Déterminer : ( ) , ( | ), ( ) et ( ; ).
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 3
Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

BRUIT DU CANAL DE TRANSMISSION : BRUIT DU CANAL DE TRANSMISSION :


 Le signal à transmettre est affecté par des fluctuations Avec : Pb= puissance du bruit en watts
indésirables et imprédictibles qu’on appelle Bruit. Les  k = constante Boltzmann, 1.38 × 10-23 joules/kelvin (J/K)
sources du bruit sont variées mais généralement celui  T = température en kelvins
dont on parle le plus est le bruit thermique causé par les  B = largeur de bande Hertz.
composants électroniques. Sachant que : = ℃ +
Bruit Exemple :
CANAL AVEC UN Une résistance à une température de 25°C est connectée à l’entrée
Canal BRUIT ADDITIF.
d’un amplificateur avec une largeur de bande de 50 kHz. Quelle est la
puissance du bruit thermique que la resitance fournie à l’entrée de
 La puissance du bruit thermique est proportionnelle à la cet amlificateur ?
largeur de bande B dans laquelle le système Solution :
opère. L’équation est simple et elle est donnée par : Commençons par convertir la température en kelvins
= × × = ℃ + 273 = 298
13 = × × = 1.38 × 10-23 × 298 × 50 × 10 = 2,06 × 10 14

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

BRUIT DU CANAL DE TRANSMISSION : BRUIT DU CANAL DE TRANSMISSION :


 La figure montre la densité spectrale d’un bruit thermique qu’on
suppose souvent comme processus blanc de densité gaussienne  En pratique, on travaille sur des largeurs de bande
(Additive White Gaussian Noise). La densité spectrale est uniforme
et elle est égale à : bien spécifiques aux systèmes utilisés.
 Donc les signaux sont filtrés par un filtre à la largeur
0 ×
= de bande allouée.
2 2 2
1 −  En bande de base le récepteur est un filtre passe bas
densité de probabilité ∶ = 0
de largeur B. La puissance du bruit à la sortie du
0
récepteur est :
= Bruit blanc
Bruit thermique

= =
2
fréquence en

DSP d’un processus blanc et d’un bruit thermique 15 16

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 4
Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

THÉORÈME DE LA CAPACITÉ DE
ENTROPIE D’UNE SOURCE GAUSSIENNE : SHANNON :
 Soit une source qui suit une loi gaussienne de  Considérons un signal ( ) à énergie finie ayant un
moyenne nulle et de variance 2 ~ , avec : spectre borné de fréquence maximale de coupure ,
( − ) de durée et bruité par un bruit blanc gaussien de
= − variance 0 /2, un tel canal est appelé canal à bruit
blanc gaussien AWGN (Additif white gaussian noise).
La capacité d’un canal AWGN est donnée par la
 On peut montrer que l’entropie d’une source formule de Shannon suivante :
gaussienne est donnée par :
= log 1+
= ( . . )

= log 1+ bits/seconde
17 18

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

THÉORÈME DE LA CAPACITÉ DE THÉORÈME DE LA CAPACITÉ DE


SHANNON : SHANNON :
Démonstration  L’augmentation de la puissance du signal logiquement devrait
Soit le signal reçu sur un canal bruité = + , ou est le signal transmis augmenter la capacité du canal, mais ça augmente lentement à
de puissance et est un bruit blanc gaussien de moyenne nulle et de
variance 2 . cause de la fonction logarithmique.
l’entropie du bruit est donnée par = 1/2 log2 (2 . 2 . ) qui est égale à Capacité vs. P/N0 canal AWGN
. La capacité du canal est calculée par la maximisation de l’information 1400
mutuelle :
1200
= max , = −

Capacité (bits/seconde)
1000
1 1
= log (2 . ( 2 + ). ) − log2 (2 . 2 . )
2 2 2 800 Capacité du canal en
1
= log2 1 + 2 bits /échantillon 600
fonction du rapport
2 signal sur bruit.
Pour un canal de largeur de bande 2 , il y a 2 échantillons par seconde et 400
que la puissance du bruit dans ce cas est 2 = 0 alors la capacité en
seconde est donnée en multipliant par 2 et on obtient : 200

0
= + bits/seconde 19
10
-2 -1
10
0
10 P /N 10
1 2
10
3
10
20
s 0

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 5
Codage & Théorie de l’information 19/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

= THÉORÈME DE LA CAPACITÉ DE THÉORÈME DE LA CAPACITÉ DE


SHANNON : SHANNON : 500
Capacité vs. B pour un canal AWGN

450 1 .4 4 P s /N 0

400
Tandis que pour la largeur de bande , l’augmentation de a deux effets. D’un
côté, une large bande fait qu’on peut transmettre plus d’échantillons par 350

Capacité (bits/second)
seconde augmentant le débit de transmission. D’un autre côté, une bande plus 300

large signifie un bruit plus important réduisant les performances. 250

Faisant tendre → +∞. 200

150

lim = lim log 1+ = lim log 1+ 100


→ → →
50

0
0 1000 2000 3000 4000 5000 6000 7000 8000
Or on sait qu’une limite de : lim → log 1+ = log = 1,44 Largeur de Bande B (Hz)

lim log 1+ = 1,44 Lorsque B tend vers l’infini, la capacité tend vers 1.44Ps/N0. Donc

contrairement à la puissance du signal, l’augmentation de , ne permet
pas l’augmentation automatique de C à n’importe quelle valeur.
Normalement s’il n’y avait pas le bruit, la capacité serait directement
21 22
proportionnelle à la bande passante.

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

THÉORÈME DE LA CAPACITÉ DE RÉFÉRENCES BIBLIOGRAPHIQUES


SHANNON :
1. Y. Mori ; Théorie de l'information et du codage : signal
analogique, signal numérique et applications en
télécommunications ; Hermès Science, 2006.
Capacité vs. largeur de bande B et P /N
s 0
2. J. Proakis & M. Salehi; Digital Communication, 5th Ed 2008,
McGraw-Hill.
3. S. Haykin, « Communication System », Wiley, 2001
1400
La capacité d’un canal BBAG en 4. T. M. Cover and J. A. Thomas; Elements of information
1200
fonction de B et Ps/N0 theory, 2nd edition, Wiley Series in telecommunications and
1000 signal Processing, 2006.
5. Technique de l’ingénieur
C (bits/s)

800

600 6. F. Bavaud , J.-C. Chappelier , J. Kohlas ; Introduction à la


400 Théorie de l'Information et ses applications ; Université de
200 10000 Fribourg.
0
5000
7. O. Rioul ; Théorie de l’information et du codage ; Lavoisier,
30
20
10
0
2007.
-10
-20 0 23 24
B (Hz)
P /N (dB)
s 0

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 6

Vous aimerez peut-être aussi