Vous êtes sur la page 1sur 6

Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1,
Département de
Université de BLIDA1, Département de l’électronique l’électronique

CONTENU
Chapitre 1. L’information et le codage : (3 semaines)

COURS : Notion de quantité d’information, mesure de l’information, information mutuelle, entropie et


applications.

CODAGE & THÉORIE Chapitre 2. Canal de transmission : (2 semaines)


Définition d’un canal de transmission, la capacité du canal, exemples de calcul de capacité.

DE L’INFORMATION Chapitre 3. Codage de source : (3 semaines)


Généralités, Codage de Shannon-Fanno, algorithmes de Huffman, algorithme arithmétique,
algorithme de Lempel-Zip, le codage d’une source discrète.
Chapitre 4. Principes généraux des codes correcteurs d’erreurs : (4 semaines)
Notions de décodage hard et soft, Paramètres d’un code correcteur, Notion d’une distance
minimale d’un code, Décodage complet et incomplet, Exemple code de Hamming.
Chapitre 5. Introduction au codage canal : (3 semaines)
Principes, théorème de codage de canal de Shannon, Codage en bloc, codage convolutif,
évaluation de performances.
Mode d’évaluation : Contrôle continu : 40% ; Examen : 60%.
1

Hocine AIT SAADI


2

Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

INTRODUCTION INTRODUCTION
 C. E. Shannon a établi dans les années 40 la théorie
Le but du cours est :
mathématique appelée théorie de l’information, en s’appuyant
 Définir ce que nous entendons par information, mesure de
sur la théorie des probabilités. La théorie de l’information est
l’information (entropie). Relation entre incertitude et quantité
incontournable dans la conception de tout système de d’information.
communication. On lui doit par exemple la notion de « capacité du
canal » qui détermine la le taux maximale de transmission  Montrer avec le codage source comment nous pouvons
compresser l'information d’une source à sa valeur théorique
minimale (entropie).
Son célèbre ouvrage «A Mathematical  Donner et montrer le taux maximal de transmission du
Theory of Communication», est une canal (la capacité du canal).
référence
 Montrer comment on peut protéger l’information avec le
codage canal et donner la limite fondamentale d’une
transmission sans erreurs sur un canal à bruit blanc
3 4
gaussien tant que l’on ne dépasse pas la capacité du canal.

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 1
Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1,
Département de
l’électronique

MODÈLE DE SOURCE DE L’INFORMATION :


Une source d’information peut être discrète ou continue. C’est un modèle de
représentation mathématique d’un processus susceptible « d’engendrer de l’information ».
Cette information permet un échange de connaissance entre deux correspondants.

FIGURE 1: MODÈLE DE SOURCE D’INFORMATION.


INTRODUCTION À LA THÉORIE DE L’INFORMATION :
 Basons nous d’abord sur les sources discrètes, la source est alors assimilée à une
variable aléatoire susceptible de prendre un certain nombre de valeurs ou d’états
« » avec la probabilité « » [1]. On admet alors que dans un premier temps que pour
l’ensemble des états « finis», on a un ensemble complet soit :
=

 L’ensemble 1, 2, … , est l’alphabet de la source et est la taille de l’alphabet.


 On peut supposer que la source d’information produit des sorties
aléatoires, Une information qui nécessite d’être transmise, est une
5 information incertaine. 6

Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

TRANSMISSION DE L’INFORMATION ET
EXEMPLES CODAGE :

Exemple 2.1 :  Pour transmettre une information sur n’importe quel canal, il est
utile de trouver le moyen de transmettre les données d’une
La source binaire ∈ 0,1 taille de l’alphabet est N=2.
manière efficace en utilisant le codage adéquat. L’objectif est de
Exemple 2.2: transmettre le plus de données possibles avec le minimum de
L’alphabet français ∈ , , … , ⇒ taille de l’alphabet est ressources possibles.
= 26.  Le rôle du codeur est d’assigner à chaque état , une séquence de
Exemple 2.3 : symboles et donc aussi à chaque message . Pour cela le codeur
dispose de l’alphabet de { } de base . Une telle séquence est alors
Le code US ASCII appelée mot de code, l’ensemble des mots de codes constitue ce que
∈ 000 0000 , 000 0001 , … , (111 1111) ⇒ taille de l’on appelle le code.
l’alphabet est = 128. Les états peuvent être considérés  L’idée générale est de coder par des mots de codes courts les lettres
comme des messages indépendants [1]. les plus fréquents : c’est le cas du Morse. Ceci réduirait évidement
Exemple la quantité d’information à transmettre
m  S S 2.4
1 1 S :
2 3
7 8
m2  S 4 S 3
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 2
Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

MESURE DE L’INFORMATION ET ENTROPIE DÉFINITION DE L’ENTROPIE :


D’UNE SOURCE DISCRÈTE
 Le lien entre l’incertitude et la quantité d’information, Plus  L’entropie d’une source d’information discrète
l’événement donné par la source est probable, moins la est définie comme la somme pondérée (ou la
quantité d’information correspondante est grande. Plus moyenne) de l’information propre de chaque message
précisément, si une lettre a pour probabilité ( ) d’être
de cette source :
tirée, son information propre sera :
=
=− =
Cette définition parait conforme à l’idée intuitive que l’on peut
se faire de l’information, et en particulier on a = 0 si =− / ( )
= 1, c’est-à-dire que l’occurrence d’un événement certain =
ne peut fournir aucune information.  Les unités de mesure dans l’équation (3) dépendent du choix
La valeur moyenne de l’information propre est appelée de la base logarithmique :
9 10
entropie de la source. b = 2, Sh (shannons) ou bit (digit binaire).

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

ENTROPIE ENTROPIE À DEUX ÉTATS :


 Remarque :  Soit une source pouvant émettre deux états. Soit
Pour un alphabet de caractères équiprobables est la probabilité d’émission de l’état 1, et la
( = 1/ ), c.-à-d. pour lequel on sait rien à priori, probabilité de l’état 2, il est alors évident que l’on a :
l’entropie est alors maximale et égale à : =1−
L’entropie sera donnée par :
= log2 =− −
=− + −

La dérivée
= = → = → = ,
11 − − 12

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 3
Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

LA COURBE DE L’ENTROPIE D’UNE SOURCE À


DEUX ÉTATS ENTROPIE D’UNE SOURCE UNIFORME :
 Soient états distincts avec la même probabilité , alors ; il
est facile de montrer que pour les cas possibles on aura
toujours :

≤ Borne supérieure de l’entropie

L’entropie est donc maximale lorsque les probabilités de tous


les états sont égales (équiprobables ou de loi uniforme), ce qui
correspond bien sûr au cas d’incertitude maximale.
L’entropie ( ) mesure l’incertitude que l’on a sur , ceci est
confirmé dans cet exemple pour = 1/2 où l’entropie est maximale,
car aucune valeur de n’est plus plausible que l’autre et l’entropie est
13 14
maximale.

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

ENTROPIE CONJOINTE ENTROPIE CONDITIONNELLE :


 Soient deux variables aléatoires et avec la probabilité  Supposons qu’on est en présence d’une sortie de canal ,
conjointe , on définit alors l’entropie conjointe par : qui est une version bruité de l’entrée , l’entropie ( / )
est une mesure de l’incertitude sur en observant .
, =− , , = =− / log / (9)
= =
 A partir de l’équation (5), on peut aboutir aux  Cette dernière équation (9) est l’entropie de la distribution
conditionnelle de sachant que = , pour une valeur
propriétés suivantes : particulière de . Elle dépend donc de la valeur
, = + 6 particulière qui a été fixée.
, = + 7  L’entropie conditionnelle est définie par l’entropie
, ≥ 8 moyenne :

15
= = (10) 16

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 4
Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

INFORMATION MUTUELLE INFORMATION MUTUELLE


 L’entropie ( ) est l’incertitude sur l’entrée du canal  L’information mutuelle d’un canal est en relation
avant l’observation de la sortie
 l’entropie conditionnelle est l’incertitude restante
avec l’entropie conjointe de l’entrée et de la sortie du
sur l’entrée du canal après l’observation de la sortie. canal. Source Récepteur

 Il s’en suit que − ( | ) doit représenter alors


l’incertitude sur l’entrée du canal qui a été résolue après
l’observation du canal. C’est l’information mutuelle. • Avant transmission, C’est l’entropie « a priori » ( )
Propriétés : • Après transmission, C’est l’entropie a posteriori ( / )
On peut montrer que : ayant pris connaissance du message .
≤ et que
≤ 11 L’information mutuelle entre et est, par définition,
Il y a égalité lorsque et sont indépendantes.
,
On peut montrer aussi que : , = , (13)
17 18
, ≤ + (12)
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,


Département de Département de
l’électronique l’électronique

INFORMATION MUTUELLE ENTROPIE DIFFÉRENTIELLE


On peut montrer que :  L’entropie différentielle, est l'entropie d'une variable
, = − = − (14) aléatoire continue. Elle est similaire à l'entropie
d'une variable aléatoire discrète. Mais il y a tout de
même des différences dont il faut tenir compte.
 Définition : L’entropie différentielle d’une continue
de densité de probabilité ( ) et de fonction de
répartition (CDF) : ( ). L’entropie différentielle de
est définie par :
Propriétés :
, = , ≜−
= −
= −
= + − , 19 Où : support de la variable aléatoire . 20
, =
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 5
Codage & Théorie de l’information 11/02/2017

Université de BLIDA 1,
Département de
l’électronique

RÉFÉRENCES BIBLIOGRAPHIQUES

1. Y. Mori ; Théorie de l'information et du codage : signal


analogique, signal numérique et applications en
télécommunications ; Hermès Science, 2006.
2. J. Proakis & M.Salehi; Digital Communication, 5th Ed
2008, McGraw-Hill.
3. S. Haykin, « Communication System », Wiley, 2001
4. T. M. Cover and J. A. Thomas; Elements of information
theory, 2nd edition, Wiley Series in telecommunications
and signal Processing, 2006.
5. Technique de l’ingénieur
6. F. Bavaud , J.-C. Chappelier , J. Kohlas ; Introduction à
la Théorie de l'Information et ses applications ;
Université de Fribourg.
7. O. Rioul ; Théorie de l’information et du codage ; 21
Lavoisier, 2007.
Codage & Théorie de l’information H. AIT SAADI

H, AIT SAADI 6