Codage et Théorie de l’information

Section 01 : L’information et le codage

Département de Génie Electrique

Niveau : 3ème LMD Télécommunication
 Plan
 Introduction
 Notion de quantité d’information
 Mesure de l’information
 Entropie et applications
 Information mutuelle
 Conclusion
 I. Introduction

Schéma de communication

Codage de Codage
Source Modulation Modulation
Source de
Info Binaire signal
(compression) canal

Canal de
Bruit transmission

Décodage Décodage Démodulation Démodulation

Info
de Source de Binaire Signal
reçue (expansion) et filtrage
canal
 I. Introduction
 La théorie des communications s’intéresse aux moyens de transmettre une
information depuis la source jusqu’à un utilisateur à travers un canal.
 Source : C’est elle qui fournit le signal. Celui-ci peut être analogique
(microphone,....) ou discret (CD,....). Nous nous intéresserons aux communications
dites "numériques" le signal est donc discret et converti en binaire (numérisation).
La source fourni un message qui est une séquence de bits.
 Codeur de source : Son rôle est de représenter le message sur un minimum de
bits (compression de données). Ceci permettra de transmettre le maximum
d’informations dans le minimum de temps. Source -> codeur de source -> message
 Canal de transmission : C’est l’élément physique par lequel les informations de la
source seront transmises au récepteur.
 Codeur de canal : Il doit structurer le message pour permettre au récepteur de
pallier aux erreurs de transmission. Cette modification du message génère un mot de
code qui est une séquence de bits plus longue que celle du message. Cela peut se
faire par simple adjonction de bits redondants mais aussi par des méthodes
d’encodage plus élaborées. message -> encodeur de canal -> mot de code
 I. Introduction
 Modulateur : mot de code -> modulateur -> ondes Si (t )
 Modulation binaire : Le mot de code généré est une succession de "0"
et de "1". Afin de transmettre l’information il est nécessaire de les
transformer en un signal physique adapté au canal de transmission.
Chaque signal élémentaire est appelé une forme d’onde. Ainsi 0 → S0(t )
et 1 → S1(t). nous obtenons une modulation binaire c’est-à-dire faisant
intervenir deux formes d’onde.
 Modulation M-ary : Plutôt que de transmettre le code bit par bit, il est
possible de le transmettre par paquets de b bits. Nous aurons donc M = 2 b
paquets possibles ce qui nécessite M formes d’ondes Si (t) différentes.
 Démodulateur : Rôle inverse de celui du modulateur, il reçoit les ondes
éventuellement perturbées et les transforme en paquets de bits pour reconstituer le
code sur lequel peut se trouver des erreurs de transmission.
Ondes Si (t) -> démodulateur -> mot de code
 I. Introduction

 Décodeur de canal : Grâce au codage il peut soit détecter une erreur de

transmission et dans ce cas éventuellement réinterroger l’émetteur mais certains
codages permettent dans une certaine mesure de détecter et de corriger les
erreurs de transmission. En général les codes correcteurs ne peuvent pas tout
corriger sinon ils demanderaient trop de bits redondants, ils se contentent de
corriger les erreurs les plus probables. mot de code -> décodeur -> message
 Décodeur de source : Ayant la séquence binaire ou message associée à
l’information, ce décodeur doit reconstituer l’information qui a été transmise. c’est la
décompression. message -> décodeur -> séquence initiale.
 I. Introduction

Théorie de l'information

 Problématique : On veux transmettre un message (texte, fichier, image, voix,

vidéo, …) au travers un canal (téléphone, fax, télégraphe, satellite, …)
 Deux questions fondamentales qui ce posent :
 Jusqu’où pouvons nous compresser ce message ?  Entropie !
 Quelle est la vitesse de transmission maximale de ce canal ?  Capacité !
 La théorie de l’information donne les outils mathématiques pour répondre à
ces deux questions, ainsi que des algorithmes de codage qui permettent
d’atteindre pratiquement ces limites théoriques
 II. Notion de quantité d’information

o Information :
L’information est une entité physique jugée utile, elle peut être : son,
voix, image , vidéo, texte (ensemble des caractères).

Schéma présentant les différentes formes de l’information :

physique  électrique  discrète  binaire
II. Notion de quantité d’information

o Types de sources :
 II. Notion de quantité d’information

o Notion de probabilité et redondance (occurrence) :

 La source génère un message → un ensemble de symboles (états) :

X (xi, i = 1 : N)  X = {x1, x2, …, xN}

 P(xi) est la probabilité d’apparition de l’évènement xi, déduite aussi de

nombre d’occurrence sur l’ensemble X.

 Les états peuvent être :

- Equiprobables : même probabilité d’apparition ou

statiquement même redondance
- Non équiprobables: probabilités d’apparition différentes
II. Notion de quantité d’information

o Hypothèse sur la source :

II. Notion de quantité d’information

o Hypothèse sur le canal :

 II. Notion de quantité d’information
o Comment mesurer l’information :

Hartley, est un chercheur en électronique. Il a inventé un type d'oscillateur : l'oscillateur Hartley, et

défini la transformation mathématique dite transformée de Hartley. Il a contribué au fondement de
la théorie de l'information.
II. Notion de quantité d’information
o Comment mesurer l’information :
III. Entropie et Applications
o Sources d’information discrètes :
III. Entropie et Applications
o Sources d’information discrètes :
 III. Entropie et Applications
o Sources d’information discrètes :

X.

0  H(X)  Log2(m), m est le nombre d’états

III. Entropie et Applications
o Entropie d’une source discrète :
III. Entropie et Applications
o Entropie d’une source discrète :
III. Entropie et Applications
o Longueur moyenne d’un codage :
III. Entropie et Applications
o Longueur moyenne d’un codage :
III. Entropie et Applications
o Longueur moyenne d’un codage :
 III. Entropie et Applications
 Soit X une SDSM d’entropie finie H(X) et un alphabet {x1 , x2,. . . , xn} dont
les probabilités d’occurrence correspondantes sont P(xi) ( i = 1 ,. . . ,m).Soit ni
la longueur en bits du mot codé affecté au symbole xi par le codeur. La
longueur d’un mot codé est définie par le nombre de digits binaires du mot.
 On peut définir les grandeurs suivantes comme suit :

 Redondance d’un code :

 Efficacité d’un code :

 Débit de transmission :
R est la vitesse de transmission en symbole/seconde ou rapidité de modulation sur
le canal (Bauds).
Le Baud (symbole Bd) est, selon la terminologie officielle de l'UIT, l'unité de rapidité de
modulation en télégraphie, en communication de données et en transmission numérique ; la
rapidité de modulation d'un signal, exprimée avec cette unité, est égale à l'inverse de la durée en
secondes du plus court élément du signal, ou de l'intervalle unitaire dans un signal numérique
composé d'éléments de signal de durée constante.
 III. Entropie et Applications
o Entropies conditionnelle et conjointe :


 III. Entropie et Applications

o Entropies conditionnelle et conjointe :


 IV. Information mutuelle

 Mesure en moyenne le nombre de bits communs à X et Y.

Y Y
X X

information commune
H(X) - H(X|Y) = H(Y) - H(Y|X) indépendance
 IV. Information mutuelle





 V. Conclusion

Les points clés de ce chapitre sont :

i. Notions de source et canal de transmission,
ii. Notions de l’information et de la quantité d’information,
iii. Différentes classes d’entropies,
iv. Notion de l’information mutuelle.