Rappel de cours : la théorie d’information

(Première partie)
1. Introduction :
Le but d’une chaîne de communication est la transmission des données d'une manière
rapide et fiable. Les différents éléments qui peuvent composer une chaîne de
communication sont :

♦ Canal de communication : support permettant l'acheminement du message

de l'émetteur vers le récepteur.

♦ Source : entité délivrant un message informatif

♦ Codeur de source : permet de réduire de la taille du message avant sa

transmission.

♦ Codeur de canal : le codeur de canal introduit de la redondance en vue de

protéger le message lors de sa transmission.

♦ Décodeur de canal : permet de détecter voire de corriger les erreurs induites

par le canal.

♦ Décodeur de source : restitution du message généré par la source d'une

manière exacte ou approchée.

♦ Modulation: permet d'adapter le message numérique à la nature physique du

canal

♦ Démodulation: vise à restituer la séquence injectée en entrée du modulateur.

 2. Théorie de l'information :
La théorie d'information propose une mesure quantitative de l'information et étudie sa
représentation, sa transmission et sa dégradation.

Source : siège d'évènements aléatoires qui constituent le message émis.

Canal : transmet le message et introduit des erreurs dans le message (cas du canal
imparfait).

Codage de source: supprime la redondance dans le message

Codage de canal: protège le message contre les perturbations

Source discrète sans mémoire : source pour laquelle la probabilité d'apparition d'un
symbole ne dépend pas des symboles précédents.

Source discrète à mémoire : source pour laquelle la probabilité d'apparition d'un symbole
dépend du ou des symboles précédents.

3. Mesure de l’information :
Quantité d'information :

Quantité d'information ou information propre est la mesure de l'incertitude calculée à partir

de la probabilité d’apparition d’un symbole. La quantité d’information associée à X i est

donnée par :
 æ1ö
I ( Xi ) = log 2 ç ÷
çp ÷
è iø

Entropie de la source :

L’entropie est la quantité d'information moyenne associée à chaque symbole de la source.

L’entropie est donnée par :

N
H ( S ) = -å Pi .log ( Pi )
i =1

Evaluation de la compression :

La compression est évalué par :

♦ Le quotient de compression

♦ Le taux de compression (est l'inverse du quotient de compression)

♦ Le gain de compression (est le complément à 1 du taux de compression)

4. Codage de source :
Longueur moyenne du code :

Longueur moyenne du code est la somme pondérée du produit (probabilité X longueur) de

tous les mots du code. L’expression de la longueur moyenne du code est donnée par :

k
L = å Pi l i
i =1

Premier théorème de Shannon :

La longueur moyenne d'un code quelque soit le procédé d'encodage de source possède la
limite suivante :

L ³ H(X)
Efficacité :

On définit l’efficacité comme le rapport :

H
η=
L
Redondance :

La redondance est donnée par l’expression :

r =1 - η

Classification des algorithmes de compression :

♦ Compression symétrique: La compression symétrique est une méthode de

compression utilisant le même algorithme, et demande la même capacité de
calcul, aussi bien pour la compression que pour la décompression.

♦ Compression asymétrique: La compression asymétrique est une méthode

demandant plus de travail pour l'une des deux opérations
(Compression/Décompression).

♦ Codage sans perte: Un algorithme de compression sans perte restitue après

les opérations successives de compression et de décompression une suite de
bits strictement identique à l'originale.

♦ Codage avec perte: Avec un algorithme de compression avec perte, la suite

de bits obtenue après les opérations de compression et de décompression est
différente de l'originale, mais l'information restituée est en revanche voisine

Classification des codes :

♦ Code de longueur fixe : un code dont tous les mots ont même longueur.

♦ Code de longueur variable : un code dont les mots ne sont pas tous de même
longueur.
 ♦ Code univoque : un code dont chaque mot est distinct de tous autres mots.

♦ Code sans préfixe: un code pour lequel aucun mot du code n’est le début
d’un autre.

♦ Code déchiffrable de façon unique : un code qui permet de restituer dans son
intégrité et sans ambiguïté une séquence de symboles d'entrée à partir de la
séquence des codes binaires qui leur sont associés. Une condition suffisante
pour qu'un code possède cette qualité est qu'aucun de ses mots ne soit le
préfixe d'un autre mot.

♦ Code instantané : le code instantané est un code sans préfixe. C'est pourquoi
ces derniers sont parfois appelés codes instantanés. Une condition nécessaire
et suffisante d'existence d'un code instantané a pour expression (Relation
connue sous le nom d'inégalité de Kraft-McMillan) :

N
K = å n -l i £ 1
i =1

Où N est le nombre des symboles, li est la longueur du mot du code associé au symbole   X i .

Pour un code binaire   n=2 .

Codage par groupement :

Le codage par groupement est un codage permettant d'associer plusieurs symboles de la

source à un seul mot du code. Le but du codage par groupement est la réduction de la
redondance (amélioration de l’efficacité). Si on considère que le symbole A est associé à la
probabilité P(A), alors le groupement AA correspondra à la probabilité P(AA)=P(A).P(A) (cas
d’indépendance).

5. Algorithmes de compression :
L’algorithme RLE: (voir les TD)

L’algorithme de compression RLE (Run Length Encoding) est basé sur la répétition
d'éléments consécutifs. Le principe de base de cet algorithme consiste à coder un premier
élément donnant le nombre de répétitions d'une valeur puis le compléter par la valeur à
répéter.

Algorithme de Huffman : (voir les TD)

Le codage de Huffman est un algorithme de compression de données sans perte élaboré par
David Albert Huffman, lors de sa thèse de doctorat au MIT. Le principe de fonctionnement
de l’algorithme du Huffman est le suivant :

♦ Recherche du nombre d'occurrences de chaque caractère.

♦ Réorganiser les symboles par ordre de probabilité décroissante.

♦ Chaque symbole est alors associé à une feuille d'un arbre en construction.

♦ On relie ensuite les feuilles en créant un nœud auquel on associe la somme

des probabilités des deux symboles correspondants.

♦ À chaque fois, on fusionne les 2 nœuds (ou feuilles) ayant les probabilités les
plus faibles.

♦ Suivant la même démarche (association des nœuds) jusqu'à l'atteinte de la

racine.

♦ On associe par exemple le bit 0 à la branche de gauche et le bit 1 à la branche

de droite.

♦ Pour obtenir le code binaire correspondant à chaque caractère, on remonte

l'arbre à partir de la racine jusqu'aux feuilles (symboles) en rajoutant à
chaque fois au code un 0 ou un 1 selon la branche suivie.

Algorithme de Shannon Fano : (voir les TD)

Le codage de Shannon-Fano est un algorithme de compression de données sans perte

élaboré par Robert Fano à partir d'une idée de Claude Shannon. Le principe de
fonctionnement de l’algorithme du Shannon Fano est le suivant :

♦ Lister les symboles de la source par probabilités décroissantes.

♦ Partager l'ensemble en deux sous-ensembles aussi équilibrés que possible au
sens de la sommation des probabilités élémentaires des symboles.

♦ Répéter le processus de partage en assurant au mieux l'équilibre jusqu'à ce

que l'opération devienne impossible.