Académique Documents
Professionnel Documents
Culture Documents
Université de BLIDA 1,
Département de
Université de BLIDA1, Département de l’électronique l’électronique
CONTENU
Chapitre 1. L’information et le codage : (3 semaines)
INTRODUCTION INTRODUCTION
C. E. Shannon a établi dans les années 40 la théorie
Le but du cours est :
mathématique appelée théorie de l’information, en s’appuyant
Définir ce que nous entendons par information, mesure de
sur la théorie des probabilités. La théorie de l’information est
l’information (entropie). Relation entre incertitude et quantité
incontournable dans la conception de tout système de d’information.
communication. On lui doit par exemple la notion de « capacité du
canal » qui détermine la le taux maximale de transmission Montrer avec le codage source comment nous pouvons
compresser l'information d’une source à sa valeur théorique
minimale (entropie).
Son célèbre ouvrage «A Mathematical Donner et montrer le taux maximal de transmission du
Theory of Communication», est une canal (la capacité du canal).
référence
Montrer comment on peut protéger l’information avec le
codage canal et donner la limite fondamentale d’une
transmission sans erreurs sur un canal à bruit blanc
3 gaussien tant que l’on ne dépasse pas la capacité du canal. 4
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
H, AIT SAADI 1
Codage & Théorie de l’information 12/04/2017
Université de BLIDA 1,
Département de
l’électronique
INTRODUCTION À LA THÉORIE DE
L’INFORMATION : FIGURE 1: MODÈLE DE SOURCE D’INFORMATION.
Basons nous d’abord sur les sources discrètes, la source est alors assimilée à une
variable aléatoire susceptible de prendre un certain nombre de valeurs ou d’états
« » avec la probabilité « » [1]. On admet alors que dans un premier temps que pour
l’ensemble des états « finis», on a un ensemble complet soit :
=
TRANSMISSION DE L’INFORMATION ET
EXEMPLES m1 S1 S 2 S 3 CODAGE :
m2 S 4 S 3
Exemple 2.1 : Pour transmettre une information sur n’importe quel canal, il est
utile de trouver le moyen de transmettre les données d’une
La source binaire ∈ 0,1 taille de l’alphabet est N=2.
manière efficace en utilisant le codage adéquat. L’objectif est de
Exemple 2.2: transmettre le plus de données possibles avec le minimum de
L’alphabet français ∈ , , … , ⇒ taille de l’alphabet est ressources possibles.
= 26. Le rôle du codeur est d’assigner à chaque état , une séquence de
Exemple 2.3 : symboles et donc aussi à chaque message . Pour cela le codeur
dispose de l’alphabet de { } de base . Une telle séquence est alors
Le code US ASCII appelée mot de code, l’ensemble des mots de codes constitue ce que
∈ 000 0000 , 000 0001 , … , (111 1111) ⇒ taille de l’on appelle le code.
l’alphabet est = 128. Les états peuvent être considérés L’idée générale est de coder par des mots de codes courts les lettres
comme des messages indépendants [1]. les plus fréquents : c’est le cas du Morse. Ceci réduirait évidement
Exemple 2.4 : la quantité d’information à transmettre
= et = 7 8
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
H, AIT SAADI 2
Codage & Théorie de l’information 12/04/2017
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
H, AIT SAADI 3
Codage & Théorie de l’information 12/04/2017
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
A partir de l’équation (5), on peut aboutir aux Cette dernière équation (9) est l’entropie de la distribution
conditionnelle de sachant que = , pour une valeur
propriétés suivantes : particulière de . Elle dépend donc de la valeur
, = + particulière qui a été fixée.
, = + L’entropie conditionnelle est définie par l’entropie
, ≥ moyenne :
15
= = (10) 16
Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI
H, AIT SAADI 4
Codage & Théorie de l’information 12/04/2017
H, AIT SAADI 5
Codage & Théorie de l’information 12/04/2017
Université de BLIDA 1,
Département de
l’électronique
RÉFÉRENCES BIBLIOGRAPHIQUES
H, AIT SAADI 6