Vous êtes sur la page 1sur 15

Polycopié du cours : Codage et Théorie de l’information,

3ième Licence, Télécom, ST


Chapitre I : L’information et le codage
Préparé par : Mr Abdenour Hacine Gharbi, enseignant à l’université de Bordj Bou Arréridj


Contenu des Cours 1, 2, 3 et 4:
Principes d’une chaîne de transmission numérique. Rappels sur les probabilités et les variables aléatoires.
Notion de quantité d’information, mesure de l’information, information mutuelle, entropie et applications.




















Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

Chapitre I : L’information et le codage


1. INTRODUCTION

La théorie de l’information a été introduite dans le contexte de la théorie de télécommunications par C.S
Shannon, depuis la publication de son article scientifique ’A mathematical theory of communications’ en
1948. C.S Shannon se fonde sur la théorie des probabilités pour décrire le nouveau concept de la quantité
d’information ainsi que les modèles de la source d’information et du canal de communication.
La théorie de l’information a pour objectif de mesurer théoriquement la quantité d’information contenue
dans un signal porteur d’un message et d’évaluer la capacité d’un système de communications à
l’acheminement de cette information entre la source et le destinataire.
Cependant, la théorie d’information peut être appliquée dans plusieurs domaines tels que : la physique
(thermodynamique, optique,…), l’informatique (théorie des langages formels), la biologie (génétique,
neurophysiologie), la sociologie, l’économie (gestion de portefeuille), la reconnaissance de formes, la
biométrie, le biomédical.

2. PRINCIPE D’UNE CHAINE DE TRANSMISSION NUMERIQUE

Dans la théorie de communications, la théorie de l’information est liée aux propriétés statistiques des
messages à transmettre sur un canal de transmission. Elle fournit ainsi un ensemble de concepts dans le but
d’évaluer les performances du système de communications malgré la contamination du signal porteur des
messages par du bruit. La théorie de l’information fournit également un ensemble de règles de représentation
de messages pour éliminer toute redondance inutile (codage de source) et pour sécuriser la transmission du
message sur un canal bruité en ajoutant une redondance (codage du canal).
La figure (I.1) illustre le principe d’une chaine de transmission numérique.

Emetteur
Source
Codage de Codage de Modulation
d’information
source canal + Etage RF
(numérique)
transmission
Canal de

Bruit

Décodage de Décodage de Démodulation


Destinataire
source canal + Etage RF

Récepteur

Figure. I.1: Principe d’une chaine de transmission numérique

1
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
Le rôle d’un système de communication numérique est de transmettre un message émis par une source
numérique (discrète) vers le destinataire à travers un canal de transmission avec la plus grande fiabilité.
La transmission numérique exige que le message à transmettre doit être de type numérique. Si la source
est analogique, alors le signal de sortie de la source (exemple de signal vocal) doit subir une opération de
numérisation (échantillonnage et quantification).
Le codage de source consiste à éliminer la redondance d’information pour fournir une représentation plus
compacte au message.
Le codage de canal consiste à ajouter des bits dans le message codé pour la détection et la correction des
erreurs de transmission du message sur un canal bruité.

2.1. SOURCE D’INFORMATION

Une source d’information est un dispositif qui génère un événement de manière aléatoire. Plus
particulièrement, une source d’information d’un système de communications génère des messages de type
analogique ou discret. Une source discrète génère aléatoirement une séquence de symboles (où lettre) issus
d’un ensemble discret fini appelé l’alphabet de la source.
Une source est dite « avec mémoire, si le symbole courant qu’elle génère dépend du symbole précédent.
Si le symbole courant est indépendant du symbole précédent, alors la source est dite ‘’ sans mémoire’’.
Cette source se caractérise par un alphabet (l’ensemble des symboles) et la probabilité de génération de
chaque symbole ainsi que par le débit de génération de ces symboles.
Dans ce cours, on s’intéresse au type de Source Discrète Sans Mémoire ‘SDSM’.

2.2. CANAL DE TRANSMISSION

Un canal de communication est un support de transmission qui constitue le lien entre l’émetteur et le
récepteur d’un système de communication. Il constitue la voie sur laquelle le message (séquence de
symboles) transite vers le récepteur. Il peut s’agir d’un câble coaxial, ondes hertziennes ou fibre optique.
La modélisation d’un canal de communication sera détaillée dans le chapitre 3.

3. RAPPELS SUR LES PROBABILITES

La théorie de l’information est fondée sur la théorie des probabilités. Ainsi, cette section a pour objectif
de donner un rappel sur les probabilités.

3.1. DEFINITIONS

3.1.1. Expérience aléatoire


Une expérience est dite aléatoire si son résultat n’est pas prévisible. Le résultat du jet du dé est un
exemple d’une expérience aléatoire.

2
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
3.1.2. Espace et événement :
L’espace des solutions ou des réalisations (appelé également l’univers) est l’ensemble des résultats
possibles d’une d’expérience aléatoire. On note cet espace par Ω. Un résultat possible est appelé un élément
noté par .
Un événement est défini comme un sous ensemble de l’espace Ω: ⊂ Ω. Si est constitué d’un seul
élément de Ω, alors cet événement est appelé événement élémentaire.
L’évènement  (aucun élément) correspond un événement impossible.
Deux événements et sont disjoints (en mutuelle exclusion) si ∩ .
Selon l’algèbre des évènements, on peut citer les identités suivantes :
- ∩ ̅ , ∪ ̅ Ω, ̿ , ou ̅ est le complément de .
- Ω∩A A, Ω∪ Ω.
- Ω ,  Ω
On dit qu’une partie , ,…. (l’événement est un sous ensemble de l’espace Ω) forme
un système complet d’événements si:
∪ ∪ ∪ …∪ Ω ∩  ∀ . 1
Egalement, les événements de cette partie sont dits en exclusion mutuelle et exhaustifs.

3.2. PROBABILITES

La probabilité est une fonction qui associe à un événement un nombre réel noté de telle façon à
satisfaire les trois axiomes :
- 0
- Ω 1
- ∪ si et sont disjoints.
La probabilité de l’union de deux événements quelconques et est donnée par :
∪ ∩ .
3.2.1. Probabilités conditionnelles
Considérons deux événements et . La probabilité conditionnelle de l’événement sachant que
l’événement est réalisé, est définie par:

\ avec 0 . 2

Où ∩ est la probabilité conjointe de et .


De la même façon, la probabilité de l’événement sanchant que l’événement est réalisé, est donnée
par :

\ avec 0 . 3

3
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
A partir des équations (I.2) et (I.3), on a :
∩ \ \ . 4
A partir de l’équation(I.4), on obtient la règle de Bayes :
\
\ avec 0 . 5

3.2.2. Evénements indépendants


On dit qu’un événement et statistiquement indépendant d’un événement si :
\ et \ . 6
La probabilité conjointe de deux événements indépendants et peut être obtenue à partir des équations
(I.4) et (I.6):
∩ . 7
La notion de l’indépendance statistique peut être étendue à plusieurs événements.
Soient N événements ( , ,…. . On dit que ces événements sont mutuellement indépendants si,
pour un sous ensemble quelconque ( , ,…. , 2 de ces événements, la condition suivante
est vérifiée:
∩ ∩, … ,∩ … . 8
3.2.3. Théorème des probabilités totales
Soit , ,…. un système complet d’événement, et soit un événement quelconque de
l’espace Ω.
Le théorème des probabilités totales de l’événement est donné comme suit:

∩ \ 1.9

On peut déduire à partir des équations (I.9) et (I.5), la probabilité conditionnelle \ :


\
\ 1.10
∑ \
L’équation (I.10) est appelée théorème de Bayes.
3.2.4. Evénements équiprobables
Soit Ω un espace de M éléments fini : Ω , ,…, .
Soit la probabilité de l’événement élémentaire i 1,2, … , .
Les événements élémentaires sont dits équiprobables si :
⋯. . 11
Les événements élémentaires sont disjoints, donc on obtient :
Ω ∪ ∪, … ,∪

4
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

1 puisque Ω 1 . 12

A partir de (I.11) et (I.12), on peut déduire que la probabilité est égale à :


1
, 1, … , . 13

3.3. VARIABLES ALEATOIRES

Une variable aléatoire est une fonction réelle qui associe à chaque événement élémentaire de Ω un
nombre réel .
: Ω →

La variable aléatoire est notée généralement par v.a. pour la raison de commodité.
L’espace d’éléments de Ω est appelé le domaine de la v.a. . L’ensemble de toutes les valeurs de
est appelé l’intervalle ou le support de la v.a. , noté par .
Si le support est un ensemble de nombres réels fini ou dénombrable, alors la v.a. est dite discrète.
Si ce support est l’ensemble de toutes les valeurs réelles comprises dans un ou plusieurs intervalles, alors la
v.a. est dite continue.
La probabilité d’une v.a est liée à la probabilité des événements associés. Elle est estimée comme suit :
:
:
:
3.3.1. Fonction de répartition
La fonction de répartition (appelée également fonction cumulative) d’une v.a. est définie par :
pour ∞ ∞ . 14
La fonction satisfait à l’inégalité suivante :
0 1 . 15
3.3.2. Fonction de probabilité d’une v.a discrète
Une v.a. discrète est définie généralement par son support et l’ensemble des probabilités
associées avce ∈ .
. 16
La fonction de probabilité est appelée loi de probabilité (ou fonction de masse) de la
v.a . Cette fonction satisfait à la condition suivante :

5
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

1 . 17

3.3.3. Fonction de densité de probabilité d’une v.a continue


Une v.a continue est définie généralement par son support continu et par sa fonction de densité de
probabilité définie comme suit :

La fonction a des propriétés telles que :


0 . 18
1 . 19

. 20

3.3.4. Fonction de probabilité conjointe de variables aléatoire discrètes


La fonction de probabilité conjointe d’un couple de variables aléatoires discrètes ( , est définie
comme suit :
, , . 21
Avec ∑ ∑ , 1 . 22
3.3.5. Fonction de probabilité marginale de variables aléatoires discrètes
Les fonctions de probabilité marginales et sont obtenues à partir de la fonction de
probabilité conjointe comme suit :

, . 23

, . 24

Si , sont des v.a indépendantes, alors :


, . 25
3.3.6. Fonction de densité de probabilité conjointe de variables aléatoires continues
La fonction de répartition conjointe , des variables , est définie par :
, , . 26
La fonction de probabilité conjointe d’un couple de variables aléatoires continues ( , est définie
comme suit :
,
, . 27

Avec :

6
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

, 1 . 28

3.3.7. Fonction de densité de probabilité marginale de variables aléatoires continues


Les fonctions de densités de probabilité marginales et sont obtenues comme suit :

, . 29

, . 30

Si , sont des v.a indépendantes, alors :


, . 31
La fonction de densité de probabilité conditionnelle de sachant est donnée par :
,
\ \ . 32

3.4. ESPERANCE ET VARIANCE

Généralement une v.a se caractérise par son espérance mathématique (moyenne statistique) et sa
variance . Les définitions de ces paramètres statistiques dépendent du type de la v.a (discret ou
continu).
3.4.1. Espérance et variance d’une variable discrète
Soit une v.a. discrète ayant une fonction de probabilité .
L’espérance mathématique ou la moyenne statistique de la v.a discrète , notée par ou est
définie comme suit :

. 33

La variance de la v.a discrète , notée par ou est définie comme suit :

. 34

3.4.2. Espérance et variance d’une variable continue


Soit une v.a. continue ayant une fonction de densité de probabilité .
L’espérance mathématique ou la moyenne statistique de la v.a continue , est définie comme suit :

. 35

La variance de la v.a continue est définie comme suit :

7
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

. 36

La variance est une mesure statistique du degré de dispersion des valeurs de autour de sa moyenne .
Le paramètre statistique appelé Ecart type de la variable est donné par :

. 37
Les principales propriétés de l’espérance mathématique des variables aléatoires (type discret ou continu)
sont :
où et sont deux variables aléatoires (I.38)
où a est une constante (I.39)
La principale propriété de la variance est:
. 40
Où est l’espérance mathématique de , appelée également le moment d’ordre 2. est
définie comme suit :

. 41

3.5. COVARIANCE ET COEFFICIENT DE CORRELATION

La covariance de deux variables aléatoires et , notée , est définie par :


, . 42
L’équation (I.42) peut être simplifiée comme suit :
, . 43
Si , 0, alors les variables et sont non corrélées (décorrélées).
Le coefficient de corrélation, noté par , est une mésure de dépendance statistique linéaire
(corrélation) entre deux variables aléatoires et .ce coefficient noté également par , est défini comme
suit :
,
, . 44

Le coefficient de corrélation varie entre -1 et 1 :


| | 1 1 1 1.45
Si deux variables aléatoires et sont indépendantes, alors 0. En revanche, si 0, alors on
dit que les deux variables sont non corrélées. Cette condition n’implique pas obligatoirement l’indépendance
des variables aléatoires.

8
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
3.6. LOIS DE PROBABILITES

Plusieurs lois de probabilités sont couramment utilisées dans des applications de communications telles
que la transmission de données binaires, le comptage d’événements (appels téléphoniques). Les principales
lois de probabilités utilisées sont : la loi Binomiale, la loi de Poisson et la loi normale (Gauss).
3.6.1. Loi Binomial
La fonction de probabilité d’une variable aléatoire discrète de loi binomiale, définie par les paramètres
et est donnée comme suit :

1 0,1, … , . 46

Où 0 1 et appelé coefficient binomial est donné par :


!
. 47
! !
La moyenne et la variance d’une v.a de loi binomiale sont données somme suit ;
, 1 . 48
3.6.2. Loi de poisson
La fonction de probabilité d’une variable aléatoire discrète de loi de Poisson, définie par le paramètre
0 est donnée comme suit :

0,1, … , . 49
!
La moyenne et la variance d’une v.a de loi de Poisson sont données somme suit ;
, . 50
3.6.3. Loi normale (de Gauss)
La fonction de densité de probabilité d’une variable aléatoire de loi normale (ou Gauss) , , est
définie comme suit :
1
. 51
√2
La moyenne et la variance d’une v.a de loi normale sont données comme suit :
, . 52

4. NOTION DE QUANTITE D’INFORMATION

Le concept de la quantité d’information générée par une source d’information a été décrit initialement par
C.S Shannon en 1948. Ce concept se base essentiellement sur la modélisation de la quantité d’information
d’un événement aléatoire par une fonction de probabilité. Ce concept doit satisfaire aux axiomes suivants :
- La quantité d’information doit être proportionnelle au degré de l’incertitude de l’événement. Si
l’événement est certain (sa probabilité égale à 1), alors sa réalisation n’apporte aucune information.

9
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
- La quantité d’information issue d’événements indépendants est la somme de leurs quantités
d’information.
Considérons une source d’information discrète sans mémoire (SDSM), notée qui possède un alphabet
, ,…, . Cette source peut être considérée comme une variable aléatoire d’un alphabet et
d’une fonction de probabilité avec 1,2, … , , où est la probabilité d’occurrence du
symbole .
La quantité (ou le contenu) de l’information d’un symbole , notée par est définie par :
1
log log . 53

Cette quantité doit satisfaire aux axiomes cités en dessus :


0 . 54
1, 0 . 55
, . 56
sont indépendants, alors , (I.57)
L’unité de mesure de dépend de la base b du logarithme utilisée. L’unité est bit (binary unit) si b=2
ou decit (decimal unit) si b=10 et nat (natural unit) si b=e. Le changement d’unité de mesure peut se faire en
utilisant la formule suivante :
. 58
Cependant, donne seulement le contenu informatif du symbole . Dans les systèmes de
communication, on s’intéresse par la quantité d’information moyenne de la source qui peut être exprimée
par la moyenne statistique de de l’alphabet , ,…, de la source :

log bit/symbole . 59

est appelé l’entropie de la source .


Le débit d’information d’une source d’information, noté est défini par :
/ . 60
Où le est le débit temporel de la source d’information. Le débit représente le nombre de symboles
émis par seconde.
Exemple (I.1) : Soit une source de type SDSM d’un alphabet de m symboles équiprobables.
- L’entropie de cette source est donnée comme suit :

log

10
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
Puisque les symboles générés par la source sont équiprobables, alors , 1, … , (voir

l’équation (I.13). Ainsi, on obtient :

1 1
log

log m / . 61
Si cette source est binaire (m=2), alors
log 2 1 / . 62

5. ENTROPIE ET INFORMATION MUTUELLE

L’entropie et l’information sont deux concepts utilisés en communications pour mesurer respectivement
la quantité d’information d’une source d’information et la capacité d’un canal de communication.
Théoriquement, on parle de l’entropie d’une variable aléatoire (ou des variables aléatoires) et de
l’information mutuelle entre deux variables aléatoires.

5.1. ENTROPIE (POUR VARIABLES ALEATOIRES DISCRETES)

L’entropie est la quantité d’information moyenne de la variable aléatoire . Elle permet de mesurer
l’incertitude moyenne de cette variable. Elle est couramment utilisée comme une mesure de distance.
Soit X une variable aléatoire discrète ayant une fonction de probabilité et définie sur un alphabet
.L’entropie de la variable discrète X est définie par (voir également l’équation (I. 59)):

log . 63

Avec la convention 0 log 0 0.


On note généralement l'entropie à la base b par .
Remarque : Dans le domaine de communications, l’entropie d’une source d’information est mesurée
généralement en bit/symbole (quantité d’information moyenne par symbole).
La définition de l’entropie d’une seule variable aléatoire peut s’étendre à un couple de variables
aléatoires. On définit ainsi l’entropie conjointe , .
L’entropie conjointe , de deux variables aléatoires discrètes , ayant une fonction de probabilité
conjointe , est définie par:

, , log , . 64
∈ ∈

On définit également l’entropie conditionnelle \ d’une variable aléatoire X sachant que l’autre
variable aléatoire Y est donnée, comme :

11
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------

\ \ . 65

\ \ log \ \
∈ ∈

, log \ \ . 66
∈ ∈

Une remarque importante est :


\ \

5.1.1. Propriétés de l’entropie (variables aléatoires discrètes)


Les propriétés de l’entropie sont comme suit :
- L’entropie est toujours positive : 0 . 67
- \ . 68
Avec égalité si et seulement si et sont indépendantes.
- La conversion de la valeur de l’entropie d’une base b en base a, peut se faire comme suit:
. 69
- ,…, ∑ , . 70
Avec égalité si et seulement si les variables sont indépendantes.
- L’entropie est bornée : log | | ,
où | | est le nombre d’éléments de l’alphabet ,
- \ , , \ , , 71

5.2. INFORMATION MUTUELLE

L’information mutuelle est une mesure de la quantité d’information partagée entre deux variables
aléatoires. Elle exprime également la réduction de l'incertitude d'une variable aléatoire due à la connaissance
d’une autre. Généralement elle est utilisée pour mesurer la dépendance statistique entre deux variables
aléatoires. Elle est couramment utilisée comme mesure de similarité.
Soient deux variables aléatoires discrètes et ayant une fonction de probabilité conjointe , , et
des fonctions de probabilité marginales (x) et . L’information mutuelle ; entre et est
définie par:
,
; , log . 72
.
∈ ∈

12
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
Les différentes mesures , , , , \ , \ et ; peuvent être représentées sur
le diagramme de Venn illustré sur la figure (I.2).
H(X,Y)

H(Y\X) I(X;Y) H(X\Y)

H(Y)
H(X)

Figure. I.2 : Relation entre l’entropie et l’information mutuelle

Remarque : ; ; et ; .
5.2.1. Propriétés de l’information mutuelle
Les propriétés de l’information mutuelle sont comme suit:
- L’information mutuelle entre deux variables aléatoires et est positive:
; 0 . 73
Elle est nulle si et seulement si et sont indépendantes.
- ; \ \ , . 74
Exemple (1.2) : Soit et deux variables aléatoires discrètes dont la probabilité conjointe est donnée
dans le tableau suivant :
X
1 2
Y
2 1
1
5 10
1 3
2
5 10
Tab. I.1 : Probabilité conjointe ,

Les probabilités marginales peuvent être obtenues en appliquant les équations (I.23), (I.24) :
1 , 2 .

1 , 2 .

Les probabilités conditionnelles peuvent être obtenues en appliquant l’équation I(1.2) :


, ,
\ , \

Ainsi, on obtient :

13
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
4 1 2 3
1\ 1 , 2\ 1 , 1\ 2 , 2\ 2
5 5 5 5
2 1 1 3
1\ 1 , 2\ 1 , 1\ 2 , 2\ 2
3 3 4 4
En appliquant les équations (I.63), (I,64), (I.66) et (I.72), on obtient :
0.971 , 1 , , 1.8464 , ; 0.1245 ,
\ 0.8464 , \ 0.8755 bit.
Remarque : ; , \ et \ peuvent être obtenue également à partir des équations
(I.74) et (I,71).

5.3. ENTROPIE DIFFERENTIELLE (VARIABLE ALEATOIRE CONTINUE)

Si est une variables aléatoire continue ayant une fonction de densité de probabilité , alors
l’entropie (appelé entropie différentielle) est donnée comme suit :

log . 75

Remarque : l’entropie différentielle n’est pas toujours positive.


Exemple (I.3) : Soit est variable aléatoire gaussienne de moyenne nulle 0 et de variance .
Son entropie différentielle est donnée par: log 2 ) bit

Exemple (I.4) : Soit est une variable aléatoire distribuée uniformément sur l’intervalle [0.a].
Son entropie différentielle est donnée par: log

14

Vous aimerez peut-être aussi