Bases de la

théorie de l ’information

Olivier Pothier
Philips Research France
olivier.pothier@philips.com
www.opothier.com

Bases de la théorie de l’information 1

Plan du cours

 Introduction
 Définitions de mesures quantitatives de l ’information
 entropie
 information mutuelle
 Propriétés de l’entropie et de l ’information mutuelle
 Capacité d’un canal et théorème fondamental du codage
de canal
 Capacités des canaux classiques

Bases de la théorie de l’information 2

Vue d ’ensemble
de la théorie de l ’information
ACette
Utile,
côté indispensable
théorie
de son usage
est maldevenu
même
connue aux
banal,
duingénieurs
public.
le motL'une"information"
en tant de ses
que caractéristiques
cadre
a un conceptuel,
contenu elle
scientifique
n'a eu initialement
fondamentale précisparaît
mais
qu'une
si restrictif.
étrangère
faible La influence
à la
théorie
perception
directe
de l'information
commune
sur les moyens
élaborée
de l'information
de et
énoncée
communication.
qu'elle étonne
par l'ingénieur
ouElle
rebute
a pris
américain
et,deenplus
tout
Claude
encas.
plus Elwood
fait
d'importance
obstacle
Shannon à son
à en
mesure
assimilation
1948,qu'il
se :
présente
devenaitcomme
l'exclusion possible
de la unsémantique.
dechapitre
réaliser plutôt
desLa théorie
dispositifs
austère dede
complexes.
l'information
la théoriePar des
est,
une
probabilités.
encoïncidence
effet, Elle
résume,
qui fait rêver,
indiférenteen une
à la1948
magistrale
signification
est aussisynthèse,
des
l'année
message.
l'expérience
de l'invention
Au premierthéorique
du transistor.
abord, acquise
la signification
Le avant
prodigieux
et
surtout
développement
paraît l'essence
pendant la de
même
Seconde
la technologie
de l'information,
Guerredes mondiale
semi-conducteurs
au point
sur les
quemoyens
le refus
a peude
deà peu
la fait
communication,
entrer la théorie
sémantique semble
endemême
l'information
la vider
temps
de toutqu'elle
danscontenu.
lasuggère
pratique,
Maisdesle
etpossibilités
point
c'est peu
de vue
dire
entièrement
de
qu'elle
la a
nouvelles.
fait désormais
théorie deElle
l'information
affirme
la preuve la est
possibilité
expérimentale
modeste: paradoxale
celui
de son
d'und'une
utilité.
messager
communication
La radiotéléphonie
dont la fonction
sans se
erreur
numérique
limite malgré
au transfert
etdes
les CD,
bruits
d'unsansobjet
perturbateurs
parler
-unede lettre
l'exploration
affectant
par exemple-
ladu
transmission.
système
dont il n'a
solaire,
pourvu
pas àseraient
qu'un
codage
inconcevables
connaître approprié
autresanschose
soitlesemployé.
que
trèsleefficaces
poids etprocédés
les dimensionsde codageextérieures.
qu'a directement
suscités la théorie
L'information que peut
de l'information.
porter cet objet Une n'a immense
pas d'incidence
expérience surtechnique
les moyens
s'ajoute
de la transporter.
donc maintenant
Tel est aussi
à la théorie
le pointproprement
de vue de l'ingénieur
dite. Sa validité
en en est
confirmée avec éclat
communications, seulement
et sa compréhension
concerné par la enrichie.
quantité d'information qu'il doit
transmettre, mesurable selon la théorie de Shannon.
G. Battail. Science et Avenir, hors série décembre 1999 janvier 2000, pp. 28-29

Bases de la théorie de l’information 3

Quelle mesure quantitative
pour l’information ?

Un constat :
la transmission d’un message certain est inutile
 source d’information : siège d’événements aléatoires qui
constituent le message
 quantité d’information d’un message :

mesure de son imprévisibilité

Bases de la théorie de l’information 4

Entropie, information mutuelle et
capacité : définitions

Entropie d ’une source : quantité d’information moyenne

Information mutuelle (moyenne) :
quantité d ’information moyenne que la connaissance d’un
message reçu apporte sur le message émis.
Quantité distincte de l’entropie du message émis (<, > ?)
Quantité symétrique (non trivial)
Dépend du message émis et du canal
Capacité d ’un canal : maximum de l’information mutuelle
Ne dépend que du canal
Bases de la théorie de l’information 5
 Formalisme mathématique de la
mesure quantitative de l’information

Soit x un événement de probabilité p(x).

Soit h(x) la quantité d ’information apportée par la réalisation de x.

h(x) doit être une fonction croissante f de l ’improbabilité de x :

h ( x )  f  1 
 p( x ) 
Un événement certain n ’apporte aucune information: f (1)  0
La quantité d’information apportée par la réalisation de deux événements
indépendants est la somme de leur quantités d’information respectives :

h( x, y )  f  1   f  1   f 1 p( x )   f 1 p( y )   h( x )  h( y )
 p( x, y )   p( x ) p( y ) 

Bases de la théorie de l’information 6

Définition de différentes grandeurs
liées à la réalisation d’un événement x

 Information intrinsèque : h( x )   log p ( x )

 Information intrinsèque par paire : h ( x, y )   log p( x, y ) 

 Information conditionnelle : h  x y    log p  x y  

 p x y  
 information mutuelle : i ( x; y )  log 

 p( x ) 

Bases de la théorie de l’information 7

Définition de différentes grandeurs
liées à une source discrète X
Soient X une source aléatoire discrète, finie, stationnaire et blanche;
x1 ,, xn son alphabet, p1 ,, pn ses probabilités. n
 pi  1
n i 1
 Entropie : H ( X )  E h( X )    pi log( pi )
i 1

 
n m
 Entropie conjointe : H ( X , Y )  E h( X , Y )    p( xi , y j ) log p( xi , y j )
i 1 j 1

 Entropie conditionnelle :
   
n m
H (Y X )  E h(Y X )    p( xi , y j ) log p( yi x j )
i 1 j 1
 information mutuelle
moyenne: n m  p xi y j  n m
I ( X ; Y )  Ei ( X ; Y )   p( xi , y j ) log
 
 
 p  xi , y j  
  p( xi , y j ) log 
i 1 j 1
 p  xi   i 1 j 1

 p  xi  p  y j  
 
Bases de la théorie de l’information 8
Entropie d’une variable binaire

Bases de la théorie de l’information 9

Propriétés de l’entropie et de
l’information mutuelle

 Positivité de l’Entropie : H  p1 ,, pn   0

H  p1 ,, pn   log n
 Borne sup :
(égalité ssi source uniforme)

 Convexité  de l ’entropie

 information mutuelle
moyenne et entropie:

I  X ; Y   H  X   H  X Y   H  Y   H Y X 

Bases de la théorie de l’information 10