Vous êtes sur la page 1sur 19

UV_TI

UV Théorie de l’Information

Cours n° 1−2 :
− Introduction à la théorie de l’information
− Caractérisation des sources d’information
− Notions de probabilité (Rappel)
− Entropie et Information :
− Entropie des sources discrètes sans mémoire
− composées
− avec mémoire
− q−ième extension d’une source

−Entropie limite, efficacité et redondance


Cours n°1−2 1 Alexandrina
ROGOZAN

UV_TI

Introduction
Théorie de l’information <=> Processus de
transmission numérique

Message Signal Signal Message


émis émis reçu reçu
Source Émetteur Canal Récepteur Destinataire
d’information
Bruit et
distorsions
Sources de
perturbations

Cours n°1−2 2 Alexandrina


ROGOZAN
UV_TI

Introduction

Théorie de l’information ≡ Théorie stochastique,


fondée sur les propriétés
statistiques, de messages
⇒ Notions fondamentales de probabilité, entropie,
information mutuelle

Cours n°1−2 3 Alexandrina


ROGOZAN

UV_TI

Introduction

Théorie de l’information => Limites de


performances d’un système de transmission
numérique

⇒ Mode de représentation de l’information => quantité


d’information associée à chaque signe émis

⇒ Cadence théorique maximale de transmission de


l’information => capacité d’un système de
transmission
Cours n°1−2 4 Alexandrina
ROGOZAN
UV_TI

Introduction

Théorie de l’information => Résultats


⇒ Codage de source (ou compression des données)
 Augmenter la compacité des signaux (sans ou avec
distorsion)
 Éliminer la redondance inutile

⇒ Codage de canal
 Accroître (autant que l’on veut) la sécurité de
la transmission en présence de bruit
 Ajouter de la redondance pour la détection,
voire la correction, de principales erreurs
Cours n°1−2 5 Alexandrina
ROGOZAN

UV_TI

Introduction
Théorie de l’information
   

 
       
 !

⇒" $# 
 "% 

! & &" "  '  
(")*+",- .*+ . ),- (+   ("/0/1 2

Objectif de recherche :
⇒ Optimiser conjointement le codeur de source et de canal

Cours n°1−2 6 Alexandrina


ROGOZAN
UV_TI

Introduction

Théorie de l’information => Extension


⇒ Cryptographie
 Assurer le secret de la communication
 Encryptage à clé publique
 Signature digitale
 Générateurs d’encryptage pseudo−
aléatoires

Cours n°1−2 7 Alexandrina


ROGOZAN

UV_TI

Sources d’information

Définition : Systèmes capables de sélectionner et


d’émettre des séquences de signes (ou messages)
appartenant à un ensemble (ou alphabet) donné

⇒ Ex. de signes : lettres, chiffres, échantillons

⇒Ex. de sources : système à 2 niveaux logiques, texte

Cours n°1−2 8 Alexandrina


ROGOZAN
UV_TI

Sources d’information discrètes


Caractéristique : alphabet utilisé fini
Exemples : Sources d’information alphanumériques, de
symboles binaires, d’information numérique(e.g.
signaux quantifiés en amplitude, en fréquence ou en phase)

Classification :
⇒ Sources sans mémoire : signes générés
indépendamment les uns des autres => modèle de
Bernoulli
⇒ Sources avec mémoire : prise en compte de la
dépendance entre un signe émis et les signes précédents
=> modèle de Markov
Cours n°1−2 9 Alexandrina
ROGOZAN

UV_TI

Sources d’information discrètes

Classification :

⇒ Sources sans mémoire : quand les signes générés sont


indépendants => modèle de Bernoulli

⇒ Sources avec mémoire : prise en compte de la


dépendance entre un signe émis et les signes
précédents => modèle de Markov

Cours n°1−2 10 Alexandrina


ROGOZAN
UV_TI

Sources d’information discrètes

Classification des sources de Markov :

⇒ Source du 1 er ordre = la mémoire se limite au dernier


signe émis
– Ex : modélisation du processus de réalisation d’un phonème

⇒ Source d’ordre m = la mémoire tient compte des m


signes émis
– Ex : description statistique des langues écrites usuelles

Cours n°1−2 11 Alexandrina


ROGOZAN

UV_TI

Sources d’information continues


Caractéristique : nombre théorique de
signes croît à l’infini

⇒ Remarque : Limite pratique fixée par la précision


limitée des observations

Exemples : Sources de signaux analogiques : Parole,


Musique, Images, Mesures

Cours n°1−2 12 Alexandrina


ROGOZAN
UV_TI

Modélisation de sources d’information


Mécanisme statistique d’émission des signes
⇒ Source discrète : une loi de probabilité donnée associée à
une variable aléatoire discrète
⇒ Source continue : une loi de densité de probabilité
associée à une variable aléatoire continue

Exemples :
⇒TEXTE = succession des réalisations de la variable
aléatoire : "caractère sortant du clavier"
⇒ IMAGE_NB = succession de "niveaux de gris" mesurés
sur une image
Cours n°1−2 13 Alexandrina
ROGOZAN

UV_TI

Notions de probabilité (Rappel)


Source discrète ≈ variable aléatoire discrète
choisissant un signe dans un alphabet de taille finie :
⇒ S3 s1 , s2 ,... , s K avec les probabilité P S 4 si 4 pi qui
satisfont la condition : 5 K
pi 7 1
Notations : 6
i 1

⇒ S 7 si − Événement aléatoire Ai
⇒P S 7 si 7 P Ai − Proba. de l’événement aléatoire Ai

Propriétés : 08 P A 8 1
⇒ P A 9 1 qd. A est certain
n°1−2 P A 9 0 qd. A est impossible
Cours ⇒ 14 Alexandrina
ROGOZAN
UV_TI

Notions de probabilité (Rappel)


Propriétés :
<
⇒ Événements s’excluant mutuellement : A et A =>
P A = 1> P A
?
⇒ Quand l’événement A entraîne B : A⊂B => P A @ P B

⇒Somme des événements


: Événements A et B incompatibles : P A A B = P A A P B
: k événements 2 à 2 incompatibles :
P A 1 B A 2 B ... B A k C P A 1 B P A2 B ... B P A k
; Cas particulier pour K événements s’excluant
mutuellement : P A 1 B P A 2 B ... B P A K C 1
Alexandrina
Cours n°1−2 15
ROGOZAN

UV_TI

Notions de probabilité (Rappel)


Propriétés :
⇒Somme des événements : P AD B 8 P AD P B
: Événements A et B compatibles :

P AD B 9 P A D P B E P AB
⇒ Produit des événements A et B
: Événements A et B indépendants : P AB 9 P A P B
: Événements A et B dépendants :
P AB 8 P A et P AB 8 P B
Cours n°1−2 16 Alexandrina
ROGOZAN
UV_TI

Notions de probabilité (Rappel)


Probabilité conditionnelle de B sachant A F P B G A

⇒ Propriétés : P B G A >H P B
 Événements A et B indépendants : P B G A 9 P B
 P AB 9 P A P B G A 9 P B P AG B
 08 P B G A 8 1
P B G A 9 1 quand A⊂B
P B G A 9 0 quand A et B incompatibles
 B⊂B1 => P BI A J P B1I A
Cours n°1−2 17 Alexandrina
ROGOZAN

UV_TI

Notions de probabilité
Propriétés de la probabilité conditionnelle :
⇒ P BD C G A 9 P B G A D P C G A qd. B et C incompatibles
 Généralisation pour k événements Bk 2 à 2
incompatibles
<
⇒ P BG A 9 1E P B G A

⇒ Probabilité totale d’un événement B − l’expérience A


a exactement K issues Ak 2 à 2 incompatibles

P B K P A1 P B I A1 L P A2 P BI A2 L ... L P A K P B I A K
Cours n°1−2 18 Alexandrina
ROGOZAN
UV_TI

Quantité d’information propre

Signal = Information + Redondance

Objectif : Coder seulement l’information et


éliminer la redondance

⇒ Besoin d’évaluation objective de la quantité


d’information propre

Cours n°1−2 19 Alexandrina


ROGOZAN

UV_TI

Entropie et Information
Information => effet de surprise ; Entropie => degré
d’incertitude
⇒ Source S pouvant émettre N signes si équiprobables

degré d’incertitude ≈ f N 7 log N 7SR log P S 7 si sh


(selon Hartley)

⇒ Source S pouvant émettre N signes si non−équiprobables


N
H S M$N O P S M si log P S M s i sh Q signe
P
i 1
(selon Shannon)
Cours n°1−2 20 Alexandrina
ROGOZAN
UV_TI

Entropie des sources discrètes sans mémoire


N
H0 S 9$E O P S 9 si log P S 9 s i sh T signe
P
i 1

⇒ Quantité d’information associée en moyenne à chaque


signe si d’une source S pouvant émettre N signes
statistiquement indépendants les uns des autres

⇒ Quantité moyenne d’information nécessaire pour


spécifier quel signe a été émis par la source
: ∀ séquence de signes émise par une source
discrète d’entropie H => séquence de bits
avec en moyenne H bits/signe (1er th. de Shannon)
Cours n°1−2 21 Alexandrina
ROGOZAN

UV_TI

Entropie des sources discrètes sans mémoire


Unité de mesure de la quantité d’information =>
dépend de la base du log utilisé :
: hartley ou dit pour une base 10
: nit pour une base e
: shannon (sh) pour une base 2
U Remarque : Ne pas confondre le shannon avec le bit !!!
: Un bit − variable binaire − transporte un shannon
d’information ssi ses 2 états sont
équiprobables.
: Nombre symboles binaires bits VXW alors que
Entropie sh YZ
Cours n°1−2• 22 Alexandrina
ROGOZAN
UV_TI

Entropie des sources discrètes sans mémoire


Propriétés de l’entropie
⇒ Continuité car l’entropie H(S) est une fonction
continue et convexe de pi . Montrer ceci pour N=2.
⇒ Symétrie par ex. H S \ 0 ,1 \ H S\ 1,0 pour une
source binaire.
⇒ Propriétés extrémales :
: MAX H S ] log N quand pi=1/N
: MIN H S ^ 0 quand pi=1 et les autres sont nulles

[ Monter que H S _ 0
p i logp i ` 0 quand pi ] 0
Cours n°1−2 23 Alexandrina
ROGOZAN

UV_TI

Entropie des sources composées

a Soit S une source pouvant être décomposée en une


source X (à K signes) et une source Y (à J signes) qui
émettent simultanément
⇒ Entropie de la source composée S (notée XY) :
:
H XY M H X b H Y quand X et Y sont indépendantes
:
H XY c H X b H Y quand X et Y sont liées

H XY d H X e H Y f X
Cours n°1−2 24 Alexandrina
ROGOZAN
UV_TI
Entropie conditionnelle moyenne de
sources discrètes sans mémoire
H Y G X : entropie conditionnelle moyenne de la
source Y liée à la source X
N
⇒ H Y g xi : entropie
H YG X 9 O p xi H Y G x i conditionnelle de la
P
i 1 source Y quand la source
X produit le signe xi
Propriétés :
⇒ 0h H Y i X h H Y

⇒H X j H YkX ] H Y j H X k Y , car H XY ] H YX

⇒ H Yl X m H Xl Y
Cours n°1−2 25 Alexandrina
ROGOZAN

UV_TI

Entropie et Information
Information sur une source => diminution du degré
d’incertitude ; Quantité d’information = DDE
(Diminution D’Entropie)
Cas particulier : Source complètement prévisible; I X n H X o 0
Quantité d’information acquise lorsque l’état d’un système physique
devient entièrement connu = Entropie du système

Cas général : Soit X la source à étudier et soit Y une source


pouvant être observée afin fournir de renseignements sur X
⇒ I Y p X n H X o H Xl Y
⇒ I Y p X n I X p Y n I X; Y , information
mutuelle moyenne contenue dans les sources X et Y
Cours n°1−2 26 Alexandrina
ROGOZAN
UV_TI

Entropie et Information

Information mutuelle moyenne


⇒ Définition : I X;Y n H X q H Y o H XY

H(X) H(Y)
⇒Diagramme de Venn :
I(X;Y)
H(XY)
⇒ Propriétés :
− sources X et Y indépendantes : I X;Y n 0
− sources X et Y équivalentes :
I X;Y n I X n I Y n H X n H Y
Alexandrina
Cours n°1−2 27
ROGOZAN

UV_TI

Entropie et Information
Débit d’information moyen (ou taux d’emission de la
source)
r H X
⇒ Définition H X s sh t s
T
où T représente la durée moyenne d’émission d’un signe

⇒ Remarque
• Débit d’information moyen, exprimé en sh u s ≡
Cadence d’émission, exprimée en bits u s seulement
pour une source de symboles binaires équiprobables ou
exprimée en bauds qd. celle−ci coïncide à la vitesse de
modulation de la voie.
Cours n°1−2 28 Alexandrina
ROGOZAN
UV_TI

Entropie et Information

Conclusion :
⇒ L’entropie dépend des probabilités pi des signes si émis
par la source S, mais ne dépend nullement de la
nature de ces signes
: Entropie = mesure quantitative de l’information
contenue dans un message
: Entropie ≠ mesure qualitative de l’information ou du
contenu réel du message

Cours n°1−2 29 Alexandrina


ROGOZAN

UV_TI

Sources discrètes avec mémoire


Soit X une source de Markov homogène d’ordre m ,
dont l’alphabet comporte N signes :
⇒ Comportement stationnaire,
⇒ Émission d’un signe en fonction des m signes précédents.
: Sachant qu’une séquence seq donnée de m signes ∈ SEQ
(ensemble comportant Nm séquences distinctes), alors
l’entropie de la source X, conditionnelle à une séquence
seq donnée , vaut :
N
H X I seq Kwv x P x iI seq log P x iI seq
y
i 1
Cours n°1−2 30 Alexandrina
ROGOZAN
UV_TI

Sources discrètes avec mémoire


L’entropie d’une source de Markov homogène
d’ordre m , dont l’alphabet comporte N signes, vaut :
Nm
Hm X 3 H X z SEQ 3{x P seq H X z seq
y
seq 1

⇒ Particularisation de la formule de l’entropie d’une


expérience composée XY :
H XY s H YX s H X | H Y } X
au calcul de l’entropie conjointe
H SEQ, X s H SEQ | H X } SEQ

H m X ~ H SEQ, X  H SEQ sh € signe


Cours n°1−2 31 Alexandrina
ROGOZAN

UV_TI

Entropie de la q−ième extension d’une source S

S q : Source générant des groupes de q signes, c’est


à dire des vecteurs : x1 , x 2 , ...,xq
q
Entropie de la q−ième extension S
H Sq 9 H X 1 , X 2 , ..., X q
H S
q
9 H X 1 , X 2 , ..., X q  1
D H X q G X 1 , X 2 , ..., X q  1
.
.
.

H Sq 9 H X1 D H X 2G X 1 D ...D H X q G X 1 ...X q  1

Cours n°1−2 Alexandrina


32 ROGOZAN
UV_TI

Entropie de la q−ième extension d’une source S


Extension d’une source sans mémoire
: Vecteur émis x1 , x2 , ...,xq = Suite I.I.D. de signes
q
H S q
3‚x H0 Xi 3 qH 0 X sh ƒ séq. de q signes
y
i 1

: Vecteur émis x1 , x2 , ...,xq = Suite I.N.D. de signes


q
H S ~…„ H 0 X i sh € séq. de q signes
q

i 1 †
Cours n°1−2 Alexandrina
33 ROGOZAN

UV_TI

Entropie de la q−ième extension d’une source S

Extension d’une source avec mémoire − de


Markov d’ordre m sur un alphabet de N signes −

S q : Source de Markov d’ordre ‰ 7


m q
⇒ générant N
q
séquences (ou mots) distincts de q signes

H S q ‡ qH m X sh ˆ mot de q signes

Cours n°1−2 Alexandrina


34 ROGOZAN
UV_TI

Entropie limite d’un processus stochastique

Source S émettant q signes liés :


08 H X q G X 1 ...X q  1 8 H X q  1
G X 1 ...X q  2 8 ...8 H X 1

Variation de l’entropie de la séquence


émise, x1 , x 2 , ...,xq avec sa longueur q ;

Valeur de l’Entropie Limite si la limite existe :

⇒1ère déf. : H Š 1 1
sh Πsigne
C qlim H X 1 , X 2 , ..., X q C lim H
q

‹Š q q‹ Š q
S

⇒2ème déf. : H’ Š C lim H X q i X 1 ... X q  1 sh Œ signe


q‹ Š

Cours n°1−2 Alexandrina


35 ROGOZAN

UV_TI

Entropie limite d’un processus stochastique


Exemples et Propriétés :
⇒Séquence I.I.D. de q signes : H Ž ^ H X1
: Séquences de q lettres (∈ alphabet de N lettres
équiprobables) − cas de la dactylographe − : H Ž ^ log N

⇒Séquence I.N.D. de q signes : H Ž peut ne pas exister

⇒Processus stochastique stationnaire : H Ž ^ H’ Ž existe tjr.


: Source de Markov homogène d’ordre m=q−1 :
H Ž!^ lim H X q  X 1 ... X q ‘ ^ lim H X q  X q ‘ ^ H X 2 X1
q  Ž 1
q  Ž 1

Cours n°1−2 Alexandrina


36 ROGOZAN
UV_TI

Efficacité et redondance d’une source

Efficacité informationnelle de la source S


H“ S ⇒Si – S — 1 alors plus de
’ 9 8 1 signes que le minimum
S
H MAX S nécessaire utilisés pour
émettre un message donné ( => il y
a des signes redondants )

Redondance relative de la source S


H MAX S v H• S ⇒Mesure de
r S K 1 vX” SK J 1 l’adéquation de son
H MAX S alphabet aux
messages délivrés
Cours n°1−2 Alexandrina
37 ROGOZAN

UV_TI

Pourquoi le codage de source ?

− pour améliorer l’efficacité informationnelle d’une


source S, notée ˜ s , en introduisant un codage préalable
des signes.

− pour réduire la redondance des messages émis par cette


source S, notée r s .

Cours n°1−2 Alexandrina


38 ROGOZAN