IPST

Enseignant : KHEDHIRI Kamel

A.U : 2017-2018

Théorie de l’information
I/ Généralités :
Incertitude Information

Événement réalisé

Avant l’événement n’est pas réalisé ⇒on est dans le cas de l’incertitude.

Après l’événement⇒ est réalisé on est dans le cas de l’information.

X x

B xX x
x
x

B ⊆S avec B un événement.

x ∈ B B est réalisé ( avec x épreuve).

II/ Mesure de L’information :

Si B est réalisé ⇒ i (B) réelle.
Exemple : une urne (B) contient des boules blanches.

B : {boules blanches}.
B’ : {boules blanches + numéro impair}.
B i (B ) ; B’ i ( B’ ) .

1- B’ ⊂ B ⇒ i (B’ ) > i ( B ).
2- I (s) = 0 ⇒ ∀ B ⊆ S ; i ( B ) ≥ i (S) = 0 .
3- i ( B’/ B) : information apportée par la réalisation de B’ sachant que B.

B ⊂ S; i (B / S) = i (B ).
 i ( B / B ) = 0.

4- , independents: i ( , )=i( )+i( ).

III / Me sure de L’incertitude

U(B) = incertitude sur la réalisation de B ; U ( B ) réelle.

1- B’ ⊂ B ⇒ u ( B’ ) > u ( B ) .
2- U ( S ) = 0 ⇒ ∀ B ⊆ S ; u ( B ) ≥ u (S) = 0.
3- i ( B’/ B) : incertitude apportée par la réalisation de B’ sachant que B.

B ⊂ S; u ( B / S) = u ( B ).

u ( B / B ) = 0.

4 − B1 , B indépendants : u ( , )=u( ) +u ( ).

IV / Relaion entre incertitude et information.

B ⊆ A ⊆S

U ( B ) - U (B/A ) = i ( A ).

Si A = B ; u ( B ) – u ( B / B ) = i ( B ). Car U (B/B) =0

U ( B ) = i (B) = - p(B) =
( )

V / Unités:
1- Si a =e ; u (B) = i ( B ) = - Ln p ( B );

Unité : nat
2 – Si a= 2 ; u (B) = i (B ) = - p ( B );

Unité : bit

3 - Si a= 10 ; u (B) = i (B) = - p(B);

Unité : décit

X=

Remarque: S = { ; ; …………………….. ; } alphabets.

B⊆S OU B ⊆

B={ };i(B)=i( )

p( )=p( ).

Exemple : Sources binaire , S= { =0; =1}

p( ) = 1/3 ; p ( ) = 2/3.

Calculer i ( ) et i ( )?

i( ) =- (1/3) = (3) = 1,58 bits.

i( ) =- (2/3) = (3) - (2) = 0,58 bits.

 Quantités d’information
I/ Introduction:
S X C Y D
Destination
SOURCE : Canal

X€( ; ; …………………….. ; ) ;Y€ ( ; ; …………………….. ; )

alphabets alphabets

Hypothése : S : stationnaire sans mémoires.

P ( X= )=p( ).

C : Stationnaire sans mémoire.

p (Y= )=p( ).

II / Définitions :
1) Quantités d’informations intrinsèques :
i( )= - p( ).

i( ) = - p( ).

i( , )=- p( , )

X€( ; ; …………………….. ; );p(X= ) = p( ).

Y€ ( ; ; …………………….. ; ) ; p ( Y= )=p( ).

2) Quantités d’informations conditionnelles:

i (x / y ) = - log p (x / y ) .

i (y / x ) = - log p (y / x ) .

i ( X/ y ) = - log p (X / y ) .

i (Y / x ) = - log p (Y/ x ) .

i ( X / Y ) = - log p ( X/ Y ) .

i ( Y / X ) = - log p ( Y/ X ) .

3) Quantités d’informations mutuelles:

S x C y D

cc

Avant la réception de y : u (x ) = - log p (x )

Après la réception de y : u (x /y ) = - log p(x /y ).

L’information mutuelle § i (x , y ) = u (x ) – u (x / y ) .

=- p( ) + log p (x / y ) .

( / ).
§i( , ) =
( )

§ i (x , y ) = i ( , )= i( ) - i (x / y )

= −log p (x ) +log p(x / y ).

( / ).
§i( , ) =
( )