11/02/2017

Université de BLIDA 1,
Département de
l’électronique

ENTROPIE CONJOINTE
, =− , , ( )
= =

A partir de l’équation (5), on peut aboutir aux propriétés suivantes :

, = + 6
, = + 7
, ≥ 8

CODAGE ET THÉORIE DE Démonstration

L’INFORMATION , =− , log ,

( , )=− , log ,

=− , log ( ) /

1 Quelques démonstrations =− , log − , log /

, =− log ( ) − , log /
2
Hocine AIT SAADI = +

Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1, Université de BLIDA 1,

Département de Département de
l’électronique l’électronique

ENTROPIE CONJOINTE RELATION ENTRE L’INFORMATION

MUTUELLE ET L’ENTROPIE :
Pour la troisième propriété :
, = , log
, =− , log , =− log ( ) ,
, ,
=− , log + , log
, ≥− log =− ( ) log ( )
, ,
,

=− log = = log − − , log

,
Cette inégalité découle directement du fait que la probabilité , = −
conjointe de deux événements est toujours inférieure ou égale à la
probabilité de chaque événement : ( , ) ≤ ( ).

3 4

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

1
 11/02/2017

Université de BLIDA 1, Université de BLIDA 1,

Département de Département de
l’électronique l’électronique

EXEMPLE (ENTROPIE DIFFÉRENTIELLE

D’UNE SOURCE GAUSSIENNE) : EXEMPLES ( , )
=
=
1/2
=
1/4
= 0 1/4
Une source gaussienne ~ = 0, 2 . Sa fonction densité de probabilité est donnée par :
1 − 2 /2 2 , l’entropie différentielle de
= (en logons) est donnée par :
2 2

∞ ∞
1 −
2 ( ) = 0.811 et ( ) = 1. ( , ) = 1.5.
2 2
ℎ =− ln =− ln Alors :
−∞ −∞ 2
2 , = + − , = . .
2
∞
1 −
2 2
ℎ =− ln + ln
−∞ 2
2 Exercice 03 : Soit la densité conjointe ( , ) suivante :
∞ 2 1 2
ℎ =− − 2 − ln 2
−∞ 2 2 Y 0 1
∞ 2 ∞
1 2 X
ℎ = 2 + ln 2
−∞ 2 −∞ 2 0 1/3 1/3
∞ ∞
1 2
1 2
ℎ = + ln 2 1 0 1/3
2 2 −∞ 2 −∞
2
= 2 =1 •Calculer : H(X), H(Y ). H(X | Y), H(Y | X), H(X,Y), H(Y) - H(Y | X) et I(X; Y).
1 1 2 1 1 2
ℎ = + ln 2 = ln + ln 2
2 2 2 2
= =
5 6

Codage & Théorie de l’information H. AIT SAADI Codage & Théorie de l’information H. AIT SAADI

Université de BLIDA 1,
Département de
l’électronique

Exercice 01 : Soit une variable aléatoire discrète et ( )

une fonction de . Montrer que ≤
Astuce : Utiliser en justifiant les étapes suivantes :
( , ( ) ) = ( ) + ( ( )│ ))
=
( , ( )) = ( ( )) + ( | ( ))
Exercice 02 : Soient et Y deux variables aléatoires
conjointement distribuées selon ( , ).
Montrer que
= − , log
,

= − , log
,
En utilisant le résultat précédent montrer que : ( , ) ≤ ( ) +
( )
Quand est-ce que il ya égalité ?
7

Codage & Théorie de l’information H. AIT SAADI