Universitaire de Bejaia Année Universitaire 2022-2023

Département ATE Master 1 ST &RT

TP 01: Information Propre et Entropie

Introduction

Selon les concepts de la théorie de l’information le calcul de la l’information associée à

chaque symbole d’un alphabet discret (composé d’un nombre fini de symbole) M={m1,
m2,........, mK}, de longueur lk fixe ou variable, d’une source est régit par une probabilité
d’apparition {P(m1), P(m2),........, P(mk)}est d’une importance cruciale.

I mk    log 2 Pmk 

Nous avons également besoin de calculer l’entropie de cet alphabet H(X) comme étant sa
quantité moyenne d’information :
H M   E I (mk )   Pmk   log 2 Pmk 
k

1- Calcule de l’entropie d’une variable aléatoire uniforme

clear all
close all
clc
a=2; b=7; nb=1000;
R = unifrnd(a,b,nb,1);
figure; hist(R)

x = a:0.1:b;
p1=unifpdf(x,a,b);

figure; stem(x,p1,'filled')
title('Probabilités de chaque évènement');
xlabel('Nombre d evenement')
ylabel('Probabilité');
e = - sum( p1 .* log2( max(p1,1e-20) ) );
disp(strcat(['Entropy=' num2str(e)]) );

2- Soit une source X discrète sans mémoire délivrant en sortie le message suivant :

"13371545155135706347"
A. Quels sont les symboles de la source X.
Universitaire de Bejaia Année Universitaire 2022-2023
Département ATE Master 1 ST &RT

B. Écrire un script Matlab qui résout les questions suivante :

- Calculer la fréquence d’apparition de chaque symbole.
- Calculer la probabilité de chaque symbole.
- Calculer l’information propre I(xi) de chaque symbole.
- Calculer l’entropie de la source notée H(X).