Explorer les Livres électroniques
Catégories
Explorer les Livres audio
Catégories
Explorer les Magazines
Catégories
Explorer les Documents
Catégories
Exercice 1. Entropie. Soit une source d’alphabet Ω = {1, 2, 3, 4, 5} . Calculer son entropie pour les
distributions de probabilités suivantes.
Exercice 3. Propriété de groupe. L’objectif de cet exercice est de vérifier sur un exemple, une propriété
importante de la fonction d’entropie. Soit X une source d’alphabet Ω X = {x1 , L , x n } et de distribution de
probabilités PX = {p1 , L , p n }. Soit 1 ≤ r < n . On divise l’alphabet en deux sous-ensembles A = {x1 ,L, x r } et
B = {x r +1 , L , x n } de telle sorte que Ω X = A ∪ B et A ∩ B = ∅ ( A et B forment une partition de Ω X ). Soit
p = P( A) et q = 1 − p = P(B ) . Alors on a la relation suivante :
p p p p
H ( X ) = H ( p1 , L , pr , pr +1 , L , pn ) = H ( p,1 − p ) + pH 1 , L , r + (1 − p )H r +1 , L , n = H ( p, q ) + pH A + qH B
p p 1 − p 1 − p
On remarquera que P = p1 , L , p r et p p
Q B = r +1 , L , n définissent des distributions de probabilités respectivement sur A et B.
A
p p 1 − p 1 − p
On peut interpréter ainsi cette propriété : L’incertitude moyenne (l’entropie) sur X est composée de :
1. l’incertitude sur le choix de l’une des 2 parties A et B : c’est H ( p, q )
2. la moyenne des incertitudes associées à chacune des 2 parties séparément : c’est pH A + qH B
Soit X une source d’alphabet Ω = {1, 2, 3, 4, 5} de distribution de probabilité P = {0.1, 0.2, 0.3, 0.15, 0.25}. Soient
A = {1, 3, 5} et B = {2, 4}.
1. Calculer l’entropie de X.
2. Calculer p = P( A) et q = P(B ) . En déduire H ( p, q ) .
3. Définir les distributions de probabilités sur A et sur B comme indiqué ci-dessus et les entropies associées. Vérifier
ensuite la propriété de groupe.
TD 1. 1
Théorie de l’information TD 1. Modélisation mathématique d’une source d’information
Remarquons qu’une question binaire induit sur l’ensemble Ω , une partition en deux sous-ensembles A et B
correspondant aux réponses ”oui” et ”non”. Par exemple, si l’on demande ”est-ce que le chiffre est impair ?”, la
partition qui en découle sera A = {1, 3, 5} et B = {2, 4}. Soit p = P ( A) la probabilité de la réponse ”oui” à une
question donnée.
1. Calculer l’entropie de X.
2. Quelle est l’information moyenne obtenue par la réponse à une question binaire ?
3. Quelle est l’information moyenne maximale ? Et pour quelle valeur de p est-elle atteinte ?
4. Quel est alors le meilleur choix de première question à poser ?
Indication : il faut minimiser l’incertitude, ne pas poser de question dont on connaît la réponse et n’apportant donc pas d’information.
5. Appliquer le même raisonnement récursivement pour choisir la meilleure deuxième question selon la réponse à la
première. Continuer jusqu’à l’identification de chaque symbole. Construire un arbre représentant la stratégie obtenue.
6. Si on associe arbitrairement le bit 1 à la réponse ”oui” et le bit 0 à ”non”, cet arbre définit un code. Donner la table
de code associée.
7. Calculer le nombre moyen de questions (la longueur moyenne des mots de code). Comparer à l’entropie de X.
__________
TD 1. 2