Écrit par : BOUTA Ali L3 GTR 2021/2022

RÉSUMÉ TICT
1- Quantité d’information :
 Normal :
1
𝐼 𝑥𝑖 = −𝑙𝑜𝑔2 𝑃 𝑥𝑖 = 𝑙𝑜𝑔2
𝑃 𝑥𝑖
 Mutuelle :
𝑃 𝑥𝑖 , 𝑦𝑗
o 𝐼 𝑋, 𝑌 = 𝑖 𝑗𝑃 𝑥𝑖 , 𝑦𝑗 . 𝑙𝑜𝑔2
𝑃 𝑥𝑖 .𝑃 𝑦𝑗

o 𝐼 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋, 𝑌
o 𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋|𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋
1
o 𝐼 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 , 𝑦𝑗 . 𝑙𝑜𝑔2
𝑃 𝑥𝑖 , 𝑦𝑗

Le cas des deux sources indépendantes :

o 𝐼 𝑋, 𝑌 = 0 Donc 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌
o 𝑃 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 . 𝑃 𝑦𝑗

Conditionnelle :
𝟏
o 𝑰 𝒙𝒊 |𝒚𝒋 = 𝒍𝒐𝒈𝟐
𝑷 𝒙𝒊 | 𝒚𝒋

1
Écrit par : BOUTA Ali L3 GTR 2021/2022

2- L’entropie :
 Une seule source :
1
o𝐻 𝑋 = 𝑖 𝑃 𝑥𝑖 . 𝑙𝑜𝑔2 𝑃 𝑥𝑖

 Deux sources :
1
o 𝐻 𝑋, 𝑌 = 𝑖 𝑗 𝑃 𝑥𝑖 , 𝑦𝑗 . 𝑙𝑜𝑔2
𝑃 𝑥𝑖 ,𝑦𝑗

 Conditionnelle moyenne :
1
o 𝐻 𝑌|𝑋 = 𝑖 𝑃 𝑥𝑖 . 𝒋 𝑃 𝑦 |𝑥𝑖 . 𝑙𝑜𝑔
𝑗 2 𝑃 𝑦 | 𝑥𝑖
𝑗

Entropie conditionnelle H (Y | xi)

 Entropie conditionnelle moyenne et conjointe:

o 𝑯 𝑿, 𝒀 = 𝑯 𝑿 + 𝑯 𝒀|𝑿 = 𝑯 𝒀 + 𝑯 𝑿|𝒀
 Limite de l’entropie :
o 𝑯 𝑿 ≤ 𝒍𝒐𝒈𝟐 𝑵 N est la taille de la source
 Le débit moyen de l’information :
𝑯 𝑿
o𝑫=
𝑻𝒔
 Bayes :
o 𝑷 𝒙𝒊 , 𝒚𝒋 = 𝑷 𝒙𝒊 . 𝑷 𝒚𝒋 | 𝒙𝒊 = 𝑷 𝒚𝒋 . 𝑷 𝒙𝒊 | 𝒚𝒋

2
Écrit par : BOUTA Ali L3 GTR 2021/2022

 Diagramme de Venn :

3
Écrit par : BOUTA Ali L3 GTR 2021/2022

3- Le codage source discrète :

 Mot de code de longueur fixe :
o Codes possibles : 𝟐𝑹 ≥ 𝑵 si N est une puissance de 2
o Sinon, 𝟐𝑹−𝟏 < 𝑵 < 𝟐𝑹 𝑹 = 𝒊𝒏𝒕[𝒍𝒐𝒈𝟐 𝑵 ] + 𝟏
o 𝑹 ≥ 𝒍𝒐𝒈𝟐 𝑵 et 𝑯 𝑿 ≤ 𝒍𝒐𝒈𝟐 𝑵  𝑹 ≥ 𝑯 𝑿
 L’efficacité du codage :
𝑯 𝑿
o 𝜼= exprimé en %, si 𝛈 > 𝟏𝟎𝟎% le code est dit inexistant
𝑹

 codage par blocs, extension de la source :

o {A, B} (K symboles) j=2  {AA, AB, BA, BB} (Kj symboles)
o N bits pour coder la source secondaire 𝑵 ≥ 𝒍𝒐𝒈𝟐 𝒌𝒋
o 𝑵 = 𝒊𝒏𝒕 𝒋. 𝒍𝒐𝒈𝟐 𝒌 +𝟏
𝑯 𝑿 𝑯 𝑿
o 𝜼𝟏 = et 𝜼𝟐 = 𝟏 alors 𝜼𝟐 > 𝜼𝟏
𝒊𝒏𝒕 𝒍𝒐𝒈 𝒌 +𝟏 𝒊𝒏𝒕 𝒍𝒐𝒈 𝒌 + 𝒋
𝟐 𝟐
𝑯 𝑿 𝑵 𝒋.𝑯 𝑿
o source étendue : 𝛈𝟐 = 𝑹
𝑹 = 𝒋
𝛈𝟐 =
𝑵

 Mot de code de longueur variable :

o Le code préfix est décodable de manière unique et instantanés.
o Pour que le code soit préfix, tous les symboles doivent être des
feuilles dans l’arbre.
o Pour que le code soit préfix il doit satisfaire l'inégalité de Kraft :
𝑲

𝟐−𝒏𝒌 ≤ 𝟏
𝒌=𝟏
𝑲
o Longueur moyenne : 𝑹 = 𝒌=𝟏 𝒏𝒌 . 𝑷𝒌 ou nk est la longueur de
code du symbole xk.
o Codage de Huffman.
o Codage de Shannon Fano.

Mon site du BIG TP qui peut être utile : https://bigtp.netlify.app/

4
Écrit par : BOUTA Ali L3 GTR 2021/2022

4- Le canal binaire symétrique :

 La capacité du canal :
C’est la valeur maximale de la quantité d'information
mutuelle 𝑪 = 𝑰𝒎𝒂𝒙 𝑿 , 𝒀

Pour la calculer, on a:
1-p
x1 y1
p
P(x1)= α

P(x2)= 1-α p
x2 y1
1-p

, = − |
On doit calculer P(yk) :

1| 1 | 1
−
, [ ]= 𝑷 𝒚𝒌 = 𝑷𝑻 𝑷 𝒙𝒊
−
1| |

1 − 1− + 1− −2 +
= [ ]= =
2 − 1− + 1− 1− 2 +1− −

Apres H(Y) :
1 1
= −2 + 2 + 2 +1− − 2 2 +1− −
−2 +

Apres H(Y|X) :
1 1 1 1
| = [ 1− 2 + 2 ]+ 1− [ 1− 2 + 2 ]
1− 1−

1 1
| = 1− 2 1− + 2

5
Écrit par : BOUTA Ali L3 GTR 2021/2022

Pour maximiser I(X, Y) nous maximisons H(Y) (car H(Y|X) ne dépend

1
pas de ), ce qui est fait lorsque =
2
, ce qui signifie que la
capacité du canal est atteinte lorsque les probabilités de la source
sont équiprobables.
𝟏 𝟏
Et on aura : 𝑪 = 𝟏 − 𝒑 𝐥𝐨𝐠 𝟐 − 𝟏 − 𝒑 𝐥𝐨𝐠 𝟐
𝒑 𝟏−𝒑

Very important !