30/08/2020

CODAGE DE
SOURCE

1
 30/08/2020

Dans la chaîne d’émission, on part de la source numérique (symboles discrets)

jusqu’au signal analogique émis x(t):
On a d’abord une partie CODAGE, qui transforme la suite de symboles
discrets ‘S’ en une autre suite de symboles discrets ‘B’. Le but du codage peut
être multiple :
-Sécurité de l’inf ormation : cryptage, authentif ication
(=> « Cryptographie » ou science du secret),
- Rentabilité : compression des données (« Codage de source »)
-Tolérance aux erreurs de transmission : correction / détection d’erreurs
(« Codage de Canal »)
Débit littéral d’une source discrète S :Débit symbole : D(S) symb/sec

Débit binaire (ou bit) littéral équivalent: Db(S)

Db(S) = D(S) . lb(Q) bit/s avec lb(Q)=le nombre de bits/symb

L’INFORMATION ???

Pour déf inir une théorie scientif ique de l’inf ormation, il a f allu tout
d’abord partir d’une déf inition scientif ique du mot « information », avec
un sens précis qui peut différer du langage usuel(coté subjectif ), et qui
permet de mesurer la quantité d’inf ormation contenu dans un message

REMARQUE:
Il est inutile de transmettre un message qui est connu du destinataire

CONSEQUENCE:
L’approche probabiliste des communications se justifie (outre la
présence d’un bruit additif ) par le f ait que si il n’y avait aucune incertitude
sur le message émis, il n’y aurait pas d’inf ormation à la réception du
message.

2
 30/08/2020

OBJECTIFS

caractériser de manière probabiliste la source, le canal, et le destinataire

af in :
 d’évaluer les limites théoriques de transmission en
fonction des divers paramètres
 de mettre en œuvre les systèmes de codage / décodage
adéquats
On évalue ainsi numériquement :
1. la quantité d’information émise par une source discrète de symboles
2. la capacité de transmission d’information d’un canal bruité

On se place ainsi dans le cadre d’une expérience aléatoire délivrant un

évènement (ou résultat) s parmi un ensemble fini de N évènements
élémentaires (résultats) possibles : S = { x 1 , x 2 , …, xN }

A chaque résultat est associé une probabilité p(xi) ∈ [0, 1]

EXEMPLE DE SOURCE D’INFORMATION

Image à transmettre : 12 lignes et 12 colonnes ( 144 pixels)

Points Noirs N : 18
Points Gris G : 15
Points Blancs B :111

pN=18/144=0.125
pG=15/144=0.104
pB = 111/144=0.771

Donc on a une source d’information qui peut être modélisée par la

variable aléatoire S qui peut prendre les valeurs N, G ou B avec les
probabilités respectives : pN=0.125 pG=0.104 et pB=0.771

3
 30/08/2020

SOURCES D’INFORMATION
Source sans mémoire Si la production des différents symboles est
indépendante des symboles précédemment émis, et identiquement
distribuées on parle alors de source discrète sans mémoire.

source à mémoire (ex :Source de Markov) :La source a une

mémoire lorsque la probabilité d'apparition des différents symboles,
est conditionné par le ou les symboles précédents.

Entropie d’une source

N
H (S )   pi logb ( pi )
i

EXEMPLE DE SOURCE D’INFORMATION

Image à transmettre : 12 lignes et 12 colonnes ( 144 pixels)

Points Noirs N : 18
Points Gris G : 15
Points Blancs B :111

pN=18/144=0.125
pG=15/144=0.104
pB = 111/144=0.771

Calcul de l’entropie de S : H(S)=- (pN.log(p N )+pG.log(p G )+ pB.log(p B))

=-(0.125log0.125 + 0.104log0.104 + 0.771log0.771)=1bits/msg

4
 30/08/2020

Débit d’information par seconde d’une source:

On l’appelle débit d’information (ou Débit entropique), et on le définit par :

H t(S) = H(S) . D(S) Sh/sec où D(S) : débit symbole littéral (symb/s)

C’est le débit minimale possible pour transmettre toute l’information

Ht(S) ≤ Db(S)

Codage de source (Compression)

Objectif majeur du codage de source : transformer la « source + codeur

de source » en une source « normalisée »- ne présentant quasiment plus
de redondance, de sorte que le débit bit littéral soit réduit ( Db(U) ≤ Db(S)
bit/sec)
L’idéal est d’arriver à ( Db(U) = H t(S) ≤ Db(S) bit/sec)

5
 30/08/2020

CODAGE DE SOURCE:

Longueur moyenne des mots - code:

Soit une source S= {x1 ,x2 ,...,xi ,...,xN} à N messages

Messages Probabilités Mots-code longueurs
x1 p1 c1 n1
x2 p2 c2 n2
... ... ... ...
xi pi ci ni
... ... ... ...

xN pN cN nN
N
La longueur moyenne des mots code: n   pi. ni
i 1

EXEMPLE DE CODAGE SOURCE D’INFORMATION

pN=18/144=0.125
pG=15/144=0.104
pB = 111/144=0.771

Codage Directe : B → 11 N → 00 G → 10
longueur moyenne : L = 2bits/msg

Le calcul de l’entropie, H(X)=1 bit/msg nous indique la limite inférieure du

codage (longueur moyenne de codage la plus petite possible ou codage
absolument optimal)

Redondance codage directe :  = 1-H(X)/L = 1-1/2 = 50%

L’efficacité du codage directe : =1- =50%

Il faut donc chercher d’autre codes qui permettent de réduire cette redondance

6
 30/08/2020

Qualité requises pour les codes

Un code doit pouvoir être décodé sans ambiguïté

Un tel code est appelé Code à Décodage Unique

Ceci n’est réalisé que si le code respecte les deux règles suivantes :

1) Régularité : deux messages différents sont codés par deux mots-code différents

2) Déchiffrabilité : les mots peuvent être séparés sans ambiguïté dans la

suite codée obtenue. Ceci est possible de plusieurs façons.
Codes de longueurs fixes
codes virgules
codes instantanés

Techniques de codage de source

1.Codage de Shannon-Fano :
1) Ordonner les messages de la source dans l’ordre des probabilités
décroissantes
2) Diviser ces messages en deux sous-ensembles aussi équilibrés que
possible au sens de la sommation des probabilités élémentaires des
messages
3) Attribuer respectivement le symbole 0 puis 1 au premier et deuxième
sous ensemble
4) Répéter le processus de codage 2) 3) à chaque sous-ensemble jusqu’à
ce que l’opération devienne impossible (alors chaque message de la
source possède un mot-code distinct).

Exemple 1:
Source S à 5 messages de probabilités respectives : 0,4 ; 0,19 ; 0,16 ; 0,15 ; 0,1.
H(S)= 2,15 bits/msg

On obtient les mot-codes respectifs : 00, 01, 10, 110, 111

L=2,25 bits/msg

7
 30/08/2020

Exemple 2 :
Transmission d’une image à trois niveaux de gris : source d’information qui
peut être modélisée par la variable aléatoire S qui peut prendre les valeurs N, G
ou B avec les probabilités respectives :
pN=0.125 pG=0.104 et pB=0.771 H(S)=1bit/msg

Codage Directe : B → 11 N → 00 G → 10
longueur moyenne L= 2bits/msg
Codage FANO : B → 1 N → 01 G → 11
L= 0.771+2*0.125+2*0.104=1.229 bits/msg

suite de Nombre de bits :

B N B N B N B G B G G B
messages(ligne7) :
Codage1 :Codage direct 24
11 00 00 11 11 00 11 10 11 11 11 11

Codage2 : FANO
1 00 1 00 1 00 1 01 1 01 01 1
18

 La redondance pour le codage de FANO=  FANO= 1-H(X)/L = 1-1/1.229=18.6%

 L’efficacité pour le code de FANO : FANO=1-=81,4%

Débit littéral de la source : si on suppose que l’on transmet 1000 images en 1

seconde , alors le débit littéral de la source sera : D(X)= 144 000 messages/sec

Débit binaire de la source:

Codage 1 (Directe) : D(X)C1 = 144000*2=288 kbits/sec
Codage 2 (FANO) : D(X)C2 =144000*1.228=177 Kbits/sec

Codage de la deuxième extension :

BB0.594 BN0.096 BG0.08 NB0.096 NN0.016
NG0.013 GB0.08 GN0.013 GG0.011

BB0 BN100 BG1100 NB101 NN11100

NG11101 GB1101 GN11110 GG11111

L(message double)=2.075 bits/msg

L(message simple)=1.0375 bit/msg
Débit binaire= 14400*10375=149,4kbits/sec

8
 30/08/2020

2. Codage de Huffman :

1) Ordonner les « éléments » (« messages » initialement) dans l’ordre des

probabilités décroissantes,
2) Additionner les probabilités des deux messages de probabilité les
plus faibles, qui forment un nouvel « élément » qui remplace les deux
précédents.
3) Si le nombre d’ « éléments » restants est 1 (le nœud restant est la racine
de l’arbre), aller à l’étape suivante ; Sinon, retourner à l’étape 1) (en
incrémentant le nombre d’itération), avec une nouvelle liste à ordonner,
avec un nombre d’éléments réduit .

Exemple 1:
Source S à 5 messages de probabilités respectives : 0,4 ; 0,19 ; 0,16 ; 0,15 ; 0,1.
Cas d’un codage de source binaire de type Hufman, on obtient les mot-codes
respectifs : 1, 000, 001, 010, 011
avec : L=2,2 bits/msg.,
Lmin = H(S)/1=2,15 bits/msg. => efficacité η= Lmin/L=97,7%, redondance = 2,3%

Exemple 2 : transmission d’une image à trois niveaux de gris : source

d’information qui peut être modélisée par la variable aléatoire X qui peut
prendre les valeurs N, G ou B avec les probabilités respectives :
pN=0.125 pG=0.104 et pB=0.771

Codage HUFFMAN : B → 1 N → 01 G → 11
L= 0.771+2*0.125+2*0.104=1.229 bits/msg
Codage Directe : B → 11 N → 00 G → 10
L= 2bits/msg

 La redondance pour le codage de HUFFMAN:

 HUF= 1-H(X)/L = 1-1/1.229=18.6%
 L’efficacité pour le code de HUFFMAN :
HUF=1- HUF =81,4%

9
 30/08/2020

Codage de la deuxième extension :

BB0.594 BN0.096 BG0.08 NB0.096 NN0.016 NG0.013
GB0.08 GN0.013 GG0.011
BB0 BN010 BG001 NB000 NN01110 NG011110 GB0110
GN0111111 GG01110
•L(message double)=2.034 bits/msg
•L(message simple)=1.017 bit/msg
•Débit binaire= 14400*1,017=146,448kbits/sec

A LGORITHME DE HUFFMAN

10
 30/08/2020

CODAGE DE CANAL

11
 30/08/2020

DETECTION ET CORRECTION DES ERREURS

K symboles

Séquences de i-1 i i+1

Symboles d'information

N K

Séquences i-1 i i+1 ...

codées
N symboles

d(01100101,11101100)=3 = w(00000111)

12
 30/08/2020

Le Code à répétition :

Le bit de parité :
 Vérification H
Vérification H et V

LI MITATIONS DES CODES CORRECTEURS D’ERREURS

13
 30/08/2020

 Exercice : Une image de télévision noir et blanc est constituée

de 3.105 pixels, chacun de ces pixels peut prendre un niveau de
luminosité parmi 10 avec la même probabilité. On suppose que
le rythme de transmission est de 30 images par secondes et
que SNR = 30dB. Déterminer la BP requise pour la
transmission de ce signal.

 H(X) = log2 (10) = 3,32bits

 RB = H(X).30.3.105 = 29,9Mbits/s
 B = RB/log2(1001)  3MHz

14