Plan

1. Introduction
2. Vue densemble
3. Sources discrtes & Entropie
4. Canaux discrets & Capacit
5. Codage de source
6. Codage de canal
7. Cryptographie

8. Conclusion
Dpt. Gnie Electrique

Thorie de l information

T. Grenier

22

5. Codage de source
Adapter la source au canal

l'alphabet
le dbit

Utiliser la capacit du canal

maximiser I(X,Y)

Hyp : Source stationnaire, canaux sans perturbation

Source
initiale

Codeur
de source

Source
entropie max

Codeur de source supprimer la redondance

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

23

 Proprits d'un codeur de source

Rgularit : messages codes
Dchiffrabilit : sparation des mots non ambigu

Mot-code
[S]=[s1,s2, , sN]

[X]=[x1,x2, , xD]
[C]=[c1,c2, , cN]

Exemple
Symbole
s1
s2
s3
s4
Dpt. Gnie Electrique

Code A
00
01
10
11

Code B
0
10
110
1110

Code C
0
01
011
0111

Thorie de l information

Code D
0
10
110
111
T. Grenier

24

Code longueur variable / fixe

Code dcodage unique : mot-code symbole unique
Code sparable : pas de signe de dmarcation entre les mots
Code instantan ou irrductible : on dtermine les mots-codes

mesure que l'on reoit les lettres de l'alphabet du code.

CNS : Aucun mot-code n'est le prfixe d'un autre !

Arbre & codes

binaires instantans

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

25

 Longueur moyenne d'un mot-code

N

l p( si ).li
i 1

Limite de la longueur moyenne

H (S ) H (C ) l .H ( X )

H (S )
l
lmin
log D

Capacit - Efficacit - Redondance

C Max( H ( X )) log D

H(X )

log D

H (S )

l . log D
Dpt. Gnie Electrique

Thorie de l information

log D H ( X )

log D
Ex code opt.
T. Grenier

26

 Codes optimaux absolus

Codes dont l'efficacit est maximale : = 1

l lmin H ( S )
log D

li
D
1
i 1

Dpt. Gnie Electrique

Condition ncessaire pour les codes

optimaux absolus

Thorie de l information

T. Grenier

27

 Thorme des canaux sans bruit (codage de source)

" Par un codage appropri (codage par groupe de n symboles de
la source), l'information moyenne par lettre de l'alphabet du code
peut tre amene aussi proche que l'on veut de la capacit du
code, c'est--dire qu'il existe toujours un codage optimal
absolu ."

Rq1 : n fix, le code qui donne max<1 est dit 'optimal'

Rq2 : en pratique, on travaillait n=1

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

28

 Codage de Shannon-Fano
Algorithme de gnration d'un codage optimal absolu, pour
des sources divisibles rcursivement (jusqu' un symbole par
ensemble) en deux sous-ensembles quiprobables.
Symboles Proba
sk
p(sk)
s1
s2
s3
s4
s5
s6
s7
s8

Dpt. Gnie Electrique

0.25
0.25
0.125
0.125
0.0625
0.0625
0.0625
0.0625

Thorie de l information

0
1
0

0
1
0

1
1

0
1
0
1

Motscodes
ck

Longueur
lk

00
01
100
101
1100
1101
1110
1111

2
2
3
3
4
4
4
4

T. Grenier

29

 Codage binaire de Huffman (1952)

- Algorithme de gnration d'un codage optimal symbole par
symbole.
- Code longueur variable codes longs pour probas faibles

Algorithme
Extraction des probabilits
Cration de l'arbre
Cration de la table d'Huffman
Codage
On transmet la table + les codes en binaire

Lecture de la table d'Huffman

Cration de l'arbre de dcodage
Lecture squentielle et dcodage
Dpt. Gnie Electrique

Thorie de l information

T. Grenier

30

Rq : code d'chappement
= Huffman + fixe

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

31

 Codage Arithmtique (1976)

Huffman
1 symbole = 1 mot-code
Arithmtique 1 flot de symboles = nbre en virgule flottante

Codeur

m=0 ; M=1 ;
Tant que !(fin de fichier)
{
i = symbole suivant;
soit [ai ; bi] associ i ;
s = M-m ;
M = m + s.bi ;
m = m + s.ai ;
}
Renvoyer m, le compact du fichier
Dpt. Gnie Electrique

Decodeur

N = nombre cod ;
Faire
{
trouver i / N [ai ; bi[ ;
sortir i ;
s = bi - ai ;
N = (N - ai) / s ;
}
Tant qu'il reste un symbole lire

Thorie de l information

T. Grenier

32

 Exemple
si

pi

[ai ; bi[

Huffi

0.1

[0.0 ; 0.1[

111

0.1

[0.1 ; 0.2[

110

0.1

[0.2 ; 0.3[

101

0.1

[0.3 ; 0.4[

100

0.1

[0.4; 0.5[

0111

0.1

[0.5 ; 0.6[

0110

0.2

[0.6 ; 0.8[

00

0.1

[0.8; 0.9[

0100

0.1

[0.9 ; 1.0[

0101

0.4372207712 = ?

10111010 10100100 11011001 01

01111000 00011101 10110010 11010100
Dpt. Gnie Electrique

Thorie de l information

T. Grenier

33

Arithmtique
+ de calcul

Huffman
Proba trs lve 1 bit
Peu de symboles ()

Run Length

Codeurs statistiques
- Dpendants de la qualit de la statistique
- Statistique connue par le dcodeur

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

34

 Codage par longueur de plage (Run length coding)

Coder le nombre de symboles identiques

000001111100000000000000000

5w5b17w

000000000001111100000000000

11w5b11w

ABCCCCCCABCABC

A B !6C A B C A B C

CCITT, Fax groupe III

Huffman sur les plages de 0 prcdant les 1
JPEG
Huffman sur les plages de 0 prcdant les coeff. DCT

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

35

 Table d'Huffman FAX III

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

36

 Codage de type dictionnaire (1977)

Coder une extension de la source de longueur variable
1977 : LZ (Lempel & Ziv)

1984 : LZW (Welch)

Dictionnaire de symboles incrment dynamiquement

apprentissage
Fichier cod = suite des adresses des mots du dico

! Grer l'incrment des bits d'adresse

PKZIP, ARJ LZW + Huffman

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

37

Codeur LZW

ID= {Ci,Wi} , P=
Tant que (symboles coder)
C = symbole suivant
Si PC ID
P = PC
Sinon
sortir WP
PC ID
P=C
Fin si
Fin tant que
sortir WP

ABBABABAC... .
Dpt. Gnie Electrique

Dcodeur LZW

ID= {Ci,Wi}
cW = 1er code ; sortir s(cW)
Tant que (codes lire)
pW = cW
cW = code suivant
Si (s(cW) ID)
sortir s(cW)
P = s(pW)
C = 1er symbole de s(cW)
PC ID
Sinon
P = s(pW)
C = 1er symbole de s(pW)
sortir s(PC)
PC ID
Fin si
Fin tant que
Thorie de l information

T. Grenier

38

 Conclusion sur le codage de source

Utilis en compression audio & vido (JPEG, MPEG ...)
mais en tant associ des algorithmes non rversibles
(avec pertes)

Supprime la redondance
Sensibilit au bruit
Codage de canal

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

39