Plan

1. Introduction 2. Vue densemble 3. Sources discrtes & Entropie 4. Canaux discrets & Capacit 5. Codage de source 6. Codage de canal 7. Cryptographie 8. Conclusion
Dpt. Gnie Electrique Thorie de l information T. Grenier
22

5. Codage de source
Adapter la source au canal l'alphabet le dbit

Utiliser la capacit du canal

maximiser I(X,Y)

Hyp : Source stationnaire, canaux sans perturbation

Source initiale

Codeur de source

Source entropie max

Codeur de source

supprimer la redondance

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

23

 Proprits d'un codeur de source

Rgularit : messages codes Dchiffrabilit : sparation des mots non ambigu

Mot-code [S]=[s1,s2, , sN] Exemple

Symbole s1 s2 s3 s4
Dpt. Gnie Electrique

[X]=[x1,x2, , xD]
[C]=[c1,c2, , cN]

Code A 00 01 10 11

Code B 0 10 110 1110

Code C 0 01 011 0111

Code D 0 10 110 111

T. Grenier
24

Thorie de l information

Code longueur variable / fixe

Code dcodage unique : mot-code symbole unique

Code sparable : pas de signe de dmarcation entre les mots

Code instantan ou irrductible : on dtermine les mots-codes mesure que l'on reoit les lettres de l'alphabet du code. CNS : Aucun mot-code n'est le prfixe d'un autre !

Arbre & codes binaires instantans

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

25

 Longueur moyenne d'un mot-code

l = p ( si ).li
i =1 N

Limite de la longueur moyenne

H ( S ) = H (C ) = l .H ( X )

H (S ) = lmin log D

Capacit - Efficacit - Redondance

C = Max( H ( X )) = log D

H(X ) log D

log D H ( X ) log D
c o d e o p t.
T. Grenier
26

=
Dpt. Gnie Electrique

H (S ) l . log D

Ex

Thorie de l information

Codes optimaux absolus

Codes dont l'efficacit est maximale : = 1
l = lmin = H (S ) log D

D
i =1

li

=1

Condition ncessaire pour les codes optimaux absolus

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

27

 Thorme des canaux sans bruit (codage de source)

" Par un codage appropri (codage par groupe de n symboles de la source), l'information moyenne par lettre de l'alphabet du code peut tre amene aussi proche que l'on veut de la capacit du code, c'est--dire qu'il existe toujours un codage optimal absolu ."

Rq1 : n fix, le code qui donne max<1 est dit 'optimal'

Rq2 : en pratique, on travaillait n=1

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

28

Codage de Shannon-Fano
Algorithme de gnration d'un codage optimal absolu, pour des sources divisibles rcursivement (jusqu' un symbole par ensemble) en deux sous-ensembles quiprobables.
Symboles Proba sk p(sk) s1 s2 s3 s4 s5 s6 s7 s8 0.25 0.25 0.125 0.125 0.0625 0.0625 0.0625 0.0625 0 0 1 0 1 1 1 0 1 0 0 1 0 1 Motscodes ck 00 01 100 101 1100 1101 1110 1111 Longueur lk 2 2 3 3 4 4 4 4

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

29

 Codage binaire de Huffman (1952)

- Algorithme de gnration d'un codage optimal symbole par symbole. - Code longueur variable codes longs pour probas faibles

Algorithme
Extraction des probabilits Cration de l'arbre Cration de la table d'Huffman Codage

On transmet la table + les codes en binaire

Lecture de la table d'Huffman Cration de l'arbre de dcodage Lecture squentielle et dcodage

Dpt. Gnie Electrique Thorie de l information T. Grenier
30

Rq : code d'chappement = Huffman + fixe

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

31

 Codage Arithmtique (1976)

Huffman Arithmtique 1 symbole = 1 mot-code 1 flot de symboles = nbre en virgule flottante

Codeur
m=0 ; M=1 ; Tant que !(fin de fichier) { i = symbole suivant; soit [ai ; bi] associ i ; s = M-m ; M = m + s.bi ; m = m + s.ai ; } Renvoyer m, le compact du fichier
Dpt. Gnie Electrique

Decodeur

N = nombre cod ; Faire { trouver i / N [ai ; bi[ ; sortir i ; s = bi - a i ; N = (N - ai) / s ; } Tant qu'il reste un symbole lire

Thorie de l information

T. Grenier

32

Exemple
si A E I B G L S T pi 0.1 0.1 0.1 0.1 0.1 0.1 0.2 0.1 0.1 [ai ; bi[ [0.0 ; 0.1[ [0.1 ; 0.2[ [0.2 ; 0.3[ [0.3 ; 0.4[ [0.4; 0.5[ [0.5 ; 0.6[ [0.6 ; 0.8[ [0.8; 0.9[ [0.9 ; 1.0[ Huffi 111 110 101 100 0111 0110 00 0100 0101
10111010 10100100 11011001 01 01111000 00011101 10110010 11010100
Dpt. Gnie Electrique Thorie de l information T. Grenier
33

0.4372207712 = ?

Arithmtique + de calcul

Huffman Proba trs lve 1 bit Peu de symboles ( ) Run Length

Codeurs statistiques - Dpendants de la qualit de la statistique - Statistique connue par le dcodeur

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

34

Codage par longueur de plage (Run length coding)

Coder le nombre de symboles identiques

000001111100000000000000000 000000000001111100000000000 ABCCCCCCABCABC

5w5b17w 11w5b11w A B !6C A B C A B C

CCITT, Fax groupe III Huffman sur les plages de 0 prcdant les 1 JPEG Huffman sur les plages de 0 prcdant les coeff. DCT

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

35

 Table d'Huffman FAX III

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

36

Codage de type dictionnaire (1977)

Coder une extension de la source de longueur variable
1977 : LZ (Lempel & Ziv) 1984 : LZW (Welch)

Dictionnaire de symboles incrment dynamiquement apprentissage

Fichier cod = suite des adresses des mots du dico

! Grer l'incrment des bits d'adresse

PKZIP, ARJ
Dpt. Gnie Electrique

LZW + Huffman
Thorie de l information T. Grenier
37

Codeur LZW ID= {Ci,Wi} , P= Tant que (symboles coder) C = symbole suivant Si PC ID P = PC Sinon sortir WP PC ID P=C Fin si Fin tant que sortir WP

Dcodeur LZW ID= {Ci,Wi} cW = 1er code ; sortir s(cW) Tant que (codes lire) pW = cW cW = code suivant Si (s(cW) ID) sortir s(cW) P = s(pW) C = 1er symbole de s(cW) PC ID Sinon P = s(pW) C = 1er symbole de s(pW) sortir s(PC) PC ID Fin si Fin tant que
Thorie de l information T. Grenier
38

ABBABABAC....
Dpt. Gnie Electrique

Conclusion sur le codage de source

Utilis en compression audio & vido (JPEG, MPEG ...) mais en tant associ des algorithmes non rversibles (avec pertes)

Supprime la redondance Sensibilit au bruit Codage de canal

Dpt. Gnie Electrique

Thorie de l information

T. Grenier

39