Vous êtes sur la page 1sur 18

Plan

Plan • 1. Introduction • 2. Vue d’ensemble • 3. Sources discrètes & Entropie • 4.
Plan • 1. Introduction • 2. Vue d’ensemble • 3. Sources discrètes & Entropie • 4.
Plan • 1. Introduction • 2. Vue d’ensemble • 3. Sources discrètes & Entropie • 4.

1. Introduction

• 2. Vue d’ensemble

3. Sources discrètes & Entropie

4. Canaux discrets & Capacité

5. Codage de source

6. Codage de canal

7. Cryptographie

8. Conclusion

6. Codage de canal • 7. Cryptographie • 8. Conclusion Dpt. Génie Electrique T. Grenier Théorie

Dpt. Génie Electrique

de canal • 7. Cryptographie • 8. Conclusion Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

22

5. Codage de source

5. Codage de source  Adapter la source au canal  l'alphabet  le débit 
5. Codage de source  Adapter la source au canal  l'alphabet  le débit 
5. Codage de source  Adapter la source au canal  l'alphabet  le débit 

Adapter la source au canal

l'alphabet le débit

Utiliser la capacité du canal maximiser I(X,Y)

Hyp : Source stationnaire, canaux sans perturbation

Source

initiale

stationnaire, canaux sans perturbation Source initiale Codeur de source Source à entropie max Codeur de source

Codeur de source

canaux sans perturbation Source initiale Codeur de source Source à entropie max Codeur de source 

Source à entropie max

Codeur de source supprimer la redondance

max Codeur de source  supprimer la redondance Dpt. Génie Electrique T. Grenier Théorie de l

Dpt. Génie Electrique

max Codeur de source  supprimer la redondance Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

23

Propriétés d'un codeur de source

Régularité : messages codes Déchiffrabilité : séparation des mots non ambiguë

Mot-code

[S]=[s 1 ,s 2 , …, s N ]

Exemple

[X]=[x 1 ,x 2 , …, x D ]

[C]=[c1,c2, …, cN]

Symbole Code A Code B Code C Code D s s s s 1 2

Symbole

Code A

Code B

Code C

Code D

s

s

s

s

1

2

3

4

00

0

0

0

01

10

01

10

10

110

011

110

11

1110

0111

111

10 10 110 011 110 11 1110 0111 111 Dpt. Génie Electrique T. Grenier Théorie de

Dpt. Génie Electrique

10 110 011 110 11 1110 0111 111 Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

24

Code à longueur variable / fixe

Code à décodage unique : mot-code symbole unique Code séparable : pas de signe de démarcation entre les mots

Code instantané ou irréductible : on détermine les mots-codes à mesure que l'on reçoit les lettres de l'alphabet du code. CNS : Aucun mot-code n'est le préfixe d'un autre !

Arbre & codes binaires instantanés

autre !  Arbre & codes binaires instantanés Dpt. Génie Electrique T. Grenier Théorie de l
autre !  Arbre & codes binaires instantanés Dpt. Génie Electrique T. Grenier Théorie de l

Dpt. Génie Electrique

autre !  Arbre & codes binaires instantanés Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

25

Longueur moyenne d'un mot-code

l

N

i 1

(

p s

i

).

l

i

Limite de la longueur moyenne

H ( S ) H (C ) l .H ( X )

l

H ( S )

log D

l

min

Capacité - Efficacité - Redondance

C  Max ( H ( X ))  log D H ( X )
C  Max ( H ( X ))  log D
H ( X )

log D
H ( S )

l
.
log
D

Dpt. Génie Electrique

Théorie de l ’information

log

(

D H X

)

log D

Ex code opt.

D Dpt. Génie Electrique Théorie de l ’information log ( D H X  ) 

T. Grenier

26

Codes optimaux absolus

Codes dont l'efficacité est maximale : = 1

l l

min

H ( S )

log D

N

i 1

D

l i

1

Condition nécessaire pour les codes optimaux absolus

1  Condition nécessaire pour les codes optimaux absolus Dpt. Génie Electrique T. Grenier Théorie de

Dpt. Génie Electrique

Condition nécessaire pour les codes optimaux absolus Dpt. Génie Electrique T. Grenier Théorie de l ’information

T. Grenier

Théorie de l ’information

27

Théorème des canaux sans bruit (codage de source)

" Par un codage approprié (codage par groupe de n symboles de

la source), l'information moyenne par lettre de l'alphabet du code

peut être amenée aussi proche que l'on veut de la capacité du

code, c'est-à-dire qu'il existe toujours un codage optimal

absolu ."

Rq1 : à n fixé, le code qui donne max <1 est dit 'optimal'

Rq2 : en pratique, on travaillait à n=1

'optimal' Rq2 : en pratique, on travaillait à n=1 Dpt. Génie Electrique T. Grenier Théorie de

Dpt. Génie Electrique

Rq2 : en pratique, on travaillait à n=1 Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

28

Codage de Shannon-Fano

Algorithme de génération d'un codage optimal absolu, pour des sources divisibles récursivement (jusqu'à un symbole par ensemble) en deux sous-ensembles équiprobables.

Mots- Symboles Proba codes Longueur p(s k ) s k c k l k s
Mots-
Symboles Proba
codes
Longueur
p(s k )
s k
c k
l k
s
0.25
0
00
2
1
0
s
0.25
1
01
2
2
s
0.125
0
100
3
3
s
0.125
0
1
101
3
4
s
0.0625
0
1100
4
5
1
0
s
0.0625
1
1101
4
6
s
0.0625
1
0
1110
4
7
1
s
0.0625
1
1111
4
8
6 s 0.0625 1 0 1110 4 7 1 s 0.0625 1 1111 4 8 Dpt.

Dpt. Génie Electrique

0.0625 1 0 1110 4 7 1 s 0.0625 1 1111 4 8 Dpt. Génie Electrique

T. Grenier

Théorie de l ’information

29

Codage binaire de Huffman (1952)

- Algorithme de génération d'un codage optimal symbole par symbole.

- Code à longueur variable codes longs pour probas faibles

Algorithme

Extraction des probabilités Création de l'arbre Création de la table d'Huffman Codage

On transmet la table + les codes en binaire

Lecture de la table d'Huffman Création de l'arbre de décodage Lecture séquentielle et décodage

de décodage  Lecture séquentielle et décodage Dpt. Génie Electrique T. Grenier Théorie de l

Dpt. Génie Electrique

de décodage  Lecture séquentielle et décodage Dpt. Génie Electrique T. Grenier Théorie de l ’information

T. Grenier

Théorie de l ’information

30

Rq : code d'échappement = Huffman + fixe Dpt. Génie Electrique Théorie de l ’information
Rq : code d'échappement
= Huffman + fixe
Dpt. Génie Electrique
Théorie de l ’information
T. Grenier
31

Codage Arithmétique (1976)

Huffman

Arithmétique

1 symbole = 1 mot-code 1 flot de symboles = nbre en virgule flottante

Codeur

Decodeur

m=0 ; M=1 ;

Tant que !(fin de fichier)

{

 

i = symbole suivant;

soit [a i ; b i ] associé à i ;

s = M-m ;

M

= m + s.b i ;

m

= m + s.a i ;

}

Renvoyer m, le compacté du fichier

N = nombre codé ;

Faire

{

 

trouver i / N [a i ; b i [ ;

sortir i ;

s = b i - a i ;

N = (N - a i ) / s ;

}

Tant qu'il reste un symbole à lire

i ) / s ; } Tant qu'il reste un symbole à lire Dpt. Génie Electrique

Dpt. Génie Electrique

) / s ; } Tant qu'il reste un symbole à lire Dpt. Génie Electrique T.

T. Grenier

Théorie de l ’information

32

Exemple

s i

p i

[a i ; b i [

Huff i

0.1

[0.0 ; 0.1[

111

A

0.1

[0.1 ; 0.2[

110

E

0.1

[0.2 ; 0.3[

101

I

0.1

[0.3 ; 0.4[

100

B

0.1

[0.4; 0.5[

0111

G

0.1

[0.5 ; 0.6[

0110

L

0.2

[0.6 ; 0.8[

00

S

0.1

[0.8; 0.9[

0100

T

0.1

[0.9 ; 1.0[

0101

0.4372207712 = ?

10111010 10100100 11011001 01 01111000 00011101 10110010 11010100

10100100 11011001 01 01111000 00011101 10110010 11010100 Dpt. Génie Electrique T. Grenier Théorie de l

Dpt. Génie Electrique

11011001 01 01111000 00011101 10110010 11010100 Dpt. Génie Electrique T. Grenier Théorie de l ’information 33

T. Grenier

Théorie de l ’information

33

Arithmétique

Huffman

+ de calcul

Codeurs statistiques

Proba très élévée 1 bit

Peu de symboles ()

Run Length

- Dépendants de la qualité de la statistique

- Statistique connue par le décodeur

de la statistique - Statistique connue par le décodeur Dpt. Génie Electrique T. Grenier Théorie de

Dpt. Génie Electrique

de la statistique - Statistique connue par le décodeur Dpt. Génie Electrique T. Grenier Théorie de

T. Grenier

Théorie de l ’information

34

Codage par longueur de plage (Run length coding)

Coder le nombre de symboles identiques

000001111100000000000000000

5w5b17w

000000000001111100000000000

11w5b11w

A B C C C C C C A B C A B C

A B !6C A B C A B C

CCITT, Fax groupe III

Huffman sur les plages de 0 précédant les 1 Huffman sur les plages de 0 précédant les coeff. DCT

JPEG

sur les plages de 0 précédant les coeff. DCT • JPEG Dpt. Génie Electrique T. Grenier

Dpt. Génie Electrique

les plages de 0 précédant les coeff. DCT • JPEG Dpt. Génie Electrique T. Grenier Théorie

T. Grenier

Théorie de l ’information

35

• Table d'Huffman FAX III Dpt. Génie Electrique Théorie de l ’information T. Grenier
• Table d'Huffman FAX III
Dpt. Génie Electrique
Théorie de l ’information
T. Grenier

36

Codage de type dictionnaire (1977)

Coder une extension de la source de longueur variable

1977 : LZ (Lempel & Ziv)

1984 : LZW (Welch)

Dictionnaire de symboles incrémenté dynamiquement apprentissage

Fichier codé = suite des adresses des mots du dico

! Gérer l'incrément des bits d'adresse

PKZIP, ARJ LZW + Huffman

Théorie de l ’information

des bits d'adresse PKZIP, ARJ  LZW + Huffman Théorie de l ’information Dpt. Génie Electrique

Dpt. Génie Electrique

des bits d'adresse PKZIP, ARJ  LZW + Huffman Théorie de l ’information Dpt. Génie Electrique

T. Grenier

37

Codeur LZW

Décodeur LZW

ID= {C i ,W i } , P=

Tant que (symboles à coder)

C = symbole suivant

Si PC ID

P = PC

Sinon

sortir W P

PC ID

P=C

Fin si

Fin tant que

sortir W P

ID= {C i ,W i }

cW = 1 er code ; sortir s(cW)

Tant que (codes à lire)

pW = cW

cW = code suivant

Si (s(cW) ID)

sortir s(cW)

P

= s(pW)

C

= 1 er symbole de s(cW)

PC ID

Sinon

P

= s(pW)

C

= 1 er symbole de s(pW)

sortir s(PC)

PC ID

ABBABABAC

Fin si

Fin tant que

s(P  C) P  C  ID ABBABABAC Fin si Fin tant que Dpt. Génie

Dpt. Génie Electrique

 C) P  C  ID ABBABABAC Fin si Fin tant que Dpt. Génie Electrique

T. Grenier

Théorie de l ’information

38

Conclusion sur le codage de source

)

mais en étant associé à des algorithmes non réversibles

Utilisé en compression audio & vidéo (JPEG, MPEG

(avec pertes)

Supprime la redondance Sensibilité au bruit Codage de canal

redondance  Sensibilité au bruit  Codage de canal Dpt. Génie Electrique T. Grenier Théorie de

Dpt. Génie Electrique

 Sensibilité au bruit  Codage de canal Dpt. Génie Electrique T. Grenier Théorie de l

T. Grenier

Théorie de l ’information

39