S1 Introduction Codage

Génie Systèmes Embarqués et Informatique Industrielle 2
Introduction au Codage
Pr. Malika ALAMI MARKTANI
AU: 2021/2022
Introduction
La théorie de l’information est une discipline qui s’appuie non seulement sur
les (télé-)communications, mais aussi sur l’informatique, la statistique, la
physique statistique, la théorie de l’inférence.
Il est indéniable que le développement des communications a nourri la théorie
de l’information et inversement. Une contribution fondamentale et extrêmement
importante est l’article de C.E. Shannon, « A mathematical theory of
communications », paru dans le journal de ATT Bell, en 1948. (Cet article a été
ensuite réédité sous la forme d’un livre).
La presque totalité de ce cours est contenue dans l’article original de Shannon.
On présentera d’abord l’entropie (dite de Shannon) comme mesure
d’information. À l’aide des notions d’information, on introduira ensuite trois
théorèmes de Shannon.
AU 2021-2022 2
Introduction
- Le premier théorème de Shannon indique qu’une source, peut être codée
de façon déchiffrable, avec des mots dont la longueur moyenne est bornée par
l’entropie de la source.
- Le second théorème de Shannon, ou théorème du codage de canal, ou
théorème du canal bruité, est tout aussi fondamental, et peut être plus. Ce
théorème indique que si l’entropie de la source est inférieure ou égale à la
capacité du canal, alors il est possible de trouver un code tel que la probabilité
d’erreur lors de la transmission soit aussi faible que l’on veut.
- Le troisième théorème de Shannon, appelé théorème de la capacité
d’information, permet de relier la capacité d’information à la bande du canal, la
puissance transmise et la puissance du bruit additif. Il fournit en outre la
capacité limite (lorsque la bande tend vers l’infini), et la limite de Shannon.
AU 2021-2022 3
Introduction
L’expéditeur et le destinataire d’un télégramme ont des attitudes différentes de
celles de l’employé de la Poste : pour les deux premiers, le message a une
signification. Pour l’employé de la Poste, cette signification est indifférente ; il
compte les caractères qu’il transmet en vue de faire payer un service : la
transmission d’une « quantité d’information » proportionnelle à la longueur du
texte.
La théorie de l’information est un outil, développé pour et par l’ingénieur chargé

de concevoir un système de transmission, et les notions probabilistes n’ont de
sens clair que de son point de vue.
AU 2021-2022 4
AU 2021-2022 5
Organisation du module
Introduction à la
 Système de communication
théorie de
 Mesure de l’information
l’information
 Définition
Codage Source  Premier théorème de Shannon
 Codes à longueur variable VLC
 Compression d’images
 Principe du codage de canal

 Les codes en blocs linéaires
Codage Canal  Notions sur les corps de Galois
 Les codes cycliques
 Les codes convolutifs
 Turbo Codes en blocs (TCB)
AU 2021-2022 6
Organisation du module
Introduction à la contrôles
théorie de
l’information
Codage Source
Codage Canal
assiduité présence TP
AU 2021-2022 7
Introduction à la théorie de
l’information
− Caractérisation des sources d’information

− Notions de probabilité (Rappel)
− Entropie et Information
− Entropie limite, efficacité et redondance
− Quantité d’information propre
Définition de l’information
AU 2021-2022 9
Messages et signaux
AU 2021-2022 10
Approche empirique
L’information, grandeur mesurable:
AU 2021-2022 11
Notations
AU 2021-2022 12
Définitions
X0={0,1}
X2={00, 01, 10, 11} extension d’ordre 2 de la source
X3 = {000, 001,010,011, …., 111} extension d’ordre 3 de la source
AU 2021-2022 13
Introduction
AU 2021-2022 14
Introduction
AU 2021-2022 15
Introduction
AU 2021-2022 16
Introduction
AU 2021-2022 17
Sources d’informations
AU 2021-2022 18
Sources d’information discrètes
AU 2021-2022 19
Remarque:
AU 2021-2022 20
=> Source stationnaire: source pour laquelle les probabilités d'apparition des
différents symboles ne dépendent pas de l'origine des temps
=> Source à débit contrôlable: source pouvant générer des messages comme
suite à une commande externe (Télégraphe, ..)
=> Source à débit non contrôlable: source générant des messages avec un
débit fixé, propriété de la source (CD audio)
=> Source discrète à contraintes fixes: source pour laquelle certains symboles
ne peuvent être utilisés qu'en des conditions déterminées (Morse, …)
AU 2021-2022 21
=> Source discrète à contraintes probabilistes: source à mémoire. Dans un

état, la source peut générer n'importe lequel des symboles avec une
probabilité qui dépend des symboles précédents (texte …)
=> Source de Markov: source pour laquelle la probabilité de générer un

symbole ne dépend que du symbole à l'instant n-1
AU 2021-2022 22
Source d’information continues
AU 2021-2022 23
Modélisation des sources d’information
AU 2021-2022 24
Notions de probabilités (Rappel)
AU 2021-2022 25
AU 2021-2022 26
AU 2021-2022 27
AU 2021-2022 28
AU 2021-2022 29
Quantité d’information propre
AU 2021-2022 30
Quantité d’information propre
AU 2021-2022 31
Entropie & information
AU 2021-2022 32
Entropie des sources discrètes sans mémoire
AU 2021-2022 33
Lorsqu’on choisit le logarithme népérien, l’unité d’information est le nat

(natural unit). Lorsqu’on choisit le logarithme en base 10, l’unité est le dit
(decimal unit), ou Hartley. Lorsqu’on choisit le logarithme en base 2, l’unité
est le bit (binary unit), ou Shannon, qu’il ne faut pas confondre avec le bit
de l’informatique (binary digit), et qui est simplement un chiffre binaire.
AU 2021-2022 34
AU 2021-2022 35
Entropie des sources composées
AU 2021-2022 36
Entropie conditionnelle
moyenne de sources discrètes sans mémoire
AU 2021-2022 37
AU 2021-2022 38
AU 2021-2022 39
AU 2021-2022 40
AU 2021-2022 41
Efficacité et redondance d’une source
AU 2021-2022 42
Résumé
Définitions générales
AU 2021-2022 44
Entropie et information
AU 2021-2022 45
AU 2021-2022 46
AU 2021-2022 47
AU 2021-2022 48
AU 2021-2022 49
Conclusion
Pourquoi le codage source?
AU 2021-2022 50
Conclusion
Pourquoi le codage source?
AU 2021-2022 51

S1 Introduction Codage

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

S1 Introduction Codage

Transféré par

Droits d'auteur :

Formats disponibles

Génie Systèmes Embarqués et Informatique Industrielle 2

Pr. Malika ALAMI MARKTANI

La théorie de l’information est un outil, développé pour et par l’ingénieur chargé

 Principe du codage de canal

− Caractérisation des sources d’information

L’information, grandeur mesurable:

L’information, grandeur mesurable:

L’information, grandeur mesurable:

=> Source discrète à contraintes probabilistes: source à mémoire. Dans un

=> Source de Markov: source pour laquelle la probabilité de générer un

Lorsqu’on choisit le logarithme népérien, l’unité d’information est le nat

Vous aimerez peut-être aussi