Chapitre III

Canaux discrets sans mémoire (DMC)

et second théorème de Shannon

1
 Modèles de canaux discrets
• Modèle général d’un canal discret
Un canal discret est un système stochastique acceptant en
entrée des suites de symboles définies sur un alphabet fini X,
et émettant en sortie des suites de symboles définis sur un
alphabet fini Y .

Les entrées et les sorties sont liés par un modèle probabiliste :

Ce modèle est trop général pour donner lieu à des

développements simples ⇒ On fait des hypothèses.

2
 Modèles de canaux discrets
• Canal causal
Un canal est dit causal si

quels que soient m et n tels que m ≤ n.

Conséquence : En sommant les 2 membres de l’égalité sur
Y1,…, Ym-1, on déduit que

⇒ Toute sortie est indépendante des entrées futures.

3
 Modèles de canaux discrets
• Canal causal sans mémoire
Un canal causal est dit sans mémoire si, pour tout k ≥ 2, on a :

⇒ La loi conditionnelle décrivant le comportement du canal

est entièrement déterminée par les lois conditionnelles
instantanées :

4
 Modèles de canaux discrets

Notons que P(Yk = yk ∣Xk = xk ) peut éventuellement dépendre

du temps k, on introduit alors l’hypothèse d’un canal
stationnaire.

• Canal causal sans mémoire stationnaire

Un canal causal sans mémoire est dit stationnaire si, pour tout
k ≥ 1, on a :

5
 Modèles de canaux discrets
• Canal Discret Sans Mémoire (DMC)
Un canal discret sans mémoire (DMC) est un canal discret
causal, sans mémoire, stationnaire.
Un DMC est défini par :
- Un alphabet d’entrée :
- Un alphabet de sortie :

- Une loi de transition PY∣X, i.e. une matrice stochastique :

On parlera du canal
6
 Modèles de canaux discrets
• DMC fortement symétrique
Un DMC est dit fortement symétrique si les lignes et les colonnes de sa
matrice stochastique sont égales à une permutation près.

• Décomposition d’un canal

On dit que le canal 𝒯=(𝒳, 𝒴, 𝛱) se décompose en une combinaison de
canaux 𝒯i = (𝒳, 𝒴i , 𝛱i), si les 𝒴i sont disjoints et s’il existe des nombres
réels positifs q1 , q2 , …, qL / q1 + q2 + …+ qL= 1, tels que
𝛱 = (q1 𝛱1 ∣ …∣ qL 𝛱L).

On note formellement

• DMC symétrique
Un DMC est dit symétrique s’il se décompose en une combinaison de DMC
fortement symétriques.
⇒ Les lignes de la matrice stochastique d’un DMC symétrique sont égales
à une permutation près.
7
 Modèles de canaux discrets
• Exemple 1 : Canal Binaire Symétrique

1-p 0
0● ●

p
p
1● 1-p ● 1

Matrice stochastique :

p est appelée probabilité d’erreur du canal.

8
 Modèles de canaux discrets
• Exemple 2 : Canal Binaire Symétrique à Effacement

1-p-p∞ 0
0● ●

p
p
1● 1-p-p∞ ● 1
p∞ p∞

● ∞
Matrice stochastique :

p est la probabilité d’erreur du canal.

p∞ est la probabilité d’effacement du canal.
9
 Définition de la capacité d’un DMC
La capacité C d’un DMC caractérisé par le triplet (𝒳, 𝒴, 𝛱), est
définie par

où la maximisation se fait sur toutes les lois de probabilité de

l’entrée X.
Notons que I(X;Y) n’est pas en mesure de caractériser le canal
de façon intrinsèque puisqu’elle dépend de la loi d’émission PX.

10
 Calcul de la capacité de quelques DMC
• Capacité d’un canal symétrique

Le canal étant symétrique, toutes les lignes de sa matrice stochastique ont

les mêmes valeurs p1 ,…, pj ,…, pJ à permutation près. Donc H(Y∣X) ne
dépend pas de PX, en effet

11
 Calcul de la capacité de quelques DMC
• Capacité d’un canal symétrique
On a donc

• Capacité d’un canal fortement symétrique

Pour maximiser I(X;Y), il suffit de maximiser H(Y), or H(Y) est maximale
pour PY uniforme et vaut log2(∣𝒴∣). Dans le cas d’un canal fortement
symétrique, on montre facilement que PY est uniforme pour PX uniforme.

12
 Calcul de la capacité de quelques DMC
• Capacité d’un canal fortement symétrique
En effet

où les sont les valeurs communes des colonnes.

La capacité d’un canal fortement symétrique est alors atteinte lorsque la
loi d’émission est uniforme et vaut

13
 Calcul de la capacité de quelques DMC
• Capacité d’un canal symétrique

La capacité d’un canal symétrique est atteinte lorsque la loi

d’émission est uniforme et vaut

où les Ci sont les capacités des canaux fortement symétriques 𝒯i .

14
 Calcul de la capacité de quelques DMC
• Exemples
- Capacité du canal binaire symétrique

- Capacité du canal binaire symétrique à effacement

15
 Codage de canal et second théorème de
Shannon
• Système de communication considéré

A1,…, Ak Codeur de X1,…, Xn Y1,…, Yn Décodeur de Â1,…, Âk

Canal
canal f canal g

- Le canal est un DMC.

- (A1,…, Ak) : mot de k bits d’information qui représentent les données.
- Le codeur de canal (de fonction de codage f(.)) associe au mot de k bits
d’information, un mot (X1,…, Xn) de longueur n qu’il envoie sur le canal.
- Le décodeur de canal (de fonction de décodage g(.)) essaie de retrouver à
partir du mot reçu (Y1,…, Yn) les valeurs des bits d’information transmis. Il
produit un mot de bits décodés (Â1,…, Âk).
- Il y a erreur dans la transmission si (Â1,…, Âk) ≠ (A1,…, Ak) .

16
 Codage de canal et second théorème de
Shannon
Notons que la fonction de codage f(.) à l’émetteur est une fonction injective.
Exemple simple : Code à répétition avec k=1 et n=3.
- Fonction de codage f(.) : Donnée A1 Mot transmis (X1,X2,X3)
0 000
1 111

Mot reçu (Y1Y2,Y3) Donnée décodée Â1

- Fonction de décodage g(.) :
000 0
001 0
010 0
100 0
110 1
011 1
101 1
111 1 17
 Codage de canal et second théorème de
Shannon
Les fonctions de codage et de décodage dépendent du
paramètre n qui indique la longueur des mots de code
transmis. Elles seront alors notées f(n) et g(n). Le code est
spécifié par le quadruplet (n, k, f(n), g(n)).

Le rendement (ou « taux ») R d’un code est égal à

La probabilité d’erreur considérée est définie par (probabilité

d’erreur en bloc)

18
 Codage de canal et second théorème de
Shannon
Idéalement, nous aimerions trouver des codes qui atteignent une
probabilité d’erreur égale à 0. Malheureusement, ceci est impossible
pour presque tous les DMC si en même temps on veut garder un
taux R > 0. A la place, on souhaite seulement trouver un ensemble de
codes tel que la probabilité d’erreur peut être rendue aussi faible que
l’on souhaite si on choisit le bon code de cet ensemble. Pour la
majorité des DMC, il a été démontré que pour atteindre une
probabilité d’erreur qui tend vers 0, il faut que n tende vers l’infini.
Un exemple très simple qui atteint ce but sur un CBS est l’ensemble
des codes à répétition avec k fixé et n (multiple de k) qui tend vers
l’infini. Le problème est que le taux R tendra alors vers 0 si n tend
vers l’infini. La grande découverte de Shannon a été de prouver
l’existence de codes avec des probabilités d’erreur qui tendent vers 0
quand n tend vers l’infini mais tout en codant un nombre de bits
d’information k croissant linéairement avec n de sorte que R > 0.

19
 Codage de canal et second théorème de
Shannon
Définition : Un taux R > 0 est dit atteignable sur un DMC (𝒳, 𝒴, 𝛱)
s’il existe une suite de codes telle que

Théorème (Second théorème de Shannon) :

Pour un DMC caractérisé par (𝒳, 𝒴, 𝛱) de capacité C
1. Tous les débits 0 < R < C sont atteignables.
2. Aucun débit R > C n’est atteignable.

Notez que le théorème ne dit rien de ce qui se passe pour les taux R = C.
Le comportement pour R = C dépend du canal et reste inconnu pour la
majorité des canaux à ce jour !

20
 Codage de canal et second théorème de
Shannon
Interprétation du second théorème de Shannon

1. Il existe des codes permettant de réaliser un codage de canal

dont le taux (rendement) est aussi proche que l’on souhaite de la
capacité du canal, avec une probabilité d’erreur qui tend vers 0.

2. La capacité du canal est le taux maximal que l’on puisse

atteindre pour faire transiter une information dans un canal avec
une fiabilité presque parfaite (probabilité d’erreur qui tend vers 0).

21