Plan

Théorie de l’Information  Introduction

2éme Année TIC - IoT/TEL  Quantité d’information

 entropie d’une source

Chapitre III:
Codage Canal  Capacité d’un Canal

Année Universitaire : 2022‐2023

École Nationale d’Électronique et de Télécommunications de Sfax
École Nationale d’Électronique et de Télécommunications de Sfax 2

Canaux discrets & Capacité Canaux discrets sans mémoire

 Canal: milieu de transmission de l'information situé entre la source et la  On appelle canal de transmission le support ou le milieu qui achemine le
destination. Le canal opère une transformation entre l'espace des
message entre émetteur et récepteur
symboles à l'entrée et celui de la sortie.

 Canal discret: les espaces d'entrée et de sortie sont discrets  Un canal discret sans mémoire (CDSM) peut être représente par un

 Canal continu: les espaces d'entrée et de sortie sont continus modèle statistique d’entrée X et de sortie Y
 Canal sans mémoire: si la transformation d'un symbole x à l'entrée en
 A chaque période d’échantillonnage, on fournit au canal un symbole
un symbole y en sortie ne dépend pas des transformations antérieures
appartenant à X et celui-ci délivre un symbole appartenant à Y
 Canal stationnaire: si les transformations ne dépendent pas de l'origine
des temps

École Nationale d’Électronique et de Télécommunications de Sfax 3 École Nationale d’Électronique et de Télécommunications de Sfax 4
 Canaux discrets sans mémoire Canaux discrets sans mémoire

 Chaque correspondance possible entrée/sortie est définie par une

probabilité conditionnelle p(yj/xi) d’obtenir yj en sortie du canal lorsque

 On considère un CDSM à m entrées et n sorties,
l’entrée xi a été appliquée à l’entrée du canal, On l’appelle probabilité de
 L’entrée X se compose de m symboles x1, x2,…xm
transition du canal.
 Les probabilités à priori P(xi) de ces symboles sont supposées connues

 La sortie se compose de n symboles y1,y2,…yn

p(yj|x=i)

École Nationale d’Électronique et de Télécommunications de Sfax 5 École Nationale d’Électronique et de Télécommunications de Sfax 6

Canaux discrets sans mémoire: Matrice de transition Canaux discrets sans mémoire: Matrice de transition

 On définit un canal de façon complète en spécifiant l’ensemble des  La matrice de probabilité de transition P(Y/X) est appelée la matrice du

probabilités de transition canal.

 Le canal est définie par la matrice de probabilité de transition P(Y/X)  Comme chaque symbole appliqué à l’entrée de la voie produit un

donnée par l’expression suivante: symbole en sortie, la somme des éléments d’une ligne de la matrice est

égal à 1.

École Nationale d’Électronique et de Télécommunications de Sfax 7 École Nationale d’Électronique et de Télécommunications de Sfax 8
 Canaux discrets sans mémoire: Matrice de transition
 Si on représente l’ensemble des probabilités d’entrée par une matrice ligne:
 Et si on représente l’ensemble des probabilités de sortie par une autre
matrice ligne:
 On obtient la représentation matricielle suivante:
École Nationale d’Électronique et de Télécommunications de Sfax
Canaux discrets sans mémoire: Canal sans perte
 Si la matrice d’un canal ne possède qu’un élément non nul par colonne,
on dit qu’il s ’agit d’un canal sans perte.
 Aucune information issue de la source n’est perdue par le canal sans
perte lors de la transmission.
 Exemple:
École Nationale d’Électronique et de Télécommunications de Sfax
Canaux discrets sans mémoire: Matrice de transition
 Si on représente P(X) sous la forme d’une matrice diagonale:
 On a alors la relation
 où l’élément (i,j) de la matrice [P(X,Y)] est de la forme P(xi,yj)
 La matrice [P(X,Y)] est appelée matrice des probabilités conjointes
 L’élément P(xi,yj) étant la probabilité conjointe de transmettre xi et de
recevoir yj
9 École Nationale d’Électronique et de Télécommunications de Sfax 10
Canaux discrets sans mémoire: Canal déterministe
 Un canal dont la matrice ne comporte qu’un élément non nul par ligne est
appelé canal déterministe.
 Comme chaque ligne possède un seul élément non nul, on en conclut
que sa valeur est unitaire
 Lorsqu’un symbole donné est fourni à l’entré d’un canal déterministe, le
symbole restitué en sortie lui est donc identique.
 Exemple:
11 École Nationale d’Électronique et de Télécommunications de Sfax 12
 Canaux discrets sans mémoire: Canal sans bruit Canaux discrets sans mémoire: Canal binaire symètrique

 On dit qu’un canal est sans bruit s’il est à la fois sans perte et  Un canal binaire symétrique a pour matrice:
déterministe

 La matrice définissant le canal a dans ce cas un seul élément par ligne et  Exemple d’un canal binaire symétrique:
un seul élément par colonne et cet élément ne peut donc être qu'unitaire.

 Dans ce cas, les alphabets d’entrée et de sortie ont même dimension

 Pour un canal sans bruit, on a donc m=n

 Exemple:
 Ce canal est pourvu de deux entrées (x1=0 e, x2=1) et de deux sorties
(y1=0 e, y2=1)
 Le canal est symétrique parce que la probabilité de recevoir un 1 si l’on
émis un 0 est identique à la probabilité de recevoir un 0 lorsqu’on émis un 1
 Cette probabilité de transition commune est notée p
École Nationale d’Électronique et de Télécommunications de Sfax 13 École Nationale d’Électronique et de Télécommunications de Sfax 14