On deep Learning-Based Channel Decoding

Résumé:

Evaluation des performances d’apprentissage profond pour le one-shot décodage pour deux
familles des codes : codage aléatoire et codage structuré (codes polaires).

Définition d’une nouvelle métrique pour l’évaluation des performances de NN : (NVE :

Normalized validation erreur) ou erreur de validation normalisée.

Etudier les potentiels et les limites des méthodes de décodage basées sur l’apprentissage profond
en termes de performance et de complexité.

Observations :

 L’apprentissage profond montre des performances égale à celles de MAP en termes de

BER.
 Les codes structurés sont plus facile à apprendre.
 Au contraire aux codes aléatoires, les réseaux de neurones sont capables de généraliser les
mots de code non vu durant la phase d’apprentissage pour les codes structurés.
 Les réseaux de neurones sont capables d’apprendre des formes de codage.
I. Introduction
- La limite majeure de décodage basé sur l’apprentissage profond est la malédiction ou
encore le fléau de dimensionnalité « curse of dimensionality ».

Le NN doit apprendre une règle de codage.

Les codes doivent avoir une structure basée sur une règle de codage.

Est-ce-que les codes structurés sont plus facile à apprendre que les codes aléatoires ?

Est-ce-que les NN sont capables de décoder des nouveaux mots de code (non vu durant la
phase d’apprentissage) ?

- Ce travail considère des blocs très courts (N<64) :

  Permettre la comparaison avec le décodage MAP.
 Viser des applications bien précises : IoT.
 En comparaison avec les algorithmes de décodage conventionnels, NND montre
une complexité exponentielle.
o Les codes structurés sont plus faciles à apprendre.
o Si les codes ont une structure le NND arrive à généraliser pour tous les mots de code.
II. L’apprentissage profond pour le codage canal
Voir présentation IA.
Ce papier déploie un NN pour le décodage des mots de code bruités :
- K bits d’informations sont codés en un mot de code de longueur N
- Les bits codés sont modulés et transmis via un canal bruité
- A la réception de mot codé, le décodeur côté récepteur doit retrouver les k bits
d’informations.

Contrairement au décodage itératif, le NN assure le décodage one-shot : le NN retrouve les

bits d’information en passant par chaque couche une seule fois.

 Faible latence

Généralement la collecte des données d’apprentissage présente une tâche difficile et couteuse

! Ce n’est pas le cas pour les NNDs

 Il est possible de générer autant des données que nécessaire, la sortie désirée peut être
aussi connue.

L’ensemble d’entrainement ou d’apprentissage ꭓ, présente tous les mots codés xi ϵ F2 N

Avec F2 ϵ {0,1}.
Le target/label : les K bits d’information.

Les couches cachées définissent des fonctions d’activation RLU.

 Ces couches ne sont pas linéaires mais sont très proches de linéarité  Optimisation avec
RLU.
 La sortie de NN correspond aux bits d’information
 Une fonction sigmoïde force l’output des neurones pour qu’il soit entre 0 et 1 .
 Il présente la probabilité qu’un bit de 1 est transmis

Exemples des fonctions de perte/ de cout :

- L’erreur quadratique moyenne (EQM)

- Binary cross-entropy

Solution alternative :

Utilisation des valeurs log likelihood ratio (LLR) au lieu d’utiliser les sorties de canal
directement.

𝑃(𝑥=0/𝑦)
𝐿𝐿𝑅 (𝑦) = ln 𝑃(𝑥=1/𝑦) =2/σ2 𝑦

σ2 : Puissance d’énergie.

𝑦 ∶ La sortie du canal

Une couche supplémentaire effectue ce traitement.

 Cette idée n’est pas adéquate pour des grandes valeurs de K.