Utilisation des algorithmes de la data science

pour une meilleur utilisation du spectre radio

fréquence.
Table des matières
Introduction ......................................................................................................................................... 3
I- Les mécanismes traditionnels d’accès au spectre ............................................................................ 3
I-1-Autorisation dite « exclusive » .................................................................................................. 3
I-2-Autorisation générale................................................................................................................. 3
I-3-Typologie de partages de fréquences ........................................................................................ 4
II-Le partage dynamique du spectre .................................................................................................... 4
II-1-Les prémices : le mécanisme DFS (Dynamic Frequency Selection) ....................................... 4
II-2-Le TV White Space : une potentielle réserve de basses fréquences ........................................ 5
II-3-Le LSA (Licensed Shared Access) : un modèle de partage dynamique pensé pour les
opérateurs mobiles ........................................................................................................................... 5
III-Définition des paramètres .................................................................................................................. 6
III-1-Gestion spectrale ......................................................................................................................... 6
III-2-Détection spectrale .................................................................................................................. 6
III-3-Analyse spectrale ........................................................................................................................ 6
III-4-Accès dynamique au spectre ....................................................................................................... 6
III-5-Radio cognitive ........................................................................................................................... 7
III-5-1-Définition............................................................................................................................. 7
III-6- Les métaheuristiques ................................................................................................................. 8
III-6-1-Définition............................................................................................................................. 8
IV-Comment mieux gérer le spectre radio ? ....................................................................................... 8
IV-1-Radio intelligente........................................................................................................................ 9
IV-2-Les algorithmes de data science utilisée dans le RRC ................................................................ 9
IV-2-1-L’algorithme de colonie d’abeilles ...................................................................................... 9
IV-2-2-Les algorithmes génériques ................................................................................................. 9
IV-2-3-L’algorithme de recherche gravitationnelle ........................................................................ 9
IV-2-4-La logique floue ................................................................................................................ 10
IV-2-5-Les machines à vecteurs de support .................................................................................. 10
IV-2-6-Le raisonnement à partir de cas ......................................................................................... 10
IV-2-7-Les réseaux bayésiens ....................................................................................................... 11
IV-2-8-Les systèmes multi agents et l’apprentissage par renforcement ........................................ 11
IV-2-9-Renforcement Learning ..................................................................................................... 12
IV-2-10-Accès au spectre en utilisant la Théorie des jeux ................................................................ 12
IV-2-11-Accès au spectre en utilisant les Enchères .......................................................................... 13
V-Les techniques de gestion des interférences. ................................................................................. 13
V-1-eICIC ...................................................................................................................................... 14
V-2-Coordinated Multi-Point (CoMP) .......................................................................................... 14
Introduction
Le spectre est une ressource rare ; il faut donc s’assurer que les choix d’affectation fassent en
sorte qu’il soit utilisé de la meilleure manière possible. Ce sujet se pose avec de plus en plus
d’acuité alors que les demandes d’accès au spectre pour de nouveaux besoins ne cessent de
croitre. La rapidité d’évolution des technologies sans fil entraine une forte demande en termes
de ressources spectrales.
Pour résoudre ce problème il faut une bonne gestion du spectre et donc une utilisation plus
efficace et une exploitation opportuniste de celui-ci. En effet, il existe des bandes inutilisables
desquelles il est possible de profiter pour augmenter le nombre d’utilisateurs et pour mieux
répartir les ressources disponibles.
Si le partage de fréquences est déjà une réalité, l’approche des régulateurs se polarise souvent
sur deux modèles : l’attribution de bandes de fréquences pour des usages exclusifs ou
l’identification de bandes dites « libres ». Or, ces deux approches ont leurs limites. Les coûts
d’accès à un spectre « dédié » sont généralement élevés. Quant aux bandes libres, elles peinent
à être des solutions pour des usages nécessitant un minimum de garanties contre les brouillages
et rendent plus difficile l’évolutivité de la gestion du spectre.
Il est nécessaire donc de trouver d’autres méthodes permettant une meilleure gestion du spectre
radio fréquence.

I- Les mécanismes traditionnels d’accès au spectre

I-1-Autorisation dite « exclusive »
Dans ce modèle, le titulaire d’une autorisation dispose, dans le respect du droit applicable, de
droits privatifs sur une bande de fréquences dans une zone géographique donnée pour une durée
usuellement longue (plusieurs années). Ainsi, même s’il doit se coordonner avec ses voisins
(services en bandes adjacentes ou aux bordures géographiques de son autorisation),
l’autorisation lui donne une garantie sur le périmètre de son autorisation contre les brouillages
préjudiciables. Cela permet notamment au titulaire d’assurer une certaine qualité de service à
ses transmissions.
C’est le modèle traditionnel des attributions des bandes de fréquences mobiles aux opérateurs
(généralement via des procédures de sélection puisque la demande est supérieure au spectre
disponible) car il permet de donner des garanties et de la visibilité pour des réseaux demandant
des investissements importants et à long terme. C’est aussi le modèle utilisé aujourd’hui pour
la TNT, les faisceaux hertziens (liaisons point à point), les réseaux mobiles professionnels, etc.
I-2-Autorisation générale
Le spectre sous autorisation générale désigne les bandes du spectre électromagnétique exemptes
d’autorisation individuelle et dont les conditions techniques d’utilisation sont définies par le
régulateur. Ainsi l’accès à ces bandes du spectre ne requiert pas de demande administrative, les
utilisateurs de ces bandes restent cependant soumis aux conditions d’utilisation fixées par le
régulateur. Ces contraintes techniques ont pour objectif de faciliter la coexistence des
utilisateurs, elles fixent notamment des limites de puissance. La contrepartie de la simplicité
d’usage de ces bandes est l’absence de garantie contre le risque de brouillage. La présence de
spectre sous autorisation générale et son succès avec le Wi-Fi a démontré que du spectre sans
contrôle d’admission, sans garantie de non interférence peut avoir un impact social, sociétal et
économique très positif en permettant l’émergence de services innovants.
I-3-Typologie de partages de fréquences
✓ Partage horizontal
De multiples déploiements dans la même zone géographique qui partagent le spectre avec la
même priorité
✓ Partage vertical
De multiples déploiements dans la même zone géographique mais entre utilisateurs de niveaux
de priorité différents

✓ Partage horizontal / vertical

Du partage vertical avec des niveaux de priorité différents avec au moins un niveau des
utilisateurs en partage horizontal

Typologie de partages de fréquences

II-Le partage dynamique du spectre

II-1-Les prémices : le mécanisme DFS (Dynamic Frequency Selection)
II-1-1-Concept
Le modèle DFS (Dynamic Frequency Selection) est un modèle de partage de spectre qui a été
développé conjointement par l’industrie Wi-Fi et les utilisateurs de radars dans la bande Wi-Fi
5 GHz.
En effet dans cette bande, les utilisateurs Wi-Fi doivent cohabiter avec les utilisateurs primaires
historiques de la bande. Ces utilisateurs historiques sont les radars météo, les radars militaires,
la surveillance maritime et la radionavigation aéronautique. Des contraintes de partage ont été
mises en place pour les protéger. Pour cela, un DFS AP (DFS Access Point – point d’accès
implémentant le mécanisme DFS) est requis. Ce point d’accès est chargé de détecter une
éventuelle présence d’un signal radar10 lorsque le Wi-Fi veut accéder initialement à un canal
de la bande et de refaire des vérifications régulières périodiques après son accès à la bande. Si
un radar est détecté, le DFS AP doit libérer le canal et ne pas y revenir avant un certain laps de
temps.
II-1-2Difficultés d’implémentation
En pratique, détecter des signaux radar est difficile, à cause de la variété des signatures de
signaux radar et de la nature des pulsations courtes émises par les radars. Ces difficultés
conduisent à l’observation de faux positifs où un DFS AP semble identifier un signal radar alors
qu’il n’y en a pas. Ces faux positifs peuvent être dus à de l’interférence co-canal d’un DFS AP
distant agissant dans le même canal ou encore à des conditions transitoires dues à une haute
densité d’utilisateurs dans la bande.
II-2-Le TV White Space : une potentielle réserve de basses fréquences
La bande radio UHF (470 – 698 MHz, canaux 21 à 69 – canaux de 8 MHz) utilisée pour la
diffusion TV présente des propriétés de propagation très intéressantes : elles permettent de
couvrir de larges zones et l’intérieur des bâtiments avec un faible nombre de sites.
II-2-1-Concept
Le modèle théorique du TV White Space (TVWS) repose sur l’utilisation de l’une ou des deux
méthodes de détection d’utilisation du spectre suivantes afin de prévenir toute interférence avec
la diffusion TV : la géolocalisation et le spectrum sensing (détection d’utilisation du spectre).
Les informations concernant cette détection d’utilisation du spectre sont consignées dans une
base de données et consultables par tout équipement souhaitant accéder au spectre. Ainsi :
✓ Les utilisateurs primaires (équipements TV broadcast et équipements PMSE11 autorisés
à utiliser les canaux inoccupés par la diffusion TV) s’enregistrent dans la base de
données en fournissant leurs caractéristiques en matière d’émission ;
✓ Les utilisateurs secondaires souhaitant accéder au spectre envoient une requête à la base
de données. Leur requête comprend leur propre information de localisation ainsi que les
paramètres du transmetteur de l’équipement ;
✓ Une zone de protection de l’utilisateur primaire est calculée et enregistrée dans la base.
Les modèles de propagation prennent en compte les paramètres de l’utilisateur primaire
pour leurs calculs. L’utilisateur souhaitant accéder au spectre reçoit la liste des canaux
disponibles localement et des conditions techniques associées, telles que la puissance
maximum permise pour chaque canal.
Le modèle permet ainsi une utilisation opportuniste et dynamique tout en protégeant les
utilisateurs historiques primaires de la bande.

II-3-Le LSA (Licensed Shared Access) : un modèle de partage dynamique pensé pour les
opérateurs mobiles

Dans le modèle de partage de spectre LSA, les ressources spectrales vacantes peuvent être
allouées à des utilisateurs qui souhaitent accéder au spectre, ces utilisateurs sont appelés des
licenciés LSA. Ainsi, le LSA implémente un partage de spectre entre deux ensembles
d’utilisateurs : un premier ensemble constitué des utilisateurs historiques ou primaires de la
bande et un deuxième destiné aux licenciés LSA.
L’architecture du modèle se fonde sur les deux éléments principaux suivants :
✓ Le LSA Repository : ce répertoire contient les informations sur l’utilisation du spectre
par les utilisateurs historiques primaires (informations en espace, fréquences et temps).
Il désigne également l’arbitre du modèle, implémentant les conditions techniques du
mécanisme de partage. Il contient les détails des contrats passés entre le régulateur, les
utilisateurs primaires historiques de la bande et les utilisateurs secondaires ayant obtenu
 des autorisations. En fonction de tous ces paramètres, le LSA Repository détermine,
grâce à un algorithme prédéfini, le spectre disponible.
✓ Le LSA Controller : il a pour rôle de gérer l’accès au spectre par l’utilisateur secondaire.
Cet élément détient les informations de déploiements réels et donc la topologie du
réseau de ce dernier. Il s’assure que le réseau de l’utilisateur secondaire respecte les
règles définies par le LSA Repository. Celui-ci est localisé dans l’infrastructure de
l’utilisateur secondaire.
En pratique pour fonctionner, le modèle LSA a besoin d’avoir des informations sur les
déploiements réels des réseaux dont l’accès au spectre va être géré.

III-Définition des paramètres

III-1-Gestion spectrale
Les bandes spectrales inutilisables ont des caractéristiques différentes les unes des autres. Ces
caractéristiques sont la fréquence d'opération de la bande spectrale, le débit et le temps. Toutes
ces informations changent au cours du temps vu la nature dynamique de l'environnement radio.
Les nouvelles fonctions qui sont présentées par Akyildiz et al sont requises pour gérer les
ressources spectrales dans les RRC (Réseaux de Radio Cognitive). Ces fonctions sont la
détection spectrale, l'analyse spectrale et la décision spectrale.

III-2-Détection spectrale
Détecter le spectre non utilisé et le partager sans interférence avec d'autres utilisateurs. La
détection des utilisateurs primaires est la façon la plus efficace pour détecter les espaces blancs
du spectre. L'un des objectifs de la détection du spectre, en particulier pour la détection des
interférences, est d'obtenir le statut du spectre (libre /occupé), de sorte que le spectre peut être
consulté par un utilisateur secondaire en vertu de la contrainte d'interférence. Le défi réside
dans le fait de mesurer l'interférence au niveau du récepteur primaire causé par les transmissions
d'utilisateurs secondaires.

III-3-Analyse spectrale
Elle permet de caractériser les différentes bandes spectrales en termes de fréquence d'opération,
de débit, de temps et de l'activité du PU (Utilisateur Primaire). Cette caractérisation sert à
répondre aux exigences de l'URC (Utilisateur à Radio Cognitive).
Des paramètres supplémentaires viennent compléter cette caractérisation, à savoir, le niveau
d'interférence, le taux d'erreur du canal, les évanouissements, le délai et le temps d'occupation
de la bande spectrale par un URC

III-4-Accès dynamique au spectre

Le principe de l'accès dynamique au spectre est d'arriver à une utilisation plus efficace, des
fréquences. L'existence de fréquences non utilisées dans quelques bandes – des "white spaces"
ou "spectrum holes" a justement été signalée à plusieurs reprises. En effet, l'utilisateur primaire
n'utilise pas toujours et partout les fréquences qui lui ont été assignées. Le DSA (Dynamic
Spectrum Access) permet ici l'implication d'un utilisateur secondaire en mesurant l'occupation
du spectre (Spectrum sensing) ou en interrogeant une base de données sur internet, celui-ci peut
déterminer si des fréquences sont disponibles à un endroit donné pour une utilisation secondaire
Donc, deux principaux types d’acteurs dans un réseau à radio cognitive sont distingués :
Des utilisateurs secondaires et des utilisateurs primaires.
✓ Utilisateur Secondaire (Secondary User ou SU) : c’est l’utilisateur à radio cognitive qui
ne possède pas de licence et souhaite utiliser les parties libres du spectre.
✓ Utilisateur Primaire (Primary User ou PU) : c’est l’utilisateur qui possède une licence
pour opérer dans une bande de fréquence bien spécifique. Il est donc prioritaire pour
l’utilisation de cette bande de spectre.
✓ Les SU peuvent accéder aux bandes de spectre inoccupées durant l’absence des PU et
libèrent le canal dès qu’un PU veut y accéder mais peuvent également continuer à
utiliser ces bandes sous réserve d’obtention de l’accord du PU.

Exemple d’accès dynamique au spectre

III-5-Radio cognitive
III-5-1-Définition
La Radio cognitive est une forme de communication sans fil dans laquelle un
émetteur/récepteur est capable de détecter intelligemment les canaux de communication qui
sont en cours d’utilisation et ceux qui ne le sont pas, et peut se déplacer vers les canaux
inutilisables. Ceci permet d’optimiser l’utilisation des fréquences radio disponibles du spectre
tout en minimisant les interférences avec d’autres utilisateurs
III-5-2-cycle cognitif dans une radio flexible
Une radio cognitive est un système radio reconfigurable se comportant de manière intelligente
et autonome suite à l’introduction d’un cycle cognitif lui permettant d’analyser son contexte et
d’agir en conséquence.
De nombreuses variantes ont été proposées mais nous pouvons toutes les ramener au cycle
générique présenté sur la figure suivante. Ce cycle fait intervenir trois capacités essentielles à
tout agent autonome :
✓ La capacité d’observer : La radio dispose de capteurs pour récupérer des informations
sur son contexte opérationnel.
✓ La capacité d’agir : La radio influe sur son environnement au travers de ses actionneurs.
Le signal émis occupe des ressources spectrales et les traitements appliqués
 consomment des ressources énergétiques. La radio peut se reconfigurer et ainsi moduler
cette influence en fonction de la situation et des objectifs de QoS.
✓ La capacité de réfléchir : La radio exploite les informations récupérées pour identifier
la configuration la plus adaptée et apprendre de ses expériences.

Cycle cognitif générique

III-6- Les métaheuristiques

Les méthodes de résolution exactes consistent généralement à énumérer, souvent de manière
implicite l’ensemble des solutions tel que son avantage est la certitude d’obtenir une solution
optimale, mais le temps d’exécution est prohibitif. Ce pendant on peut trouver des solutions de
bonne qualité sans garantie d’optimalité mais le temps de calcul est plus réduit. Pour cela on
applique les métaheuristiques
III-6-1-Définition
Les métaheuristiques constituent un ensemble de méthodes utilisées en intelligence artificielle
et en recherche opérationnelle pour résoudre des problèmes d’optimisation difficiles. L’objectif
des métaheuristiques est d’explorer l’espace de recherche efficacement afin de déterminer des
solutions (presque) optimales.
Les techniques des algorithmes de ce type vont de la simple procédure de recherche locale à
des processus d’apprentissage complexes. Les métaheuristiques sont en général non-
déterministes et ne donnent aucune garantie d’optimalité.

IV-Comment mieux gérer le spectre radio ?

Il est important de mieux connaître l’environnement où la radio cognitive évolue. Pour cela, on
peut réaliser une détection de spectre. Elle consiste à mesurer les niveaux d’énergie présents
dans le canal de propagation dans le but de déterminer si un utilisateur émet sur le canal. Cette
étape permet de déterminer les espaces blancs du spectre, c’est-à-dire les canaux non utilisés
par des utilisateurs principaux. Cette détection de spectre permet également d’estimer la qualité
du spectre. L’objectif final est de permettre aux utilisateurs secondaires d’utiliser les bandes de
fréquence temporairement libres.
Cependant, déterminer si un utilisateur est présent dans le canal n’est pas aussi simple et il est
nécessaire de mettre au point un modèle de décision. Il est possible d’utiliser des algorithmes
d’apprentissage de l’intelligence artificielle afin de réaliser une bonne analyse du spectre.
IV-1-Radio intelligente
Les radios intelligentes sont des radios cognitives qui font de l'auto-apprentissage (souvent liée
à la notion de "machine Learning"). L’utilisateur de ce type de radio a la possibilité de prendre
des décisions fondées sur l'expérience.

IV-2-Les algorithmes de data science utilisée dans le RRC

IV-2-1-L’algorithme de colonie d’abeilles
Principe de fonctionnement
L’algorithme des colonies d’abeilles artificielles a été développé en 2005 par karaboga pour
l’optimisation des fonctions numériques. Les travaux suivants se sont intéressés à l’application
des algorithmes de colonie d’abeilles dans les RRC.
Application aux RRC
Dans l’application de cet l’algorithme, la caractéristique de disponibilité du spectre est observée
sur la base des missions des abeilles, afin de minimiser le délai du handover spectral et de
maximiser la probabilité de trouver un canal inactif. L’avantage principal de cet algorithme est
que le délai du handover spectral des SU est considérablement réduit pour un nombre différent
d’utilisateurs sans réduire la probabilité de trouver un canal disponible.

IV-2-2-Les algorithmes génériques

Principe de fonctionnement
Le principe des algorithmes génériques a été introduit par John Holland de l’université du
Michigan aux USA dans les années 1960. Dans ce algorithmes une population est constituée
d’un ensemble d’individus, dont chacun est identifié par un ensemble de gènes appelés
« chromosomes ». La reproduction est réalisée en recombinant les chromosomes de deux
individus primaires, donnant ainsi naissance à des individus enfants ayant une empreinte
génétique hérité des parents. Cependant, le code génétique des enfants peut contenir des gènes
inexistants chez les parents, modélisant ainsi le phénomène génétique de la mutation.
Application de cet l’algorithme aux RRC
L’utilisation de cette approche dans les RRC offre un moyen efficace d’accéder au spectre
disponible pour les utilisateurs primaires et secondaires.

IV-2-3-L’algorithme de recherche gravitationnelle

Principe de fonctionnement
En 2009 rashedi et al ont développé l’algorithme de recherche gravitationnelle qui est une
métaheuristique d’optimisation inspirée de la nature. GSA est basé sur la loi de gravité de
newton, qui décrit la gravitation comme une attraction entre des corps ayant une masse. Les
masses des objets(solutions) sont proportionnelles à leurs valeurs de fonctions objectifs(coûts).
A chaque itération, les masses s’attirent entre elles, par les forces de gravitation. La masse la
plus lourde a la force d’attraction la plus grande. Par conséquent, les masses les plus lourdes,
qui sont probablement prés de l’optimum global, attirent les autres masses selon leurs distances.
Chaque objet est déterminé par quatre spécifications : position ; inertie ; masse gravitationnelle
active et masse gravitationnelle passive.
Application de cet l’algorithme aux RRC
Avec cet algorithme un nouvel environnement de RC est proposé, permettant à plusieurs
utilisateurs d’accéder au spectre alors que leurs canaux subissent une atténuation de type
Nakagami-m. les facteurs de transmission appartenant à plusieurs utilisateurs et reposant sur la
norme IEEE 802.22 WRAN sont optimisés pour atteindre plusieurs objectifs liés à la QoS.

IV-2-4-La logique floue

Principe de fonctionnement
Elle est créée en 1965 par Lotfi Zadeh en se basant sur sa théorie mathématique des ensembles
flous qui représente une extension de la logique booléenne. La logique floue rend possible la
prise en compte des imprécisions et des incertitudes, car elle confère une flexibilité très
appréciable aux raisonnements qui l’utilisent.
Application de cet l’algorithme aux RRC
Avec ce principe une nouvelle méthode de prise de décision basée sur la logique floue pour la
sélection de relais à été proposé, contrairement à de nombreux travaux existants dans lesquels
le rapport signal sur bruit est considéré comme le seul paramètre de sélection de relais. Avec
les techniques d’apprentissage automatique, les auteurs ont mené une vaste étude de simulation.
Les résultats de la simulation révèlent l’impact de différents paramètres sur la sélection du
meilleur relais.

IV-2-5-Les machines à vecteurs de support

Principe de fonctionnement
Les machines à vecteurs de support sont une approche d’apprentissage automatique qui utilise
un classifieur linéaire non probabiliste pour classer les données en deux catégories.
Application de cet algorithme aux RRC
✓ Quatre techniques d’apprentissage automatique supervisées, deux provenant des
réseaux de neurones et deux provenant des machines à vecteurs de support, ont été
utilisées pour étudier la prédiction de l’activité du PU. Les résultats mettent en évidence
l’analyse des techniques d’apprentissage en fonction de diverses statistiques de trafic et
suggèrent le meilleur modèle d’apprentissage permettant la prédiction avec précision de
l’activité de l’utilisateur primaire.

✓ L’algorithme de classification K-means, la machines à vecteurs de support et le vecteur

de probabilité ont été étudié. Considérant un RRC avec un utilisateur primaire et N
utilisateur secondaire, le vecteur de probabilité proposé pourrait réduire la dimension
du vecteur d’Energie existant de N dimension à deux dimensions, entraînant une
précision de détection égale sinon meilleure, une durée d’apprentissage plus courte et
un temps de classification plus court.

IV-2-6-Le raisonnement à partir de cas

Principe de fonctionnement
Le raisonnement à partir de cas CBR pour case-Based reasoning est un paradigme de résolution
de problèmes fondé sur la réutilisation d’expériences passées pour résoudre de nouveaux
problèmes. CBR construit une base de données d’informations sur les situations passées, les
problèmes, leurs solutions et leurs avantages. Les nouveaux problèmes sont ensuite résolus en
trouvant le cas le plus similaire en mémoire et en déduisant la solution de la situation actuelle.
Application de cet algorithme aux RRC
Une méthode Q-Learning à partir de cas pour l’accès dynamique au spectre améliorant et
stabilisant les performances des systèmes cellulaire cognitifs dotés de topologies dynamiques à
été proposée. L’approche proposée est la combinaison d’un Q-Learning distribué classique et
d’une nouvelle implémentation de l’algorithme du raisonnement à partir de cas visant à faciliter
un certain nombre de processus d’apprentissage exécutés en parallèle. Les simulations montrent
que l’approche Q-Learning proposé à partir de cas permet une amélioration constante de la
qualité de service dans des conditions de topologie dynamique.

IV-2-7-Les réseaux bayésiens

Principe de fonctionnement
Les réseaux bayésiens sont des modèles probabilistes graphiques qui s’appuient sur
l’interaction entre les différents nœuds pour obtenir un apprentissage pour et à partir de chaque
nœud impliqué dans le processus. Les réseaux bayésiens jouent un rôle dans le processus de
prise de décision s’ils sont associés à d’autre outils afin de former des diagrammes d’influence.
Application de cet algorithme aux RRC
Le modèle bayésien permet d’ajouter qualitativement et quantitativement des paramètres qui
ont un effet sur la probabilité des pannes et le SINR dans un RRC. Un autre cas d’application
consiste à modéliser le RRC par un graphe dans lequel chaque nœud représente un utilisateur
secondaire et chaque arête représente le lien de communication entre les deux nœuds
correspondants.
Il existe aussi l’approche bayésienne non paramétrique pour le clustering des sous-canaux
dans les RRC basés sur l’OFDMA. Cette approche exploite les fonctionnalités de trafic de
chaque sous-canal pour obtenir des statistiques sur sa période d’inactivité/occupé. Sur la base
de l’Energie récoltée, le SU détermine le seuil de détection d’Energie de sorte qu’il puisse
maximiser son taux d’utilisation de spectre tout en minimisant les interférences avec le PU.

IV-2-8-Les systèmes multi agents et l’apprentissage par renforcement

Principe de fonctionnement
Jacques Ferber a présenté les systèmes multi agents en tant qu’entité intelligente consciente de
son environnement, capable d’agir avec habileté et de communiquer de façon autonome. Ils
contiennent l’environnement, les objets, les agents et les différentes relations entre ces entités.
Avec les SMA, les utilisateurs peuvent interagir, négocier et coopérer pour assurer une
communication plus efficace entre les entités du réseau.
Application de cet algorithme aux RRC
Leur utilisation dans les RRC permettra aux utilisateurs de gérer leur propre spectre de manière
dynamique et décentralisée. Les agents percevront leur environnement et réagiront en
conséquence. L’association des SMA avec la RC permet une meilleure exploitation du spectre
non utilisé et une gestion optimale des ressources radio, tout en réduisant les risques
d’interférences.
IV-2-9-Renforcement Learning
De l’autre côté, l’apprentissage par renforcement est un domaine de l’apprentissage
automatique permettant de résoudre des problèmes de décisions séquentielles dans l’incertain.
Il joue un rôle essentiel avec les SM car il permet aux agents de découvrir la situation et de
prendre des mesures à l’aide d’essais et d’erreurs, afin de maximiser la récompense cumulée.
IV-2-9-1-Le Deep Reinforcement Learning

Principe de fonctionnement
Le Deep Reinforcement Learning utilise les principes du Deep Learning et de l’apprentissage
par renforcement pour créer des algorithmes efficaces pouvant être appliqués à des domaines
tels que la robotique, la finance etc…
Application de cet ’algorithme aux RRC
✓ Le problème d’optimisation de l’accessibilité opportuniste des canaux dans les
environnements de RC ferroviaire à été étudié et le modèle proposé par les auteurs
consiste en une inférence bayésienne permettant de calculer la probabilité de réussite de
la transmission sur une station unique, ainsi qu’une collaboration en équipe visant à
optimiser les performances du réseau au sein d’un groupe de station de base.

✓ Un algorithme basé sur l’apprentissage par renforcement pour gérer le problème

d’attribution de puissance du canal de transmission et du canal de contrôle dans les RRC
a été proposé. Les résultats de simulation montrent que ce nouvel algorithme apporte
une amélioration significative en termes de compromis entre la fiabilité du canal de
contrôle et l’efficacité du canal de transmission.

✓ Un algorithme pour sélectionner un canal pour la transmission de données et pour

prédire la durée pendant laquelle il restera inoccupé afin de minimiser le temps consacré
à sa détection est proposé. Ledit algorithme apprend en deux étapes : une approche
d’apprentissage par renforcement pour la sélection des canaux et une approche
bayésienne pour déterminer la durée pendant laquelle la détection peut être ignorée.

✓ Le problème du partage de spectre dans un RRC composé d’un PU et d’un SU a été

étudié. Le PU et le SU travaillent de manière non coopérative. L’objectif des auteurs est
de développer une méthode de contrôle de puissance basée sur l’apprentissage pour le
SU, afin de partager le spectre commun avec le PU. Le Deep Learning, que le SU peut
utiliser pour ajuster intelligemment sa puissance d’émission, de telle sorte qu’après deux
cycles d’interaction avec le PU, les deux utilisateurs puissent transmettre leurs propres
donnés avec la QoS demandées.

IV-2-10-Accès au spectre en utilisant la Théorie des jeux

La Théorie des jeux peut être définie comme un cadre mathématique qui se compose de
modèles et de techniques utilisés pour analyser le comportement itératif des individus
préoccupés par leur propre bénéfice. Ces jeux sont généralement divisés en deux types : jeux
coopératifs et jeux compétitifs.
✓ Jeux coopératifs : tous les joueurs sont préoccupés par tous les gains globaux et ils ne
sont pas très inquiets de leur gain personnel. Certains travaux récents utilisent la
théorie des jeux coopératifs pour réduire la puissance de transmission des utilisateurs
secondaires afin d’éviter de générer des interférences avec les transmissions des
utilisateurs primaires.
✓ Jeux compétitifs : chaque utilisateur est principalement préoccupé par son gain
personnel et donc toutes ses décisions sont prises de manière compétitive et égoïste.
Dans la littérature existante, nous avons constaté que les concepts théoriques du jeu
ont été largement utilisés pour des attributions de fréquences dans les réseaux, où
lorsque les utilisateurs primaires et secondaires participent à un jeu, ils ont un
comportement rationnel pour choisir les stratégies qui maximisent leurs propres gains.
La propriété la plus connue des approches de la théorie des jeux est appelée équilibre de Nash
(EN). Dans l’EN, chaque joueur est supposé connaitre les stratégies d’équilibre des autres
joueurs, et aucun joueur n’a rien à gagner en changeant sa propre stratégie.

IV-2-11-Accès au spectre en utilisant les Enchères

Les enchères sont basées sur le concept de vente et d’achat des biens ou de services. Le but
principal de l’utilisation des enchères dans les réseaux RC est de fournir une motivation aux
utilisateurs secondaires pour maximiser leur utilisation du spectre. Afin d’utiliser pleinement
le spectre, l’allocation dynamique du spectre utilisant les enchères est devenue une approche
prometteuse qui permet aux utilisateurs secondaires de louer des bandes inutilisées par les
utilisateurs primaires.
Dans les solutions basées sur les enchères, chaque canal est assigné à un seul réseau, c’est à
dire qu’il n’y a pas la notion de SU et de PU dans le même canal. Dans la littérature, deux
possibilités s’offrent :
✓ Soit le régulateur alloue les canaux aux utilisateurs primaires, ces derniers allouent
indépendamment les portions inutilisées de leur canal aux.
✓ Soit le régulateur alloue le droit d’être SU ou PU dans le canal. Une plateforme pour
l’allocation du spectre dans la RC est proposée utilisant les enchères où le régulateur
peut allouer simultanément les droits d’être PU ou SU dans le canal.
Une autre façon d’utiliser les ventes aux enchères est proposée où les auteurs ont prouvé que
dans certains scénarios le spectre est utilisé efficacement lorsque plusieurs SU gagnent l’accès
à un seul canal, c’est ce qui distingue leur méthode avec les enchères traditionnelles où un
seul utilisateur peut gagner

V-Les techniques de gestion des interférences.

Les fournisseurs de service ont dépensé des milliards de dollars pour acquérir des spectres RF
afin d’accroitre la capacité de leurs réseaux et d’offrir à leur clientèle une qualité de service
exceptionnelle. Malheureusement, les interférences réduisent les zones de couverture en
désensibilisant le récepteur et en augmentant le seuil de bruit.
Les interférences peuvent causer des pertes d’appels, une réduction de l’autonomie des
batteries, une dégradation de la qualité de la voix et une réduction du débit de transmission de
données.
V-1-eICIC
eICIC : ‘Enhanced Inter-Cell Interference Coordination (eICIC)’ eICIC est une technologie
qui a pour objectif de coordonner les signaux émis par les différentes stations de bases vers
les mobiles, afin de diminuer au maximum les interférences.
L’eICIC est une technique destinée à améliorer la robustesse des communications dans les
cellules en minimisant les interférences. Ce contrôle des eNB et HeNB peut aussi être utilisé
avec efficacité pour ajuster la couverture des stations de base, pour délester le trafic sur
d’autres eNB. Cette solution est donc une activité du SON (Self Optimizing Network). C’est
notamment l’approche choisi par le LIAS pour l’ordonnancement en collaboration avec
XLIM-SIC pour la connaissance du canal.
L’équilibrage de charge.
V-2-Coordinated Multi-Point (CoMP)
Le CoMP est une technologie qui réduit voir annule l’interférence entre station de base et
améliore les communications en bord de cellule en augmentant la puissance du signal.
Les techniques CoMP peuvent transformer efficacement des interférences intercellulaires
autrement nuisibles en signaux utiles, permettant d'exploiter un gain de puissance significatif,
un avantage de rang de canal et/ou des gains de diversité. CoMP nécessite un réseau de
transport à grande vitesse pour permettre l'échange d'informations (par exemple, des données,
des informations de contrôle et CSI) entre les BS. Ceci est généralement réalisé via un
fronthaul en fibre optique. CoMP a été introduit dans les normes 4G.