Sujet de stage 2023-2024

Contact :
- Hassan HASSAN, Ingénieur de recherche, email : hassan.hassan@laas.fr
Lieu de stage : LAAS-CNRS, Toulouse, France
Durée : 6 mois entre Janvier et Septembre 2024

Titre : L’apprentissage profond par renforcement pour l’optimisation dans les systèmes IoT autonomes

Description :
Le déploiement des systèmes IoT à grande échelle est un défi important qui concernent plusieurs
domaines : les villes et communautés intelligentes, les systèmes de santé, l’industrie 4.0
(communication M2M), les systèmes de transport, les systèmes de gestion de l’énergie...
Avec plusieurs milliards d’objets connectés déployés [1] des méthodes intelligentes de gestion et
d’optimisation des systèmes IoT sont nécessaires. La complexité d'une solution IoT dans ce contexte est
telle que, sans une automatisation accrue, les coûts d'un déploiement à grande échelle seront difficiles à
supporter. Cette automatisation concerne l’IoT à tous les niveaux, des appareils et des passerelles
périphériques aux services d'infrastructure afin de simplifier leur gestion et de faciliter le déploiement
de grandes infrastructures. Les techniques de l’intelligence artificielles, en particulier l’apprentissage
profond par renforcement [3] ou Deep Reinforcement Learning (DRL) offrent des leviers
incontournables pour relever ces défis.
Nous souhaitons utiliser le DRL [7] comme une technique d’optimisation. Des résultats prometteurs ont
été obtenus mais des limitations ont été mises en évidence rendant l’utilisation de cette technique très
limitée dans certains contextes. Les travaux proposés dans ce stage visent à comparer les performances
du DRL face à des techniques plus classiques comme la programmation linéaire ou des heuristiques
comme les algorithmes génétiques, le recuit simulé… L’objectif étant de mettre en lumière les
conditions qui permettent une meilleure utilisation de chacune de ces techniques selon le contexte.
Plusieurs problèmes propres aux systèmes IoT autonomes seront considérés afin de comparer les
performances dont le taskoffloading et le networking slicing entre autres.
Le travail consiste en un état de l’art sur les implémentations existantes des algorithmes comme par
exemple PFRL [5] et SCIKIT-OPT [6]. Ensuite le stagiaire doit formuler les problèmes d’optimisation
à résoudre et évaluer les performances des différents algorithmes sur ces problèmes. La validation des
algorithmes développés se fera à la fois dans un environnement de simulation [4] mais aussi sur une
plateforme de test (GRID 5000 [2]) afin d’évaluer les performances dans un environnement réel.
Le stage aura lieu au sein de l’équipe SARA (Services et Architectures pour Réseaux Avancés) du
LAAS-CNRS et s’adresse à un étudiant en dernière année d’école d’ingénieur ou en Master 2. Le
candidat devrait avoir un intérêt prononcé pour les applications du Deep Learning et du DRL. Des
compétences de programmation en Python sont indispensables pour mener à bien ces travaux et des
connaissances de l’IoT et OpenAI Gym[4] sont un réel plus.

Références
[1] Wang X, Han Y, Leung VC, Niyato D, Yan X, Chen X. Convergence of edge computing and deep
learning: A comprehensive survey. IEEE Communications Surveys & Tutorials. 2020 Jan 30;22(2):869-
904
[2] Daniel Balouek, Alexandra Carpen Amarie, Ghislain Charrier, Frédéric Desprez, Emmanuel
Jeannot, Emmanuel Jeanvoine, Adrien Lèbre, David Margery, Nicolas Niclausse, Lucas Nussbaum,
Olivier Richard, Christian Perez, Flavien Quesnel, Cyril Rohr, and Luc Sarzyniec. Adding
virtualization capabilities to the Grid'5000 testbed. In Cloud Computing and Services Science, volume
367 of Communications in Computer and Information Science, pages 3-20. Springer International
Publishing, 2013
[3] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. Second. The
MIT Press, 2018
[4] https://gym.openai.com/
[5] https://github.com/pfnet/pfrl
[6] https://scikit-opt.github.io/scikit-opt
[7] Abdel Kader Chabi Sika Boni, Hassan Hassan, Khalil Drira, Task Offloading in Autonomous IoT
Systems using Deep Reinforcement Learning and ns3-gym, IoT '21: 11th International Conference on
the Internet of Things, Nov 2021, Saint Gallen, Switzerland