Sujet de stage 2023-2024

Titre : Conception et développement d’un assistant intelligent à base d’un

modèle LLM
Mots clés : Deep Learning, Natural Language Processing, LLM

Lieu de stage : LAAS-CNRS, Toulouse, France

Durée : 6 mois entre Janvier et Septembre 2024

Introduction
Les modèles LLM (Large Language Model) ont permis des avancées importantes en
matière d’assistants conversationnels. L’utilisation de ces modèles comme des
intelligences artificielles généralisées constitue l’objet de beaucoup de recherches
menées par des entreprises privées ainsi que des institutions de recherche publiques.
Toutefois l’entraînement de ces modèles, leur exploitation, et leur mise à jour sont des
opérations lourdes et très gourmandes en ressources. L’adaptation de ces modèles à des
usages privés spécifiques est une solution d’avenir pour développer des assistants
personnalisés entraînés sur un ensemble réduit et privé de données, mis à jour
régulièrement et déployé pour un nombre limité d’utilisateurs. Le stage proposé s’inscrit
dans ce contexte.

Objectif
Le travail proposé dans ce stage a pour objectif de construire un assistant utilisant un
modèle LLM. Cet assistant doit dans un premier temps s’entraîner sur un corpus de
données privées : des demandes précédemment traitées, des wikis, des sites web internes
et tout autre document d’information mis à disposition des utilisateurs. Ensuite répondre
aux requêtes des utilisateurs en fonction des informations et solutions déjà connues, à
défaut créer une nouvelle demande afin de permettre à un membre expert d’intervenir.
L’assistant doit se mettre à jour régulièrement afin d’intégrer les solutions aux nouveaux
problèmes et prendre en compte les évolutions sur les services déployés.

Déroulement du stage
Le stage commencera par un état de l’art sur les modèles LLM (Large Language
Models) disponibles comme par exemple Bert, LLAMA2, GPT, Bloom… et les API qui
permettent de les interroger. Ensuite, il faudra étudier les méthodes qui permettent de ré-
entraîner un LLM sur un ensemble de données réduit afin de mieux cibler les réponses
dans le contexte visé. Enfin, le stagiaire doit mettre en œuvre un portail web qui permet
aux utilisateurs de poser leurs questions, transférer ces questions au modèle LLM
développé, donner les réponses, et ouvrir un ticket si la réponse n’est pas satisfaisante.
Le modèle doit être mis à jour régulièrement avec les nouvelles données disponibles ou
les modifications sur les données déjà existantes. La proposition d’une méthode efficace
de mise à jour du modèle est une partie importante du travail demandé.
Le stage aura lieu au sein de l’équipe IDEA du LAAS-CNRS et s’adresse à un étudiant
en dernière année d’école d’ingénieur ou en Master 2. Le candidat devrait avoir un
intérêt prononcé pour les applications du Deep Learning. Des compétences de
programmation en Python sont indispensables pour mener à bien ces travaux et des
connaissances en LLMs sont un réel plus.

Candidature
Le candidat doit transmettre sa candidature, avec une lettre de motivation, un CV, les
relevées de notes des années d’études supérieures. Une lettre de recommandation est un
plus pour la candidature.

Contact :
- Hassan HASSAN : hassan.hassan@laas.fr
Sujet de stage 2023-2024
Contact :
- Khalil DRIRA, Directeur de recherche, email : khalil@laas.fr
- Hassan HASSAN, Ingénieur de recherche, email : hassan.hassan@laas.fr
Lieu de stage : LAAS-CNRS, Toulouse, France
Durée : 6 mois entre Janvier et Septembre 2024

Titre : Améliorer les performances des algorithmes de Deep Reinforcement Learning DRL en utilisant
des méta heuristiques

Description :
Le Deep Reinforcement Learning (DRL) [2] une méthode d’optimisation efficace, regroupant plusieurs
algorithmes, et qui peut être utilisée dans des contextes variés afin d’automatiser différents processus.
Nous avons utilisé l’un de ces algorithmes le Double Deep Queue Network (DDQN) afin de résoudre
différents problèmes d’optimisation dans les systèmes IoT autonomes, comme par exemple le
taskoffloading [5] et le network slicing. Toutefois cette technique montre des limites quand l’espace des
actions devient important. L’une des solutions à ce problème est d’utiliser des méthodes heuristiques
pour réduire l’espace des actions. Ces méthodes permettent de faire un prétraitement et sélectionner un
nombre limité de possibilité avant de laisser l’agent DRL prendre une décision.
Le stagiaire doit réaliser un état de l’art sur le les méta heuristiques qui peuvent être utilisées avec les
algorithmes DRL. Développer des extensions aux algorithmes DRL[4] intégrant ces méta heuristiques
et valider les algorithmes développés à la fois dans un environnement de simulation [3] mais aussi sur
une plateforme de test (GRID 5000 [1]).
Le stage aura lieu au sein de l’équipe SARA (Services et Architectures pour Réseaux Avancés) du
LAAS-CNRS et s’adresse à un étudiant en dernière année d’école d’ingénieur ou en Master 2. Le
candidat devrait avoir un intérêt très prononcé pour les applications du Deep Learning et du DRL. Des
compétences de programmation en Python sont indispensables pour mener à bien ces travaux et la
connaissance d’OpenAI Gym[3] est un réel plus.

Candidature :
Le candidat doit transmettre sa candidature, avec une lettre de motivation, un CV, les relevées de notes
des années d’études supérieures. Une lettre de recommandation est un plus pour la candidature.
Contact : hassan.hassan@laas.fr

Références
[1] Daniel Balouek, Alexandra Carpen Amarie, Ghislain Charrier, Frédéric Desprez, Emmanuel
Jeannot, Emmanuel Jeanvoine, Adrien Lèbre, David Margery, Nicolas Niclausse, Lucas Nussbaum,
Olivier Richard, Christian Perez, Flavien Quesnel, Cyril Rohr, and Luc Sarzyniec. Adding
virtualization capabilities to the Grid'5000 testbed. In Cloud Computing and Services Science, volume
367 of Communications in Computer and Information Science, pages 3-20. Springer International
Publishing, 2013
[2] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. Second. The
MIT Press, 2018
[3] https://gym.openai.com/
[4] https://github.com/pfnet/pfrl
[5] Abdel Kader Chabi Sika Boni, Hassan Hassan, Khalil Drira, Task Offloading in Autonomous IoT
Systems using Deep Reinforcement Learning and ns3-gym, IoT '21: 11th International Conference on
the Internet of Things, Nov 2021, Saint Gallen, Switzerland
Sujet de stage 2023-2024
Contact :
- Khalil DRIRA, Directeur de Recherche, email : khalil@laas.fr
- Hassan HASSAN, Ingénieur de recherche, email : hassan.hassan@laas.fr
Lieu de stage : LAAS-CNRS, Toulouse, France
Durée : 6 mois entre Janvier et Septembre 2024

Titre : L’apprentissage profond par renforcement pour l’optimisation dans les systèmes IoT autonomes

Description :
Le déploiement des systèmes IoT à grande échelle est un défi important qui concernent plusieurs
domaines : les villes et communautés intelligentes, les systèmes de santé, l’industrie 4.0
(communication M2M), les systèmes de transport, les systèmes de gestion de l’énergie...
Avec plusieurs milliards d’objets connectés déployés [1] des méthodes intelligentes de gestion et
d’optimisation des systèmes IoT sont nécessaires. La complexité d'une solution IoT dans ce contexte est
telle que, sans une automatisation accrue, les coûts d'un déploiement à grande échelle seront difficiles à
supporter. Cette automatisation concerne l’IoT à tous les niveaux, des appareils et des passerelles
périphériques aux services d'infrastructure afin de simplifier leur gestion et de faciliter le déploiement
de grandes infrastructures. Les techniques de l’intelligence artificielles, en particulier l’apprentissage
profond par renforcement [3] ou Deep Reinforcement Learning (DRL) offrent des leviers
incontournables pour relever ces défis.
Nous souhaitons utiliser le DRL [7] comme une technique d’optimisation. Des résultats prometteurs ont
été obtenus mais des limitations ont été mises en évidence rendant l’utilisation de cette technique très
limitée dans certains contextes. Les travaux proposés dans ce stage visent à comparer les performances
du DRL face à des techniques plus classiques comme la programmation linéaire ou des heuristiques
comme les algorithmes génétiques, le recuit simulé… L’objectif étant de mettre en lumière les
conditions qui permettent une meilleure utilisation de chacune de ces techniques selon le contexte.
Plusieurs problèmes propres aux systèmes IoT autonomes seront considérés afin de comparer les
performances dont le taskoffloading et le networking slicing entre autres.
Le travail consiste en un état de l’art sur les implémentations existantes des algorithmes comme par
exemple PFRL [5] et SCIKIT-OPT [6]. Ensuite le stagiaire doit formuler les problèmes d’optimisation
à résoudre et évaluer les performances des différents algorithmes sur ces problèmes. La validation des
algorithmes développés se fera à la fois dans un environnement de simulation [4] mais aussi sur une
plateforme de test (GRID 5000 [2]) afin d’évaluer les performances dans un environnement réel.
Le stage aura lieu au sein de l’équipe SARA (Services et Architectures pour Réseaux Avancés) du
LAAS-CNRS et s’adresse à un étudiant en dernière année d’école d’ingénieur ou en Master 2. Le
candidat devrait avoir un intérêt prononcé pour les applications du Deep Learning et du DRL. Des
compétences de programmation en Python sont indispensables pour mener à bien ces travaux et des
connaissances de l’IoT et OpenAI Gym[4] sont un réel plus.

Candidature :
Le candidat doit transmettre sa candidature, avec une lettre de motivation, un CV, les relevées de notes
des années d’études supérieures. Une lettre de recommandation est un plus pour la candidature.
Contact : hassan.hassan@laas.fr

Références
[1] Wang X, Han Y, Leung VC, Niyato D, Yan X, Chen X. Convergence of edge computing and deep
learning: A comprehensive survey. IEEE Communications Surveys & Tutorials. 2020 Jan 30;22(2):869-
904
[2] Daniel Balouek, Alexandra Carpen Amarie, Ghislain Charrier, Frédéric Desprez, Emmanuel
Jeannot, Emmanuel Jeanvoine, Adrien Lèbre, David Margery, Nicolas Niclausse, Lucas Nussbaum,
Olivier Richard, Christian Perez, Flavien Quesnel, Cyril Rohr, and Luc Sarzyniec. Adding
virtualization capabilities to the Grid'5000 testbed. In Cloud Computing and Services Science, volume
367 of Communications in Computer and Information Science, pages 3-20. Springer International
Publishing, 2013
[3] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. Second. The
MIT Press, 2018
[4] https://gym.openai.com/
[5] https://github.com/pfnet/pfrl
[6] https://scikit-opt.github.io/scikit-opt
[7] Abdel Kader Chabi Sika Boni, Hassan Hassan, Khalil Drira, Task Offloading in Autonomous IoT
Systems using Deep Reinforcement Learning and ns3-gym, IoT '21: 11th International Conference on
the Internet of Things, Nov 2021, Saint Gallen, Switzerland