Sujet de stage 2023-2024

Titre : Conception et développement d’un assistant intelligent à base d’un

modèle LLM
Mots clés : Deep Learning, Natural Language Processing, LLM

Lieu de stage : LAAS-CNRS, Toulouse, France

Durée : 6 mois entre Janvier et Septembre 2024

Introduction
Les modèles LLM (Large Language Model) ont permis des avancées importantes en
matière d’assistants conversationnels. L’utilisation de ces modèles comme des
intelligences artificielles généralisées constitue l’objet de beaucoup de recherches
menées par des entreprises privées ainsi que des institutions de recherche publiques.
Toutefois l’entraînement de ces modèles, leur exploitation, et leur mise à jour sont des
opérations lourdes et très gourmandes en ressources. L’adaptation de ces modèles à des
usages privés spécifiques est une solution d’avenir pour développer des assistants
personnalisés entraînés sur un ensemble réduit et privé de données, mis à jour
régulièrement et déployé pour un nombre limité d’utilisateurs. Le stage proposé s’inscrit
dans ce contexte.

Objectif
Le travail proposé dans ce stage a pour objectif de construire un assistant utilisant un
modèle LLM. Cet assistant doit dans un premier temps s’entraîner sur un corpus de
données privées : des demandes précédemment traitées, des wikis, des sites web internes
et tout autre document d’information mis à disposition des utilisateurs. Ensuite répondre
aux requêtes des utilisateurs en fonction des informations et solutions déjà connues, à
défaut créer une nouvelle demande afin de permettre à un membre expert d’intervenir.
L’assistant doit se mettre à jour régulièrement afin d’intégrer les solutions aux nouveaux
problèmes et prendre en compte les évolutions sur les services déployés.

Déroulement du stage
Le stage commencera par un état de l’art sur les modèles LLM (Large Language
Models) disponibles comme par exemple Bert, LLAMA2, GPT, Bloom… et les API qui
permettent de les interroger. Ensuite, il faudra étudier les méthodes qui permettent de ré-
entraîner un LLM sur un ensemble de données réduit afin de mieux cibler les réponses
dans le contexte visé. Enfin, le stagiaire doit mettre en œuvre un portail web qui permet
aux utilisateurs de poser leurs questions, transférer ces questions au modèle LLM
développé, donner les réponses, et ouvrir un ticket si la réponse n’est pas satisfaisante.
Le modèle doit être mis à jour régulièrement avec les nouvelles données disponibles ou
les modifications sur les données déjà existantes. La proposition d’une méthode efficace
de mise à jour du modèle est une partie importante du travail demandé.
Le stage aura lieu au sein de l’équipe IDEA du LAAS-CNRS et s’adresse à un étudiant
en dernière année d’école d’ingénieur ou en Master 2. Le candidat devrait avoir un
intérêt prononcé pour les applications du Deep Learning. Des compétences de
programmation en Python sont indispensables pour mener à bien ces travaux et des
connaissances en LLMs sont un réel plus.

Candidature
Le candidat doit transmettre sa candidature, avec une lettre de motivation, un CV, les
relevées de notes des années d’études supérieures. Une lettre de recommandation est un
plus pour la candidature.

Contact :
- Hassan HASSAN : hassan.hassan@laas.fr