12/5/2023

Cours RNA et Deep Learning

Les bases de l’IA Générative

A.G.Blaiech 1

Les Bases de l’IA Générative

2023/2024 2

1
 12/5/2023

Les Bases de l’IA Générative

2023/2024 3

Les Bases de l’IA Générative

Définition
IA Générative est capable de générer:

• Similaire aux données d'apprentissage

• Un certain degré de de nouveauté

• IA Générative se base essentiellement soit sur les modèles suivants :

 Les réseaux Antagonistes Génératifs (GAN)
2023/2024 4
 Les transformateurs génératifs pré-entraînés (GPT)

2
 12/5/2023

Les Bases de l’IA Générative

Apprentissage Auto-supervisé

Première vague : Deep learning

Transfert learning

2023/2024 6

3
 12/5/2023

Deuxième vague : GANs

Définition
• Créer par Ian Goodfellow en 2015
• Affronter deux réseaux de neurones :
 un réseau générateur qui crée de nouveaux échantillons de
données
 un réseau discriminateur qui évalue si les échantillons sont
réels ou faux.

• Apprentissage concurrentiel de deux réseaux: Générateur produit des

échantillons de meilleure qualité et plus réalistes, tandis que le réseau
discriminateur cherche à identifier avec précision les faux échantillons.

2023/2024 7

Deuxième vague : GANs

Processus

2023/2024 8

4
 12/5/2023

Deuxième vague : GANs

Applications

2023/2024 9

Deuxième vague : GANs

Application

2023/2024 10

5
 12/5/2023

Deuxième vague : GANs

Application

2023/2024 11

Deuxième vague : GANs

Application

2023/2024 12

6
 12/5/2023

Troisième vague : Attention + Transformers

Mécanisme de Attention
• Le modèle Attention Seq2Seq utilisent l'architecture encodeur-décodeur
pour résoudre un problème, qu'il s'agisse de traduire une phrase ou
d'identifier les éléments d'une image.

• Chaque élément d'une séquence d'entrée est transformé en un état caché

dans un encodeur pour être introduit dans l'élément suivant.

• Chaque élément de la séquence de sortie du décodeur a accès à toute la

séquence d'entrée pour sélectionner les éléments appropriés de la sortie.

 Résoudre le problème des longues

séquences d'entrée et les images
avec plus d'un élément
2023/2024 13

Troisième vague : Attention + Transformers

Transformers
• Développés par Google Brain en 2017

• Les modèles de transformers ont la

particularité de raisonner sur un modèle
d’Attention.

• Les Blocks d'attention aide à choisir les

informations les plus importantes pour
répondre à chaque question.

• Ces blocks sont normalisés et passés dans

une couche entièrement connectée.
2023/2024 14

7
 12/5/2023

Quatrième vague : GPT 3 et 4

GPT
• Créé par OpenAI

• ChatGPT est capable de générer des réponses à des questions, de

compléter des phrases, de traduire des textes, d'écrire des articles et
de tenir des conversations avec des humains.

• Le premier modèle de langage généralisé en NLP qui peut être utilisé

pour diverses tâches à partir des complexes prompts

• Ajout de plus en plus de paramètres et en associant divers modes

d’apprentissage

2023/2024 15

Quatrième vague : GPT 3 et 4

GPT
• Generative: Générer de nouvelles données similaires à ceux de
l'ensemble de données d'origine.

• Pre-trained: Modèles pré-trainés à l'aide d'un grand ensemble de

données. Ils utilisent de grands modèles de langage LLM ( Large
Language Model)

• Transformer: Se base sur le modèle Transformer avec Attention

pour gérer des données séquentielles avec compréhension des
connexions logiques au sein des données.
• Plusieurs modes d’apprentissage: Auto-supervisé, Supervisé, par
renforcement.

2023/2024 16

8
 12/5/2023

Quatrième vague : GPT 3 et 4

GPT
• Apprentissage auto-supervisé
 Utilisé sur texte avec les Transformers.
 Moins de supervision sur plus de 500 milliards de données
textuelles non-étiquetées publié sur internet.
 Compléter le prochain mot d’une phrase ou de compléter un mot
manquant dans une phrase.
• Apprentissage supervisé
 Intégrer en 2022 InstructGPT qui est un modèle GPT entraîné sur
des conversations en mode supervisé.
 Fournir un certain nombre de questions au modèle ainsi qu’un
certain nombre de réponses attendues.
 Répondre correctement à la question posée « prompt »
2023/2024 17

Quatrième vague : GPT 3 et 4

GPT
• Apprentissage d'un modèle de récompense (Reward Model)
 Le modèle de récompense est un réseau de neurones de régression qui
est entraîné par des vrais formateurs humains pour estimer la qualité
d'une réponse ChatGPT.
 Ce modèle est entraîné sur un ensemble de données annotées contenant
des requêtes avec de multiples réponses classées par des humains.
 Générer des classements des réponses.
• Apprentissage par renforcement
 Raffiner le modèle par le modèle RLHF (Reinforcement Learning
from Human Feedback).

 Favoriser « la forme » et permettre à l’IA de répondre de

manière plus user-friendly.
2023/2024 18

9
 12/5/2023

Produits basés sur l’IA générative

Générateur de données Générateur de texte Générateur de d’images

Générateur de slides Générateur de formules Transcription des audios en texte

2023/2024 Transformation textes en dessins 19

Nouveau métier
• Data scientist
• Data analyst
• Data engineer
• ML engineer
• Prompt Engineers (Salaire > 335 K dollars / ans)
 Optimiser les résultats produits par les IA génératives
 Fixer clairement le but ou l’objectif qu’il souhaite que le modèle de
langage atteigne (complétion de texte, traduction, synthèse…)
 Créer des prompts efficaces précis et complets (Avoir les bonnes
questions) afin de diriger le comportement et la production des modèles
IA et de générer à la fin aux utilisateurs d’obtenir exactement les résultats
souhaités.
 Pas forcément un expert technique. Ce métier requiert avant tout des
compétences universelles (communication, expertise métier, maîtrise de
2023/2024 20
la langue, l’esprit critique et la créativité)

10
 12/5/2023

IA Générative

Nombre de paramètres et le nombre de Tockens

est très élevé d’une version à une autre

Pas de copyright à une image de paysage générée

par ordinateur

2023/2024 21

Passer de consommateur à
créateur de l’IA

2023/2024 22

11
 12/5/2023

IA Générative: Cas pratique

Application: Segmentation par le modèle

GAN

2023/2024 23

IA Générative: Cas pratique

Exemple d’application

2023/2024 24

12
 12/5/2023

IA Générative: Cas pratique

Générateur

2023/2024 25

IA Générative: Cas pratique

Discriminateur

2023/2024 26

13