Vous êtes sur la page 1sur 46

TI608- Introduction à

l’apprentissage Machine
Chapitre 1 : Généralités
Objectifs du module

1. Présenter les bases de l'apprentissage


automatique.
2. Présenter les différents types d’apprentissage
automatique.
3. Pratiquer certains algorithmes d’apprentissage
supervisé, non supervisé, et profond.

2
Références

APPRENTISSAGE ARTIFICIEL
CONCEPTS ET ALGORITHMES

Antoine Cornuéjols et Laurent Miclet


Editions Eyrolles, 2009

h"ps://www.coursera.org/learn/machine-
learning

3
Références ML Matlab
• First Course in machine learning , cliquer sur Get companion software pour
obtenir le pdf et les codes MATLAB associés.
• Autres livres sur l’IA, machine learning, deep learning ici
• Nos 5 ebooks de MathWorks et le lien vers notre page dédiée
What is Machine learning ?
Mastering machine learning with MATLAB
Machine learning with MATLAB
MATLAB for Machine Learning
Machine Learning Challenges: Choosing the Best Classification Model and Avoiding
Overfitting
deep-learning-vs-machine-learning-algorithm.html
8 Astuces pour votre projet Data Science
• Nos 2 formations en ligne (accessibles gratuitement à tous les étudiants et le
personnel de l’EFREI dans le cadre de la licence Campus MATLAB)
• Initiation: Machine learning onramp ( durée environ 2h)
• Avancé : Machine learning with MATLAB (durée 16h)
Pour se connecter, besoin juste de votre compte MathWorks associé à votre
adresse mail de l’EFREI.
• Nos MATLAB app pour le machine learning : Classification Learner App et
le deep learning Deep Network Designer App 4
Plan
1. Introduction générale
2. Apprentissage supervisé
3. Apprentissage non supervisé
4. Initiation à l’apprentissage profond (selon
l’avancement)

5
Plan

1. Motivation
2. L’apprentissage
3. Paradigmes d’apprentissage
4. Concepts clés
5. Types d’apprentissage
a. Apprentissage supervisé
b. Apprentissage non supervisé
c. Apprentissage par renforcement
6. Applications
7. Exemple introductif : Machine learning onramp

6
Motivation

Le Machine Learning envahit plus discrètement les systèmes


informatiques de toutes les entreprises. Lorsque vous
parcourez Internet ne serait-ce que quelques minutes, une
horde de systèmes d’apprentissage automatique s’activent:
• Certains analysent votre personnalité pour vous proposer
les produits qui vous correspondent le mieux,
• d’autres sélectionnent les publicités qui attireront votre
attention,
• et d’autres encore analysent votre comportement pour
s’assurer que vous n’êtes pas un fraudeur

7
Motivation

● Mais le Machine Learning n’est pas réservé aux géants


du web : qu’il s’agisse de prédire des séries
temporelles (comme les cours de la Bourse), de
détecter des anomalies de production, d’optimiser des
centres d’appel, d’analyser les profils des clients, ou
encore de classer automatiq uement des
documents, l’apprentissage automatique s’est
révélé d’une grande utilité dans une multitude de
domaines.

page 8
What’s Machine Learning ?

Définition générale :
≪ L’apprentissage automatique est la discipline donnant
aux ordinateurs la capacité d’apprendre sans qu’ils soient
explicitement programmés. ≫
Arthur Samuel, 1959
Définition technique :
« Étant donné une tâche T et une mesure de performance P,
on dit qu’un programme informatique apprend à partir
d’une expérience E si les résultats obtenus sur T, mesurés
par P, s’améliorent avec l’expérience E.»
Tom Mitchell, 1997
9
Example: Jouer aux jeux d’échecs.
• E = l’expérience de jouer plusieurs par9es
• T = tâche de jouer une par9e
• P = Probabilité que le programme gagne la par9e

10
Learning

Apprentissage automatique/artificiel :
• Donner la possibilité à l’ordinateur d’apprendre sans être
programmé.
• En fonction des données d’expérimentation que prendra
l’algorithme d’apprentissage en entrée, il déduira par lui
même une hypothèse de fonctionnement.
• Il utilisera ce@e dernière pour de nouveaux cas, et affinera
son expérience au fil du temps.
Plus concrètement
On va fournir au système un ensemble de données qui
décrivent la tâche à faire de sorte qu’il puisse apprendre et
construire un modèle de la réalité à partir de ces données.
11
L’apprentissage
Programmation traditionnelle

Data
Computer Output
Program

Apprentissage artificiel (Machine Learning)

Data
Computer Program
Output
12
L’apprentissage

Votre filtre anti-spam, par exemple, est un programme


d’apprentissage automatique qui peut apprendre à identifier les
e-mails frauduleux à partir d’exemples de courriels ou «spam»
(par exemple, ceux signalés par les utilisateurs) et de messages
normaux (parfois appelés « ham »).
● Les exemples utilisés par le système pour son apprentissage
constituent le jeu d’entraînement (en anglais, training set).
● Chacun d’eux s’appelle une observation d’entraînement (on
parle aussi d’échantillon).

13
L’apprentissage

Dans l’exemple de spam:


üla tâche T consiste à identifier parmi les nouveaux e-mails ceux
qui sont frauduleux,
ül’expérience E est constituée par les données d’entraînement,
üet la mesure de performance P doit être définie (vous pourrez
prendre par exemple le pourcentage de courriels correctement
classés). Cette mesure de performance particulière, appelée
exactitude (en anglais, accuracy), est souvent utilisée dans les
tâches de classification.

14
L’apprentissage

• L'idée est que l'algorithme construise une


"représentation interne" tout seul afin de
pouvoir effectuer la tâche qui lui est
demandée (prédiction, identification, etc).

• Pour cela, il va d'abord falloir lui entrer un jeu


de données d'exemples (training set) afin
qu'il puisse s'entraîner et s'améliorer, d'où le
mot apprentissage.
15
L’apprentissage

!
Équilibrer le jeu de données

Un exemple de jeu de données classique (appelé CIFAR-10) qui permet


d'entraîner un modèle de machine learning (karpathy.github.io)
16
L’apprentissage

• Reconnaissance de caractères

3 6 Système de
… reconnaissance
3 6 de chiffres
… …
• Comportement d’un « robot » autonome
Navigation
optimale pour
collecter la
« nourriture »
17
L’apprentissage

L’apprentissage est un domaine interdisciplinaire !


INTELLIGENCE
STATISTIQUES, ARTIFICIELLE OPTIMISATION
analyse de données

Apprentissage
Artificiel
AUTOMATIQUE,
commande, VISION
robotique
18
Paradigme d’apprentissage

Chaque paradigme doit préciser :


• Quel « modèle » ?
® types de modèle (linéaire, arbre de décision, réseau de neurones, etc.)
• Quelles « interactions avec l’environnement » ?
® apprentissage « hors-ligne » v.s. « en-ligne »
® apprentissage « supervisé » ou non, « par renforcement »
• Quelles « performances » ?
® fonction de coût, objectif, critère implicite, …
• Comment améliorer ?
® type d’algorithme pour adapter le modèle, en utilisant les données issues
de l’environnement, de façon à optimiser la fonction de coût (gradient,
heuristique, etc.)
19
Paradigme d’apprentissage

Apprentissage Offline
L’apprentissage se déroule en deux parties
distinctes :
La phase d’entraînement : l’agent apprend une tâche à partir d’une série d’exemples
La phase de test : Les performances de l’agent sont mesurées sur une nouvelle série
d’exemples
Apprentissage Online
L’apprentissage se déroule de manière continue
en tours. Durant chaque tour,
L’agent reçoit un exemple non étiqueté (ex : un champignon)
L’agent prédit sa solution (ex : je crois qu’il est comestible)
L’agent reçoit la réponse (ex : en fait, il est toxique) et mesure sa performance jusqu’à
présent. 20
Paradigme d’apprentissage

Le processus d’apprentissage offline du Machine


Learning passe en général par deux phases :
• Une phase d’apprentissage/entraînement :
pendant laquelle le système est entrainé sur
un jeu de données d’entrainement.
• Une phase d’inférence/test : pendant
laquelle le système applique ce qu’il a
appris sur de nouvelles données.

21
Paradigme d’apprentissage

Le processus d’apprentissage :
Phase 1 : Apprentissage

Analyse d’erreur /
Données Apprentissage Modèle
Mesure de
d’entrainement (algorithme) staAsAque
performance

Phase 2 : Inférence/Réalisation de tâche


IdenAficaAon
ApplicaAon du PrédicAon
Données de test modèle sur les RecommandaAon
données Décision
Etc..
22
Paradigme d’apprentissage
Exemple : Prédire le prix d’une maison en fonction de sa
superficie

L’utilisation d’un modèle linéaire du prix des maisons


• Prix= a + b*Superficie + c*NoteEmpl
• Le modèle a trois paramètres (a : le biais, b et c : les coefficients de
pondération ou poids des variables d’entrée).

• Durant la phase d’entrainement : le système doit trouver les valeurs de


ces paramètres qui minimisent l’erreur du modèle sur le jeu de données
d’entrainement.
• Durant la phase d’inférence (ou de test) et après le règlement des
paramètres : on peut utiliser le modèle pour faire des prédictions sur de
nouvelles observations (c’est-a-dire pour prédire le prix de nouvelles
maisons).
23
Concepts clés

Il se base sur trois composants essentiels :


• Les données d’apprentissage (chaque entrée dans le jeu de
données est appelée un exemple, un échantillon,
une instance ou une observation)
• La tâche à résoudre (classifier, prédire, ordonner, etc.)
• La mesure de performance (nombre d’erreurs, distance
entre valeurs, etc.)
à Un système apprend s’il améliore ses performances
pour résoudre une tâche donnée avec le nombre
d’exemples observés de ceOe tâche.

24
Concepts clés
Données d’apprentissage : (chaque entrée dans le jeu de
données est appelée un exemple, un échantillon,
une instance ou une observation). (souvent) réparties en 3
types :
• L’ensemble d’entrainement (training set) : constitue
l’ensemble des candidats ou exemples (images, textes, …)
utilisés pour générer le modèle d’apprentissage.
• L’ensemble de Test (test set) : est constitué des candidats sur
lesquels sera appliqué le modèle d’apprentissage (pour tester et
réajuster les paramètres du modèle).
• L’ensemble de validation (validation set) : peut être utilisé
lors de l’apprentissage afin de réajuster/valider les
hyperparamètres (les paramètres de l’algorithme
d’apprentissage, et non pas du modèle. On peut très bien
lancer l’algorithme d’apprentissage plusieurs fois, en essayant à
chaque fois une valeur différente pour chaque
hyperparamètre).
25
Concepts clés

Le sur-apprentissage (l’overfiGing)
Il s'interprète comme un apprentissage « par cœur » des
données.
Le modèle s’adapte trop bien au Training Set et si précisément
qu'il ne généralise pas correctement sur les nouvelles données.

• Quand un tel événement se produit, le modèle prédictif


pourra donner de très bonnes prédictions sur les données du
Training Set (les données qu’il a déjà “vues” et auxquelles il
s’y est adapté), mais il prédira mal sur des données qu’il n’a
pas encore vues lors de sa phase d’apprentissage.

26
Concepts clés
Le sous-apprentissage (L’underfi>ing)
Il sous entend que le modèle prédictif généré lors de la
phase d’apprentissage, s’adapte mal au Training Set.
Quand un tel événement se produit, le modèle prédictif
n’arrive même pas à capturer les corrélations du Training
Set. Par conséquent, le coût d’erreur en phase
d’apprentissage reste grand.

Bien évidemment, le modèle prédictif ne se généralisera


pas bien non plus sur les données qu’il n’a pas encore vu.
Finalement, le modèle ne sera viable car les erreurs de
prédictions seront grandes.
27
Concepts clés

Exemple pour le sous-apprentissage :


Le système de prédiction de prix des maisons présuppose une
hypothèse forte lors de sa modélisation et suppose que le prix de
la maison est fortement corrélé à sa superficie et ignore l’impact
de l’emplacement de la maison.

Dans ce cas de figure, la fonction de prédiction prendra en


compte que la superficie de la maison comme variable d’entrée.
Un tel modèle est assez pauvre (car il ne prend en compte que la
superficie) et ne sera pas suffisant pour prédire précisément le
prix d’une dans la vie réelle.
28
Concepts clés

Le point juste milieu


Le meilleur modèle prédictif ne doit souffrir ni
d’UnderfiOing ni d’OverfiOing et ceci en minimisant le
coût d’erreur global de la phase d’apprentissage.

Quand l’algorithme de Machine Learning apprend


depuis le Training Set, les paramètres du modèle
prédictif vont s’affiner au fil du temps. En conséquence,
le coût d’erreur sur le Training Set continuera à se
réduire. Parallèlement, le coût d’erreur des prédictions
sur les données de test (non vues par l’algorithme) se
réduira également. 29
Concepts clés
Le point juste milieu
Mais si on continue à entrainer longuement le modèle,
le coût d’erreur sur le Training Set continuera à se
réduire. MAIS celui du Test Set pourra commencer à
augmenter.

Cette augmentation signifie que le modèle prédictif s’est


trop spécialisé sur les données d’apprentissage. Le point
où commence l’augmentation du coût d’erreur dans
le Test Set est le commencement du Overfitting.
30
Concepts clés

Le coût d’erreur global du


modèle à travers le temps sur
le Training Set.

Le coût d’erreur le Test Set.

Underfi&ng Overfi&ng

Le juste milieu est le point juste avant le commencement de


l’augmentation du coût d’erreur dans le Test Set. C’est à ce
stade que le modèle sera abouti et bien généralisable 31
Concepts clés

La tâche à résoudre : des notions de base

• Classement/classification : Reconnaître des


classes à partir de leurs descripteurs.
• Régression : classement sur des valeurs
numériques.
• Classification/clustering : Regrouper des
ensembles d’exemples non supervisés en classes.

32
Concepts clés

Exemple de classement/classification
• Le filtre anti-spam apprend à identifier/détecter les e-
mails frauduleux à partir d’exemples étiquetés de
pourriels ou ≪ spam ≫ (par exemple, ceux signalés par
les utilisateurs) et de messages normaux (parfois appelés
≪ ham ≫).

33
Concepts clés
Exemple de régression :
C’est la prédiction d’une valeur.
– le prix de vente d’une maison
– Prédiction de la température
– Prédiction de la productivité d’une personne
dans une équipe
– Etc.

34
Concepts clés
Exemple de classification/clustering
• Détection de communautés dans les réseaux sociaux.
• Segmentation des clients en groupes semblables à des
fins de marketing.
• Classification des étudiants dans une école.

35
Types d’approches de Machine Learning

36
h"ps://www.groupe-hli.com/machine-learning-dans-industrie/
L’apprentissage supervisé

Il permet de construire des modèles à partir d’exemples


d’apprentissage ou d’entrainement dont on connait le
comportement ou la réponse.
à Un expert est employé pour étiqueter correctement ces
exemples.

37
L’apprentissage supervisé

Formulation :
𝑋= (𝑥1,…,𝑥𝑁) : vecteur de valeurs
N : la taille de jeux de test
U = (u1,…,u𝑁) : valeur supervisée ou réponse supervisée
S = (xi ; ui ) i:1..N : la base d’apprentissage
(xi ; ui ) : un couple / un échantillon
F: Xà U : fonction d’apprentissage

But :
Le but d’un algorithme d’apprentissage supervisé sera donc
d’approcher ce7e fonction F, uniquement à partir des exemples
d’apprentissage et en cherchant une loi de dépendance entre x et
u.
38
L’apprentissage non supervisé

L'algorithme doit découvrir par lui-même la structure


des données (Aucun expert n’est disponible).

L’idée est donc de découvrir des classes, des groupes, de


façon automatique.

Qu’est ce qu’une Classe ?


Une classe (ou groupe) est un ensemble formé par des
données homogènes : qui “se ressemblent” au sens
d’un critère de similarité (distance, densité de
probabilité, etc.).
Le clustering est un algorithme d'apprentissage non supervisé. 39
L’apprentissage non supervisé

Principe :

A partir de l’échantillon d’apprentissage S = {(xi)}1,n


non étiqueté, on cherche des régularités sous-jacente
• Sous forme d’une fonction
• Sous forme d’un modèle complexe
afin de résumer, détecter des régularités,
comprendre…

40
L’apprentissage par renforcement

L’apprentissage par renforcement est une méthode qui


permet de trouver, par un processus d’essais/erreurs, la
politique de contrôle d’un agent en cherchant à
maximiser un signal de renforcement (récompense)
provenant de l’environnement.

L’algorithme apprend un comportement étant donné


une observation.

L'action de l'algorithme sur l'environnement produit


une valeur de retour qui guide l'algorithme
d'apprentissage. 41
L’apprentissage par renforcement
Il permet à un agent en interaction avec un environnement, a
priori inconnu, d’adapter automatiquement son comportement
afin de maximiser une fonction objectif propre à cet
environnement.

Navigation optimale d’un robot


pour collecter la « nourriture »
dans un environnement inconnu

42
L’apprentissage par renforcement

À chaque instant t, l’agent perçoit un état st et émet une action


at. Suite à cela, il reçoit une conséquence de son action que l'on
nomme un retour rt, et perçoit un nouvel état st+1.

43
Applications

Des applications diverses


• Reconnaissance de la forme
• Fouille de données (Data mining)
• Robotique
• Diagnostique médical
• Finance
• E-commerce
• Moteurs de recherche
• Les jeux
• Conduite autonome
• Réseaux sociaux
• PARTOUT 44
Bilan : Processus d’apprentissage

page 45
Reconnaissance de le,res manuscrites
Handwri,en le,ers recogn4on
Faire machine Learning onramp
h"ps://matlabacademy.mathworks.com/R2020b/portal.html?course=machi
nelearning

46

Vous aimerez peut-être aussi