Machine Learning

3AGE1 (Automatique et conception des systèmes)

3AGE2 (Electronique et microélectronique)

Prof. Zied LACHIRI

10/11/2018 Prof Zied lachiri Machine Learning 1

 Avant propos
L’ère de l’information
Accumulation de données dans tous les domaines:
• Internet
• Biologie (génome humain, séquençage d’ADN) et Biomédical
• Physique: Large Hadron Collider, 1020 Octets /jour par senseurs
• Industrie / Environnement / Etc
Appareils d’enregistrement:
• Senseurs, portables interactions sur internet, …
Défis en informatique
Stockage, recouvrement, calcul distribué, …
3V’s: Volume, Vélocité, Variété
Donner un sens aux données : Apprentissage automatique
10/11/2018 Prof Zied lachiri Machine Learning 2
 Avant propos
Donner un sens au données
Résoudre des problèmes: Faire des prédictions, détecter des
failles, diagnostiquer et pronostiquer des défauts, etc
Quand les algorithmes peuvent-elles apprendre ?
Pourquoi les algorithmes peuvent-elles apprendre ?
Comment les algorithmes peuvent-elles apprendre ?
Comment les algorithmes peuvent-elles mieux apprendre ?
Autres termes en pratique:
Fouille de données
Reconnaissance de formes
Analyse d’affaires (valeur et rentabilité)
10/11/2018 Prof Zied lachiri Machine Learning 3
 Prérequis et resources
Prérequis
Algèbre linéaire et Dérivés partielles
Probabilité: distributions usuelles, règle de Bayes, maximum de
vraisemblance, maximum à priori
Statistiques: moyenne/médiane/mode;
Techniques d’optimisation
Resources
C. Bishop, Pattern Recognition and Machine Learning, 2007
Ethem Alpaydin, Introduction to Machine Learning", 2010.
Kevin Murphy, Machine Learning: a Probabilistic Perspective,
2012.

10/11/2018 Prof Zied lachiri Machine Learning 4

 Pourquoi prendre ce cours?
Comme porte d’entrée pour des travaux de recherche
sur l’analyse de données (data scientists)
Pour rendre plus concret des outils des mathématiques
appliquées (statistiques, algèbre linéaire, analyse, etc.)
Pour comprendre la base de l’analyse de données de
grande dimension (Big Data)
Soit pour continuer en recherche en statistiques,
traitement du signal, apprentissage, etc.
Soit pour avoir la base théorique pour poursuivre en
industrie (croissance des rôles de data scientist)
Soit par curiosité! Concepts utilisés dans plusieurs
domaines ou les données sont analysées
10/11/2018 Prof Zied lachiri Machine Learning 5
 Plan
Notion de bases
Problèmes, applications, données
Rappel sur les probabilités et les techniques
d’optimisation
Machine Learning pour le traitement du signal
Concept
Régression linéaire, régression logistique et Classification
Méthodes non paramétriques et Arbre de Décision
Classification Multiclasses et Classifieurs probabilistes
Les réseaux de Neurones
PCA / Auto-encodeurs + Les Machines à vecteurs support
Notion d’Apprentissage profond
10/11/2018 Prof Zied lachiri Machine Learning 6
 Plan
Notion de bases
Problèmes, applications, données
Rappel sur les probabilités et les techniques
d’optimisation
Machine Learning pour le traitement du signal
Concept
Régression linéaire, régression logistique et Classification
Méthodes non paramétriques et Arbre de Décision
Classification Multiclasses et Classifieurs probabilistes
Les réseaux de Neurones
PCA / Auto-encodeurs + Les Machines à vecteurs support
Notion d’Apprentissage profond
10/11/2018 Prof Zied lachiri Machine Learning 7
 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Ecrire un programme qui encode un ensemble de règles qui
sont utiles pour résoudre le problème.
Construire un robot cuisinier

10/11/2018 Prof Zied lachiri Machine Learning 8

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Ecrire un programme qui encode un ensemble de règles qui
sont utiles pour résoudre le problème.
Reconnaitre des caractères manuscrits

Par énumération de règles ? Trop fastidieux,

Par apprentissage automatique
• L’ordinateur découvre lui-même les règles.
• Fait des essais et apprend de ses erreurs

10/11/2018 Prof Zied lachiri Machine Learning 9

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Ecrire un programme qui encode un ensemble de règles qui
sont utiles pour résoudre le problème.
Reconnaitre des caractères manuscrits
On fournit a l’algorithme des données d’apprentissage

…et l’algorithme retourne un programme capable de

généraliser a de nouvelles données

10/11/2018 Prof Zied lachiri Machine Learning 10

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Etant donné une photo, déterminer s'il y a un chat
dans l'image

10/11/2018 Prof Zied lachiri Machine Learning 11

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Prédiction du prix d’un logement a partir de sa
superficie
Superficie Prix
21 110
23 240
27 190
36 280
39 350
48 340
60 360
68 440
77 390

10/11/2018 Prof Zied lachiri Machine Learning 12

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Prédiction du prix d’un logement a partir de sa
superficie
Superficie Prix
21 110
23 240
27 190
36 280
39 350
48 340
60 360
68 440
77 390
43 ?

Trouver une relation entre la superficie et le prix

10/11/2018 Prof Zied lachiri Machine Learning 13

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Prédiction du prix d’un logement a partir de sa
superficie
Superficie Prix
21 110
23 240
27 190
36 280
39 350
48 340
60 360
68 440
77 390
43 270
Relation linéaire: P  w0  Sw1

10/11/2018 Prof Zied lachiri Machine Learning 14

 Introduction à l’apprentissage automatique

Comment peut-on résoudre un problème spécifique?

Prédiction du prix d’un logement a partir de sa
superficie
Superficie Prix
21 110
23 240
27 190
36 280
39 350
48 340
60 360
68 440
77 390
43 270
Relation linéaire: P  w0  Sw1
Relation Polynomiale: P  w0  Sw1  S 2 w2
10/11/2018 Prof Zied lachiri Machine Learning 15
 Introduction à l’apprentissage automatique

Prédiction du prix d’un logement a partir de sa

superficie
Ensemble
d’apprentissage

Algorithme
d’apprentissage
( w0 , w1 )
Superficie: prix:
Classifier /
Modèle

h( P )  w0  Sw1
h : IR  IR
10/11/2018 Prof Zied lachiri Machine Learning 16
 Introduction à l’apprentissage automatique

Les systèmes d'apprentissage ne sont pas directement

programmés pour résoudre un problème. Ils développent
leurs propres programmes basés sur :
Des exemples, de la manière, dont ils devraient se comporter
De l'expérience empirique, en essayant de résoudre le
problème
La mise en œuvre d’une fonction inconnue, en ayant
seulement accès aux paires d’échantillons entrés/sorties
(Données d’apprentissage)

10/11/2018 Prof Zied lachiri Machine Learning 17

 Introduction à l’apprentissage automatique
Question centrale selon Tom Mitchell (1998)

A computer program is said to learn from experience E

with respect to some task T and some performance
measure P, if its performance on T, as measured by P,
improves with experience E.

«Comment construire des systèmes informatiques qui

s’améliorent avec l’expérience, et quelles sont les lois
fondamentales qui gouvernent tous les processus
d’apprentissage automatique? »
10/11/2018 Prof Zied lachiri Machine Learning 18
 Introduction à l’apprentissage automatique
Question centrale selon Tom Mitchell (1998)

A computer program is said to learn from experience E

with respect to some task T and some performance
measure P, if its performance on T, as measured by P,
improves with experience E.

«Comment construire des systèmes informatiques qui

s’améliorent avec l’expérience, et quelles sont les lois
fondamentales qui gouvernent tous les processus
d’apprentissage automatique? »
10/11/2018 Prof Zied lachiri Machine Learning 19
 Introduction à l’apprentissage automatique
Mélange d’informatique et de statistiques
Comment construire des machines qui résolvent des problèmes
Quels types de problèmes (intrinsèquement faisables /
infaisables) ? »
Statistiques: « Que peut-il être déduit à partir de données et un
ensemble d’hypothèses de modélisation?
Comment un ordinateur peut-il apprendre à partir de données?
Informatique + statistique / math appliquées Vs Statistiques
traditionnelles:
Analyse de données en grande dimension (modèles complexes /
structurés)
Sensibilité aussi à l’efficacité des algorithmes (aspect
computationnel)
10/11/2018 Prof Zied lachiri Machine Learning 20
 Introduction à l’apprentissage automatique
Programmation traditionnelle

‘Zèbre’
Programme
‘Tigre’
Entrée Sortie

Apprentissage Automatique
‘Tigre’ ‘Zèbre’

Programme
Programme
d’apprentissage

Données d’apprentissage Entrée Sortie Programme / Modèle choisi

10/11/2018 Prof Zied lachiri Machine Learning 21

 Les tâches qui exigent l'apprentissage automatique :
Qu’est ce qui fait un 2?

10/11/2018 Prof Zied lachiri Machine Learning 22

 Les tâches qui exigent l'apprentissage automatique :
Robot Cuisinier ?

10/11/2018 Prof Zied lachiri Machine Learning 23

 Pourquoi utiliser l'apprentissage ?
Il est très difficile d'écrire des programmes qui résolvent des
problèmes comme la reconnaissance d'un chiffre manuscrit.
Qu’est ce qui fait distinguer un 2 d’un 7?
Comment notre cerveau le fait-il?
Au lieu d'écrire un programme classique, des données sont
collectées et exploitées qui indiquent la sortie correcte pour
une entrée donnée.
Un algorithme d'apprentissage automatique prend alors ces
exemples et produit un programme qui exécute une tache
donnée.
Le programme produit par l'algorithme d'apprentissage peut être très
différent d'un programme conventionnel.
Dans le cas optimale, le programme fonctionne pour les nouveaux cas
ainsi que sur lesquels il a été bien entrainé.

10/11/2018 Prof Zied lachiri Machine Learning 24

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

10/11/2018 Prof Zied lachiri Machine Learning 25

 Exemples de classification

10/11/2018 Prof Zied lachiri Machine Learning 26

 Exemples de classification

Est-ce un chien ? Et ce lui la ?

10/11/2018 Prof Zied lachiri Machine Learning 27

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale

10/11/2018 Prof Zied lachiri Machine Learning 28

 Exemples de reconnaissance de formes

Siri: https://www.youtube.com/watch?v=8ciagGASro0

10/11/2018 Prof Zied lachiri Machine Learning 29

 Système de dialogue vocal (Cycle)
Voice reply to customer
Speech Customer voice request
“What number did you
want to call?”

TTS ASR Automatic Speech

Text-to-Speech
Synthesis Recognition
Data,
Words: What’s next? Rules Words spoken
“Determine correct number” “I dialed a wrong number”

Spoken Language SLG SLU Spoken Language

Generation Understanding

Action
DM Meaning
“Billing credit”

Dialog
Management
 Exemples de reconnaissance de formes

Photomath: https://photomath.net/

10/11/2018 Prof Zied lachiri Machine Learning 31

 Problème de « Cocktail party »

10/11/2018 Prof Zied lachiri Machine Learning 32

 Problème de « Cocktail party »

Microphone 1 Sortie 1
Microphone 2 Sortie 2

Microphone 1 Sortie 1
Microphone 2 Sortie 2

10/11/2018 Prof Zied lachiri Machine Learning 33

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)

10/11/2018 Prof Zied lachiri Machine Learning 34

 Filtrage Collaboratif
Recently watched

10/11/2018 Prof Zied lachiri Machine Learning 35

 Profil des utilisateurs (user profiling)

10/11/2018 Prof Zied lachiri Machine Learning 36

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche d’information: Trouver des documents ou des images à contenu
similaire

10/11/2018 Prof Zied lachiri Machine Learning 37

 Classement des pages web

10/11/2018 Prof Zied lachiri Machine Learning 38

 Classement des pages web

10/11/2018 Prof Zied lachiri Machine Learning 39

 Agencement d’images (image layout)

Ensemble d’images triviales acquises à partir de plusieurs

caméras
Disposition commune basée sur similitude d'images
10/11/2018 Prof Zied lachiri Machine Learning 40
 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche d'information: Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
flux optique, etc.

10/11/2018 Prof Zied lachiri Machine Learning 41

 Vision par ordinateur

10/11/2018 Prof Zied lachiri Machine Learning 42

 Vision par ordinateur

Figure: Kinect: https://www.youtube.com/watch?v=op82fDRRqSY

10/11/2018 Prof Zied lachiri Machine Learning 43

 Vision par ordinateur

10/11/2018 Prof Zied lachiri Machine Learning 44

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche d'information : Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
flux optique, etc.
Robotique: perception, planning, etc.

10/11/2018 Prof Zied lachiri Machine Learning 45

 Robotique

10/11/2018 Prof Zied lachiri Machine Learning 46

 Robotique

Robot apprenant à marcher sur sol sec Robot apprenant à marcher sur sol mouillé

10/11/2018 Prof Zied lachiri Machine Learning 47

 Robotique

10/11/2018 Prof Zied lachiri Machine Learning 48

 Robotique

Figure: Video: https://www.youtube.com/watch?v=YQIMGV5vtd4

10/11/2018 Prof Zied lachiri Machine Learning 49

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche documentaire : Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
optical flow, etc.
Robotique: perception, planning, etc.
Jouer des jeux.

10/11/2018 Prof Zied lachiri Machine Learning 50

 Jouer des jeux : ATARI

Figure: Video: https://www.youtube.com/watch?v=V1eYniJ0Rnk

10/11/2018 Prof Zied lachiri Machine Learning 51

 Jouer des jeux : Super Mario

Figure: Video: https://www.youtube.com/watch?v=wfL4L_l4U9A

10/11/2018 Prof Zied lachiri Machine Learning 52

 Jouer des jeux : Alpha Go

10/11/2018 Prof Zied lachiri Machine Learning 53

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche d'information : Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
flux optique, etc.
Robotique: perception, planning, etc.
Jouer des jeux
Détection et reconnaissance d’anomalies: Séquences inhabituelles de
transactions par carte de crédit, panique à l'aéroport

10/11/2018 Prof Zied lachiri Machine Learning 54

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Recherche d'information: Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
flux optique, etc.
Robotique: perception, planning, etc.
Jouer des jeux
Détection et reconnaissance d’anomalies: Séquences inhabituelles de
transactions par carte de crédit, panique à l'aéroport
Détection de spam et détection de fraude: L'ennemi s'adapte donc il faut
s’adapter

10/11/2018 Prof Zied lachiri Machine Learning 55

 Filtrage du spam

10/11/2018 Prof Zied lachiri Machine Learning 56

 Les algorithmes d’apprentissage sont utiles pour:

Classification: Etiqueter chaque donnée en l'associant à une classe discrète

Séparer et reconnaitre des formes: reconnaissance vocal, reconnaissance
de l’écriture, identité faciale
Systèmes recommandés: filtrage collaboratif, systèmes commerciales
(Amazon, Netflix, etc.)
Information retrival: Trouver des documents ou des images à contenu
similaire
Vision par ordinateur: détection, segmentation, estimation de profondeur,
optical flow, etc.
Robotique: perception, planning, etc.
Apprendre à jouer
Détection et reconnaissance d’anomalies: Séquences inhabituelles de
transactions par carte de crédit, panique à l'aéroport
Détection de spam et détection de fraude: L'ennemi s'adapte donc il faut
s’adapter
Autres applications!
10/11/2018 Prof Zied lachiri Machine Learning 57
Apprentissage Automatique
Concepts fondamendaux-notation nomenclature

58
 Données d’entrainement vs. généralisation
Les algorithmes d’apprentissage procèdent comme suit :
➔ on fournit à l’algorithme des données d’entraînement …

➔ ... et l’algorithme retourne un «programme» capable de généraliser à de

nouvelles données

10/11/2018 Prof Zied lachiri Machine Learning 59

 Ensemble d’entrainement, entrée, cible
Les algorithmes d’apprentissage procèdent comme suit :
➔ on fournit à l’algorithme des données d’entraînement …

➔ on note l’ensemble d’entraînement

D = {(x1, y1 ), (x2 , y2 ),, (xN , yN )}

➔ on appelle xn une entrée et yn la cible

10/11/2018 Prof Zied lachiri Machine Learning 60

 Modèle
Les algorithmes d’apprentissage procèdent comme suit :
➔ on note le «programme» généré par l’algorithme d’apprentissage f(x)
➔ on va aussi appeler f(x) un modèle

➔ ... et l’algorithme retourne un «programme» capable de généraliser à de

nouvelles données

10/11/2018 Prof Zied lachiri Machine Learning 61

 Ensemble de Test
Les algorithmes d’apprentissage procèdent comme suit :

➔ on utilise un ensemble de test Dtest pour mesurer

la performance de généralisation de notre modèle f(x)

➔ ... et l’algorithme retourne un «programme» capable

de généraliser à de nouvelles données

10/11/2018 Prof Zied lachiri Machine Learning 62

 Approbation de crédit (Métaphore)
Renseignement sur le demandeur
Age 23 ans

gendre femme

Salaire annuel 30000 dinars

Occupation résidence 1 année

Travail 3 ans

Débit courant 10000 dinars

Modèle inconnu à faire entrainer:

Approbation de crédit est bénéfique pour la banque?
10/11/2018 Prof Zied lachiri Machine Learning 63
 Formalisation du problème d’apprentissage
Notations
Entrée : x ∈ Χ (demande client)
Sortie: y ∈ Y (bon/mauvais après approbation)
Modèle inconnu à faire entrainer ⇔fonction cible
f : X → Y (formule idéale d’approbation de crédit)
Données, exemples d’apprentissage
D = {(x1, y1 ), (x2 , y2 ),, (xN , yN )}
(historique au niveau de la banque)
Hypothèses ⇔ compétence avec une bonne
performance: g : X → Y(formule d’apprentissage)

{(xN , yN )} de f Apprentissage
Automatique (ML)
g
10/11/2018 Prof Zied lachiri Machine Learning 64
 Flux et modèle d’apprentissage
Fonction cible inconnue
f : X →Y
(formule idéale d’approbation de crédit)

Algorithme
Données d’apprentissage D’apprentissage Hypothèse finale
D = {(x1, y1 ),, (xN , yN )} g≈ f
A
(données enregistrées : historique) (formule d’apprentissage)

Fonction cible f inconnue (pas de définition programmable)

Hypothèse g ≈ f , mais probablement différente de f (la
perfection est impossible quand f est inconnue)
A quoi ressemble la fonction g?
10/11/2018 Prof Zied lachiri Machine Learning 65
 Flux et modèle d’apprentissage
Algorithme
Données d’apprentissage D’apprentissage Hypothèse finale
D = {(x1, y1 ),, (xN , yN )} g≈ f
A
(données enregistrées : historique) (formule d’apprentissage)

Ensemble
D’hypothèses
H
(ensemble de formules candidates)
Supposer que g ∈ H = {hk } i.e, approuver si
h1 : première hypothèse
h2 : deuxième hypothèse
h3 : troisième hypothèse
Ensemble d’hypothèses H peut contenir de bonnes et mauvaises
hypothèses
Modèle d’apprentissage: A et H
10/11/2018 Prof Zied lachiri Machine Learning 66
 Flux et modèle d’apprentissage
Fonction cible inconnue
f : X →Y
(formule idéale d’approbation de crédit)

Algorithme
Données d’apprentissage D’apprentissage Hypothèse finale
D = {(x1, y1 ),, (xN , yN )} g≈ f
A
(données enregistrées : historique) (formule d’apprentissage)

Ensemble
D’hypothèses
H
(ensemble de formules candidates)

Apprentissage automatique: utiliser des données pour

calculer une hypothèse g qui approxime la fonction cible f
10/11/2018 Prof Zied lachiri Machine Learning 67
 Types d’apprentissage
Données dans la pratique d’apprentissage:
Ensemble d’apprentissage : Mettre au point le
modèle
Ensemble de test : Evaluer les performances du
modèle appris
Ensemble de validation: Apprentissage de méta-
paramètres
Remarque : On fera en général l’hypothèse que
toutes les données sont générées suivant une
même loi

10/11/2018 Prof Zied lachiri Machine Learning 68

 Types d’apprentissage
Supervisé: Classes prédéterminés et exemples connus
Apprendre pour prédire des sorties pour des entrées connues
Ensemble d'apprentissage (couples: entrée, sortie désirée)

D = {(x1, y1 ), (x2 , y2 ),, (xN , yN )}

Au moyen d'un algorithme d'apprentissage, découvrir
l’association y=f(x) en utilisant les données d’apprentissage
• Qui offre une bonne généralisation
• i.e. d=f(x) si x hors de l'ensemble d'apprentissage mais généré par le
même phénomène
Utilisation
• Classification: la cible est un indice de classe y  1-of-N sorties (reconnaissance
vocale, reconnaissance d’objets, diagnostic médical)
• Régression: la cible ou la sortie est à valeur réelle y  (prévision des prix du
marché, évaluation de la clientèle
10/11/2018 Prof Zied lachiri Machine Learning 69
 Types d’apprentissage
Non supervisé: Classes non déterminées et exemples
connus;
Ensemble d'apprentissage (Uniquement les données d’entrée)

D = { x1, x2 ,,, xN }
Découverte de la structure ± cachée des données (créer une
représentation interne, capturer des irrégularités dans la
structure);
Classement par groupes homogènes - notion de distance
Utilisation
• Estimation de densité,
• Extraction de similarités (former des clusters ou des groupes),
• Extraction de descripteurs

10/11/2018 Prof Zied lachiri Machine Learning 70

 Types d’apprentissage
Par renforcement : L’action de l’algorithme sur
l’environnement produit une valeur de retour qui guide
l’algo. d’apprentissage
Ensemble d'apprentissage (Couples: entrée, sortie désirée qualitative) :
D = {(x1, y1 ), (x2 , y2 ),, (xN , yN )}
• Les xi peuvent être des séquences temporelles (temporel credit
assignement)
• Les yi sont des réponses qualitatives (e.g. 0,1), déterministes ou
stochastiques
Apprendre des actions optimales
• Pas beaucoup d'information dans un signal de récompense
• La récompense est toujours retardée.
Utilisation
• commande, décision séquentielle, robotique, jeux
10/11/2018 Prof Zied lachiri Machine Learning 71
 liens avec d’autres cours
Intelligence artificielle
Traite de plusieurs sous-discipline, pas seulement l’apprentissage
automatique
Recherche d’information et fouille de données
Traite d’algorithmes d’apprentissage différents (arbre de décision, k plus
proches voisins, clustering)
Met une plus grande emphase sur l’application (données du web,
recommendation)
Traitement automatique des langues naturelles
Traite d’algorithmes d’apprentissage dans le contexte de données
textuelles (analyse syntaxique et sémantique, traduction automatique)
Réseaux neuronaux
Traite spécifiquement des réseaux de neurones artificiels et d’autres
sujets avancés en apprentissage automatique

10/11/2018 Prof Zied lachiri Machine Learning 72

 Apprentissage automatique vs. Fouille de données

Apprentissage automatique La fouille de données utilise des

(ML)exploite des données pour mégadonnées pour trouver une
calculer une hypothèse g qui propriété intéressante
approxime la fonction cible f

Si la propriété intéressante est elle même l’hypothèse qui

approxime la cible alors
ML = DM
Si la propriété intéressante est liée à l’hypothèse qui approxime
la cible alors
DM peut aider ML, et vice versa (souvent mais pas toujours)
En réalité Il est difficile de distinguer entre ML et DM

10/11/2018 Prof Zied lachiri Machine Learning 73

 Apprentissage automatique vs. Fouille de données
L’apprentissage constitue une brique dans le processus
de fouille / traitement de données
qui arrive souvent à la fin du processus
qui est intégré dans une application ou dans le Système
d’Information de l’entreprise
Les différentes étapes de l’analyse des données
Collecte des données / stockage
Prétraitement des données, étiquetage éventuel
Analyse des données par des techniques exploratoires
Mise au point et test de différents modèles d’apprentissage
Evaluation

10/11/2018 Prof Zied lachiri Machine Learning 74

 Apprentissage automatique vs. Fouille de données

Web
recherche d'information, filtrage d'information
extraction d'information textuelle : e.g. recherche, bibliothèques virtuelles,
veille technologique, Question Answering , ...
Multi-média
image + son, vidéo
Données d’entreprise
infos produits, infos clients, ciblage clientèle ...
Analyse comportement
e.g. telecoms : serveurs web, accès services commerciaux, internet - intranet,
aide accès information, publicité
Distribué
Mobiles : personnalisation, accès information
Capteurs distribués, objets connectés
Biologie - analyse de séquences, de structures
Automobile ...
10/11/2018 Prof Zied lachiri Machine Learning 75
 Apprentissage automatique vs. Intélligence Artificielle

Apprentissage automatique L’intelligence artificielle est une

exploite des données pour discipline scientifique qui
calculer une hypothèse g qui cherche des méthodes de
approxime la fonction cible f création ou de simulation de
l’intelligence. Elle calcule des
taches qui montrent un
comportement intelligent

G≈ f est une tache qui montre un comportement intelligent

ML peut réaliser AI, (parmi d’autres méthodes)
e.g. le jeu d’échec programmé
IA traditionnelle: théorie de jeu
ML pour IA : “apprendre à partir d’un tableau de données”
ML est une méthode alternative pour réaliser une IA

10/11/2018 Prof Zied lachiri Machine Learning 76

 Apprentissage Automatique vs. statistiques
Apprentissage Automatique Les statistiques utilisent des
exploite des données pour données pour tirer des
calculer une hypothèse g qui conclusions au sujet d'un
approxime la fonction cible f processus inconnu

g est un résultat d’inférence (raisonnement déductif); f est un

inconnu
Les statistiques peuvent être utilisé pour accomplir ML
Les statistiques traditionnelles s’intéressent aux résultats avec
des hypothèses mathématiques sans se préoccuper du temps
de calcul
les statistiques constituent un ensemble d’outils
pour le ML
10/11/2018 Prof Zied lachiri Machine Learning 77