Lecture2: Perceptron simple

Aissam BERRAHOU
Aissam.berrahou@ensias.um5.ac.ma
Laboratoire Smart Systems Lab

2020-2021
Neurones artificiels

1943: Invention des premiers neurones artificiels

Warren McCulloch Walter Pitts

Article: A logical calculus of the ideas immanent in nervous activity, Bulletin of Mathematical biophysics volume 5, 1943

Aissam BERRAHOU Perceptron simple 2

Neurones artificiels

Les neurones sont des cellules excitables connectées les unes aux autres et ayant pour rôle de transmettre des
informations dans notre systèmes nerveux.

Aissam BERRAHOU Perceptron simple 3

Neurones artificiels

+1: Excitateur
-1: Inhibiteur

Synapse

Aissam BERRAHOU Perceptron simple 4

Neurones artificiels

+1: Excitateur
-1: Inhibiteur

Synapse

>
Activation
(dépasse un seuil)

Aissam BERRAHOU Perceptron simple 5

Neurones artificiels

x1

𝑧 𝒚
x2

Dendrites Corps cellulaire Axone

(Données d’entrées) (Fonction de transfert ) (Sortie)

Aissam BERRAHOU Perceptron simple 6

Neurones artificiels

Neurone: Threshold Logic Unit

x1 W1

1. 𝐀𝐠𝐫é𝐠𝐚𝐭𝐢𝐨𝐧: 𝒛 = 𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟐 ∗ 𝒙𝟐
𝑍/A 𝒚
W2
x2 w1 et w2 (activité synaptique)

𝑦 = 1 𝑠𝑖 𝑧 ≥ 0
Dendrites Corps cellulaire Axone 2. Activation: ቊ
(Fonction de transfert ) (Sortie) 𝑦 = 0 𝑠𝑖𝑛𝑜𝑛
(Données d’entrées)

Aissam BERRAHOU Perceptron simple 7

 Neurones artificiels
Neurone: Threshold Logic Unit

W1
x1
1. 𝐀𝐠𝐫é𝐠𝐚𝐭𝐢𝐨𝐧: 𝒛 = 𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟐 ∗ 𝒙𝟐

w1 et w2 (activité synaptique)
𝑧 𝒚
W2
x2 𝑦 = 1 𝑠𝑖 𝑧 ≥ 0
2. Activation: ቊ
𝑦 = 0 𝑠𝑖𝑛𝑜𝑛
Dendrites Corps cellulaire Axone
(Données d’entrées) (Fonction de transfert ) (Sortie)

Limites:
▪ Ce modèle est conçu juste pour traiter des cas logique.

▪ Il ne dispose pas d’algorithme d’apprentissage pour chercher automatiquement les

paramètres w.

Aissam BERRAHOU Perceptron simple 8

 Neurones artificiels

1957: Invention du perceptron

Frank Rosenblatt

Article: Frank Rosenblatt. The Perceptron, a Perceiving and Recognizing Automaton Project Para. Cornell Aeronautical Laboratory 85, 460–461 (1957)

Aissam BERRAHOU Perceptron simple 9

Perceptron simple

1. 𝐀𝐠𝐫é𝐠𝐚𝐭𝐢𝐨𝐧: 𝒛 = 𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟐 ∗ 𝒙𝟐
x1 W1
𝑦 = 1 𝑠𝑖 𝑧 ≥ 0
2. Activation: ቊ
Z/A
𝑦 = 0 𝑠𝑖𝑛𝑜𝑛
𝒚
W2
y
x2
y=1
1

y=0 f
-1 1

Algorithme d’apprentissage pour chercher les paramètres w

Aissam BERRAHOU Perceptron simple 10

Perceptron simple

Algorithme d’apprentissage :

Entrainer un neurone artificiel sur des données de références(X,y) pour que celui-ci renforce
ses paramètres W à chaque fois qu’une entrée X est activée en même temps que la sortie y
présente dans ces données.
Tant que (i<nombre_itération) faire:
𝑾 = 𝑾 + 𝜶 𝒚𝒕𝒓𝒖𝒆 − 𝒚𝒑𝒓𝒆𝒅 𝑿
Fin Tantque
x1 W1

ytrue : sortie de références

Z/A
𝒚 y: sortie produite par le neurone
W2
𝑿: entrée du neurone
x2
α: vitesse d’apprentissage

Aissam BERRAHOU Perceptron simple 11

Perceptron simple

❖ le perceptron est l'unité de base des réseaux de neurones. il s'agit d'un modèle de

classification binaire, capable de séparer linéairement deux classes de points

x2
x1
5
Neurone
4
Entrées ෝ
𝒚 𝒚
z(x1,x2)
3
Prédiction Cible 2
x2
1

0
0 1 2 3 4 5 6 7
x1

Aissam BERRAHOU Perceptron simple 12

Perceptron simple pour la classification

Aissam BERRAHOU Perceptron simple 13

Perceptron simple

❖ Exemple: Deux types des iris

Iris setosa Iris versicolor x1: longueur Sépale

y=0 y=1
x2: longueur Pétale

x1 x2 y
5,1 1,4 0
4,9 1,4 0
4,7 1,3 0
4,4 1,5 0
5 1,2 0
pétale sépale pétale sépale
4,1 3,7 1
1,4 4,5 1
1,9 4,9 1
1,5 4 1
2,5 4,6 1

Aissam BERRAHOU Perceptron simple 14

Perceptron simple

❖ Modèle linéaire

bias
1
W0
Neurone

x1 W1
z (x1,x2) ෝ
𝒚 𝒚

Entrée
Prédiction Cible
W2

x2

Poids

1. 𝐀𝐠𝐫é𝐠𝐚𝐭𝐢𝐨𝐧: 𝒛 = 𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟐 ∗ 𝒙𝟐
ෝ = 1 𝑠𝑖 𝑧 ≥ 0
𝒚
2. Activation: ቊ
ෝ = 0 𝑠𝑖𝑛𝑜𝑛
𝒚

Aissam BERRAHOU Perceptron simple 15

Perceptron simple

❖ Modèle linéaire
biais 1
𝒛(𝒙𝟏, 𝒙𝟐) = (𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟐 ∗ 𝒙𝟐 + 𝒘𝟎) W0
Neurone

x1 W1
z(x1,x2) ෝ
𝒚 𝒚

Entrées
Prédiction
W2

x2

Aissam BERRAHOU Perceptron simple 16

Perceptron simple pour la régression

Aissam BERRAHOU Perceptron simple 17

Perceptron simple

❖ Régression linéaire simple V. explicative V. expliquée

𝑥1 𝑦

observations
𝑥1,1 𝑦1

𝑥1,2 𝑦2

… …

biais 1 𝑥1,𝑛 𝑦𝑛
W0
Neurone

Entrée x1 W1 z (x1) ෝ
𝒚 𝒚

Poids Prédiction Cible

ෝ = 𝒛 𝒙𝟏 = (𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟎)
𝒚

Aissam BERRAHOU Perceptron simple 18

Perceptron simple

❖ Régression linéaire simple V. explicative V. expliquée

𝑥1 𝑦

observations
𝑥1,1 𝑦1

𝑥1,2 𝑦2

… …

biais 1 𝑥1,𝑛 𝑦𝑛
W0
Neurone

Entrée x1 W1 z (x1) ෝ
𝒚 𝒚

Poids Prédiction Cible

ෝ = 𝒛 𝒙𝟏 = (𝒘𝟏 ∗ 𝒙𝟏 + 𝒘𝟎)
𝒚

Aissam BERRAHOU Perceptron simple 19

Perceptron simple

❖ Régression multiple: Perceptron simple

bias x0=1
V. explicatives V. expliquée
w0

x1 𝑥1 𝑥2 … 𝑥𝑛 𝑦

w1 𝑥1,1 𝑥2,1 𝑥𝑛,1 𝑦1

x2 Neurone

observations
w2 𝑥1,2 𝑥2,2 𝑥𝑛,2 𝑦2
Entrées 𝒚ෞ 𝒚
z (x1,…, xn)
… …
w𝑛
Prédiction Cible
xn 𝑦𝑚
𝑥1,𝑚 𝑥2,𝑚 𝑥𝑛,𝑚

𝒎
𝑋𝑘 = (𝑥0 = 1, 𝑥𝑘,1 , 𝑥𝑘,2 ,…, 𝑥𝑘,𝑛 ), 𝑣𝑒𝑐𝑡𝑒𝑢𝑟 𝑑′ 𝑒𝑛𝑡𝑟é𝑒𝑠( k ème observation)
ෞ𝒌 = 𝒛𝒌 (x1,…, xn)= ෍ 𝒘𝒊 𝒙𝒌,𝒊 = 𝑾𝑻 𝑿𝒌
𝒚
𝒊=𝟎 𝑊 = (𝑤0 𝑤1 , 𝑤2 ,…, 𝑤𝑛 ), 𝑣𝑒𝑐𝑡𝑒𝑢𝑟 𝑑𝑒 𝑝𝑜𝑖𝑑𝑠

Aissam BERRAHOU Perceptron simple 20

Perceptron simple

❖ Exercices

▪ Trouver un classifieur linéaire pour la porte logique OU

▪ Trouver un classifieur linéaire pour la porte logique OU exclusif

Aissam BERRAHOU Perceptron simple 21

Perceptron simple

❖ Exercices

▪ Trouver un classifieur linéaire pour la porte logique ET

Aissam BERRAHOU Apprentissage par transfert 22

Perceptron simple

❖ Interprétation des résultats de classification

▪ Cet iris est éloigné de la frontière de décision. Il est donc très

5
probable qu’il soit en effet setosa.
4

3 ▪ Cet iris est proche de la frontière de décision. Il est à mi-chemin entre

x2

2 setosa et versicolor. On est donc moins certain d’appartenance à sa

1
classe.

0
0 1 2 3 4 5 6
x1
Frontière
de décision

Aissam BERRAHOU Apprentissage par transfert 23

Perceptron simple

❖ Fonction sigmoïde

Aissam BERRAHOU Perceptron simple 24

Perceptron simple

❖ Calcul de la probabilité d’appartenance

Fonction sigmoïde(Logistique)

Aissam BERRAHOU Perceptron simple 25

Perceptron simple

❖ Calcul de la probabilité d’appartenance

- Epreuve de Bernoulli

On appelle épreuve de Bernoulli de paramètre p, toute expérience admettant deux issues exactement:

• L’une appelée « succès » notée 𝑆, dont la probabilité est p;

• L’autre appelée « échec » notée 𝑆,ҧ dont la probabilité est 1-p

Aissam BERRAHOU Perceptron simple 26

Perceptron simple

❖ Calcul de la probabilité d’appartenance

- Schéma de Bernoulli

On appelle schéma de Bernoulli la répétition de n épreuves de Bernoulli identiques et

indépendantes.

Aissam BERRAHOU Perceptron simple 27

Perceptron simple

❖ Calcul de la probabilité d’appartenance

- Loi de Bernoulli

𝑷 𝒀 = 𝒌 = 𝑝𝑘 1 − 𝑝 1−𝑘

𝑷 𝒀=𝟎 =1−𝑝 = 1 − 𝑓(𝑧)

𝑷 𝒀=𝟏 =𝑝 = 𝑓(𝑧)

O𝒏 𝒗𝒂 𝒏𝒐𝒕𝒆𝒓 𝒇 𝒛 𝒑𝒂𝒓 𝒂

Aissam BERRAHOU Perceptron simple 28

Perceptron simple

❖ Fonction coût

- En machine learning une fonction coût (loss function) est une fonction qui permet de quantifier les

erreurs effectuées par un modèle.

Log loss:
𝒎
𝟏
𝑳=− ෍ 𝒚𝒊 𝒍𝒐𝒈 𝒂𝒊 + 𝟏 − 𝒚𝒊 𝒍𝒐𝒈(𝟏 − 𝒂𝒊 )
𝒎
𝒊=𝟏

Aissam BERRAHOU Perceptron simple 29

Perceptron simple

❖ Vraisemblance

Est la plausibilité du modèle vis-à-vis de vraie données.

Analogie:

Une histoire est vraisemblable lorsqu’elle est en accord avec des faits qui se sont vraiment déroulés.

invraisemblable

J’étais au théâtre. Spectacle annulé

Aissam BERRAHOU Perceptron simple 30

Perceptron simple

❖ Vraisemblance

Est la plausibilité du modèle vis-à-vis de vraie données.

y=1 y=1 y=1 y=0 y=0 y=0

Nous connaissons certaines iris comme étant Versicolor et d'autres comme étant non

versicolor(Setosa) et on va voir si les prédictions du modèle sont en accord avec ces données.

Aissam BERRAHOU Perceptron simple 31

Perceptron simple

❖ Vraisemblance

Exemple1:

Modèle P(y=1)=0.9

Vraisemblance: 90%

y=1 i.e Proche à 90% de la réalité

Aissam BERRAHOU Perceptron simple 32

Perceptron simple

❖ Vraisemblance

Exemple2:

Modèle P(y=1)=0.2

Vraisemblance: 20%

y=1 i.e loin à 80% de la réalité

Aissam BERRAHOU Perceptron simple 33

Perceptron simple

❖ Vraisemblance du modèle

Un bon modèle est un modèle dont ses paramètres(w0, w1, w2) maximise la vraisemblance.

biais 1
W0
Neurone

x1 W1
f(x1,x2) ෝ
𝒚 𝒚

Entrées
Prédiction
W2

x2

Comment calculer la vraisemblance?

Aissam BERRAHOU Perceptron simple 34

Perceptron simple

❖ Vraisemblance du modèle

y=1 y=1 y=1 y=0 y=0 y=0

P1=0.9 P1=0.7 P1=0.8 P0=0.9 P0=0.8 P0=0.7

𝒎 𝒎
𝑦𝑖 (𝟏−𝒚𝒊 )
𝑳𝒎𝒐𝒅è𝒍𝒆 = ෑ 𝑷(𝒀 = 𝒚𝒊 ) = ෑ 𝒂 𝑖 𝟏 − 𝒂𝒊
𝒊=𝟏 𝒊=𝟏

Aissam BERRAHOU Perceptron simple 35

Perceptron simple

❖ Vraisemblance du modèle

Est la plausibilité du modèle vis-à-vis de vraie données.

y=1 y=1 y=1 y=0 y=0 y=0

P1=0.99 P1=0.99 P1=0.99 P0=0.99 P0=0.99 P0=0.99

𝒎 𝒎
𝑦
𝑳𝒎𝒐𝒅è𝒍𝒆 = ෑ 𝑷(𝒀 = 𝒚𝒊 ) = ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊 (𝟏−𝒚𝒊 ) = 𝟎. 𝟗𝟒 (modèle est vraisemblable à 94%)
𝒊=𝟏 𝒊=𝟏

Aissam BERRAHOU Perceptron simple 36

Perceptron simple

❖ Vraisemblance du modèle

Est la plausibilité du modèle vis-à-vis de vraie données.

y=1 y=1 y=1 y=0 y=0 y=0

P1=0.03 P1=0.18 P1=0.05 P0=0.15 P0=0.01 P0=0.02

𝒎 𝒎
𝑦
𝑳𝒎𝒐𝒅è𝒍𝒆 = ෑ 𝑷(𝒀 = 𝒚𝒊 ) = ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊 (𝟏−𝒚𝒊 ) ≈ 𝟎 (modèle est fortement invraisemblable )
𝒊=𝟏 𝒊=𝟏

Aissam BERRAHOU Perceptron simple 37

Perceptron simple

❖ Vraisemblance du modèle

Est la plausibilité du modèle vis-à-vis de vraie données.

y=1 y=1 y=1 y=0 y=0 y=0

P1=0.7 P1=0.8 P1=0.95 P0=0.8 P0=0.9 P0=0.75

𝒎 𝒎
𝑦
𝑳𝒎𝒐𝒅è𝒍𝒆 = ෑ 𝑷(𝒀 = 𝒚𝒊 ) = ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊 (𝟏−𝒚𝒊 ) ≈ 𝟎, 𝟑 (Problème de produit des probabilités)
𝒊=𝟏 𝒊=𝟏

Aissam BERRAHOU Perceptron simple 38

Perceptron simple

❖ Vraisemblance du modèle

Problème de produit des probabilités qui converge vers 0.

𝒎 𝒎
𝑦 (𝟏−𝒚𝒊 )
𝑳𝒎𝒐𝒅è𝒍𝒆 = ෑ 𝑷(𝒀 = 𝒚𝒊 ) = ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊 ≈𝟎
𝒊=𝟏 𝒊=𝟏

Solution: Logarithme

log(ab)=log(a)+log(b)
𝒎 𝒎
𝑦 𝒚𝒊
𝒍𝒐𝒈(𝑳𝒎𝒐𝒅è𝒍𝒆 ) = 𝒍𝒐𝒈 ෑ 𝑷 𝒀 = 𝒚𝒊 = 𝒍𝒐𝒈 ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊
𝒊=𝟏 𝒊=𝟏

= 𝒍𝒐𝒈 𝟎. 𝟕 × 𝟎. 𝟖 × 𝟎. 𝟗𝟓 × 𝟎. 𝟖 × 𝟎. 𝟗 × 𝟎. 𝟕𝟓

= 𝒍𝒐𝒈 𝟎. 𝟕) + 𝒍𝒐𝒈 𝟎. 𝟖 + 𝒍𝒐𝒈 𝟎. 𝟗𝟓 + 𝒍𝒐𝒈 𝟎. 𝟖 + 𝒍𝒐𝒈 𝟎. 𝟗 + 𝒍𝒐𝒈(𝟎. 𝟕𝟓

= −𝟏. 𝟐4
Aissam BERRAHOU Perceptron simple 39
Perceptron simple

❖ Vraisemblance du modèle

𝒎 𝒎
𝑦 (𝟏−𝒚𝒊 )
𝒍𝒐𝒈(𝑳𝒎𝒐𝒅è𝒍𝒆 ) = 𝒍𝒐𝒈 ෑ 𝑷 𝒀 = 𝒚𝒊 = 𝒍𝒐𝒈 ෑ 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊
𝒊=𝟏 𝒊=𝟏
𝒎
𝑦 (𝟏−𝒚𝒊 )
= ෍ 𝒍𝒐𝒈 𝒂𝑖 𝑖 𝟏 − 𝒂𝒊
𝒊=𝟏 Rappel:
𝒎
𝑦 (𝟏−𝒚𝒊 ) 𝑙𝑜𝑔 𝒂𝒃 = 𝑙𝑜𝑔 𝒂 + 𝑙𝑜𝑔 𝒃
= ෍ 𝒍𝒐𝒈 𝒂𝑖 𝑖 ) + 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊
𝒊=𝟏
𝒍𝒐𝒈(𝒂𝒃) = 𝒃 𝒍𝒐𝒈(𝒂)

= ෍ 𝑦𝑖 𝒍𝒐𝒈 𝒂𝑖 ) + (𝟏 − 𝒚𝒊 ) 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊
𝒊=𝟏

𝒎
−𝟏
𝒍𝒐𝒈 𝒍𝒐𝒔𝒔 = ෍ 𝑦𝑖 𝒍𝒐𝒈 𝒂𝑖 ) + (𝟏 − 𝒚𝒊 ) 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊
𝒎
𝒊=𝟏

Aissam BERRAHOU Perceptron simple 40

Perceptron simple

❖ Vraisemblance du modèle

𝑴𝒂𝒙𝒊𝒎𝒊𝒔𝒆 𝒍𝒐𝒈(𝑳𝒎𝒐𝒅è𝒍𝒆 ) 𝑴𝒊𝒏𝒊𝒎𝒊𝒔𝒆 − 𝒍𝒐𝒈(𝑳𝒎𝒐𝒅è𝒍𝒆 )

𝒎 𝒎
𝑴𝒂𝒙𝒊𝒎𝒊𝒔𝒆 ෍ 𝑦𝑖 𝒍𝒐𝒈 𝒂𝑖 ) + (𝟏 − 𝒚𝒊 ) 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊 −𝟏
𝑴𝒊𝒏𝒊𝒎𝒊𝒔𝒆 𝒍𝒐𝒈 𝒍𝒐𝒔𝒔 = ෍ 𝑦𝑖 𝒍𝒐𝒈 𝒂𝑖 ) + (𝟏 − 𝒚𝒊 ) 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊
𝒊=𝟏 𝒎
𝒊=𝟏

Aissam BERRAHOU Perceptron simple 41

Perceptron simple

❖ Estimation des paramètres wi avec la méthode de descente de gradient

- Fonction coût: Log Loss

𝒎
−𝟏
𝑳𝒐𝒈𝒍𝒐𝒔𝒔 = ෍ 𝑦𝑖 𝒍𝒐𝒈 𝒂𝑖 ) + (𝟏 − 𝒚𝒊 ) 𝒍𝒐𝒈( 𝟏 − 𝒂𝒊
𝒎
𝒊=𝟏

1
Avec, 𝒂𝒊 = 1+𝑒 −𝑧 𝑖 𝑒𝑡 𝑧𝑖 = 𝑤0 + 𝑤1𝑥1, 𝑖 + ⋯ + 𝑤𝑛𝑥𝑛, 𝑖=WXi

Comment estimer W(w0, w1, …, wn ?

while (i< epoch) do

𝜕𝐿𝑜𝑔𝑙𝑜𝑠𝑠 (𝑊)
𝑤 𝑤 - 𝜶 Comment calculer le gradient?
𝜕𝑾

End while

Aissam BERRAHOU Perceptron simple 42

Perceptron simple

❖ Estimation des paramètres wi avec la méthode de descente de gradient

𝝏𝒍𝒐𝒈𝑳𝒐𝒔𝒔
Comment calculer le gradient ?
𝝏𝑾

Rappel:

𝝏𝒍𝒐𝒈(𝒂) 1
=
𝝏𝒂 𝑎

𝝏𝒆𝒂
= 𝑒𝑎
𝝏𝒂

Aissam BERRAHOU Perceptron simple 43

Perceptron

❖ Estimation des paramètres wi avec la méthode de descente de gradient

Aissam BERRAHOU Perceptron simple 44

Perceptron simple

Aissam BERRAHOU Perceptron simple 45

Réseau de neurones

Fully connected
Dense(couche d’un preceptron)

Aissam BERRAHOU Perceptron simple 46

TP1: Régression linéaire simple avec un perceptron simple

V. explicative V. expliquée
❖ Estimation des paramètres β0 et β1
𝑥1 𝑦1

observations
𝑥2 𝑦2
1. Dataset (X,Y) 𝑥3
…
• variable explicative(feature) …
• variable expliquée(target) 𝑥𝑛
𝑦𝑛

2. Modèle
• Régression linéaire simple: Perceptron simple

3. Fonction coût
• Erreur quadratique moyenne

𝟏 𝑻
𝑳 𝜷𝟎, 𝜷𝟏 = 𝑿𝜷 − 𝒀 𝑿𝜷 − 𝒀
𝒏

4. Algorithme d’optimisation: Descente de gradient

Aissam BERRAHOU Perceptron simple 47

TP1: Régression linéaire simple avec un perceptron simple

❖ Estimation des paramètres β0 et β1

1. Dataset (X,Y)
• variable explicative(feature) Création/ lecture d’une BD(X,y)
• variable expliquée(target)

2. Modèle Initialisation des paramètres d’un

• Régression linéaire simple: Perceptron simple modèle

3. Fonction coût Modèle

• Erreur quadratique moyenne

𝟏 𝑻
𝑳 𝜷𝟎, 𝜷𝟏 = 𝑿𝜷 − 𝒀 𝑿𝜷 − 𝒀 Fonction coût
𝒏

4. Algorithme d’optimisation: Descente de gradient

Gradients

Mise à jour des paramètres

Aissam BERRAHOU Perceptron simple 48

TP2: Régression polynomiale avec un perceptron simple

❖ Estimation des paramètres β0, β1, …, βm

V. explicative V. expliquée
1. Dataset (X,Y) 𝑥1 𝑦1
• variable explicative (feature)

observations
• variable expliquée (target) 𝑥2 𝑦2
𝑥3
2. Modèle …
…
• Régression polynomiale : perceptron simple
𝑦𝑛
𝑥𝑛

𝟏 𝒙𝟏 𝒙𝟐𝟏 ⋯ 𝒙𝒎
𝟏
𝜷𝟎
(𝑌 ≈ 𝛽𝑋) où 𝒀 =
𝒚𝟏
𝒚𝟐 , 𝑿= 𝟏 𝒙𝟐 𝒙𝟐𝟐 ⋮ 𝒙𝒎
𝟐 ,𝜷= 𝜷𝟏 , et 𝜺 =
𝜺𝟏
𝜺𝟐
⋮ 70
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
𝑦𝑛 𝜀𝑛
1 𝒙𝒏 𝒙𝟐𝒏 ⋯ 𝒙𝒎
𝒏
𝜷𝒎
65

60

Rendement
3. Fonction coût 55
• Erreur quadratique moyenne
𝟏 50
𝑳 𝜷𝟎, 𝜷𝟏 𝜷𝒎 = 𝑿𝜷 − 𝒀 𝑻 𝑿𝜷 − 𝒀
𝒏 45

4. Algorithme d’optimisation 40
• Descente de gradient 100 110 120 130 140 150
Température

Aissam BERRAHOU Perceptron simple 49

TP3: Classification de la BD d’images

❖ Classification de la base de données Chat/ chien

Aissam BERRAHOU Perceptron simple 50