ULCO 2022-2023

M1 TSI I.A.

TD 2 – Correction

′
u (x)
Exercice 1. Posons u(x) = 1 + e−x . Nous avons alors σ(x) = 1
u(x) et donc σ ′ (x) = − u(x)2 . De

u′ (x) = −e−x , nous obtenons

−e−x e−x
σ ′ (x) = − = .
(1 + e−x )2 (1 + e−x )2
Par ailleurs nous avons
1 + e−x − 1
 
1 1 1
σ(x) × (1 − σ(x)) = × 1 − = ×
1 + e−x 1 + e−x 1 + e−x 1 + e−x
1 e−x 1 + e−x − 1
= × = = σ ′ (x).
1 + e−x 1 + e−x (1 + e−x )2
Exercice 2. Commençons par le cas (n0 , n1 , n2 ). Le réseau aura pour paramètres :
1 2
— b1 ∈ Rn , b2 ∈ Rn ,
— w1 ∈ Mn1 ,n0 (R), w2 ∈ Mn2 ,n1 (R),
ce qui fait un total de
n1 + n2 + n1 × n0 + n2 × n1 = n2 × (n1 + 1) + n1 × (n0 + 1)
paramètres. Un réseau de dimensions (n0 , n1 , n2 , n3 ) aura
n3 × (n2 + 1) + n2 × (n1 + 1) + n1 × (n0 + 1)
paramètres.
Exercice 3.
a. Notre réseau N ayant L couches, son évaluation en x donne le vecteur aL−1 = NW,B (x). Fixons
i ∈ {0, . . . , nL−1 − 1}. Nous avons

n L−1
−1 n −1 L−1
1 X L−1 2 1 X
Φx,y = C(y, NW,B (x)) = C(y, a L−1
)= (yk − ak ) = (σ(zkL−1 ) − yk )2 .
2 2
k=0 k=0

Nous obtenons donc

∂Φx,y
δiL−1 =
∂ziL−1
 
1
nL−1
X−1 ∂ (σ(zkL−1 ) − yk )2
=
2
k=0
∂ziL−1
 
L−1 2
1 ∂ (σ(z i ) − y i )
=
2 ∂ziL−1
= (σ(ziL−1 ) − yi ) × σ ′ (ziL−1 )
= (aL−1
i − yi ) × σ ′ (ziL−1 ).
b. Le vecteur δ L−1 est ainsi donné par

δ L−1 = (aL−1 − y) ⊙ σ ′ (z L−1 ). (1)

1
Exercice 4.

a. Soit i ∈ {0, . . . , nℓ − 1}. Nous avons alors

∂Φx,y
δiℓ = ,
∂ziℓ

ce qui avec la règle de la chaı̂ne donne

nℓ+1
X−1 ∂Φx,y ∂zkℓ+1
δiℓ =
k=0
∂zkℓ+1 ∂ziℓ
nℓ+1
X−1 ∂zkℓ+1
= δkℓ+1 .
k=0
∂ziℓ

Par définition, nous avons

 
ℓ −1
nX
zkℓ+1 =  ℓ+1 ℓ 
wk,j aj + bℓk
j=0
 
ℓ −1
nX
ℓ+1
= wk,j σ(zjℓ ) + bℓk
j=0

et donc  
ℓ+1
∂zkℓ+1 ∂ wk,i σ(ziℓ )
ℓ+1 ′ ℓ
= = wk,i σ (zi ).
∂ziℓ ∂ziℓ
Nous obtenons ainsi
 
nℓ+1
X−1 nℓ+1
X−1
ℓ+1 ′ ℓ ℓ+1 ℓ+1  ′ ℓ
δiℓ = δkℓ+1 wk,i σ (zi ) =  wk,i δk σ (zi ).
k=0 k=0

b. Nous avons donc

δ ℓ = t wℓ+1 δ ℓ+1 ⊙ σ ′ (z ℓ ). (2)

Exercice 5. Soit ℓ ∈ {1, . . . , L − 1}.

a. Soit i ∈ {0, . . . , nℓ − 1}. En appliquant la règle de la chaı̂ne, nous obtenons

nXℓ −1
∂Φx,y ∂Φx,y ∂zkℓ
=
∂bℓi k=0
∂zkℓ ∂bℓi

Or nous avons (
∂zkℓ 0 si k = i ;
=
∂bℓi 1 sinon,
ce qui donne
∂Φx,y ∂Φx,y
ℓ
= = δiℓ . (3)
∂bi ∂ziℓ

2
b. Soit i ∈ {0, . . . , nℓ − 1} et j ∈ {0, . . . , nℓ−1 − 1}. Encore par la règle de la chaı̂ne, nous obtenons
nXℓ −1
∂Φx,y ∂Φx,y ∂zkℓ
ℓ
= .
∂wi,j k=0
∂zkℓ ∂wi,j
ℓ

Or nous avons P 
nℓ −1 ℓ ℓ−1
+ bℓk
(
∂zkℓ ∂ t=0 wk,t at aℓ−1 si k = i
j
ℓ
= ℓ
=
∂wi,j ∂wi,j 0 sinon,
ce qui donne
∂Φx,y ∂Φ(x, y) ℓ−1
ℓ
= aj = δiℓ aℓ−1
j .
∂wi,j ∂ziℓ
c. Matriciellement, nous obtenons alors

∇bℓ (x, y) = δ ℓ et ∇wℓ = δ ℓ × t aℓ−1 .