ULCO 2022-2023

M1 TSI I.A.

TD 2 – Énoncé

Exercice 1. Montrer que la fonction sigmoı̈de vérifie

σ ′ = σ(1 − σ).

Exercice 2. Déterminer le nombre de paramètres d’un réseau de dimensions (n0 , n1 , n2 ). Et pour un

réseau de dimensions (n0 , n1 , n2 , n3 ) ?
Exercice 3.
a. Montrer que, pour tout i ∈ {0, . . . , nL − 1}, nous avons

δiL−1 = (aL−1
i − yi ) × σ ′ (ziL−1 ).
b. En déduire la formule donnée en cours.

Exercice 4.
a. Montrer que, pour tout ℓ ∈ {1, . . . , L − 2} et tout i ∈ {0, . . . , nℓ − 1}, nous avons
 
nℓ+1
X−1
ℓ+1 ℓ+1  ′ ℓ
δiℓ =  wk,i δk σ (zi )
k=0
b. En déduire la formule donnée en cours.

Exercice 5. Soit ℓ ∈ {1, . . . , L − 1}.

a. Montrer, que pour tout i ∈ {0, . . . , nℓ − 1}, nous avons

∂Φx,y
= δiℓ .
∂bℓi
b. Montrer, que pour tout i ∈ {0, . . . , nℓ − 1} et tout j ∈ {0, . . . , nℓ−1 − 1}, nous avons

∂Φx,y
ℓ
= δiℓ aℓ−1
j .
∂wi,j
c. Retrouver les formules vectorielles données en cours.

Exercice 6.
a. Ecrire une fonction argmax(v) prenant en entrée un vecteur v ∈ Rn et retournant l’indice de la plus
grande valeur de v.
b. Dans le cas de Nmnist , écrire une fonction coindice(a,y) prenant en entrée deux vecteurs a et y de
tailles 10 et testant si argmax(a) est égal à argmax(y).
c. Ecrire une fonction performance(N,D E) prenant en entrée un réseau N et retournant le pourcentage
de succès de N sur les données de D E. Nous rappelons que D E est composée de couple (x, y) et
que N réussi pour (x, y) si N(x) coincide avec y. On supposera connue la fonction coindice(a,y).

Exercice 7. Un vecteur u de Rn est un vecteur de probabilités si ui ∈ [0, 1] et n−1

P
i=0 ui = 1.
Soit u ∈ Rn . Pour i ∈ {0, . . . , n − 1}, on pose
eui
vi = Pn−1 .
j=0 euj

1
Montrer que le vecteur  
v0
v =  ... 
 

vn−1
est un vecteur de probabilité.

Exercice 8. Dans Mnist une image de taille 28 × 28 est donnée par un vecteur de [0, 1]784 . Le but de
cet exercice est de coder une fonction affiche(u), dessinant en ASCII-art l’image représenter par le
vecteur u ∈ [0, 1]784 .
Nous supposerons que nous avons à notre disposition un tableau gris de n caractères classés du plus
sombre au plus clair.
a. Construire une fonction mathématique f croissante transformant un réel de [0, 1] en un entier de
{0, . . . , n − 1} telle que f (0) = 0 et f (1) = n − 1.
b. Ecrire la fonction affiche(u). On supposera que les premières valeurs de u sont les pixels de la
ligne la plus en haut de l’image classés de gauche à droite.