Reco Faciale

ORKIS Reco.
faciale et IA Machine learning CNNs Transfer learning Système : caractéristiques Conclusion
Reconnaissance faciale :
De la recherche au déploiement industriel
Xavier Bost, Jacques Fadeuilhe
ORKIS SAS
610 rue Georges Claude
13290 AIX-EN-PROVENCE
08 mars 2019
ORKIS Reco. faciale et IA Machine learning CNNs Transfer learning Système : caractéristiques Conclusion
1 ORKIS
2 Reco. faciale et IA
3 Machine learning
4 CNNs
5 Transfer learning
6 Système : caractéristiques
7 Conclusion
Ajaris
Ajaris
Ajaris
Ajaris
Orkis Systems
Coordonnées
Cellule innovation
Cellule innovation
• Chercheur permanent : Xavier Bost.

• Doctorants : Titouan Parcollet (LIA), Lucas Pascal (Eurecom).
Cellule innovation
Cellule innovation

• Extraction automatique d’informations de documents multimédia :
1 Images : Lucas.
2 Documents audio/textuels : Titouan, Xavier.
3 Vidéos : contenus visuels (Lucas), contenus audio (Titouan, Xavier), fusion
multimodale (Xavier).
4 Le module IsyTaG.
Cellule innovation
Cellule innovation

• Extraction automatique d’informations de documents multimédia :
1 Images : Lucas.
2 Documents audio/textuels : Titouan, Xavier.
3 Vidéos : contenus visuels (Lucas), contenus audio (Titouan, Xavier), fusion
multimodale (Xavier).
4 Le module IsyTaG.
• Au quotidien :
• Activité de veille/publication scientifique.
• Participation aux conférences.
• Intégration logicielle (ingénierie).
• Coordination étroite avec l’équipe de développement.
1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
La reconnaissance faciale : détecter et reconnaître
Reconnaître, détecter, segmenter
• Reconnaître : savoir si un type d’objet donné est présent sur l’image.

visage (0.99)...

visage (0.99)...
• Détecter : encadrer les objets reconnus.

visage (0.99)...
• Segmenter : détourer les objets reconnus.

visage (0.99)...
• Segmenter : détourer les objets reconnus.
• Catégorisation : binaire, multi-classes (mono-label, multi-labels).

Reconnaissance faciale
• Approche globale vs “tubulaire”.


• Pipeline :
1 Détection des visages (MTCNN).
Zhang et al. – Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks,
IEEE SPL, 2016.

• Pipeline :
IEEE SPL, 2016.
2 Génération de crops alignés.


• Pipeline :
IEEE SPL, 2016.
3 Reconnaissance des personnes.

Emmanuel Macron −→ 0.99

• Pipeline :
IEEE SPL, 2016.
3 Reconnaissance des personnes.

Emmanuel Macron −→ 0.99
• Tâche cognitivement complexe : IA.
Brève histoire de l’IA
1 Les années 70–80 - les systèmes Experts :

• Règles + données → réponses.
• Forte dépendance à l’intelligence humaine.
• Domaine d’application spécifique.

2 1990–2010 - le Machine learning :

• Données + réponses → règles.
• La machine apprend à exécuter une tâche par l’exemple.
• Vers une machine plus autonome et polyvalente.
• Nécessité d’exemples “annotés”.
• Pré-traitements humains nécessaires.

2 1990–2010 - le Machine learning :

• Données + réponses → règles.
• La machine apprend à exécuter une tâche par l’exemple.
• Vers une machine plus autonome et polyvalente.
• Nécessité d’exemples “annotés”.
• Pré-traitements humains nécessaires.
3 Depuis 2010 - le Deep learning :

• Les réseaux de neurones artificiels (1950-).
• Puissance de calcul des ordinateurs.
• Bases d’exemples sur le web.
L’apprentissage automatique (machine learning)
• Approches :
• Supervisées : catégorisation (échantillon annoté).
• Approches :
• Non supervisées (pas d’échantillon annoté) :
1 Partitionnement de données clustering.
2 Réduction de dimensionnalité.
• Approches :
• Données :
• Structurées : objets divers explicitement caractérisés.
• Approches :
• Données :
• Structurées : objets divers explicitement caractérisés.
• Non structurées (signaux “bruts”) : images, documents...
1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
Vecteur de descripteurs et fonction-hypothèse
• Donnée : x
• Objets : maison...
• Signaux : images...
• Donnée : x
• Donnée descriptible par un ensemble de n caractéristiques (features)
quantifiables : x1 , x2 , ..., xn
x := (x1 , x2 , ..., xn )| ∈ Rn
• Maison : x1 → superficie, x2 → # pièces
• Image N&B de (largeur x hauteur) px : xi → valeur du i-ème pixel.
• Donnée : x
x := (x1 , x2 , ..., xn )| ∈ Rn
• Sortie : fonction hypothèse paramétrée : ŷ = h(x)

• Tâche de régression (prix d’une maison) :
h(x) : Rn −→ R
• Donnée : x
x := (x1 , x2 , ..., xn )| ∈ Rn

h(x) : Rn −→ R
• Tâche de catégorisation binaire (image contient un visage ou non) :
h(x) : Rn −→ [0, 1]
• Donnée : x
x := (x1 , x2 , ..., xn )| ∈ Rn

h(x) : Rn −→ R
• Tâche de catégorisation binaire (image contient un visage ou non) :
h(x) : Rn −→ [0, 1]
• Tâche de catégorisation multi-classes sur d classes :
(image contient des types d’objet (parmi d possibles))
h(x) : Rn −→ [0, 1]d
La régression linéaire
Régression linéaire (1)
• Prix (ŷ ) d’une maison (x) en fonction de sa surface x1 .


• Valeur de sortie réelle + hypothèse de proportionnalité :
ŷ = w1 x1 + b (fonction linéaire)

• Apprendre : inférer w1 et b à partir d’un ensemble de m exemples annotés

(ensemble d’apprentissage) :
D := {(x(1) , y (1) ), (x(2) , y (2) ), ..., (x(m) , y (m) )}

• Apprendre : inférer w1 et b à partir d’un ensemble de m exemples annotés

(ensemble d’apprentissage) :
D := {(x(1) , y (1) ), (x(2) , y (2) ), ..., (x(m) , y (m) )}
• Cas général :
ŷ = w1 x1 + w2 x2 + ... + wn xn + b
• w ∈ Rn : poids à donner aux différents descripteurs (règle).
• b ∈ R : biais (ordonnée à l’origine).
• Pour w1 et b fixés : erreur.
1 w1 = 0.1, b = 0.4
1 w1 = 0.1, b = 0.4
2 w1 = 0.5, b = 0.6
1 w1 = 0.1, b = 0.4
2 w1 = 0.5, b = 0.6
• Fonction d’erreur (de coût) à minimiser :
Pm 2
1 (i)
J(w1 , b) = 2m i=1
(w1 x1 + b) − y (i)
(erreur au carré moyenne / 2)
1 w1 = 0.1, b = 0.4
2 w1 = 0.5, b = 0.6
Pm 2
1 (i)
J(w1 , b) = 2m i=1
(w1 x1 + b) − y (i)
• Méthodes de minimisation de la fonction d’erreur :
• Mathématiques, exactes.
1 w1 = 0.1, b = 0.4
2 w1 = 0.5, b = 0.6
Pm 2
1 (i)
J(w1 , b) = 2m i=1
(w1 x1 + b) − y (i)
• Méthodes de minimisation de la fonction d’erreur :
• Mathématiques, exactes.
• Algorithmiques, approchées : la descente de gradient.
La régression logistique
• Probabilité (ŷ ) de malignité d’une tumeur (x) en fonction de sa taille (x1 ) et des
antécédents familiaux (x2 ) d’une personne.
• Valeur de sortie 0 6 ŷ 6 1
ŷ = σ(w1 x1 + w2 x2 + b) (fonction linéaire + sigmoïde)
σ(x ) = 1+e1−x
σ(x ) = 1+e1−x
• w, b : coefficients de l’équation d’une frontière de décision.
σ(x ) = 1+e1−x
• w, b : coefficients de l’équation d’une frontière de décision.
• Fonction d’erreur
Pmà minimiser :
1 (i) log(ŷ (i) ) + (1 − y (i) ) log(1 − ŷ (i) )
J(w, b) = − m i=1
y
(entropie croisée moyenne)
Les réseaux de neurones
Fonctionnement d’un réseau de neurones
• De la régression logistique au réseaux de neurones :

• Principe de fonctionnement d’un réseau de neurones :

1 Couches cachées.

1 Couches cachées.
2 Hypothèse : “propagation avant”.
[1] [1] [1] [1] [1] [1]
z =W x+b → a =f (z )
[2] [2] [1] [2] [2] [2]
z =W a +b → a = σ(z )

1 Couches cachées.
[1] [1] [1] [1] [1] [1]
z =W x+b → a =f (z )
[2] [2] [1] [2] [2] [2]
z =W a +b → a = σ(z )
3 Minimisation de la fonction d’erreur :
descente de gradients par lots et rétro-propagation.

1 Couches cachées.
[1] [1] [1] [1] [1] [1]
z =W x+b → a =f (z )
[2] [2] [1] [2] [2] [2]
z =W a +b → a = σ(z )
3 Minimisation de la fonction d’erreur :
descente de gradients par lots et rétro-propagation.
• Modèle : architecture + paramètres (matrices, vecteurs).
Réseaux de neurones vs régression logistique
• Fonctions d’activation : frontières non linéaires entre classes.

• Couches cachées : représentations internes utiles.

(representation learning vs feature engineering)

• Risque accru de surapprentissage :
• Nécessité de vastes volumes de données.
• Techniques complémentaires : régularisation L2, dropout.

• Multiplication des hyperparamètres → ingénierie expérimentale.


• Multiplication des hyperparamètres → ingénierie expérimentale.

• Réseaux de neurones profonds : temps d’apprentissage prohibitifs.
1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
Limites des réseaux de neurones pleinement connectés
• Réseaux pleinement connectées : apprentissage de motifs globaux.

• Réseaux de neurones convolutionnels : sensibles aux motifs locaux.
1 Invariance par rapport à la translation.
2 Hiérarchie des motifs.
• Réseaux pleinement connectées : apprentissage de motifs globaux.

• Réseaux de neurones convolutionnels : sensibles aux motifs locaux.
1 Invariance par rapport à la translation.
2 Hiérarchie des motifs.
• La résurrection des réseaux de neurones convolutionnels : ImageNet 2012.
Krizhevsky et al. – ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012.
• Catégorisation multi-classes, mono-label.
• 1000 catégories ; 1000 images/catégorie.
• Évaluation : catégorie de référence trouvée parmi les 5 premières propositions.
• Alexnet.
• 15% d’erreur.
http://www.image-net.org/
Principe de fonctionnement (1)
• Exemple de CNN :
• Couches convolutionnelles : filtres sur appliqués sur un volume d’entrée.

• Couches convolutionnelles : filtres sur appliqués sur un volume d’entrée.
• Pooling : échantillonnage des volumes.

• Hiérarchie des représentations :

• Hiérarchie des représentations :
• Exemple d’architecture (VGG) :

1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
Reconnaissance faciale : problématique de déploiement
• Nécessité de vastes volumes de données pour entraîner les CNNs.

• Utilisateur rarement en mesure de fournir de tels échantillons.

• Temps d’apprentissage prohibitifs.
• Classes en évolution permanente.

• Temps d’apprentissage prohibitifs.
• Classes en évolution permanente.
• Minimiser le nombre de photos/personne.
• Dans l’idéal, one shot learning.
Transfer learning
Transfer learning
• Utiliser un réseau pré-entraîné sur des catégories généralistes (ImageNet, MS

Coco...).
Transfer learning
Transfer learning

Coco...).
• Suppression de la dernière couche et de la matrice associée.
Transfer learning
Transfer learning

Coco...).
• Ajout des nouvelles classes.
Transfer learning
Transfer learning

Coco...).
• Ré-entraînement partiel du réseau :
• Peu de données et/ou classes spécifiques : paramètres du classifieur final.
• + de données et/ou classes + généralistes : fine tuning.
Transfer learning
Transfer learning

Coco...).
• Ré-entraînement partiel du réseau :
• Peu de données et/ou classes spécifiques : paramètres du classifieur final.
• + de données et/ou classes + généralistes : fine tuning.
• Expériences sur reconnaissance modèles de voitures.
Transfer learning
Transfer learning pour la reconnaissance faciale ?
• Approche envisageable pour la reconnaissance faciale :

Sun et al. – Deeply Learned Face Representations Are Sparse, Selective, and Robust, CVPR 2015.
Taigman et al. – DeepFace : Closing the Gap to Human-Level Performance in Face Verification, CVPR 2014.
Transfer learning

• Difficultés :
• Problème de généralisation de la partie figée du réseau.
Transfer learning

• Difficultés :
• Problème de généralisation de la partie figée du réseau.
• Représentation (embedding) de grande dimension (> 1000)
FaceNet et la triplet loss
• Approche retenue :
Schroff et al. – FaceNet : A Unified Embedding for Face Recognition and Clustering, CVPR 2015.
• Apprendre une représentation numérique (encodage) discriminante f (x) ∈ Rd de
chaque visage (d := 128).
• Ensemble d’apprentissage : N triplets (xia , xp , xin )
i
• Ensemble d’apprentissage : N triplets (xia , xp , xin )
i
• Objectif :
N
!

f (xi ) − f (xip ) 2 − kf (xia ) − f (xin )k2 + α
X a
min
i=1
• Ensemble d’apprentissage : 453 453 images, 10 575 personnes.
• Implémentation : TensorFlow/Python.
Visualisation des vecteurs d’embeddings
Visualisation des vecteurs d’embeddings
Démo.
http://orkis-pc:6006/#projector
1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
Classifieur final
Classifieur final
• K-plus proches voisins :

• Apprentissage immédiat.
• Potentiellement lent en phase d’application.
Classifieur final
Classifieur final

• SVMs :
• Moins performants.
• Problème d’interprétation des scores de sortie.
Classifieur final
Classifieur final

• SVMs :
• Moins performants.
• Problème d’interprétation des scores de sortie.
• Régression logistique multinomiale.

• Délais d’apprentissage raisonnables.
• Interprétation probabiliste des scores de sortie.
Performances
Performances
• + Peu de contraintes d’annotation manuelle : 1 ou 2 photos/personne.

Performances
Performances

• + Supervision manuelle toujours possible (score de confiance).
Performances
Performances

• + Système opérationnel à large échelle (testé jusqu’à 350 personnes cibles).
Performances
Performances

• + Tests sur une base réelle déjà constituée : 98% de réussite (300 personnes ; 4
photos/personne).
Performances
Performances

photos/personne).
• ! Tests réalisés sans visages inconnus.
Performances
Performances

photos/personne).
• ! Tests réalisés sans visages inconnus.
• ! FaceNet pré-entraîné sur base de visages occidentaux.
Cas d’erreurs
Cas d’erreurs
1 ORKIS
3 Machine learning
4 CNNs
5 Transfer learning
7 Conclusion
Conclusion
• Intrication entre cas d’usages et problématiques de recherche :

• Système performant → Deep Learning.
Conclusion

• Peu de données → Transfer Learning.
Conclusion

• Perspectives :
• Détection de personnes dans les vidéos.
Conclusion

• Perspectives :
• Catégorisation (semi-)automatique d’images.
Conclusion

• Perspectives :
• Catégorisation (semi-)automatique d’images.
• Poste d’alternant en 2019/2020.
Questions ?

Reco Faciale

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Reco Faciale

Transféré par

Droits d'auteur :

Formats disponibles

ORKIS Reco.

faciale et IA Machine learning CNNs Transfer learning Système : caractéristiques Conclusion

Xavier Bost, Jacques Fadeuilhe

• Chercheur permanent : Xavier Bost.

• Chercheur permanent : Xavier Bost.

• Chercheur permanent : Xavier Bost.

La reconnaissance faciale : détecter et reconnaître

Reconnaître, détecter, segmenter

• Reconnaître : savoir si un type d’objet donné est présent sur l’image.

La reconnaissance faciale : détecter et reconnaître

Reconnaître, détecter, segmenter

• Reconnaître : savoir si un type d’objet donné est présent sur l’image.

La reconnaissance faciale : détecter et reconnaître

Reconnaître, détecter, segmenter

• Reconnaître : savoir si un type d’objet donné est présent sur l’image.

La reconnaissance faciale : détecter et reconnaître

Reconnaître, détecter, segmenter

• Reconnaître : savoir si un type d’objet donné est présent sur l’image.

• Catégorisation : binaire, multi-classes (mono-label, multi-labels).

La reconnaissance faciale : détecter et reconnaître

• Approche globale vs “tubulaire”.

La reconnaissance faciale : détecter et reconnaître

• Approche globale vs “tubulaire”.

La reconnaissance faciale : détecter et reconnaître

• Approche globale vs “tubulaire”.

2 Génération de crops alignés.

La reconnaissance faciale : détecter et reconnaître

• Approche globale vs “tubulaire”.

2 Génération de crops alignés.

3 Reconnaissance des personnes.

La reconnaissance faciale : détecter et reconnaître

• Approche globale vs “tubulaire”.

2 Génération de crops alignés.

3 Reconnaissance des personnes.

Brève histoire de l’IA

Brève histoire de l’IA

1 Les années 70–80 - les systèmes Experts :

Brève histoire de l’IA

Brève histoire de l’IA

1 Les années 70–80 - les systèmes Experts :

2 1990–2010 - le Machine learning :

Brève histoire de l’IA

Brève histoire de l’IA

1 Les années 70–80 - les systèmes Experts :

2 1990–2010 - le Machine learning :

3 Depuis 2010 - le Deep learning :

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

L’apprentissage automatique (machine learning)

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse

• Sortie : fonction hypothèse paramétrée : ŷ = h(x)

Vecteur de descripteurs et fonction-hypothèse

Vecteur de descripteurs et fonction-hypothèse