Qu’est-ce que l’apprentissage profond ?

Cet article fait partie de Démystifier l’IA, une série de messages qui
(essayer de) désambiguiser le jargon et les mythes entourant
l’intelligence artificielle.

E
n septembre 2012, Alex Krizhevsky et Ilya Sutskever, deux
chercheurs en IA de l’Université de Toronto, ont écrit l’histoire
d’ImageNet, un concours populaire dans lequel les
participants développent des logiciels qui peuvent reconnaître des
objets dans une vaste base de données d’images numériques.
Krizhevsky et Sutskever, et leur mentor, geoffrey Hinton, pionnier de
l’IA, ont soumis un algorithme basé sur l’apprentissage profond et les
réseaux neuronaux, une technique d’intelligence artificielle que la
communauté de l’IA considérait avec scepticisme en raison de ses
lacunes passées.
AlexNet, l’algorithme d’apprentissage profond développé par les
chercheurs de l’Université de T, a été en mesure de gagner le
concours avec un taux d’erreur de 15,3 pour cent, un énorme 10,8
pour cent de mieux que le finaliste. Selon certains témoignages,
l’événement a déclenché la révolution de l’apprentissage profond,
créant l’intérêt pour le domaine par de nombreuses organisations
académiques et commerciales.
Aujourd’hui, l’apprentissage profond est devenu essentiel à de
nombreuses applications que nous utilisons chaque jour, telles que
les systèmes de recommandation de contenu, les applications de
traduction, les assistants numériques, les chatbots et les systèmes de
reconnaissance faciale. L’apprentissage profond a également
contribué à créer des progrès dans de nombreux domaines spéciaux
tels que les soins de santé, l’éducation et les voitures autonomes.
La renommée de l’apprentissage profond a également conduit à
la confusion et l’ambiguïté sur ce qu’il est et ce qu’il peut faire. Voici
une brève ventilation de ce que sont l’apprentissage profond et les
réseaux neuronaux, ce qu’ils peuvent (et ne peuvent pas faire) et
quelles sont leurs forces et leurs limites.

Une amorce sur l’apprentissage automatique

L’apprentissage profond est un sous-ensemble de automatique, un
domaine de l’IA qui modifie la façon dont le comportement logiciel
est développé. Les approches classiques du développement de
logiciels, également connues sous le nom de « bonne IA démodée »
(GOFAI), impliquent que les programmeurs codent manuellement les
règles qui définissent le comportement d’une application.
GOFAI fonctionne bien dans les domaines où les règles sont claires
et peuvent être traduites en commandes de flux de programme
comme si... d’autres commandes. Mais les systèmes basés sur des
règles luttent dans des domaines tels que la vision par ordinateur,où
les logiciels doivent donner un sens au contenu des photos et des
vidéos prises sous différents angles et dans différentes conditions
d’éclairage.
Les algorithmes d’apprentissage automatique utilisent différents
modèles mathématiques et statistiques pour analyser de grands
ensembles de données et trouver des modèles et des corrélations
utiles. L’apprentissage automatique utilise ensuite les connaissances
acquises pour faire des prédictions ou définir le comportement d’une
application.
L’apprentissage automatique est utilisé depuis des décennies, mais
ses capacités étaient limitées dans certains domaines. Il ya encore
beaucoup de conception manuelle à forte intensité de main-d’œuvre
impliqués. Par exemple, lorsqu’ils sont utilisés dans la vision par
ordinateur, les développeurs doivent faire beaucoup d'«ingénierie
des fonctionnalités » qui a permis à l’algorithme d’extraire différentes
fonctionnalités à partir d’images, puis ils ont appliqué un modèle
statistique tel que la régression logistique ou la machine vectorielle
de soutien (SVM). Le processus prend beaucoup de temps et a
nécessité la participation de plusieurs ingénieurs iA et experts du
domaine.
Les approches classiques d’apprentissage automatique ont impliqué
beaucoup d’étapes compliquées et ont exigé la collaboration de
douzaines d’experts de domaine, mathématiciens et programmeurs
Comment fonctionnent les réseaux neuronaux et les algorithmes
d’apprentissage profond ?
L’apprentissage profond diffère des autres techniques
d’apprentissage automatique et d’IA en ce sens qu’il implique très
peu de conception manuelle. L’apprentissage profond utilise les
réseaux neuronaux, une structure que Jeremy Howard, chercheur en
IA, définit comme une «fonction infiniment flexible» qui peut
résoudre la plupart des problèmes d’apprentissage automatique
sans passer par l’ingénierie de fonctionnalités spécifique au domaine
que vous de aviez auparavant à effectuer.
Lorsque vous fournissez un réseau neuronal avec un ensemble
d’exemples, par exemple des images de personnes, il peut trouver
les caractéristiques communes entre ces images. Lorsque vous
empilez plusieurs réseaux neuronaux les uns sur les autres, il peut
aller de la recherche de fonctionnalités simples, telles que les bords
et les contours, à des caractéristiques plus compliquées, telles que
les yeux, le nez, les oreilles, les visages et les corps.

Les réseaux neuronaux superposés peuvent extraire différentes

fonctionnalités des images d’une manière hiérarchique (source :
www.deeplearningbook.org)
Lors de la création d’algorithmes d’apprentissage profond, les
développeurs et les ingénieurs configurent le nombre de couches et
le type de fonctions qui relient les sorties de chaque couche aux
entrées de la suivante. Ensuite, ils forment le modèle en lui
fournissant beaucoup d’exemples annotés. Par exemple, vous
donnez un algorithme d’apprentissage profond avec des milliers
d’images et d’étiquettes qui correspondent au contenu de chaque
image.
L’algorithme exécutera ces exemples à travers son réseau neuronal
superposé (les nombreuses couches est pourquoi il est appelé
« profond » d’apprentissage) et ajuster les poids des variables (ou
des neurones ou des activations) dans chaque couche du réseau
neuronal pour être en mesure de détecter les modèles communs qui
définissent des images avec des étiquettes similaires.
Avec suffisamment de formation, un réseau neuronal est peaufiné et
sera en mesure de classer les images non étiquetées en fonction des
connaissances qu’il a acquises à partir des exemples.
Trouver des données de formation de qualité est l’un des principaux
défis des algorithmes d’apprentissage profond. Heureusement, il
existe de nombreux ensembles de données accessibles au public que
l’ingénieur en apprentissage profond peut choisir.
Un exemple est la base de données ImageNet, qui contient plus de
14 millions d’images étiquetées dans plus de 200 000 catégories.
ImageNet est l’une des normes de facto pour la formation et la mise
à l’essai d’algorithmes de vision par ordinateur. D’autres ensembles
de données incluent CIFAR, un autre ensemble général de données
de vision par ordinateur, et MNIST, une base de données spécialisée
de dizaines de milliers de chiffres écrits à la main.
 Apprentissage supervisé, non supervisé et renforcé

Le processus décrit ci-dessus est appelé « apprentissage supervisé »

et c’est actuellement la principale façon dont les algorithmes
d’apprentissage profond sont développés. C’est ce qu’on appelle
supervisé parce que le modèle d’IA reçoit un ensemble complet de
problèmes (par exemple des images) et leurs solutions (par exemple
leurs étiquettes ou descriptions associées) et est chargé de trouver
les mappages corrects entre les entrées et les sorties. L’apprentissage
supervisé est utilisé dans des domaines tels que la vision par
ordinateur et la reconnaissance vocale.
L’apprentissage non supervisé, une autre race de modèles
d’apprentissage profond, est utilisé pour résoudre les problèmes où
vous avez un tas de données, mais vous n’avez pas une sortie
correspondante pour les cartographier. Dans ce cas, l’algorithme
d’apprentissage profond doit parcourir les données de formation et
trouver des modèles utiles qui auraient autrement nécessité
beaucoup d’efforts humains.
Par exemple, un algorithme d’apprentissage profond peut passer par
10 ans de données de vente et vous donner des prédictions de ventes
ou des suggestions sur la façon d’ajuster les prix de vos marchandises
pour maximiser les ventes. Ceux-ci sont appelés analyses prédictives
et normatives et sont utiles dans de nombreux domaines tels que les
prévisions météorologiques et la recommandation de contenu.
L’apprentissage du renforcement, l’autre type de formation modèle
d’apprentissage profond, est considéré par beaucoup comme le «
Saint Graal de l’intelligence artificielle » (c’est-à-dire basé sur ce que
nous savons en ce moment). Dans l’apprentissage du renforcement,
un modèle d’IA est fourni avec les règles de base d’un domaine
problématique et est laissé à développer son comportement par lui-
même sans supervision ou des données de l’homme. Le modèle
d’apprentissage profond utilise les essais et erreurs pour apprendre
progressivement à maîtriser le domaine.
L’apprentissage du renforcement est l’une des principales méthodes
utilisées dans le développement de modèles d’IA qui ont maîtrisé des
jeux célèbres tels que les échecs, Go, poker, et plus
récemment, StarCraft II. Les scientifiques ont également utilisé
l’apprentissage du renforcement pour développer des mains de
robots qui s’apprennent à manipuler des objets, l’un des défis très
difficiles de l’industrie de l’IA. Bien qu’il s’agit d’un domaine très
passionnant de l’IA, l’apprentissage du renforcement a des limites
très distinctes et est très exigeant en termes de ressources de calcul.
Bien qu’il ait réalisé des exploits très intéressants dans les
laboratoires, l’apprentissage de renforcement a montré une
utilisation limitée dans les applications du monde réel.

Pourquoi l’apprentissage profond est-il possible

maintenant ?
Bien que l’apprentissage profond soit devenu populaire plus tôt cette
décennie, il n’est pas nouveau. Les concepts de réseaux neuronaux
remontent aux années 1950, lorsque le Mark I Perceptron, le premier
réseau neuronal, a été développé.
Les réseaux neuronaux ont également été discutés dans les années
1980 et 1990, mais ont surtout été rejetés en raison de leurs
performances limitées et de leurs besoins en données et en
informatique. À l’époque, les données et les ressources de calcul
nécessaires à la création de modèles d’apprentissage profond
n’étaient pas disponibles. La formation d’un modèle d’apprentissage
profond a nécessité beaucoup de temps. D’autres méthodes étaient
plus réalistes dans leurs exigences et leurs résultats.
Le Mark I Perceptron a été la première mise en œuvre des réseaux
neuronaux en 1957 (Source: Wikipedia)
À l’heure actuelle, les données et l’informatique sont devenues
largement disponibles et peu coûteuses. Il ya une pléthore de GPU
et de matériel spécialisé qui peuvent aider à la formation des
modèles d’apprentissage profond à des taux très rapides. Il existe des
services de cloud computing tels que PaperSpace et Crestle qui sont
spécialisés pour l’apprentissage profond.

Applications de l’apprentissage profond

L’apprentissage profond a actuellement trouvé son chemin dans de
nombreux domaines différents. Voici quelques-unes des applications
intéressantes de l’apprentissage profond:
• Voitures autonomes : Pour naviguer dans les rues sans
conducteur, les véhicules autonomes doivent être en mesure
de donner un sens à leur environnement. Les algorithmes
d’apprentissage profond ingèrent des flux vidéo à partir de
caméras installées autour des voitures et détectent les
panneaux de signalisation, les feux de circulation, les autres
voitures et les piétons. L’apprentissage profond est l’un des
principaux composants des voitures sans conducteur (mais pas
la seule).
• Reconnaissance faciale : La reconnaissance faciale est
actuellement utilisée dans de nombreux domaines différents,
tels que le déverrouillage de votre iPhone,les paiements et la
recherche de criminels. Les itérations précédentes de la
technologie ont exigé l’effort manuel étendu et n’étaient pas
très fiables. Avec l’apprentissage profond, un système de
reconnaissance faciale a seulement besoin de voir plusieurs
images d’une personne et il sera en mesure de détecter le
visage de cette personne dans des photos et des vidéos en
temps réel et avec une précision décente. La reconnaissance
 faciale basée sur l’IA est actuellement au centre des débats
éthiques en raison de ses utilisations sinistres potentielles.
• Reconnaissance vocale et transcription : Un modèle
d’apprentissage profond bien formé peut transformer un flux
audio en texte écrit et est beaucoup plus précis que toutes les
technologies de transcription précédentes. L’apprentissage
profond permet aux haut-parleurs intelligents d’affiner les
commandes vocales données par leurs utilisateurs. Au-delà de
la transcription du texte, l’apprentissage profond peut
également aider à faire la différence entre les voix des
différentes personnes et à déterminer qui parle.
• Traduction automatique : Avant l’apprentissage profond, les
systèmes de traduction automatisés étaient très limités dans
leur qualité et étaient très difficiles à développer, nécessitant
des efforts distincts pour chaque paire de langues. Ces
dernières années, des géants de la technologie comme
Google ont utilisé l’apprentissage profond pour améliorer la
qualité de leurs systèmes de traduction automatique. La
compréhension profonde du langage humain par
l’apprentissage profond est limitée, mais elle peut néanmoins
être remarquablement performante lors de simples traductions.
• Imagerie médicale : Les modèles d’apprentissage profond
peuvent aider les médecins à automatiser le processus
d’analyse des radiographies et des IRM et à trouver des
symptômes et à diagnostiquer les maladies. L’apprentissage
profond ne remplacera pas les radiologistes,mais il les aidera
sûrement à devenir meilleurs dans leur travail.
 Les limites de l’apprentissage profond

Neural network created by pins and threads

• L’apprentissage profond a résolu de nombreux problèmes qui
étaient auparavant considérés comme interdits pour les
ordinateurs. Mais les réalisations de l’apprentissage profond
ont conduit à de nombreuses interprétations erronées et
attentes de ses capacités. Tout en étant une technologie très
excitante, l’apprentissage profonda également des limites
distinctes .

• Dans son article approfondi, «Deep Learning: A Critical

Appraisal», Gary Marcus, ancien responsable de l’IA chez
Uber et professeur à l’Université de New York, détaille les
limites et les défis des visages de l’apprentissage profond,
qui se résument aux points suivants :
 • L’apprentissage profond nécessite beaucoup de données.
Contrairement aux humains, qui peuvent apprendre des
concepts et prendre des décisions fiables basées sur des
données limitées et incomplètes, les modèles d’apprentissage
profond ne sont souvent aussi bons que la qualité et la quantité
des données avec qui ils sont formés. Cela pose une limite dans
les zones où les données annotées ne sont pas disponibles.
• Les modèles d’apprentissage profond sont peu profonds :
l’apprentissage profond et les réseaux neuronaux sont très
limités dans leurs capacités à appliquer leurs connaissances
dans des domaines en dehors de leur formation, et ils peuvent
échouer de façon spectaculaire et dangereuse lorsqu’ils sont
utilisés en dehors du domaine étroit pour qui ils ont été formés.
• L’apprentissage profond est opaque : contrairement à d’autres
modèles d’apprentissage automatique, l’apprentissage
profond implique très peu de conception humaine
descendante. Ils sont également très compliqués et impliquent
des milliers et des millions de paramètres. Il est donc difficile
d’interpréter leurs extrants et le raisonnement derrière leurs
décisions. Les réseaux neuronaux sont décrits comme des
boîtes noires en raison de leur opacité. Le problème a donné
lieu à une série d’efforts et d’études vers la création d’IA
explicable.
L’apprentissage profond et les réseaux neuronaux sont souvent
comparés à l’intelligence humaine. Mais alors que l’apprentissage
profond peut effectuer des tâches compliquées sur un pied d’égalité
ou mieux que les humains, il fonctionne d’une manière qui est
fondamentalement différente de l’esprit humain. Il est
particulièrement limité dans la prise de décisions éclairées et
abstraites.
Les menaces de l’apprentissage profond
L’apprentissage profond est un outil très puissant. Mais comme toute
autre technologie efficace, elle est livré avec ses propres compromis.
Les modèles d’apprentissage profond sont sujets à des biais
algorithmiques parce qu’ils tirent son comportement de ses données
de formation. Cela signifie que tous les biais cachés ou évidents
intégrés dans les exemples de formation trouveront également leur
chemin dans les décisions prises par l’algorithme d’apprentissage
profond.
Au cours des dernières années, il y a eu plusieurs cas où des modèles
d’apprentissage profond ont été trouvés discriminatoires à l’égard
de groupes spécifiques de personnes. Par exemple, en octobre
dernier, Amazon a dû fermer un outil de recrutement d’IA parce qu’il
était biaisé contre les candidatures féminines.
Entre de mauvaises mains, l’apprentissage profond peut servir des
fins très mauvaises. Comme l’apprentissage profond devient de plus
en plus efficace dans la création d’images et de sons d’nature, on
craint que la technologie pourrait être utilisée pour créer une
nouvelle race de crimes de contrefaçon basés sur l’IA. L’année
dernière, il y avait beaucoup de controverse sur FakeApp, une
application vidéo qui a utilisé l’apprentissage profond pour échanger
les visages des gens dans les vidéos. L’application a été utilisée pour
mettre les visages des célébrités et des politiciens dans des vidéos
pornographiques.
Une autre menace de l’apprentissage profond est les attaques
contradictoires. En raison de la façon dont ils sont créés, les
algorithmes d’apprentissage profond peuvent se comporter de
façon inattendue, ou du moins d’une manière qui nous semblerait
illogique pour les humains. Et étant donné la nature opaque des
réseaux neuronaux, il est difficile de trouver toutes les erreurs
logiques qu’ils contiennent.
Les experts et les chercheurs ont montré à maintes reprises que cet
échec peut être transformé en attaques contradictoires où un acteur
malveillant force un algorithme d’apprentissage profond à
manifester un comportement dangereux. Par exemple, les
chercheurs ont pu tromper les algorithmes de vision d’une voiture
autonome en y apposant quelques autocollants couleur sur un
panneau d’arrêt. Pour un humain, il ressemblerait toujours à un
panneau d’arrêt. Mais la voiture sans conducteur manquerait tout à
fait et peut-être créer une situation dangereuse.

L’apprentissage profond n’est qu’un début

L’apprentissage profond a parcouru un long chemin depuis qu’il a
été mis sous les feux de la rampe grâce aux efforts de Krizhevsky,
Sutskever et Hinton, et les nombreux autres qui ont travaillé sur le
terrain.
Mais l’apprentissage profond n’est toujours pas la réalisation
de l’intelligence artificielle dans le sens de créer des êtres
synthétiques qui peuvent penser comme des humains. Nous ne
savons même pas si l’intelligence générale artificielle sera jamais
créée, et de nombreux experts croient que c’est un objectif gaspillé.
Toutefois, en ce qui concerne les scientifiques, nous devons encore
aller de l’avant pour créer de meilleures techniques et technologies
pour automatiser les décisions compliquées. En 2017, Hinton,
pionnier de longue date et défenseur de l’apprentissage profond et
des réseaux neuronaux, a laissé entendre qu’il serait prêt à jeter tout
ce qu’il a créé et à tout recommencer.
« L’avenir dépend d’un étudiant diplômé qui se méfie profondément
de tout ce que j’ai dit », a déclaré Hinton.