REPUBLIQUE DU CAMEROUN REPUBLIC OF CAMEROON

****** ******
Paix-Travail-Patrie Peace-Work-Fatherland
****** ******
MINISTERE DE MINISTRY OF HIGHER
L’ENSEIGNEMENT SUPERIEUR EDUCATION
******* ******

UNIVERSITE DE DOUALA UNIVERSITY OF DOUALA

GENIE AUTOMOBILE ET
MECATRONIQUE (GAM)

EXPOSE PROJET
CONTROLE CONTINU DE GESTION

THEME : HISTOIRE DU DEEP LEARNING

NOMS ET PRENOMS MATRICULES

BENGA TRESOR ELVIRA DE
NGUELI (GAM)
MBOUSNDJE VANESSA (GAM)

Sous la supervision de : ING ISSONDJ

1
 Année académique
2023-2024
Table des matières
INTRODUCTION.....................................................................................................................3
I. Les prémices (1943-1989)..................................................................................................4
a) Le premier modèle de neurone formel 1943...........................................................................4
b) L’apprentissage hebbien 1949.................................................................................................5
c) Le perceptron 1957...................................................................................................................7
II. L’âge sombre (1990-2005).................................................................................................9
III. Le renouveau 2006-2012.................................................................................................10
IV. L’âge d’or (2012-aujourd’hui).......................................................................................10
V. Enjeux et perspectives.....................................................................................................11
CONCLUSION.......................................................................................................................11

2
 INTRODUCTION
Le deep learning, ou apprentissage profond, est l’une des avancées les plus
prometteuses en intelligence artificielle ces dernières années. Ses applications transforment
déjà notre quotidien. Mais comprendre les ruptures historiques à l’origine de cette révolution
est indispensable pour appréhender les défis actuels et futurs de cette technologie.
Dans cet exposé, nous retracerons les grandes étapes qui ont jalonné le parcours du
deep learning, des prémices dans les années 1940 jusqu’à son âge d’or dans les années 2010.
Nous verrons comment des obstacles longtemps rédhibitoires ont pu être surmontés grâce à
des innovations algorithmiques et technologiques majeures.
Nous présenterons ensuite les récentes avancées qui ont démontré la puissance
stupéfiante, mais aussi les limites du deep learning dans les domaines comme la vision par
ordinateur ou la traduction automatique.
Enfin, nous ouvrirons des perspectives en abordant les approches hybrides
combinant deep learning et intelligence symbolique qui pourraient permettre de dépasser ces
limites. Nous discuterons également des questions éthiques fondamentales soulevées par le
déploiement massif de ces technologies.

3
 I. Les prémices (1943-1989)
a) Le premier modèle de neurone formel 1943

Le deep Learning est un type de machine Learning, qui est lui-même un sous-ensemble
de l’intelligence artificielle qui utilise des algorithmes capables de mimer les actions du
cerveau humain grâce à des réseaux de neurones artificiels.

On entend parler du premier neurone artificiel en 1943 lorsque Warren McCulloch et

Walter Pitts publient leur premier modèle mathématique et informatique du neurone
biologique: le neurone formel.

Un neurone biologique se compose d’un corps cellulaire qui comprend le noyau du

neurone et la plupart des éléments complexes de la cellule. De nombreux prolongements
appelés dendrites et un très long prolongement appelé axone. À son extrémité, l’axone se
décompose en plusieurs ramifications que l’on appelle télodendrons qui se terminent par de
minuscules structures appelés synapses et qui sont directement reliés à des dendrites ou
directement au corps cellulaire d’autres neurones.

Un neurone reçoit des signaux électriques par le biais des dendrites et lorsque que le
neurone reçoit suffisamment de signaux en un temps donné (quelques millisecondes) alors il
déclenche ses propres signaux.

4
 Le fonctionnement d’un neurone est relativement simple mais lorsqu’un neurone est
connecté à des milliers d’autres et qu’il y a des milliards de neurones, cela crée des réseaux
capables de résoudre des problèmes extrêmement complexes.

Warren McCulloch et Walter Pitts propose le premier neurone artificiel (1943), qui est un
modèle très simplifié du neurone biologique. Ce neurone artificiel possède une ou plusieurs
entrées et une sortie binaires.

Son fonctionnement est simple, le neurone active sa sortie (sortie active = 1) selon si ses
entrées dépassent un certain seuil. À partir de ce neurone, il est possible de construire
n’importe quel réseau de neurone artificiel capable de résoudre des opérations logiques.

b) L’apprentissage hebbien 1949

La règle de Hebb, théorie de Hebb, postulat de Hebb ou théorie des assemblées de

neurones a été établie par Donald Hebb en 1949. Elle est à la fois utilisée comme hypothèse
en neurosciences et comme concept dans les réseaux neuronaux en mathématiques.

Elle propose que les connexions entre les neurones du cerveau soient renforcées ou
affaiblies en fonction de la fréquence de leur utilisation. Cette théorie permet d’expliquer
comment l’apprentissage et la mémoire se produisent dans le cerveau.

 Comment fonctionne la théorie de Hebb ?

La théorie de Hebb stipule qu’une augmentation de la fréquence des tirs neuronaux

entraîne une augmentation de la force de la connexion entre les neurones. Ce phénomène est

5
connu sous le nom de potentialisation à long terme (LTP). À l’inverse, une diminution du
nombre de tirs neuronaux entraîne une diminution de la force de la connexion entre les
neurones. C’est ce qu’on appelle la dépression à long terme (LTD). Ce mécanisme permet au
cerveau de stocker et de récupérer les souvenirs.

 Quels sont les principaux éléments de la théorie de Hebbian ?

Les principaux éléments de la théorie de Hebbian sont la répétition, l’association et le

renforcement. La répétition est le processus qui consiste à répéter une action ou un
comportement afin de renforcer la connexion entre les neurones. L’association est le
processus qui consiste à relier deux ou plusieurs éléments dans le cerveau. Le renforcement
est le processus qui consiste à renforcer une connexion entre les neurones en fournissant un
renforcement positif.

 Quelles sont les limites de la théorie de Hebbian ?

La théorie de Hebb a été critiquée pour son manque de mécanisme explicite sur la façon
dont les souvenirs sont encodés et récupérés. En outre, la théorie ne tient pas compte de la
plasticité du cerveau, qui fait référence à la capacité du cerveau à se réorganiser et à s’adapter
à de nouvelles situations et expériences.

 Comment la théorie de Hebbian se rapporte-t-elle à d’autres théories ?

La théorie hébbienne est étroitement liée au connexionnisme, une théorie des sciences
cognitives qui affirme que le cerveau est composé d’un réseau de neurones interconnectés. La
théorie hébbienne est également liée au concept de plasticité synaptique, qui est la capacité
des synapses du cerveau à changer de force au fil du temps.

 Quelles sont les applications de la théorie de Hebbian ?

La théorie de Hebbian a été appliquée à de nombreux domaines des sciences cognitives,

notamment l’intelligence artificielle, l’apprentissage automatique, la robotique et la vision par
ordinateur. En outre, la théorie a été utilisée pour expliquer certaines formes d’autisme, ainsi
que le développement du langage et la formation de la mémoire.

L'algorithme de Hebb révisé est présenté comme suit :

Soient x(t) et y(t) les activités des neurones présynaptique et postsynaptique à l'instant t.
L'algorithme de Hebb révisé définit la nouvelle valeur du poids synaptique w(t + 1) à l'instant
t + 1 comme suit :
6
w(t+1)=w(t)+α*x(t)*y(t)*h(t)
où :

α est un coefficient d'apprentissage

h(t) est une fonction qui prend en compte la temporalité des activations des neurones

La fonction h(t) est ainsi définie:

h(t) = max(0, t - τ)

où τ est un paramètre correspondant à l'intervalle de temps durant lequel les deux neurones
doivent être activés

c) Le perceptron 1957

Le perceptron est inventé en 1957 par Frank Rosenblatt. Le perceptron est un neurone
formel, le plus petit réseau neuronal possible, dont la fonction d’activation est une fonction
échelon également appelé Linear Threshold Function, ce qui fait du perceptron une unité
linéaire à seuil (ou Linear Threshold Unit). Le perceptron a en entrées des nombres
quelconques (contrairement aux neurones formels de McCulloch et Pitts qui ont des entrées
binaires) et chaque entrée est pondérée par un poids (w). Le perceptron possède un
algorithme lui permettant sur un ensemble de données avec des étiquettes d’apprendre les
poids des entrées.

La LTU sur le schéma ci-dessus fonctionne de la façon suivante : X1 et X2 (voir le

schéma ci-dessus) sont deux entrées (cela correspond aux signaux qu’un neurone biologique
reçoit par le biais des synapses d’un autre neurone). W1 et W2 sont des poids qui vont
respectivement pondérer X1 et X2 (poids synaptiques). Ensuite, le symbole Σ (grand sigma)

7
indique une somme, on va donc faire la somme des deux entrées X1 et X2 pondérées par W1
et W2. Le résultat de cette somme est la valeur d’entrée de la fonction d’activation (dernier
cadre). Cette fonction détermine la sortie Y.

Le symbole σ (petit sigma) est un seuil. Lorsque la valeur en entrée de la fonction

d'activation est supérieur à ce seuil le neurone est actif (la sortie est égale à 1), lorsque cette
valeur est inférieur à ce seuil il est non-actif (la sortie vaut alors 0 ou -1). Quand la valeur en
entrée de la fonction d’activation est au alentour du seuil, on est dans ce que l’on appelle la
phase de transition.
Pour l’exemple du perceptron avec la fonction échelon, il n’y a pas de phase de transition.

Le principe du perceptron est de classer les données qu’il reçoit en entrée en deux
groupes (0 ou 1). Cependant un perceptron ne peut classer que des données linéairement
séparables, c’est-à-dire des données que l’on peut séparer en deux groupes. De plus, il existe
des adaptations du perceptron pour séparer des données en plus de deux groupes et dans ce
cas le perceptron à plusieurs sorties.

 Les perceptrons multicouches (MLP) 1986

Un percetron multicouche se représente généralement sous la forme suivante:

8
 On distingue une couche d’entrée en vert (il peut y avoir autant d’entrées que l’on
souhaite), des couches cachées en bleu (ici une couche unique avec 5 neurones) et une
couche de sortie en jaune (il peut y avoir plus d’une sortie).
Les perceptrons multicouches sont des réseaux neuronaux et ont pour objectif de classer des
données plus complexes que celles classées par un perceptron. Pour cela le perceptron
multicouches observe chacune des données qu'il possède et met à jour chaque poids de
chaque neurone de chaque couche de son réseau afin de classifier au mieux cette base de
données. L’algorithme que les perceptrons multicouches utilisent pour mette à jour leurs
poids s’appelle la rétropropagation du gradient de l’erreur.

II. L’âge sombre (1990-2005)

A la fin des années 80, « il y a eu une vague d'intérêt pour le deep learning », se
souvient Yann LeCun, qui avait présenté sa thèse sur le sujet en 1987. Durant cette période,
les réseaux de neurones seront abandonnés, leur financement arrêté et les travaux qui vont en
perpétuer l’esprit se mèneront à l’écart du champ de l’IA. Ceci due aux limitations suivantes :

- Difficulté à entrainer les réseaux multicouches avec nombre de couches >2 à cause du
problème de disparition du gradient
- Manque de puissance de calcul disponible à l’époque pour entrainer de grands réseaux
de neurones
- Printemps de l’IA dans les années 90 : désaffection pour les réseaux de neurones au
profit des méthodes symboliques
- Quelques progrès sur les méthodes d’entrainement (algorithme de rétropropagation)
mais lent et limité.
III. Le renouveau 2006-2012

Les technologies évoluant, les résultats commencent toutefois à se montrer de plus en

plus prometteurs. Ici on observe les progrès en puissance de calcul, notamment avec
l’utilisation des GPU pour le calcul parallèle. Des nouveaux algorithmes pour l’entrainement
des réseaux profonds comme les machines de Boltzmann sont créés (Geoffrey Hinton 2006).
On observe le développement des réseaux de neurones convolutionnels pour le traitement
d’images par LeCun dès 1998. Enfin les méthodes de pré-entrainement couche par couche par
Hinton permettent d’entrainer les réseaux profonds.

IV. L’âge d’or (2012-aujourd’hui)

9
 « On est passé d'un système un peu obscur à un système utilisé par des millions de
personnes en seulement deux ans. » Yann LeCun, un des pionniers du « deep learning », n'en
revient toujours pas. Après une longue traversée du désert, « l'apprentissage profond », qu'il a
contribué à inventer, est désormais la méthode phare de l'intelligence artificielle (IA). En
2013, Geoffrey Hinton remporte la prestigieuse compétition ImageNet consacrée à la
reconnaissance d'image avec une architecture convolutionnelle profonde. Une «
révolution », se souvient Yann LeCun :

« Il a gagné avec un taux d'erreur deux fois moins élevé que les compétiteurs les plus proches.
Une révolution. On est passé d'une attitude très sceptique à une situation où tout le monde
s'est mis à y travailler en un an et demi. Je n'ai jamais vu une révolution aussi rapide. Même
si, de mon point de vue, elle a mis beaucoup de temps à arriver… ». On peut également
mentionner :

- La renaissance des réseaux convolutionnels diversifiés : VGG, ResNet, Inception, etc.

- Le développement de librairies open-source comme TensorFlow, PyTorch, Keras qui

démocratisent le deep learning.

- Les applications industrielles dans la vision par ordinateur, la reconnaissance vocale,

les véhicules autonomes, la détection de fraudes…

- Le développement de l’apprentissage par renforcement profond pour les agents

intelligents

V. Enjeux et perspectives

Malgré cette ascencion fulgurante, le deep learning présente encore des limites telles que
des données massives requises, le manque d’explicabilité, les difficultés du transfer learning.
Les chercheurs sont à la recherche de pistes pour hybrider deep learning et approches
symboliques complémentaires. Les questions éthiques sont aussi au centre des débats car ces
derniers mois, plusieurs personnalités, parmi lesquelles le fondateur de Microsoft, Bill Gates,
l'astrophysicien britannique Stephen Hawking et le PDG de Tesla, Elon Musk, avaient
exprimé leurs préoccupations par rapport aux progrès de l'intelligence artificielle, qu'ils jugent
potentiellement dangereuse.

10
 Yann LeCun, lui, se veut pragmatique, et rappelle que le domaine de l'IA a souvent
souffert des attentes disproportionnées à son égard. Il espère que, cette fois, la discipline ne
sera pas victime de cette « inflation des promesses ».

CONCLUSION
Nous avons vu que le deep learning est le fruit d’une longue histoire faite de périodes
fastes et d’âges plus sombres. Mais depuis une dizaine d’années, les progrès fulgurants des
algorithmes et de la puissance de calcul ont conduit à un véritable âge d’or, avec des résultats
spectaculaires dans de multiples domaines. Cependant, derrière l’enthousiasme, de nombreux
défis restent à relever. Les approches symboliques et hybrides, la régulation éthique, la
transparence et l’explicabilité des modèles devront être explorées pour que l’IA responsable et
au service du bien commun ne soit pas qu’un vœu pieux.

Le deep learning initié il y’a plus de 70 ans n’en est probablement qu’à ses balbutiements. A
mesure que ces technologies transforment notre quotidien, il est de notre responsabilité
collective de veiller à ce que le meilleur côtoie toujours le meilleur de l’humanité, et non
l’inverse. L’histoire reste à écrire et ce passionant voyage ne fait que commencer.

11
12