thique de la recherche en apprentissage machine

Edition provisoire, juin 2017

Prambule
Composition du groupe de travail et personnalits auditionnes
Introduction

I. Quest-ce que lapprentissage machine ?

II. Exemples dapplications de lapprentissage machine
III. Questions thiques
IV. Les prconisations sur les systmes apprenants en six thmes
1. Les donnes des systmes dapprentissage
2. Lautonomie des systmes apprenants
3. Lexplicabilit des systmes dapprentissage et leur valuation
4. Les dcisions des systmes dapprentissage
5. Le consentement lors de lapprentissage machine
6. La responsabilit dans les relations homme-machine apprenantes
V. Contexte national et international
VI. Conclusion
VII. Liste des prconisations

Annexes
Prsentation dAllistene
Prsentation de la CERNA

**********************

Prambule

Dans le numrique, le foisonnement et la rapidit de dploiement des usages issus de

linnovation contribuent la complexit de linteraction entre loffre technologique et
lappropriation par la socit, et rduit de ce fait la porte des prvisions scientifiques
sur les consquences de la recherche. Cette relative imprvisibilit des usages ne doit
pas ddouaner les scientifiques, mais doit au contraire motiver la rflexion thique et la
recherche dattitudes et de mthodes adaptes. En effet les chercheurs doivent avoir
lesprit que leurs travaux contribuent de facto transformer la socit et peut-tre
lHomme, comme lont fait beaucoup doutils et de techniques depuis des millnaires,
mme si ce processus nest pas toujours prvisible. Ainsi si lon ne saurait attribuer aux
seuls chercheurs la responsabilit de limpact potentiel de leurs travaux, ceux-ci doivent
tre conscients quils sont partie prenante dune responsabilit collective. Le monde de
la recherche doit organiser en son sein et dune manire transdisciplinaire la prise en
compte de la dimension thique, et clairer ses choix vis--vis de la socit en
contribuant aux dbats publics, afin que la science demeure un facteur de progrs et que
les croyances infondes et lirrationnel ne conduisent pas une dfiance son gard.
Dans ce contexte, les rflexions de la CERNA - dont la vocation est de se prononcer sur
lthique de la recherche en sciences et technologies du numrique - visent inciter et
aider les chercheurs la vigilance thique chemin faisant plutt qu mettre des
prescriptions normatives qui seraient vite obsoltes. Elles nenvisagent que des
perspectives plausibles du point de vue scientifique, afin de ne pas nourrir la confusion
avec ce qui relve de la science-fiction.

Conu dans un esprit pratique en premier lieu l'attention des chercheurs et

dveloppeurs dans le numrique, le document aborde les questions sous l'angle des
sciences et technologies. Des questions de socit que le concepteur doit avoir l'esprit
sont voques sans tre approfondies. Le prsent travail n'est qu'une contribution une
rflexion qui doit tre plus vaste au sein du monde de la recherche, notamment avec les
sciences humaines et sociales, et au niveau de la socit toute entire, comme l'voque la
conclusion.
Composition du groupe de travail Apprentissage Machine
Laurence Devillers,
Professeur Paris-Sorbonne 4, LIMSI-CNRS, CERNA, animatrice du groupe,
Serge Abiteboul,
Directeur de recherche INRIA, ENS-Paris, Membre de lAcadmie des sciences
Danile Bourcier,
Directrice de recherche mrite au CNRS, CERSA, CERNA
Nozha Boujemaa,
Directeur de recherche INRIA, Direction Gnrale Inria
Raja Chatila,
Professeur UPMC, directeur de lISIR, CERNA,
Gilles Dowek,
Directeur de recherche INRIA, ENS-Saclay, CERNA,
Max Dauchet,
Professeur mrite, Universit de Lille, prsident de la CERNA
Alexei Grinbaum,
Chercheur CEA, IRFU/LARSIM, CERNA
Avec la collaboration de Christophe Lazaro, chercheur lUniversit de Namur, CERNA, et de
Jean-Gabriel Ganascia, Professeur UPMC Paris 6, LIP6, CERNA

Personnalits auditionnes (groupe restreint)

Alexandre Allauzen,
Matre de confrences, Universit Paris 11, LIMSI
Edouard Geoffrois,
Responsable de programme du dpartement de lInformation et des sciences et
technologies de la communication, ANR
Mathieu Lagrange,
Chercheur CNRS, LS2N
Arnaud Lallouet,
Ingnieur en chef, Huawei Technologies Ltd.
Olivier Teytaud,
Charg de recherche, Inria
 Personnalits auditionnes lors de la journe CERNA Apprentissage et IA du 13 juin
2016 Paris1
Tristan Cazenave,
Professeur, Paris-Dauphine, LAMSADE
Milad Doueihi,
Chaire d'humanisme numrique, Paris-Sorbonne ; co-titulaire de la Chaire des
Bernardins L'humain au dfi du numrique
Benot Girard,
Directeur de recherche CNRS, ISIR
Jean-Baptiste Mouret,
Chercheur Inria, Equipe Larsen

Expert relecteur
Lon Bottou,
Chercheur Facebook AI : Machine learning, artificial intelligence

Introduction

Lapprentissage automatique, aussi appel apprentissage statistique ou apprentissage

machine (machine learning), a rcemment fait des progrs spectaculaires, populariss en
2016 par la victoire du programme AlphaGo face au champion de Go, Lee Sedol. Ses
applications sont multiples : moteurs de recherche, reconnaissance d'images et de
parole, traduction automatique, agents conversationnels par exemple. Elles commencent
merger dans des secteurs comme la sant, l'nergie, les transports, lducation, le
commerce et la banque.

Les succs de lapprentissage machine, champ dtudes de lintelligence artificielle (IA),

sappuient sur laccroissement des capacits de calcul, de stockage et de traitement des
donnes (Big data), et font resurgir avec une mdiatisation autant excessive
quapproximative lide que la machine - parfois un robot - pourrait apprendre
saffranchir de lhomme. Si cette question est hors du champ de la science actuelle, il nen
demeure pas moins quune rflexion thique doit clairer le bon usage dalgorithmes
dapprentissage, et de masses de donnes de plus en plus complexes et dissmines. Des
initiatives en ce sens, publiques ou prives, aux niveaux national, europen ou
international, voient le jour depuis 2015.

Dans ce contexte, le prsent travail vise

Sensibiliser, donner des lments de rflexion et des repres au chercheur .
Par commodit le terme chercheur dsigne ici la ou les personnes - concepteurs,
ingnieurs, dveloppeurs, entrepreneurs - leurs communauts ou institutions.
Contribuer plus largement au dbat sur les questions thiques et socitales lies
au dveloppement de lintelligence artificielle.
afin que lapprentissage machine soit mis en uvre au bnfice de la socit.
Ce regard de la CERNA est donc conu pour une double lecture : celle du spcialiste et
celle de toute personne intresse, dcideur ou simple citoyen.

La partie I introduit des notions de base de lapprentissage et les illustre travers la

mthode particulire des rseaux multicouches et de lapprentissage profond. La partie
II numre des cas dusage dj rpandus ou appels le devenir. Ces deux parties
fournissent un support technologique pour les rflexions thiques et sadressent
particulirement aux non spcialistes. La partie III prsente les questions thiques
gnrales lies aux systmes numriques et pointe les spcificits lies lapprentissage.
1http://cerna-ethics-allistene.org/journ%C3%A9e+apprentissage/
 La partie IV analyse ces questions thiques et met des prconisations lattention des
scientifiques et des communauts qui conoivent et dveloppent les systmes
apprenants. Ces prconisations sont des points dattention et de vigilance pour susciter
la rflexion thique individuelle et collective, elles ne sauraient tre des recettes .
Elles sont articules autour de six questions :

1. Quelles sont les donnes slectionnes/utilises partir desquelles la machine

apprend ?
2. Peut-on s'assurer que la machine effectuera uniquement les tches pour lesquelles
elle a t conue ?
3. Comment peut-on valuer un systme qui apprend ?
4. Quelles dcisions peut-on dlguer, ou non, un systme apprenant ?
5. Quelle information doit-on donner aux utilisateurs sur les capacits des systmes
apprenants ?
6. Qui est responsable en cas de dysfonctionnement de la machine : le concepteur, le
propritaire des donnes, le propritaire du systme, son utilisateur ou peut-tre
le systme lui-mme ?
Les initiatives voques dans la partie V illustrent lactualit des questionnements
thiques lis aux dveloppements de lapprentissage machine et plus gnralement de
l'intelligence artificielle. La partie VI conclut par des prconisations gnrales lattention
des oprateurs scientifiques et des dcideurs de la socit.

I. Quest-ce que lapprentissage machine ?

Construire des systmes capables de fonctions de perception, d'apprentissage,
d'abstraction et de raisonnement est un des buts des chercheurs en intelligence
artificielle. Pour ce faire, les algorithmes d'apprentissage utilisent diffrentes mthodes
statistiques en se basant sur des donnes d'apprentissage, par exemple pour construire
des rgles de dduction, des arbres de dcision ou pour paramtrer des rseaux de
neurones, puis les appliquent de nouvelles donnes.

Prdire un phnomne partir dobservations passes prsuppose un mcanisme

causal. Expliquer ce mcanisme nest pas toujours facile. Lapprentissage machine est
une approche statistique permettant de dcouvrir des corrlations significatives dans
une masse importante de donnes pour construire un modle prdictif quand il est
difficile de construire un modle explicatif. La reconnaissance de l'criture manuscrite
est un exemple de problme difficile pour une machine. Pour reconnatre une lettre, ou
un chiffre, certains algorithmes utilisent des rgles prtablies, mais d'autres
algorithmes apprennent reconnatre les lettres de l'alphabet, partir d'un grand
nombre d'exemples. Ces algorithmes, qui utilisent des donnes pour apprendre
rsoudre un problme, sont appels algorithmes d'apprentissage machine . Ils se
dveloppent dans de nombreux champs d'application, comme la finance, le transport, la
sant, le bien-tre ou encore lart .

Par exemple, dans le domaine du transport, des systmes obtenus par

apprentissage machine sont utiliss pour reconnatre visuellement lenvironnement
routier des voitures autonomes. Dans un tout autre domaine, la reconnaissance faciale
popularise par GoogleFace et Facebook est utilis dans les rseaux sociaux pour
identifier des personnes dans des photos. Dans le domaine du jeu, le systme Deep Blue2

2Deep Blue est un superordinateur spcialis dans le jeu d'checs dvelopp par IBM au dbut des annes 1990.
dIBM a gagn contre le champion du monde dchecs ds 1997. En 2011, Watson3 dIBM
a particip trois manches du jeu tlvis Jeopardy, au terme desquels il a remport la
partie. Alphago4 de Google DeepMind a vaincu en 2016 au jeu de go un des meilleurs
joueurs mondiaux, Lee Sedol.

Actuellement, un champ de recherche merge afin d'amliorer l'explicabilit et la

transparence des systmes d'apprentissage ainsi que leur adaptation en contexte et
l'adquation de l'apprentissage ce qu'en attend l'humain. Ainsi il ne s'agit plus
seulement de construire des modles par apprentissage machine sans comprendre mais
bien d'essayer de les expliquer.

I.1 Les diffrents types dalgorithmes dapprentissage machine

Les algorithmes d'apprentissage machine sont nombreux et divers. Ils peuvent se classer
en trois grandes catgories selon leur mode dapprentissage supervis, non supervis et
par renforcement.

En apprentissage supervis, les donnes utilises doivent tre annotes pralablement

par des experts . Par exemple, pour construire un systme prdictif de reconnaissance
de lettres dans des images, les experts indiquent les images de lensemble de donnes
qui reprsentent des a , des b , etc. Lors d'une premire phase, dite d'apprentissage,
la machine construit un modle des donnes annotes, qui peut tre un ensemble de
rgles, un arbre de dcision, un ensemble de matrices comme dans les rseaux de
neurones, etc. Ce modle est ensuite utilis dans une seconde phase, dite de
reconnaissance, dans laquelle par exemple l'algorithme reconnat une lettre dans une
nouvelle image. Les machines vecteurs de support 5 (support vector machine, SVM), ou
les rseaux de neurones de type perceptron multicouches rtropropagation du
gradient6 sont des exemples d'algorithmes d'apprentissage machine supervis.

En apprentissage machine non supervis, aucun expert n'est requis pour annoter les
donnes. L'algorithme dcouvre par lui-mme la structure des donnes, en classant ces
donnes en groupes homognes. Les k-moyennes 7 (k-means, mthode de partitionnement
de donnes ou clustering) et les rseaux de neurones de type carte de Kohonen 8 (mthode
de rduction de dimensions) sont des exemples d'algorithmes d'apprentissage machine
non supervis.

En apprentissage par renforcement, le but est d'apprendre, partir d'expriences, ce qu'il

convient de faire en diffrentes situations, de faon optimiser une rcompense
quantitative au cours du temps. L'algorithme procde par essais et erreurs, chaque erreur
l'amenant amliorer sa performance dans la rsolution du problme. Le rle des experts
3Watson est un programme informatique d'intelligence artificielle conu par IBM dans le but de rpondre des
questions formules en langage naturel.
4AlphaGo est un programme informatique conu pour jouer au jeu de go, dvelopp par l'entreprise britannique
Google DeepMind.
5 Boser Bernhard E., Guyon, Isabelle M., Vapnik, Vladimir N. , A training algorithm for optimal margin
classifiers COLT'92, pp.144-152
6Rumelhart, David E. Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). "Learning representations by
back-propagating errors". Nature. 323 (6088) : 533536
7MacQueen, J. B. Some Methods for classification and Analysis of Multivariate Observations. Proceedings of
5th Berkeley Symposium on Mathematical Statistics and Probability. 1. University of California Press. pp. 281
297 (1967)
8Kohonen, Teuvo (1982). "Self-Organized Formation of Topologically Correct Feature Maps". Biological
Cybernetics. 43 (1) : 5969
se limite ici dfinir les critres de succs de l'algorithme. Les algorithmes TD-learning 9
et Q-learning10 sont des exemples d'algorithmes d'apprentissage par renforcement.

Certaines mthodes enfin sont intermdiaires, tel l'apprentissage semi-supervis, qui

laisse parfois la place lintervention humaine mais soulve des contraintes de temps rel.
Plusieurs mthodes dapprentissage sont en outre souvent combines dans un mme
systme.

I.2 Un exemple : les rseaux de neurones multicouches

Les rseaux de neurones multicouches sont entrans avec des algorithmes

dapprentissage machine. Leur conception est l'origine trs schmatiquement inspire
du fonctionnement des neurones biologiques. Ils utilisent un concept de neurone formel
issu dune analogie avec les neurones du cerveau. Un neurone formel, Fig. 1, comme un
neurone naturel, a de multiples valeurs dentres qui dterminent une unique valeur de
sortie, transmise comme entre d'autres neurones.

Figure 1 : Le neurone formel de McCulloch et Pitts est un modle mathmatique trs

simple driv d'une analyse de la ralit biologique (Michel Blancard 11)

Cette sortie peut tre une simple combinaison linaire des entres

y = w1 entre1 + w2 entre2 + + wn entren

ou la compose dune telle combinaison linaire avec une fonction dactivation (fonction
seuil, fonction sigmode, etc.). Les poids synaptiques w1, w2 de chaque neurone sont
dtermins itrativement au cours de la phase dapprentissage sur les donnes
annotes. Cette capacit des neurones changer ces poids au cours du temps est appele
plasticit crbrale 12.

9Sutton, R.S., 1988, Learning to Predict by the Method of Temporal Differences, Machine Learning, 3, pp. 9-44
10Watkins, C.J.C.H. & Dayan, P., Q-learning, Mach Learn (1992) 8 : 279
11Data-scientist au sein de lquipe de lAdministrateur Gnral des Donnes, https://agd.data.gouv.fr/
12 Hebb, D.O., The Organization of Behavior, New-York, Wiley and Sons, 1949.
Le premier rseau, le Perceptron de Rosenblatt, datant des annes 50 na quune couche.
Certains systmes, tel le Perceptron multicouche, empilent plusieurs couches de
neurones formels afin de pouvoir reconnatre une forme comme par exemple une image
- sans pour autant infrer les concepts humains ni la logique les articulant. Une couche
peut comporter des milliers de neurones, et donc des millions de paramtres. Entre la
couche d'entre et la couche de sortie, le rseau peut comporter plusieurs dizaines de
couches dites caches. Les systmes dapprentissage profond (deep learning)13 sont des
rseaux de neurones comprenant un grand nombre de couches.

La phase d'apprentissage dtermine les valeurs des poids synaptiques partir d'un
chantillon de donnes de trs grande taille (jusqu' des millions). Dans lalgorithme
dapprentissage supervis de rtro-propagation du gradient14, l'cart entre les sorties
attendues et les sorties constates est diminu pas pas (descente de gradient) en
modifiant les paramtres, de la sortie vers les premires couches (rtro-propagation),
jusqu' obtenir un minimum local (le minimum absolu est difficilement atteignable). La
valeur initiale des poids synaptiques est parfois tire au hasard, elle peut aussi tre
dtermine par un algorithme d'apprentissage non supervis.

Figure 2 : Le perceptron multicouche avec ici une couche cache (Michel Blancard)

Concevoir un rseau profond qui apprend classifier de manire satisfaisante demande

beaucoup d'expertise et d'ingnierie, et le terme satisfaisant est prendre en un sens
empirique, o pour des donnes de situations relles les rsultats sont conformes ce
qui est attendu. Comme le souligne Yann LeCun, l'apprentissage profond exploite la
structuration modulaire des donnes du monde rel 15. Son succs rside dans sa grande
capacit d'apprentissage sans qu'il soit besoin d'expliciter un modle des donnes. Le

13Y. LeCun, Y. Bengio et G. Hinton, (2015) Deep learning , Nature, vol. 521, no 7553, 2015, p. 436444
(PMID 26017442, DOI 10.1038/nature14539
14Rumelhart, David E.,Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). "Learning
representations by back-propagating errors". Nature, vol. 323 n 6088, p. 533536
15Yann LeCun, Chaire Informatique et Sciences numriques Collge de France/Inria, 2015-2016,
https://www.college-de-france.fr/site/yann-lecun/
cadre mathmatique de la descente de gradient justifie ces mthodes, mais n'assure pas
la russite de l'apprentissage (des thormes de convergence n'existent que dans des cas
trs simples) et ces algorithmes demandent un grand nombre ditrations pour
converger empiriquement vers une solution acceptable. Les succs rcents de ces
mthodes doivent beaucoup l'augmentation de la puissance de calcul des machines et
au grand nombre de donnes disponibles.

L'architecture (type de neurones, choix des connexions) doit tre adapte au domaine
d'application. Il existe diffrentes architectures de systmes de deep learning, par
exemple les rseaux rcurrents ou convolutifs et des approches complexes combinant
plusieurs systmes de deep learning.

Figure 3 : Architecture standard dun rseau convolutif16

Par exemple, le systme AlphaGo dvelopp par Google Deep Mind est une combinaison
de recherche arborescente Monte Carlo et de Deep Learning. Un rseau profond est
entran sur des parties de joueurs humains de haut niveau afin de prvoir leurs coups.
Ce rseau atteint un niveau de 3e Dan et amliore son jeu laide dapprentissage par
renforcement en jouant 30 millions de parties contre lui mme. Il utilise alors les
rsultats de ces parties pour entraner un autre rseau qui apprend valuer des
positions. La recherche arborescente Monte Carlo utilise le premier rseau pour
slectionner les coups intressants et le second rseau pour valuer les positions. Serge
Abiteboul et Tristan Cazenave prcisent la typologie des rseaux profonds dAlphaGo et
le principe de Monte-Carlo dans le bulletin de la SIF 2016 17 : Les rseaux utiliss pour
AlphaGo sont par exemple composs de 13 couches et de 128 256 plans de
caractristiques. Pour les spcialistes : ils sont convolutionnels , avec des filtres de taille
3 3, et utilisent le langage Torch, bas sur le langage Lua () Le principe de la recherche
Monte-Carlo est de faire des statistiques sur les coups possibles partir de parties joues
alatoirement. En fait, les parties ne sont pas compltement alatoires et dcident des
coups avec des probabilits qui dpendent dune forme, du contexte du coup (disposition
des pierres sur le goban). Tous les tats rencontrs lors des parties alatoires sont
mmoriss et les statistiques sur les coups jous dans les tats sont aussi mmorises. Cela
permet lorsquon revient sur un tat dj visit de choisir les coups qui ont les meilleures
statistiques. AlphaGo combine lapprentissage profond avec la recherche Monte-Carlo de
deux faons. Tout dabord il utilise le premier rseau, qui prvoit les coups, pour essayer en
premier ces coups lors des parties alatoires. Ensuite il utilise le second rseau, qui value
les positions, pour corriger les statistiques qui proviennent des parties alatoires.

16" Convolutional Neural Networks (LeNet) DeepLearning 0.1 documentation " sur DeepLearning 0.1,
LISA Lab
17"Go : Une belle victoire... des informaticiens !", Serge Abiteboul, Tristan Cazenave. Bulletin n 8 de la SIF
2016
 Le champ de recherche de lapprentissage profond reprsente une part importante des
articles parus dans les revues de rfrence en apprentissage automatique. Yann LeCun a
donn un cours sur ce sujet dans le cadre de la chaire annuelle Informatique et
sciences numriques du Collge de France.

Des plates-formes comme Aifree mettent disposition une panoplie de rseaux

permettant aux non spcialistes d'exprimenter ou de dvelopper des applications de
l'apprentissage machine. D'autres initiatives visent mettre les plate-formes
d'apprentissage la porte de tous. Google rend accessible sa plate-forme DeepDream
d'exprimentation du Deep Learning, ainsi que son outil open source dapprentissage
automatique, TensorFlow. Facebook fait de mme avec son serveur Big Sur pour excuter
de grands rseaux neuronaux d'apprentissage. Par ailleurs, Open IA a t cre
rcemment avec dimportants financements privs (1 milliard de dollars), notamment
dElon Musk, de Peter Thiel et de Reid Hoffman qui dclarent Notre objectif est de faire
progresser lintelligence numrique de la manire qui est la plus susceptible de bnficier
lhumanit dans son ensemble, sans contrainte gnrer un rendement financier . Les
initiatives de ce type permettent une acculturation et un dveloppement collaboratif des
outils dapprentissage, et l'approche ouverte vise leur contrle collectif. Cependant,
elles soulvent la question d'une prolifration d'applications mal matrises et non
scurises que pourraient dvelopper des particuliers et certaines start-up.

II. Exemples dapplications de lapprentissage machine

Il est trs probable qu lheure o vous lisez ces lignes, vous aurez utilis le rsultat
dalgorithmes dapprentissage automatique plusieurs fois aujourdhui : votre rseau social
favori vous a peut-tre propos de nouveaux amis et le moteur de recherche a jug
certaines pages pertinentes pour vous mais pas pour votre voisin. Vous avez dict un
message sur votre tlphone portable, utilis un logiciel de reconnaissance optique de
caractres, lu un article qui vous a t propos spcifiquement en fonction de vos
prfrences et qui a peut-tre t traduit automatiquement . (Colin de la Higuera, Blog
Binaire du journal Le Monde, 23 juin 2015)

De fait, de nombreux agents artificiels utilisent des modules dapprentissage machine.

Ces agents sont des agents logiciels comme les agents conversationnels ou des agents
physiques comme les robots ou les voitures autonomes. Ils ont une plus ou moins grande
autonomie et peuvent apparatre comme des acteurs sociaux, avec les capacits
dinteraction voire de simulation dmotions et de dcision dactions.

II.1 Les recommandations personnalises

Les traces que nous laissons travers nos consultations sur Internet et travers les
objets auxquels nous sommes connects sont exploites par des algorithmes
d'apprentissage afin de mieux cerner nos prfrences de consommation, notre mode de
vie et nos opinions. Par rapport aux simples statistiques, ces algorithmes ont ou
peuvent avoir la capacit de fournir des prescriptions individuelles. Ainsi lorsque nous
naviguons sur Internet et achetons des gadgets connects, nous ne pensons pas que
notre sillage numrique peut entraner des algorithmes nous catgoriser pour
conditionner le montant de nos primes dassurance ou conduire des prescriptions
dhygine de vie. La conformit, la transparence, la loyaut, l'quit des algorithmes
d'apprentissage sous-jacents apparaissent ici comme une exigence.
II.2 Les agents conversationnels (bots)

Les chatbots, ou bots, sont des agents de traitement automatique de conversation en

langage naturel. Ils sont de plus en plus prsents en tant quassistants personnels ou
interlocuteurs dans des transactions commerciales ralises en ligne sur des plates-
formes informatiques. Il arrive aussi qu'ils soient majoritaires dans des chats avec les
humains. La prolifration massive de ces conversations, sans hirarchie ou distinction
claire entre lhumain et la machine, pourrait terme influer sur le corpus des textes
disponibles en ligne. Dautre part le comportement des bots est conditionn par les
donnes dapprentissage. Des bots apprenants sont expriments dbut 2017 par le
systme de soins britannique (NHS), non seulement pour dsengorger les services face
aux appels, mais aussi dans l'espoir que le couplage de ces bots aux trs grandes bases
de donnes mdicales amliorera le conseil. Mais les bots peuvent aussi tre entrans
ou utiliss des fins pernicieuses. Ils sont d'ores et dj utiliss des fins d'influence,
comme simples prescripteurs commerciaux ou dans le champ politique en vue
d'lections. En avril 2016, le chatbot Tay de Microsoft, qui avait la capacit dapprendre
en continu partir de ses interactions avec les internautes avait appris en 24h tenir
des propos racistes18. Tay a t rapidement retir par Microsoft.

Les deux exemples suivants, traits dans l'avis de la CERNA thique de la recherche en
robotique de la CERNA (2014)19, sont ici brivement voqus du point de vue de
l'apprentissage machine.

II.3 Les vhicules autonomes

Chaque accident impliquant un vhicule totalement ou partiellement autonome est

abondamment comment dans les mdias 20. Pourtant, sur 10 millions d'accidents par an
aux tats-Unis, 9,5 millions sont dus une erreur humaine, et il est probable qu'un trafic
fait de voitures autonomes s'avre plus sr qu'un trafic de voitures conduites par des
personnes. Pour linstant, toutes les voitures autonomes d'un mme type sont livres
avec les mmes paramtres et n'apprennent plus une fois en service, mais on peut
augurer qu' l'avenir elles continueront d'apprendre en continu partir de leur
environnement. L'valuation priodique de leur comportement deviendra alors cruciale.

II.4 Les robots auprs des personnes et des groupes

L'adaptabilit l'environnement que confre la capacit d'apprentissage devrait

l'avenir favoriser l'usage des robots auprs des personnes, notamment comme
compagnons ou soignants. Construire des robots sociaux d'assistance aux personnes
ncessite d'encadrer leur usage, d'autant plus quand ils sont en contact avec des
personnes malades ou ges.

18http://www.lemonde.fr/pixels/article/2017/04/15/quand-l-intelligence-artificielle-reproduit-le-
sexisme-et-le-racisme-des-humains_5111646_4408996.html
19https://hal.inria.fr/ALLISTENE-CERNA/hal-01086579v1, 2014
20 Par exemple http://www.lexpress.fr/actualite/monde/amerique-nord/premier-accident-mortel-
pour-une-voiture-tesla-en-pilote-automatique_1808054.html et http://www.lefigaro.fr/secteur/high-
tech/2016/03/01/32001-20160301ARTFIG00118-la-google-car-provoque-son-premier-accident-de-la-
route.php
III. Questions thiques
Les thories thiques traditionnelles trouvent une illustration nouvelle dans le
numrique et lapprentissage machine. Les dilemmes lis aux voitures autonomes en
sont une illustration abondamment commente 21. De faon caricaturale, un vhicule
autonome qui se trouverait choisir entre sacrifier son jeune passager, ou deux enfants
imprudents, ou un vieux cycliste en rgle, pourrait tre programm selon une thique de
la vertu d'Aristote ici l'abngation - s'il sacrifie le passager, selon une thique dontique
de respect du code de la route s'il sacrifie les enfants, et selon une thique
consquentialiste s'il sacrifie le cycliste ici en minimisant le nombre d'annes de vie
perdues.
Le propos n'est pas ici de traiter de telles questions qui relvent de la socit toute
entire, mais d'tudier l'attention du chercheur, dans le cas de l'apprentissage
machine, certaines proprits particulires que doit satisfaire le comportement d'un
dispositif numrique.
Pour tout systme numrique, il faut viser satisfaire les proprits prsentes en III.1.
Les systmes d'apprentissage machine prsentent des spcificits voques en III.2 qui
entrent en tension avec ces proprits gnrales.

III.1 Les proprits gnrales des systmes numriques

La loyaut et lquit : la loyaut des systmes informatiques signifie que ces

systmes se comportent, au cours de leur excution, comme leurs concepteurs le
dclarent. Si par exemple, ceux-ci dclarent qu'un systme n'archive pas les
donnes personnelles de ses utilisateurs, il ne doit pas le faire. Lquit dun
systme informatique consiste en un traitement juste et quitable des usagers.

La transparence, la traabilit et lexplicabilit : la transparence dun systme

signifie que son fonctionnement nest pas opaque, quil est possible, par exemple
pour un utilisateur, de vrifier son comportement. Cette transparence sappuie
notamment sur la traabilit, la mise disposition dinformations sur ses actions
suffisamment dtailles (mmorises dans un journal) pour qu'il soit possible
aprs coup de suivre ses actions. La traabilit est essentielle d'une part pour les
attributions de responsabilit, o elle permet le cas chant de fonder un
recours juridique, et d'autre part pour diagnostiquer et corriger les
dysfonctionnements. Elle permet galement dexpliquer le fonctionnement dun
systme partir des traces laisses par celui-ci ; on parle dexplicabilit.

La responsabilit : la possibilit d'identifier des responsabilits lors d'un

dysfonctionnement implique la possibilit de distinguer deux agents : un
concepteur et un utilisateur du systme. Le donneur d'ordre ou le concepteur est
responsable si le systme est mal conu, l'utilisateur est responsable s'il a mal
utilis le systme (de mme que lors de l'utilisation d'un marteau, l'utilisateur est
responsable si, par maladresse, il se tape sur les doigts alors que le concepteur
est responsable si la cogne se dtache du manche et assomme l'utilisateur) tout
en sachant que le professionnel est tenu un devoir d'information
supplmentaire vis vis de tout non professionnel (l'usager).

21 Jean-Franois Bonnefon, Azim Shariff2, Iyad Rahwan, The social dilemma of autonomous vehicles,
Science 24 Jun 2016
 La conformit : Un systme numrique doit demeurer conforme son cahier des
charges, et son cahier des charges doit tre conforme la lgislation. La
conformit d'un systme son cahier des charges signifie que le systme est
conu pour effectuer des tches spcifies en respectant les contraintes
explicites dans ce cahier. Les spcifications du cahier des charges formalisent
souvent une interprtation restrictive de la loi, dfaut de pouvoir traduire les
finesses de cette dernire. La conformit doit tre vrifie avant que le systme
soit utilis, en analysant son code et ses donnes. Par exemple, la conformit
inclut le respect des rgles de protection des donnes personnelles pour un
systme danalyse de donnes ou le respect du code de la route pour la voiture
autonome.

III.2 Quelques spcificits des systmes dapprentissage machine

Difficult de spcification : Le but de l'apprentissage automatique est

prcisment de traiter des tches que l'on ne sait pas spcifier au sens
informatique. L'apprentissage automatique est une faon de remplacer cette
spcification formelle par un modle paramtr empiriquement par la machine
partir dune masse de donnes. Pour concevoir un programme qui recommande
des livres des lecteurs dans une bibliothque publique, deux types dapproches
sont possibles. Le premier utilise des rgles explicites : un tel programme peut
par exemple comporter trois listes de livres destins aux enfants, aux adolescents
et aux adultes, demander son ge une lectrice et selon que cet ge est infrieur
12 ans, compris entre 13 et 17 ans ou suprieur 18 ans, tirer au hasard un livre
dans l'une de ces listes. Dans ce cas, il est facile de le spcifier : il faut que le livre
recommand soit dans la catgorie qui correspond l'ge de la lectrice. Le second
utilise un algorithme d'apprentissage qui procde diffremment : il se fonde sur
l'ge de la lectrice et sur la liste des livres que les lecteurs de son ge ont dclar
avoir apprcis. La liste des livres recommands chacune des classes d'ges est
alors dynamique : elle varie au cours de l'entranement de l'algorithme. Un
avantage est qu'au lieu de s'appuyer sur un dcoupage grossier de la population
en trois grandes catgories, les recommandations peuvent tre beaucoup plus
fines. Un inconvnient est qu'un entraneur factieux peut entraner l'algorithme
afin qu'il recommande les livres inappropris lge des enfants. Dans ce cas,
puisque les livres ne sont pas catgoriss a priori, il est impossible de donner un
sens la spcification : Le livre recommand doit appartenir la catgorie qui
correspond l'ge de la lectrice . De plus, nous supposons dans cet exemple que,
si l'algorithme d'apprentissage construit dynamiquement la liste des livres
recommander aux lecteurs en fonction de leur ge, il construit galement les
catgories utilises pour tablir lesdites recommandations. Il peut ainsi utiliser,
non les concepts habituels (ge, genre, etc.), mais des concepts qui lui sont
propres, dont lhumain ne comprendrait pas ncessairement la signification, ce
qui rend plus difficile encore l'expression de la spcification de ce que nous
attendons de l'algorithme. Par exemple, la catgorie des lecteurs qui demandent
un prt de 15h 15h15 peut tre pertinente pour la machine tout en paraissant
alatoire ou dnue de sens pour un utilisateur humain. Dans le cas dune
bibliothque publique, lexplicabilit des recommandations est imprative. Elle
ncessite que les catgories conduisant un rsultat, mme si elles mergent
dun processus dapprentissage, soient exprimes dans le langage humain et
clairement spcifies.
 Agent entraneur : Outre le concepteur et l'utilisateur, les systmes
d'apprentissage machine introduisent un troisime type d'agent qui entrane le
systme d'apprentissage machine avec un jeu de donnes. Un dysfonctionnement
du systme peut dsormais tre d une mauvaise conception ou une mauvaise
utilisation du systme, auxquels cas le concepteur ou l'utilisateur doivent tre
tenus pour responsables, mais aussi un mauvais entranement du systme,
auquel cas c'est l'entraneur qui doit tre considr comme responsable. Cette
situation n'est pas compltement nouvelle. Quand l'auteur d'un programme
utilise un compilateur, trois agents entrent galement en jeu : le concepteur du
compilateur, homologue du concepteur du systme d'apprentissage, l'auteur du
programme, homologue de l'entraneur et l'utilisateur du programme, homologue
de l'utilisateur du systme d'apprentissage. Dans cette situation le programme
transforme et est transform : il transforme les entres, mais il est transform par
le compilateur. Toutefois la ralit est plus complexe encore. Dans un systme qui
apprend en continu, tous les utilisateurs sont aussi des entraneurs. En amont de
lentraneur ou avec son accord, des donnes peuvent avoir t obtenues partir
de questions sensibles ou soumises des restrictions ou interdictions de
traitements (donnes personnelles, droit limage, etc).

Apprendre sans comprendre : Les algorithmes d'apprentissage automatique

permettent de battre les meilleurs joueurs aux checs ou au Go, mais ils sont
souvent incapables d'expliquer la raison pour laquelle ils ont jou un coup et non
un autre, car cette explication se fonde sur le rglage de millions de poids
synaptiques et non sur des concepts simples et intelligibles par les humains 22. De
mme, l'une des forces des algorithmes de reconnaissance d'image par
apprentissage est de reconnatre une chaise sans ncessairement utiliser les
concepts de pied, d'assise, de dossier de ce fait, l'algorithme peut difficilement
expliquer les raisons pour lesquelles il a identifi une chaise dans une image. Le
problme est plus complexe encore dans le cas d'un algorithme non supervis,
car l'algorithme apprend sans rfrence un but intelligible par les humains, ou
dans le cas d'un algorithme par renforcement, qui vise optimiser une fonction
de rcompense souvent trop simple pour permettre d'expliquer comment le but
affich est atteint. Les corrlations entre les concepts appris (les clusters ou le
vocabulaire d'indexation) et les zones d'une image analyse diffrent parfois
fortement entre l'homme et la machine : le rseau et l'humain ne privilgient pas
les mmes zones de l'image pour rpondre une question sur cette image 23.

Evolution dynamique du modle : lorsque le systme continue apprendre

aprs son dploiement, il est difficile de contrler son comportement sur le long
terme. Le systme peut apprendre au cours de son utilisation des comportements
induisant un biais. Le systme est alors non-quitable. Il peut sagir, par exemple,
dun comportement abusif pour un robot au contact dhumains ou dun
algorithme faisant des offres financires diffrentes des minorits ou groupes
sociaux particuliers. De mme, lalgorithme lui-mme peut faire merger des
catgories inattendues qui peuvent savrer discriminatoires sur le fondement
des liberts fondamentales (critres non significatifs de slection de risque en

22 Un joueur humain de go peut galement ne pas tre capable dexpliquer un coup. Dans le cas des jeux,
ce manque dexplicabilit est acceptable.
23 Human Attention in Visual Question Answering : Do Humans and Deep Networks Look at the Same
Regions? Abhishek Das, Harsh Agrawal, C. Lawrence Zitnick, Devi Parikh,Batra, 2016 ICML Workshop
on Human Interpretability in Machine Learning (WHI 2016), New York, arXiv :1606.03556
 matire de crdit scoring, comme la taille du demandeur). Le mode de recueil des
donnes utilises pour lapprentissage nest pas toujours facile reprer.

Instabilit de lapprentissage : lapprentissage profond est une des approches

les plus performantes lheure actuelle, pourtant cet algorithme peut montrer
une certaine instabilit. La modification imperceptible l'il d'un petit nombre
de pixels dans une image identifiable par un humain peut rendre cette image non
identifiable par un systme dapprentissage profond, par exemple la photo d'une
voiture24. A l'inverse, certaines images qui n'ont aucune signification pour les
humains sont parfois tiquetes automatiquement comme proches de formes
apprises. Des images ayant pour les humains des sens trs diffrents peuvent tre
indexes de manire identique : un exemple classique est une photo de panda
reconnue comme gibbon25. Les valeurs de sortie dans un rseau profond
associent un degr de confiance une reconnaissance ; une mthode de gradient
permet alors d'augmenter cette confiance en gardant les paramtres du rseau
mais en modifiant pas pas l'entre, convergeant ainsi vers une entre donnant
la sortie considre avec un maximum de confiance. La plate-forme Deep Dream
de Google permet facilement de transformer ainsi des photos, dont on constate
qu'elles prennent des allures hallucinatoires.

Evaluation et contrle : Comme il est difficile de formuler le cahier des charges

d'un systme qui apprend, il est difficile d'valuer ce systme. Il est en revanche
possible d'en valuer les effets a posteriori. Par exemple, il est difficile d'valuer si
un vhicule autonome acclre ou freine au bon moment, mais il est possible
d'valuer a posteriori si ce vhicule a provoqu moins ou plus d'accidents qu'un
vhicule conduit par un tre humain. Lorsque les systmes qui apprennent
continuent voluer, leur valuation doit se rpter intervalles rguliers tout au
long de la priode pendant laquelle ces systmes sont utiliss. Diffrents types
d'agents pourraient apparatre dans la gestion des systmes apprenants : des
agents interprteurs qui aident comprendre le comportement de la machine
partir de jeux de test, des agents valuateurs ou vrificateurs des
algorithmes dapprentissage afin de vrifier que les systmes apprenants restent
loyaux et quitables, des agents juges qui vrifient que ces systmes se
comportent conformment la loi lors de leur utilisation.

Ces spcificits, qui sont autant de points de vigilance pour le chercheur, sont la
contrepartie de l'ampleur des possibilits offertes par l'apprentissage machine. Elles
ouvrent le champ de nouvelles recherches qui permettront dans de nombreux secteurs
de dvelopper des systmes destins tre plus srs que ne le sont les humains, tres
apprenants qui eux aussi faillissent et se trompent.

IV. Les prconisations sur les systmes apprenants en six thmes

IV.1 Les donnes des systmes dapprentissage

Les donnes conditionnent le rsultat de lalgorithme dapprentissage. Leur captation

par apprentissage en milieu ouvert (c'est--dire dans des conditions relles d'utilisation)
et l'absence de modle a priori rendent difficile l'apprciation de leur adquation aux
24 Intriguing properties of neural networks, Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan
Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus https://arxiv.org/abs/1312.6199
25 Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy, Explaining and harnessing adversarial
examples, ICLR 2015 https://arxiv.org/pdf/1412.6572v3.pdf
objectifs, et les biais des donnes, intentionnels ou non, peuvent tre lourds de
consquences [DON-1]. Les donnes dapprentissage peuvent tre discriminatoires,
favorisant certaines caractristiques, comme dans le cas de la reconnaissance faciale,
pouvant reflter les prfrences politiques, religieuses, ou autres de ses concepteurs ou
entraneurs. Par exemple, Google avait mis un systme en ligne en 2015 qui permettait la
reconnaissance des visages et fonctionnait mieux sur les peaux claires. Google avait d
s'en excuser publiquement26. Dans certains cas, les biais peuvent tre illgaux, comme,
par exemple, doffrir des produits financiers moins avantageux pour les membres de
groupes minoritaires. A titre d'exemple de partialit commerciale, lUnion Europenne a
condamn rcemment Google, accuse de biaiser les rsultats de son moteur de
recherche en faveur de ses propres produits27.

Lquit est difficile spcifier. Elle ncessite une apprciation humaine. Elle peut mettre
en uvre des donnes sur les personnes selon des critres empreints de subjectivit ou
conflictuels. Selon les cultures, elle peut par exemple viser prioritairement l'galit ou la
rcompense des mrites (la notion d'galit des chances illustre la complexit). Sur le
plan individuel, si l'quit consiste servir chacun au mieux de ses aspirations, un robot
doit-il faire plaisir une personne ge en lui servant un whisky, puis un deuxime,
mme si cela nest pas bon pour sa sant ? [DON-2].

La loi peut interdire lutilisation de certaines variables comme l'ethnie, le sexe, lge, la
religion pour classer des individus, afin par exemple de leur accorder ou pas certains
services personnaliss. Pourtant, un algorithme peut parfois reconstruire les valeurs de
telles variables, et ensuite prendre des dcisions fondes sur ces valeurs [DON-3].

Le traage assure la disponibilit de suivis des donnes captes dans

l'environnement ou changes lors de certains vnements, ainsi que des calculs
raliss par le systme. Il est indispensable la transparence et l'analyse du
fonctionnement ou des dysfonctionnements. Si le code du systme et ses donnes sont
ouverts - deux lments cls de la transparence - le contrle est videmment plus facile
(mme sil reste difficile raliser). Dans le cas de machines apprenantes, pour la phase
prcdant la mise en service il convient autant que possible de conserver les donnes
d'apprentissage, les conditions de leur collecte et de leur validation. Si le dispositif
continue d'apprendre en cours d'exploitation, le traage est plus compliqu. Il est
indispensable de monitorer les traces pour ventuellement dtecter des dviations par
rapport aux comportements attendus. Dans de tels cas, le systme peut demander un
humain de valider ltat de lapprentissage. Le chercheur aura l'esprit que les traces
d'apprentissage sont des donnes et qu' ce titre elles doivent respecter les rgles
concernant les donnes caractre personnel, mme si elles sont destines aux seules
fins de contrle technique [DON-4].

Points d'attention et prconisations

[DON-1] Qualit des donnes dapprentissage

Le concepteur et l'entraneur veilleront la qualit des donnes d'apprentissage et des
conditions de leur captation tout au long du fonctionnement du systme. Les entraneurs
du systme informatique sont responsables de la prsence ou de labsence de biais dans les
donnes utilises dans lapprentissage, en particulier lapprentissage en continu , cest-

26 http://www.huffingtonpost.fr/2015/07/02/logciel-reconnaissance-faciale-google-confond-afro-
americains-gorilles_n_7711592.html
27 http://europa.eu/rapid/press-release_IP-16-2532_fr.htm
-dire en cours dutilisation du systme. Pour vrifier labsence de biais, ils doivent
sappuyer sur des outils de mesure qui restent encore dvelopper.

[DON-2] Les donnes comme miroir de la diversit

Les entraneurs des systmes dapprentissage automatique doivent oprer le choix des
donnes en veillant ce que celles-ci respectent la diversit des cultures ou des groupes
dutilisateurs de ces systmes.

[DON-3] Variables dont les donnes comportent un risque de discrimination

Les entraneurs (qui peuvent tre aussi les concepteurs ou les utilisateurs) doivent se poser
la question des variables qui peuvent tre socialement discriminantes. Il convient de ne pas
mmoriser ni de rgnrer par programmation ces variables, par exemple l'ethnie, le sexe
ou lge. La protection des donnes caractre personnel doit galement tre respecte
conformment la lgislation en vigueur.

[DON-4] Traces
Le chercheur doit veiller la traabilit de l'apprentissage machine et prvoir des
protocoles cet effet. Les traces sont elles-mmes des donnes qui doivent ce titre faire
lobjet dune attention sur le plan thique.

IV.2 Lautonomie des systmes apprenants

Pour un systme numrique, l'autonomie est sa capacit fonctionner

indpendamment d'un oprateur humain ou d'une autre machine en exhibant des
comportements non triviaux dans des environnements complexes et variables.(...) 28
L'autonomie est un concept relatif. L'autonomie que peut atteindre un systme dpend
d'une part de la complexit de l'environnement, qui peut tre mesure par la quantit et
la variabilit d'information et de son flux et de sa dynamique, et d'autre part de la
complexit de la tche, qui dpend de la structure de l'ensemble des tats possibles du
systme (espace d'tats). Si l'environnement d'utilisation d'un systme autonome est
complexe, comme les scnes de la rue pour une voiture autonome, un apprentissage
pralable est souvent ncessaire. Si les environnements d'utilisation sont volutifs ou
imprvisibles, comme pour un robot compagnon, un apprentissage personnalis doit
tre ralis, qu'il peut tre ncessaire d'actualiser priodiquement ou de continuer tout
au long de l'exploitation.

Le fonctionnement fidle ( ce que les concepteurs et les oprateurs ou utilisateurs

attendent de lui) d'une machine dote d'autonomie ncessite que la reprsentation
d'une situation et le comportement calculs par la machine soient intelligibles et
conformes ce que son oprateur ou utilisateur humain en attend. Des prconisations
sont formules cet gard dans l'avis thique de la recherche en robotique de la CERNA.
Si la machine est dote de capacits d'apprentissage, l'instabilit de l'apprentissage, les
corrlations inattendues qu'il peut induire, font que les reprsentations internes la
machine de la situation et ses plan d'action peuvent tre sans rapport avec ce que
l'utilisateur imagine [AUT-1].

D'une faon gnrale, lapprentissage peut permettre d'tendre l'autonomie de la

machine quant la faon d'atteindre le but qui lui est assign. Ainsi AlphaGo s'est
amlior en jouant contre des copies de lui-mme : cet apprentissage par renforcement
illustre une possibilit d'volution par slection, sans intervention humaine, des

28 Avis de la CERNA sur l'thique de la recherche en robotique

systmes apprenants o seuls les plus comptitifs sont dupliqus pour de nouveaux
affrontements. Selon Nick Bostrom29, la machine pourrait valuer qu'il est plus efficace
de s'affranchir de contrles humains, et pour cela apprendre dissimuler sa stratgie et
neutraliser les reprises en main, elle pourrait mme faire merger des objectifs se
substituant la finalit qui a guid sa conception. Une telle hypothse ne repose
actuellement sur aucune base scientifique mais elle nourrit la science-fiction et les effets
mdiatiques, qui brouillent trop souvent la frontire entre la ralit scientifique et les
fantasmes. Le scientifique doit tenir compte de cette situation dans sa communication
[AUT-2].

Points d'attention et prconisations

[AUT-1] Biais de caractrisation

Le chercheur veillera ce que les capacits d'apprentissage dun systme informatique
namnent pas lutilisateur croire que le systme est dans un certain tat lors de son
fonctionnement alors quil est dans un autre tat.

[AUT-2] Vigilance dans la communication

Dans sa communication sur lautonomie des systmes apprenants relativement aux
humains, le chercheur doit viser expliquer le comportement du systme sans donner prise
des interprtations ou des mdiatisations irrationnelles.

IV.3 Lexplicabilit des mthodes dapprentissage et leur valuation

Lexigence dexplications, codifie travers la gestion du risque dans les secteurs

traditionnels de lindustrie et par les rgles de certaines professions (mdecine, droit),
saffirme dans le numrique, o certains aspects sinscrivent dans les textes lgislatifs
(loi Informatique et Liberts, loi sur la Rpublique numrique).

Expliquer un algorithme est faire comprendre ses utilisateurs ce qu'il fait, avec assez
de dtails et d'arguments pour emporter leur confiance. Cette tche est difficile mme
dans le cas d'un algorithme dpourvu de capacit d'apprentissage, comme l'illustre le
dbat autour de l'algorithme d'admission post-bac APB 30. En outre il convient de
distinguer preuve et explication : ainsi Gilles Dowek donne l'exemple simple de la
multiplication de 12345679 par 36, dont le seul calcul du rsultat (444444444)
n'explique pas aux yeux d'un esprit mathmatique pourquoi ce rsultat ne comporte que
des 4.
Pour qu'un algorithme soit explicable, ses principes doivent tre suffisamment
documents pour tre comprhensibles par l'ensemble des usagers, avec la mdiation
ventuelle d'experts ; le passage de l'algorithme au code puis l'excution du programme
doivent tre formellement vrifis, ce qui est affaire de spcialistes. En fin de comptes,
l'explicabilit d'un algorithme repose sur des mthodes rigoureuses mais aussi sur un
corpus de connaissances non formalises partages entre les humains.

La capacit d'apprentissage accrot considrablement la difficult d'explication, et fait

que le concepteur lui-mme peut ne pas tre en mesure de comprendre le
comportement du systme 31. En effet, alors que les algorithmes classiques traduisent
29 Superintelligence, Oxford University Press, 2014
30 Rapport de la mission Etalab sur les conditions douverture du systme Admission Post-Bac , avril
2017
31 The Dark Secret at the Heart of AI, Will Knight, MIT Technology Review, avril 2017
https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
un modle qui se prte aux explications parce que fourni par des analystes,
lapprentissage calcule un modle interne par ajustement de ses paramtres, parfois des
millions, en fonction de donnes qui pour nous ont un sens mais qui ne sont pour la
machine que des suites d'octets, au risque d'une grande instabilit d'interprtation et de
corrlations inattendues. Les difficults s'assurer du comportement d'une machine
apprenante, et a fortiori l'expliquer, illustres en III.2 dans le cas de l'apprentissage
supervis, grandissent dans le cas de l'apprentissage par renforcement ou la
classification, o les donnes d'apprentissage ne sont plus annotes par l'humain.

Un compromis entre les capacits d'apprentissage et l'explicabilit s'avre ncessaire. Ce

compromis est apprcier en fonction des domaines d'applications : si lexplicabilit
nest a priori pas une exigence dans des applications telles le jeu, elle est imprative ds
lors que lon touche aux intrts et droits des personnes ou leur scurit. Le chercheur
devra assurer et documenter un niveau dexplicabilit acceptable selon le type
dapplication, et notamment en expliciter les limitations et les mdiations d'experts
requises [EXP-1].

Des mthodes nouvelles dexplication du fonctionnement et des rsultats des machines

apprenantes voient le jour, visant amliorer ce compromis. La DARPA en a mme fait
en 2016 un appel projet spcifique 32. Ces mthodes peuvent comporter des
heuristiques ou des outils dobservation, comme la visualisation du comportement, qui
nont pas valeur dexplication conceptuelle, et le chercheur veillera alors ne pas en tirer
htivement des catgorisations des donnes, au risque de laisser place des biais, y
compris des biais idologiques ou politiques [EXP-2] - par exemple, l'interprtation en
termes anthropomtriques de l'observation d'un systme de reconnaissance faciale.

Le besoin d'valuation (conformit, quit, loyaut, neutralit, transparence...) des plate-

formes et des algorithmes devient un sujet de socit, objet de dbats et de
rglementations (voir V). Des normes, des procdures dvaluation pour la mise sur le
march et les contrles en exploitation vont ainsi merger pour concourir une bonne
gouvernance des algorithmes. Le chercheur doit prendre en compte cette volution et
contribuer au dbat public et l'laboration de normes et de pratiques d'valuation et
de recours [EXP-3].

Lvaluation des machines apprenantes est un sujet scientifique largement ouvert. Avec
un programme classique, la vrification du code est dj un problme extrmement
compliqu. Pour un systme apprenant, la tche est mouvante puisque des erreurs, des
biais, des comportements inacceptables peuvent surgir dans le temps, comme cela a t
illustr dans le cas de lapprentissage profond. Une grande difficult est de trouver des
critres mesurables, et des chantillons tests de situations garantissant un
fonctionnement correct dans l'ensemble des situations dexploitation. Quand le
dispositif apprend en continu en cours d'exploitation, la difficult est accrue par le fait
qu'en milieu ouvert, des situations imprvues, aux consquences elles-mmes
imprvisibles peuvent tre rencontres.

Comme pour dautres domaines, il est ncessaire dexplorer des procdures

dautorisation de mise sur le march et de contrle technique . L'ide a t mise de
tests raliss priodiquement par une agence indpendante de contrle. Cette piste
semble difficile mettre en uvre. D'une part, les difficults techniques voques ci-
dessus devraient tre surmontes. D'autre part, tous les dispositifs concurrents devront

32 http://www.darpa.mil/program/explainable-artificial-intelligence
tre tests en mme temps sur une mme batterie de tests non dvoils l'avance, ce qui
est difficilement ralisable. Enfin le risque est gros que les machines soient conues pour
satisfaire aux tests. L'actualit de dbut 2016 - dans un contexte beaucoup plus simple
concernant le paramtrage par les constructeurs automobiles des moteurs en vue des
tests de pollution - alimente cette rserve. Le plan stratgique en recherche et
dveloppement en intelligence artificielle de la Maison Blanche 33 prconise pour sa part
une panoplie de mesures bases sur des infrastructures ouvertes de dveloppement, de
test et dvaluation, comprenant la collecte et louverture de donnes publiques massives
et denvironnements logiciels.

Points d'attention et prconisations

[EXP-1] Explicabilit
Le chercheur doit sinterroger sur la non-interprtabilit ou le manque dexplicabilit des
actions dun systme informatique apprenant. Le compromis entre performance et
explicabilit doit tre apprci en fonction de lusage et doit tre explicit dans la
documentation lusage de lentraneur et de lutilisateur.

[EXP-2] Les heuristiques dexplication

Dans sa recherche dune meilleure explicabilit dun systme apprenant, le chercheur
veillera dcrire les limitations de ses heuristiques dexplication et ce que les
interprtations de leurs rsultats ces soient exemptes de biais.

[EXP-3] Elaboration des normes

Le chercheur veillera contribuer aux dbats de socit et l'laboration de normes et de
protocoles d'valuation qui accompagnent le dploiement de l'apprentissage machine.
Quand les donnes concernent certains secteurs professionnels spcialiss (mdecine, droit,
transports, nergie, etc.), les chercheurs de ces domaines devront tre sollicits.

IV. 4 Les dcisions des systmes dapprentissage

Depuis le systme expert mdical Mycin des annes 1970, des dispositifs d'aide la
dcision existent dans de nombreux domaines, dont le secteur rgalien du droit et celui
vital de la sant. La question de la place accorder dans le processus de dcision aux
propositions fournies par la machine se pose de plus en plus. Les dcisions graves,
comme condamner une personne la prison, sont encore prises par des tres humains.
Mais une multitude de dcisions aux consquences moindres (condamner un
automobiliste une amende, accorder ou refuser un prt la consommation, etc.) sont
dj prises par des algorithmes. Une personne humaine responsable demeure encore
associe toutes les dcisions, ouvrant la possibilit de faire un recours, mais la
tendance est clairement l'automatisation.

Les dcisions des machines peuvent savrer plus sres et moins biaises que celles des
humains et de leurs humeurs. Dans certains cas la rapidit de dcision des machines
peut mme savrer dterminante. La dmarche thique nest pas de se priver de tels
avantages, mais de prendre conscience que, dune part lapprentissage est de nature
rintroduire de linscurit et des biais, et dautre part ces avantages sont articuler
avec la perception quen a lhumain - un patient pourrait mieux accepter une erreur de
son mdecin que dune machine. La difficult pour lhumain de contester la dcision de
la machine en ne restituant pas la part discrtionnaire prsente dans la plupart des

33https://www.nitrd.gov/PUBS/national_ai_rd_strategic_plan.pdf , octobre 2016.

dcisions humaines est considrer (cf article 22 du rglement europen sur la
protection des donnes34).

La personne qui dcide risque de ntre plus quun excutant de la proposition

formule par la machine. Suivre cette proposition, saligner sur la dcision de la
machine apparat comme loption la plus sre. Dvier de la solution propose par
la machine est un acte qui ncessite d'tre expliqu, qui entrane une prise de
responsabilit et de risque.
La personne dont le sort dpend dune dcision automatise risque pour sa part
dtre rduite un profil et de ne pas pouvoir rendre compte de sa situation
individuelle, de ses motifs, de ses raisons, bref de sa singularit.

Dans les deux cas se pose la question de la capacit des personnes accomplir des actes
et rendre compte de ceux-ci.

La capacit dapprentissage des programmes risque damplifier cette tendance en

rendant les propositions de dcisions circonstancies et individualises. Le manque
dexplicabilit des rsultats et leur variabilit [DEC-1] (selon les donnes apprises
antrieurement et leur chronologie) ne doivent nullement pouvoir tre assimils un
pouvoir discrtionnaire de la machine mais imposent au contraire
daffirmer la primaut de la dcision et de lexplication humaines, par exemple
par une obligation de justifier la dcision au regard de la personne quon a devant
soi ;
de travailler la transparence et la loyaut des algorithmes utiliss, et encadrer
par la loi leur validation et leur valuation.

Comme dans dautres secteurs, lintroduction de lapprentissage machine dans laide la

dcision induit une monte en qualification des mtiers concerns, voire lmergence de
nouveaux mtiers et la disparition d'autres. Les tches fastidieuses de recherche
documentaire et de jurisprudence sont dj dlgues des machines dans des cabinets
davocats. En contrepartie le sujet humain doit tre form la comprhension et
linterprtation des rsultats de la machine, et se consacrer communiquer et expliquer
le sens des dcisions. Le concepteur des machines apprenantes daide la dcision doit
tre impliqu dans lvolution de lenvironnement rglementaire et humain qui rsulte
de leur utilisation [DEC-2].

Points d'attention et prconisations

[DEC-1] Place de lhumain dans les dcisions assistes par des machines
apprenantes
Le chercheur, concepteur de machines apprenantes daide la dcision, doit veiller ce
quaucun biais ne produise un rsultat qui devienne automatiquement une dcision alors
que lintervention humaine tait prvue par la spcification du systme, et prendra garde
aux risques de dpendance de lhumain aux dcisions de la machine.

[DEC-2] Place de lhumain dans lexplication des dcisions assistes par des
machines apprenantes
Le chercheur doit veiller ce que les rsultats du systme soient autant que possible
interprtables et explicables pour les personnes concernes, simpliquer dans les
ncessaires volutions des mtiers en faisant usage et dans lencadrement des pratiques.

34 https://www.cnil.fr/fr/reglement-europeen-protection-donnees/chapitre3#Article22
Des agents experts contribueront lexplication et la vrification des comportements du
systme.

IV.5 Le consentement l'apprentissage machine

Lutilisation de systmes apprenants interconnects fait merger une exigence de

consentement portant sur les consquences que les capacits dapprentissage de ces
systmes peuvent entraner pour les individus et pour les groupes.

Nous consentons aujourd'hui ce que des donnes sur notre comportement soient
captes par des objets connects (de l'ordinateur au robot) afin de nous rendre des
services. Ces services dpendent parfois de paramtres volutifs calculs par
apprentissage sur de grandes quantits de donnes de nature diverse, selon des finalits
qui peuvent ne pas tre explicites. Il est possible que le concepteur lui-mme msestime
l'impact de son application sur l'environnement numrique global. Limpossibilit
dinformer lutilisateur de faon sre ou prcise sur les finalits est due la donne
technique et algorithmique, et plus concrtement, au fait que lapprentissage peut
rsulter en des configurations du systme que le concepteur ne pouvaient pressentir.
Cette situation est nouvelle par rapport au cas du consentement pour un usage ou un
type d'usage spcifique.

A titre d'exemple, lutilisation dun agent conversationnel qui sadapte par apprentissage
aux habitudes des utilisateurs illustre comment un tel systme peut rtroagir de faon
implicite sur le comportement de ces utilisateurs. Il peut par exemple imiter la parole de
lutilisateur jusqu rpter ses tics verbaux, ce qui risque de perturber linteraction. Il
est ncessaire que les usagers aient expliciter un consentent utiliser des machines
qui ont la possibilit dadaptation et soient vigilants sur des comportements non
souhaitables de la machine. Pour des personnes fragiles (personnes ges, enfants)
notamment, il convient dviter la perturbation par une machine dont le comportements
volue significativement sans que lutilisateur soit mis au courant de cette possibilit.
Les usagers devraient avoir la possibilit de se servir ou non de la fonction
dapprentissage et de contrler au moins globalement les donnes que la machine utilise
en apprenant : les leurs, celles collectes sur le rseau ou toutes donnes disponibles
[CON-1].

Au niveau des groupes, des sociologues et philosophes tudient l'impact au travail d'un
environnement d'intelligence artificielle, notamment en matire de mrite et
d'valuation des performances35. Derrire les vertus facilitatrices de certains dispositifs,
peut se dployer de manire sous-jacente une normativit prenant la forme d'un
paternalisme technologique aux multiples visages: ainsi, les environnements
d'intelligence artificielle peuvent alerter, recommander, rappeler l'ordre, bloquer,
interdire, voire influencer. Il s'agit alors de penser les effets potentiels de la technologie
sur les capacits et l'autonomie des individus, notamment en considrant les possibilits
d'improvisation et de spontanit36.

De mme le droit loubli ou au retrait numrique notamment le droit dune

personne de demander au moment o elle retire son consentement, ce que toutes les

35N. Daniels, Merit and Meritocracy , Philosophy and Public Affairs, Vol. 7, No. 3, 1978, pp. 207-208 :
Merit is construed as ability plus effort .
36O. McLeod, Desert , in Stanford Encyclopedia of Philosophy, First published Tue May 14, 2002,
substantive revision Wed Nov 12, 2008, p. 2, http://plato.stanford.edu/entries/desert/.
donnes prcdemment prleves sur elle soient effaces peut devenir illusoires dans
la mesure o ses donnes ont aliment par apprentissage l'volution de paramtres
censs capter des comportements collectifs.

Plus gnralement, il s'agit ainsi dinformer lusager pour quil participe de faon
claire la transformation de la socit, tout en sachant que dans de telles situations
complexes, le consentement ne se fonde pas seulement sur la comprhension
rationnelle, mais aussi sur la confiance et, pour une application informatique, la curiosit
de lutilisateur, qui peut tre attise par une volont de sduction de la part du
concepteur.

Le chercheur doit dlibrer ds la conception de son projet avec les personnes ou les
groupes identifis comme pouvant tre influencs, afin que le projet au stade futur
dutilisation puisse recueillir le consentement des parties concernes [CON-2]. Cette
prconisation rejoint une recommandation gnrale de la CERNA sur la conduite de
projet [GEN-7].
Il s'agit plus largement d'tre conscient que l'apprentissage machine contribue
dplacer le consentement du niveau individuel de l'usage de ses donnes personnelles,
un niveau collectif du consentement ce que des systmes informatiques puissent servir
orienter la socit partir d'observations globales de cette socit. Des recherches
dans ce domaine pourraient conduire des dispositifs nouveaux concernant
l'apprentissage machine [CON-3].

Points d'attention et prconisations

[CON-1] Choix des usagers dactiver ou non les capacits d'apprentissage d'un
systme
Le chercheur doit crer la possibilit d'utilisation de systmes avec ou sans leur capacit
dapprentissage. Il doit donner lutilisateur au moins un paramtre de contrle global sur
la source des donnes utilises pour lapprentissage.

[CON-2] Consentement dans le cadre de projet

Le chercheur doit dlibrer ds la conception de son projet avec les personnes ou les
groupes identifis comme pouvant tre influencs.

[CON-3] Consentement utiliser une machine capable dapprentissage en continu

Le chercheur doit tre conscient que la capacit d'apprentissage et la mise en rseau de
telles capacits peut induire des problmatiques nouvelles concernant autant le
consentement de l'usager que celui de la socit.

IV.6 La responsabilit dans les relations homme-machine apprenantes

Le chapitre IV.4 abordait la dlgation de dcision la machine du point de vue de son

impact sur lhumain. Cest laspect juridique qui est ici abord. Dans le droit actuel, une
machine, quelle calcule ou pas, est une chose. La responsabilit, elle, revient toujours
une personne. Cette personne responsable peut tre le concepteur de la machine, son
entraneur ou son utilisateur. La responsabilit pour risque ou la responsabilit
assurantielle sapplique galement au producteur ou au vendeur du systme
informatique en tant quobjet commercial.
La premire question consiste distinguer laquelle ou lesquelles de ces trois
catgories dagents attribuer une responsabilit dans le cas des systmes informatiques
capables dapprendre. Des lignes directrices sont ncessaires, permettant dtablir une
sparation entre les domaines de responsabilit du concepteur, de lentraneur et de
lutilisateur, voire une dfinition juridique rigoureuse de ces domaines. Ces lignes
directrices doivent sappuyer sur la possibilit de reconstruire la chane des dcisions
prises algorithmiquement, ce qui implique la traabilit du systme. Les avances
technologiques actuelles montrent lurgence dadapter notre lgislation cette nouvelle
ralit.

La connaissance que possde le concepteur en tant quauteur du code qui fait

fonctionner le systme informatique, lui confre un pouvoir et une responsabilit. Cette
connaissance est cependant limite : un systme informatique apprend grce aux
donnes fournies par lentraneur ou celles quil collecte sans supervision en cours
dutilisation. Le comportement dun systme apprenant peut mme, dans certains cas,
devenir totalement imprvisible pour le concepteur : cest la raison pour laquelle, pour
toute fin pratique, le pouvoir de ce dernier est born ds la mise en excution du code,
moment auquel il perd le contrle du systme mme sil en garde la paternit . La
responsabilit du concepteur doit tre limite en consquence. Une telle limitation, qui
implique le partage de la responsabilit, stend galement lutilisateur qui possde un
systme informatique (par exemple, un smartphone ou un robot) en tant quobjet
matriel, mais qui, par manque de connaissance de son fonctionnement interne, na
aucun pouvoir effectif sur ce systme malgr le fait dtre son propritaire. La
responsabilit de lentraneur stend aux donnes quil fournit. Si ces donnes
contiennent des biais, la responsabilit de lentraneur peut tre engage. Toutefois,
lentraneur peut plaider quen ntant pas concepteur, il ne possde pas la connaissance
des algorithmes du traitement des donnes employes par le systme. Pour faciliter le
bon usage du systme apprenant et aider dpartager les responsabilits, le concepteur
doit prvoir des mcanismes de contrle [RES-1], de documenter le systme et en
dcrire les limites dutilisation, y compris les caractristiques des donnes que le
systme doit recevoir pour apprentissage [RES-2].

La seconde question consiste se demander si le systme informatique pourrait se voir

lui-mme attribuer une responsabilit. Actuellement, la responsabilit des personnes
repose sur limputabilit de lacte dont ces personnes seraient responsables ; or
lintelligence artificielle permet la machine datteindre un degr avanc dautonomie
tel que sa dcision ne peut tre directement impute une personne humaine. Le choix
est alors entre deux options : soit lattribution dune responsabilit lhumain malgr le
manque dimputabilit (on pourra avoir recours la responsabilit du fait des choses, ou
la responsabilit pour produits dfectueux), soit la cration dun statut juridique
intermdiaire pour le systme informatique capable de porter une responsabilit. Nous
laissons de ct la deuxime possibilit peu raliste politiquement, mais intressante
tant juridiquement que philosophiquement et, depuis peu, discute dans certains cercles
europens37. Toutefois, la socit doit ds prsent prendre conscience du fait que, par
exemple, les voitures autonomes devront sans doute tre dotes d'un statut particulier,
dont les dtails transparatront progressivement l'exprience, linstar du droit des
diffrentes personnes morales qui sest forg avec le temps.

37 European Parliament. Directorate-General for Internal Policies Policy. Department C : Citizens Rights
and Constitutional Affairs. Legal Affairs. European Civil Law Rules in Robotics. Rsolution du 12 janvier
2017.
La difficult dimputabilit dune action dcide par un systme informatique conduit
distinguer plusieurs figures de responsabilit de lagent humain, limite ou partage :

1) Sur le plan de lintention : un humain (concepteur, entraneur, utilisateur) a-t-il

form lintention de voir la machine produire un certain rsultat, mme si une ou
plusieurs caractristiques de ce rsultat ntaient pas intentionnelles ?
2) Sur le plan de l'action : un humain (concepteur, entraneur, utilisateur) a-t-il
opr des choix volontaires ou involontaires, par exemple, une slection des
donnes utilises lors de lapprentissage par la machine ?
3) Sur le plan de la prvisibilit et du hasard : un agent (concepteur, entraneur,
utilisateur) a-t-il pu prvoir laction de la machine dans des conditions
raisonnables de lexcution de ces fonctions ? Quelle est la place de lalatoire
dans la dcision prise par le systme ?
4) Les donnes (par exemple, celles qui sont fournies par lentraneur) peuvent tre
non conformes aux annonces faites, ou non transparentes, incompltes, non
jour, inexactes voire falsifies (ou hackes ) par un tiers, entranant dans ce
dernier cas lapplication de la loi sur la fraude informatique et lintrusion dans
les systmes informatiques (loi du 5 janvier 1988). Il est aussi possible que des
raisonnements conduisent des catgorisations et, partant, des discriminations
illgales partir de donnes sensibles, ou mme neutres 38.
5) Sur les aspects logiciels, les distinctions conceptuelles Abstraction-Filtration-
Comparaison qui existent dans la jurisprudence amricaine sur les droits
dauteur peuvent savrer utiles dans lanalyse du statut social et juridique des
algorithmes dapprentissage39. Ltape de labstraction vise sparer lide
gnrale, qui ne peut appartenir personne, de son expression prcise, elle
protge par le droit. Pour cela, le code est analys selon ses niveaux
fonctionnels ; chaque niveau est class soit comme ide soit comme
expression . ltape du filtrage, sont exclus : les lments incontournables
imposs par des raisons defficacit, car leur caractre priv serait susceptible de
crer un monopole daccs ; les lments provenant des facteurs extrieurs,
comme par exemple les standards ou les rgles dexpression ; les lments dont
la provenance relve du domaine public. Ltape de la comparaison consiste
comparer le rsidu avec luvre initiale ouvrant la voie lattribution de la
proprit et de la responsabilit pour le logiciel et les dcisions quil a prises.

Points d'attention et prconisations

[RES-1] Mcanismes de contrle

Le chercheur doit adapter et inclure dans le systme, des mcanismes de contrle,
automatiques ou superviss (par la machine ou l'tre humain), sur les donnes, sur le
fonctionnement au niveau informatique et sur le raisonnement suivi, afin de faciliter
lattribution de responsabilits au regard du bon fonctionnement ou du dysfonctionnement
du systme.

[RES-2] Dclaration des intentions dusage

En documentant un systme informatique apprenant, le chercheur doit dcrire de manire
sincre, loyale et complte, les limites qui lui sont connues de limputabilit dune dcision
ou dune action du systme soit au code-source soit au processus dapprentissage. Cette
documentation servira de dclaration dintention de la part du concepteur quant aux
38Par exemple, dans les logiciels de scoring utilisant les BigData, il existe une discrimination objective
calcule entre personnes de grande taille ou de petite taille.
39http://jolt.law.harvard.edu/digest/copyright/artificial-intelligence-and-authorship-rights
 usages du systme informatique quil envisage comme normaux. Labsence de telle
dclaration ou son caractre tardif peuvent engager la responsabilit supplmentaire du
concepteur.

V. Contexte national et international

Lapprentissage machine est un des facteurs des progrs actuels des technologies Big
data, de lintelligence artificielle et de la robotique. Le fort impact socital de ces aspects
du numrique est doubl dune mconnaissance de ses ressorts scientifiques et
technologiques. Suite ce constat, les initiatives de recherche ou de dveloppement dans
le numrique de ces derniers temps comportent toujours un volet sur lthique, quand
elles ny sont pas entirement consacres.

Au niveau international

La mobilisation de la communaut scientifique internationale est illustre par

lmergence de nouveaux workshops structurants comme Fairnebop on Data and
Algorithmic Transparency (DAT'16)40, Interpretable Machine Learning for Complex
Systems 41 ou Machine Learning and the Law 42 NIPS 2016.

La plus importante association professionnelle internationale du numrique, lInstitute

of Electrical and Electronics Engineers, a initi lIEEE Global Initiative for Ethical
Considerations in Artificial Intelligence and Autonomous Systems qui a produit fin 2016 un
rapport dtape Ethically Aligned Design43. Une initiative pilote par AT&T et Inria
regroupe une communaut dacadmiques, industriels, dcideurs et rgulateurs sur la
transparence des donnes personnelles en ligne travers des activits de recherche 44.

Le plan stratgique en recherche et dveloppement en intelligence artificielle de la

Maison Blanche45 prconise une panoplie de mesures fondes sur des infrastructures
ouvertes de dveloppement, de test et dvaluation, comprenant la collecte et louverture
de donnes publiques massives et denvironnements logiciels. La DARPA 46 a lanc une
initiative de recherche intitule explainable artificial intelligence (XAI)47. Il faut noter
galement les efforts mens par lOTRI (Office of Technology Research and Investigation)
cr au sein de la FTC (Federal Trade Commission). Cette dernire a publi en janvier
2016 un rapport intitul Big Data, a Tool for Inclusion or Exclusion? Understanding the
issues48. Luniversit de Stanford a lanc en 2014 linitiative One Hundred Year Study on
Artificial Intelligence (AI100)49 dont le rapport 201650 a t publi en septembre. Il sagit
dun programme long terme pour tudier les impacts de lintelligence artificielle sur
les individus et la socit avec des proccupations sur la dmocratie, les liberts,
lthique en plus des considrations technologiques et scientifiques. Ils sont rejoints par
40http://datworkshop.org/
41http://www.mlandthelaw.org/
42https://sites.google.com/site/nips2016interpretml/
43http://standards.ieee.org/develop/indconn/ec/autonomous_systems.html
44http://www.datatransparencylab.org/
45https://www.nitrd.gov/PUBS/national_ai_rd_strategic_plan.pdf , octobre 2016.
46Defense Advanced Research Projects Agency
47http://www.darpa.mil/program/explainable-artificial-intelligence
48https://www.ftc.gov/system/files/documents/reports/big-data-tool-inclusion-or-exclusion-
understanding-issues/160106big-data-rpt.pdf
49 https://ai100.stanford.edu/
50https://ai100.stanford.edu/sites/default/files/ai_100_report_0901fnlc_single.pdf
plusieurs grands industriels amricains qui tentent de construire un standard
thique autour des technologies de lintelligence artificielle 51. De nombreux instituts de
recherche interdisciplinaires ont t crs rcemment, principalement dans les pays
anglo-saxons, pour rflchir aux enjeux de lintelligence artificielle, par exemple lInstitut
du futur de lhumain (FHI pour Future of Human Institute) dOxford et le centre de
ltude des risques existentiels (CSER, pour Centre for the Study of Existential Risks) de
Cambridge au Royaume-Uni, ou encore lInstitut de Recherche des Machines
Intelligentes (MIRI, Machine Intelligence Research Institut) de Berkeley aux Etats-Unis.
Amazon, Apple, Google, Facebook, IBM, Microsoft ont cr de leur ct en 2016 le
Partnership on AI to benefit people and society, espace conjoint de rflexion thique52.

En Europe

L'European Data Protection Supervisor (EDPS) a cr fin 2015 l'Ethics Advisory Group53
sur l'impact des innovations numriques dans la socit et l'conomie. Le parlement
europen a vot en fvrier 2017 un texte dorientation sur le droit civil en robotique 54. Le
document de base comporte un Code conduite thique pour les ingnieurs en robotique et
un Code de dontologie pour les comits dthique de la recherche. La commission
europenne a organis, selon sa stratgie de Digital Single Market, une consultation
publique incluant les questions de transparence des moteurs de recherche ainsi que
lutilisation des donnes collectes entre autres sur les plate-formes, qui a donn lieu
un retour public en janvier 201655. On peut citer quelques lments qui en ressortent : la
rgulation en vigueur ne rpond pas aux questions de responsabilit introduites par les
technologies relatives au Big data et aux objets connects ; la crainte sur la transparence
des plate-formes ; les situations dhgmonie commerciales et de dynamique de march
etc.

A la suite de linitiative Franco-Allemande sur l'conomie Numrique 56, un groupe de

travail autour de la normalisation dans le domaine du Big data a t constitu. Il est
pilot par lAFNOR/la DGE du ct franais et leurs homologues allemands DIN/ BMWi.
Parmi les axes retenus comme Best practices dvelopper, on trouve les mthodes
thiques et responsables de traitement et de gestion des donnes massives. Ces
recommandations sont relayes par un groupe de travail de BDVA sur les normes et
standard (Big Data Value Association, qui pilote avec la commission europenne un
partenariat public priv -PPP sur les Big Data hauteur de 2, 5 milliards deuros).

En France

Le Conseil national du numrique a abord les problmes de responsabilit des plate-

formes, et notamment les questions de neutralit, transparence, et loyaut dans son
Avis sur la Neutralit des plate-formes 57 en 2014. Depuis, ces sujets sont abords dans
plusieurs de ses avis, par exemple, sur la sant, la fiscalit, ou en lien avec le projet de loi

51 http://www.nytimes.com/2016/09/02/technology/artificial-intelligence-ethics.html
52 https://www.partnershiponai.org/
53https://secure.edps.europa.eu/EDPSWEB/edps/EDPS/Ethics
54http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML+REPORT+A8-2017-
0005+0+DOC+PDF+V0//EN
55https://ec.europa.eu/digital-single-market/news/first-brief-results-public-consultation-regulatory-
environment-platforms-online-intermediaries
56 http://www.economie.gouv.fr/deuxieme-conference-numerique-franco-allemande-a-berlin
57 https://cnnumerique.fr/wp-
content/uploads/2014/06/CNNum_Rapport_Neutralite_des_plateformes.pdf
 pour une Rpublique numrique58. Le Conseil dEtat dans son tude sur Le numrique et
les droits fondamentaux59 en 2014 pose la question sur les prdictions dont sont capables
les algorithmes dapprentissage machine en recommandant de mieux encadrer
lutilisation dalgorithmes prdictifs lgard des individus . La loi Rpublique numrique
confie la CNIL l'animation des questions thiques et socitales souleves par le
numrique : un dbat national sur l'thique des algorithmes a t lanc le 23 janvier
201760. Rcemment, le Conseil Gnral de l'conomie, missionn par le secrtariat dtat
lconomie numrique, a organis une consultation dexperts sur la rgulation des
algorithmes de traitement des contenus. Des prconisations ont t formules en vue de
vrifier la conformit aux lois et rglements dont la dtection de discrimination illicite.
Ces travaux ont dbouch sur la cration dune plate-forme scientifique collaborative
nationale TransAlgo 61 pour le dveloppement de la transparence et de la
responsabilit des algorithmes et des donnes. Le CNNum a rejoint linitiative
TransAlgo dans sa dmarche nationale dvaluation des plate-formes qui a fait lobjet
de sa mission dbut dcembre 201662 .

Enfin, au printemps 2017, l'Office Parlementaire d'valuation des Choix Scientifiques et

Technologiques (OPECST) a publi une tude "Pour une intelligence artificielle
matrise, utile et dmystifie" 63 contenant 15 propositions, parmi lesquelles :
Proposition n 2 : Favoriser des algorithmes et des robots srs, transparents et
justes et prvoir une charte de lintelligence artificielle et de la robotique.
Proposition n 3 : Former lthique de lintelligence artificielle et de la
robotique dans certains cursus spcialiss de lenseignement suprieur.
Proposition n 4 : Confier un institut national de lthique de lintelligence
artificielle et de la robotique un rle danimation du dbat public sur les
principes thiques qui doivent encadrer ces technologies.

Le gouvernement a labor Une stratgie pour la France en matire dintelligence

artificielle , FranceIA64, intgrant galement la dimension thique.

VI. Conclusion

Les institutions et les citoyens prennent pleinement conscience de l'importance des

questionnements thiques poss par le numrique, et de leur diversit au del du
traitement des donnes caractre personnel. L'effervescence autour de l'intelligence
artificielle, et notamment de l'apprentissage machine, se concrtise par de nombreuses
initiatives industrielles et de recherche l'international, en Europe et en France, avec la
particularit que la dimension thique y est omniprsente. Le rle des chercheurs est
galement de veiller la qualit des plate-formes et des logiciels dapprentissage
machine en accs ouvert et aux prconisations de bon usage [GEN-10].

58 https://cnnumerique.fr/plateformes/
59 http://www.ladocumentationfrancaise.fr/rapports-publics/144000541/
60 https://www.cnil.fr/fr/ethique-et-numerique-les-algorithmes-en-debat-0
61http://www.economie.gouv.fr/files/files/PDF/Inria_Plateforme_TransAlgo2016-12vf.pdf
62http://www.economie.gouv.fr/cge/modalites-regulation-des-algorithmes-traitement-des-contenus
63 http://www.senat.fr/presse/cp20170329.html
64 http://www.economie.gouv.fr/France-IA-intelligence-artificielle
 Cette dynamique est propice une Initiative nationale fdrative de recherche sur
limpact socital et thique des sciences et technologies du numrique [GEN-11]
afin de
crer des synergies pour capitaliser sur les diffrents travaux et les enrichir ;
encourager le dialogue entre la recherche et la socit ;
construire une parole franaise suffisamment forte pour entraner une
dynamique europenne ;
mettre des prconisations de formation tous niveaux ;
valoriser lengagement des chercheurs dans ces directions interdisciplinaires.

La structuration pourrait reposer sur un rseau danimation, associant parts gales des
spcialistes des sciences et technologies du numrique et des spcialistes des sciences
humaines et sociales.

Points d'attention et prconisations

Par ailleurs, les prconisations gnrales [GEN-x] de la CERNA sur l'organisation de la

recherche pour une meilleure prise en compte des questions thiques en sciences et
technologies du numrique, formules en 2014, valent plus que jamais et sont rappeles ci-
aprs.

[GEN-10] Veille des chercheurs sur la qualit des plate-formes et des logiciels
dapprentissage machine en accs ouvert
Le chercheur contribuera la veille sur la qualit des plate-formes et des logiciels
d'apprentissage machine mis la disposition du public, et la sensibilisation aux risques de
mise en uvre non matrise travers certaines applications.

[GEN-11] Initiative Fdrative de Recherche Numrique, thique et Socit

Un rseau national de recherche pluridisciplinaire sur limpact socital et thique des
sciences et technologies du numrique doit tre cr afin de capitaliser de faon prenne
sur les diverses initiatives actuelles et de faire merger un positionnement franais
susceptible dimpulser un dynamique europenne.

VII. Liste des prconisations

Rappel des prconisations gnrales de la CERNA

[GEN-1] Expertise et expression dopinion

Lorsque le chercheur sexprime en public sur une question de socit relative son activit
professionnelle, il doit distinguer son intervention experte de lexpression de son opinion
personnelle.

[GEN-2] Comits dthique oprationnels dtablissements

Il est recommand que les tablissements se dotent de comits oprationnels dthique en
sciences et technologies du numrique.

[GEN-3] Initiatives des tablissements sur les aspects juridiques

Il est recommand que les tablissements et autres acteurs concerns mettent en place des
groupes de travail et des projets de recherche interdisciplinaires ouverts linternational
et incluant des chercheurs et des juristes pour traiter des aspects juridiques des usages de
la robotique.

[GEN-4] Sensibilisation et soutien du chercheur par les tablissements

Il est recommand que les tablissements et autres acteurs concerns mettent en place des
actions de sensibilisation et de soutien auprs des chercheurs et des laboratoires de
recherche dans le numrique. Lors de llaboration et dans la conduite de ses projets le
chercheur saisira, si ncessaire, le comit oprationnel dthique de son tablissement.

[GEN-5] Donnes personnelles

Lors de la conception dun systme numrique ayant la capacit de capter des donnes
personnelles, le chercheur se demandera si ce systme peut tre quip de dispositifs
facilitant le contrle de sa conformit la rglementation lors de sa mise en usage.

[GEN-6] Prvention dattaque des systmes numriques

Le chercheur veillera prendre en compte lexposition potentielle de ses recherches et
prototypes des attaques numriques malicieuses.

[GEN-7] Conduite de projet

Si le chercheur considre que le projet vise un dveloppement pouvant avoir un impact
important sur la vie des utilisateurs, il veillera dlibrer ds la conception du projet avec
les acteurs et les utilisateurs potentiels afin dclairer au mieux les choix scientifiques et
technologiques.

[GEN-8] Documentation
Le chercheur veillera documenter lobjet ou le systme conu et en exposer les capacits
et les limites. Il sera attentif aux retours dexprience tous les niveaux, du dveloppeur
lutilisateur.

[GEN-9] Communication publique

Le chercheur veillera faire une communication mesure et pdagogique sachant que les
capacits des objets et systmes quil conoit peuvent susciter des questionnements et des
interprtations htives dans lopinion publique.

[GEN-10] Veille des chercheurs sur la qualit des plate-formes et des logiciels
dapprentissage machine en accs ouvert
Le chercheur contribuera la veille sur la qualit des plate-formes et des logiciels
d'apprentissage machine mis la disposition du public, et la sensibilisation aux risques de
mise en uvre non matrise travers certaines applications.

[GEN-11] Initiative Fdrative de Recherche Numrique, thique et Socit

Un rseau national de recherche pluridisciplinaire sur limpact socital et thique des
sciences et technologies du numrique doit tre cr afin de capitaliser de faon prenne
sur les diverses initiatives actuelles et de faire merger un positionnement franais
susceptible dimpulser un dynamique europenne.

Prconisations en thique de la recherche en apprentissage

machine

Dans l'ordre de leur formulation :

1-[DON-1] Qualit des donnes dapprentissage
Le concepteur et l'entraneur veilleront la qualit des donnes d'apprentissage et des
conditions de leur captation tout au long du fonctionnement du systme. Les entraneurs
du systme informatique sont responsables de la prsence ou de labsence de biais dans les
donnes utilises dans lapprentissage, en particulier lapprentissage en continu , cest-
-dire en cours dutilisation du systme. Pour vrifier labsence de biais, ils doivent
sappuyer sur des outils de mesure qui restent encore dvelopper.

2-[DON-2] Les donnes comme miroir de la diversit

Les entraneurs des systmes dapprentissage automatique doivent oprer le choix des
donnes en veillant ce que celles-ci respectent la diversit des cultures ou des groupes
dutilisateurs de ces systmes.

3-[DON-3] Variables dont les donnes comportent un risque de discrimination

Les entraneurs (qui peuvent tre aussi les concepteurs ou les utilisateurs) doivent se poser
la question des variables qui peuvent tre socialement discriminantes. Il convient de ne pas
mmoriser ni de rgnrer par programmation ces variables, par exemple l'ethnie, le sexe
ou lge. La protection des donnes caractre personnel doit galement tre respecte
conformment la lgislation en vigueur.

4-[DON-4] Traces
Le chercheur doit veiller la traabilit de l'apprentissage machine et prvoir des
protocoles cet effet. Les traces sont elles-mmes des donnes qui doivent ce titre faire
lobjet dune attention sur le plan thique.

5- [AUT-1] Biais de caractrisation

Le chercheur veillera ce que les capacits d'apprentissage dun systme informatique
namnent pas lutilisateur croire que le systme est dans un certain tat lors de son
fonctionnement alors quil est dans un autre tat.

6- [AUT-2] Vigilance dans la communication

Dans sa communication sur lautonomie des systmes apprenants relativement aux
humains, le chercheur doit viser expliquer le comportement du systme sans donner prise
des interprtations ou des mdiatisations irrationnelles.

7-[EXP-1] Explicabilit
Le chercheur doit sinterroger sur la non-interprtabilit ou le manque dexplicabilit des
actions dun systme informatique apprenant. Le compromis entre performance et
explicabilit doit tre apprci en fonction de lusage et doit tre explicit dans la
documentation lusage de lentraneur et de lutilisateur.

8-[EXP-2] Les heuristiques dexplication

Dans sa recherche dune meilleure explicabilit dun systme apprenant, le chercheur
veillera dcrire les limitations de ses heuristiques dexplication et ce que les
interprtations de leurs rsultats ces soient exemptes de biais.

9-[EXP-3] Elaboration des normes

Le chercheur veillera contribuer aux dbats de socit et l'laboration de normes et de
protocoles d'valuation qui accompagnent le dploiement de l'apprentissage machine.
Quand les donnes concernent certains secteurs professionnels spcialiss (mdecine, droit,
transports, nergie, etc.), les chercheurs de ces domaines devront tre sollicits.
10-[DEC-1] Place de lhumain dans les dcisions assistes par des machines
apprenantes
Le chercheur, concepteur de machines apprenantes daide la dcision, doit veiller ce
quaucun biais ne produise un rsultat qui devienne automatiquement une dcision alors
que lintervention humaine tait prvue par la spcification du systme, et prendra garde
aux risques de dpendance de lhumain aux dcisions de la machine.

11-[DEC-2] Place de lhumain dans lexplication des dcisions assistes par des
machines apprenantes
Le chercheur doit veiller ce que les rsultats du systme soient autant que possible
interprtables et explicables pour les personnes concernes, simpliquer dans les
ncessaires volutions des mtiers en faisant usage et dans lencadrement des pratiques.
Des agents experts contribueront lexplication et la vrification des comportements du
systme.

12-[CON-1] Choix des usagers dactiver ou non les capacits d'apprentissage d'un
systme
Le chercheur doit crer la possibilit d'utilisation de systmes avec ou sans leur capacit
dapprentissage. Il doit donner lutilisateur au moins un paramtre de contrle global sur
la source des donnes utilises pour lapprentissage.

13-[CON-2] Consentement dans le cadre de projet

Le chercheur doit dlibrer ds la conception de son projet avec les personnes ou les
groupes identifis comme pouvant tre influencs.

14-[CON-3] Consentement utiliser une machine capable dapprentissage en

continu
Le chercheur doit tre conscient que la capacit d'apprentissage et la mise en
rseau de telles capacits peut induire des problmatiques nouvelles concernant
autant le consentement de l'usager que celui de la socit.

15- [RES-1] Mcanismes de contrle

Le chercheur doit adapter et inclure dans le systme, des mcanismes de contrle,
automatiques ou superviss (par la machine ou l'tre humain), sur les donnes, sur le
fonctionnement au niveau informatique et sur le raisonnement suivi, afin de faciliter
lattribution de responsabilits au regard du bon fonctionnement ou du dysfonctionnement
du systme.

16- [RES-2] Dclaration des intentions dusage

En documentant un systme informatique apprenant, le chercheur doit dcrire de manire
sincre, loyale et complte, les limites qui lui sont connues de limputabilit dune dcision
ou dune action du systme soit au code-source soit au processus dapprentissage. Cette
documentation servira de dclaration dintention de la part du concepteur quant aux
usages du systme informatique quil envisage comme normaux. Labsence de telle
dclaration ou son caractre tardif peuvent engager la responsabilit supplmentaire du
concepteur.

ANNEXES

Prsentation dAllistene
En favorisant la recherche et les innovations dans le domaine du numrique, Allistene,
lalliance des sciences et technologies du numrique, accompagne les mutations
conomiques et sociales lies la diffusion des technologies numriques. Lalliance a
pour but dassurer une coordination des diffrents acteurs de la recherche dans les
sciences et technologies du numrique, afin dlaborer un programme cohrent et
ambitieux de recherche et de dveloppement technologique. Elle permet didentifier des
priorits scientifiques et technologiques communes et de renforcer les partenariats
entre les oprateurs publics (universits, coles, instituts), tout en crant de nouvelles
synergies avec les entreprises. Cre en dcembre 2009, Allistene regroupe en tant que
membres fondateurs la CDEFI, le CEA, le CNRS, la CPU, Inria et lInstitut Mines Tlcom.
Ses membres associs sont lINRA, lINRETS et lONERA.

Ses objectifs sont :

Coordonner les acteurs de la fonction programmatique autour de priorits
scientifiques et technologiques ;
laborer des programmes nationaux rpondant ces priorits et des modalits
pour la mise en uvre de ces programmes ;
Renforcer les partenariats et les synergies entre lensemble des oprateurs de la
recherche du domaine, universits, coles, instituts, et aussi les entreprises en
particulier au sein des ples de comptitivit du numrique ;
Prolonger les priorits et programmes nationaux dans les diffrentes initiatives
europennes et internationales relevant du domaine.

Site internet : www.allistene.fr

Prsentation de la CERNA

La Commission de rflexion sur lthique de la Recherche en sciences et technologies du

Numrique a t cre fin 2012 par lalliance Allistene.

Ses objectifs sont :

Rpondre aux questions dordre thique poses par le Comit de Coordination
dAllistene ou par lun des organismes membres ;
Mener une rflexion sur lthique des recherches scientifiques dveloppes en
Sciences et Technologies du Numrique ;
Sensibiliser les chercheurs la dimension thique de leurs travaux ;
Aider exprimer les besoins spcifiques de la recherche au regard du lgislateur
et les couvrir dans une dmarche responsable ;
Apporter un clairage de nature scientifique aux dcideurs et la socit sur les
consquences potentielles de rsultats de recherche ;
Veiller ce que les tudiants soient forms sur ces questions ;
Suggrer des thmes de recherche permettant :
dapprofondir la rflexion thique dans un cadre interdisciplinaire ;
de prendre en compte le rsultat des rflexions thiques.

Ses avis sont consultatifs, ils peuvent tre rendus publics sous le contrle conjoint des
prsidents de la CERNA et dAllistene, aprs consultation de lalliance. Ils doivent traiter
de questions gnrales et participer dune analyse de fond pouvant rendre compte de la
diversit des changes et des opinions de ses membres, tout en dgageant clairement
des conclusions.
La CERNA ne traite pas les questions oprationnelles dthique et de dontologie, qui
relvent de la responsabilit des acteurs et de leurs tablissements.

Site internet : http://cerna-ethics-allistene.org/