RSI

UNN
BIBLJOTHEOue
&A
FINANCE
Quels enjeux ?
16OCT 20

cybersécurité,
régulation,
éthique...

SOMMAIRE
«L'IA a connu des vagues successives
d'enthousiasme». *************** "*********** 4
Larégulation des intelligences artificielles.32
INTERVIEWPIERRE BESSIERE, CNRS Sorbonne Université NATHALIE METALLINOS, ldea AARPI

Faut-il redouter l'IA ?... ******************** *

Ethique
et lA: un
préambule
EMMANUEL JOUFFIN, Docteur en droit pour un autre droit...
MARINA TELLER, Université Côte ************°*************** .*. 38
d'Azur
A:quels impacts pour les marchés
hnanciers?...************************************************ Nouvelles technologies:
BERTRAND BREHIER, Université
14 et numérique... procès civil
Panthéon-Sorbonne, Paris 1 *****"**************************************** 45
NATALIE FRICERO, Université de Nice-Côte d'Azur
A et sécurité des
systèmes
dans le domaine bancaire. d'information ******.************ 22
Petit lexique de l'lA.
************************************** 51
ERIC CAPRIOLI, FNTC JEAN-MICHEL LEFEVRE, Groupe La Poste
. .

BANQUE Fondateur: François de Juvigny. Directeur de la

Directeur éditorial: Jean-Jacques publication: Alain Gourio. Secrétaire général: Pierre Coustols.
DROIT Daigre.
Secrétariat de rédaction: SR, Alain de Rédacteur en chef: Elisabeth Coulomb.
1 Seze (5417); Virginie Baillard
(54 10).
Maquette: I" maquettiste, Emmanuel Gonzalez (54 12); Alexandra
rue La Démétriadis (s4 18)
Fayette 75009 Paris Comité éditorial: Georges Affaki,
Affaki
Tevue-banque.fr Marielle Cohen-Branche, AMF; Gérard Avocats, Thierry Bonneau, Université Paris II (Panthéon-Assas):
V1S aux Pierre Minor,
Gardella; Jean-Louis Guillot; Emmanuel Jouffin, La
lecteurs. Les Crédit Agricole SA; Nicolas Molfessis, Université Paris II (Panthéon-Assas); Banque Postale;
anue &Droit n'expriment articles publiés dans André Prüm, Université du Pascale Parquet, BPCE
uteurs. Le contenu deque
le point de vue
ces articles
de Luxembourg; Hubert de Vauplane, Université Paris II (Panthéon-Assas).
25 Revue Banque ou la FBF n'engage Comité de lecture: Philippe Arestan, Crédit
prendre
posiion à leur égard. qui n'entendent pas Gérard Gardella ; Jean-Louis Guillot;
Agricole CIB; Thierry Bonneau, Université Paris II
(Panthéon-Assas);
Jean-Pierre Mattout, Kramer Levin Naftalis & Frankel; Thierry Samin,
tHOduction
es dans Banquetotale
& Droit, partielle
ou des articles
pu
Société Générale; Michel Storck, Faculté de droit de Strasbourg.
accord écrit de
sans Pour
Revue
mément à Banque SARL, interdite
est
la nous contacter par téléphone, devant chaque numéro, ajouter l'indicatif o1
48 oo.
la
loi du i1 confor- Abonnements: REVUE BANQUE 18 rue La Fayette 75009 Paris Pauline Etienne
itéraire et artisüque. mars 1957 sur la
propriete Tél.:
-
-

33(o)I 48 oo 54 26- E-mail

service.abonnement@revue-banque.fr
:

ISSN 1777-5752/CPPAP o624 T 84972 Imprimé à Nancy (54) par Bialec Dépôt légal 4* trimestre
-
-

20o19.
Numéro mis sous presse le jeudis octobre 2019.

HORS-SÉRIE BaNQUE & DroIT- OCTOBRE 2019

3
R RIVUE BANQu
iNANC
«L'IA a connu des vagues
successives d'enthousiasme... »
Revenant sur l'origine de l'intelligence
artificielle et les différentes formes
qu'elle peut prendre, Pierre Bessière
aborde les principales questions
qu'elle soulve. Sans en sous-estimer
PIERRE BESsIÈRE les apports possibles, il en relativise
Directeur la portée.
de recherche
CNRS-Sorbonne
Universitéé
Quelle est l'origine de l'intelligence artificielle?
Cofondateur La notion d'intelligence artificielle (IA) est très ancienne:
ProbaYes elle remonte au moins jusqu'aux pères fondateurs de l'infor-
et HawAl.tech matique, c'est-à-dire Alan Turing ou John von Neumann,
qui ont conçu les premiers ordinateurs dans l'idée qu'ils
pouvaient évoluer vers des formes d'lIA. II est même pos-
sible de dater les prémices de l'LA plus loin encore dans le
INTERVIEW temps, au XVII° siècle, quand Leibnitz' a cherché à conce-
voir une langue rationnelle, lingua rationalis, utilisable par
tous pour exprimer la logique mathématique. Déjà à cette
époque, l'idée était de construire une langue pour méca-
niser, d'une certaine manière, le raisonnement.
Mais depuis l'apparition des ordinateurs, l'IA a connu
des vagues successives d'enthousiasme, comme dans les
années 198o, où tout le monde s'est mis à faire des sys-
tèmes experts (c'est-à-dire des enchaînements de règles
logiques), de la même façon qu'aujourd'hui tout le monde
se concentre sur les réseaux de neurones formels. Mais
ces vagues d'enthousiasme sont toujours retombées parce
que les chercheurs ont promis beaucoup de réalisations
qu'ils ne sont pas parvenus à concrétiser, en tout cas pas
totalement- par exemple, des systèmes experts, restés
en informatique traditionnelle, ou les « langages à base
de règles », utilisés dans de nombreuses applications.
Quelles sont plus précisément les grandes évolutions
identifiées au cours de ces différentes vagues?
La première a été celle de la logique informatique qui a
duré pendant 30 ou 40 ans. La logique se fonde sur l'idée
1. Alan Turing, mathématicien et cryptologue britannique (1912-1954): John von
Neumann mathématicien et physicien américano-hongrois (1903-1957).
2. Gottfried Wilhelm Leibniz, philosophe, mathématicien et scientifique allemand
(1646-1716).
HORS-SÉRIE BANQUE & DROIT- OCTOBRE 2019
4
que ce sont essentiellement les connaissances humaines
des experts qui vont permettre de résoudre les problmes
Il faut trouver des moyens de mecaniser ces connaissances
humaines et de faire en sorte qu'elles S'enchaînent les
unes aux autres de manière rationnelle, pour arriver aux
conclusions. Cette démarche a un certain nombre de qua
lités : nous pouvons comprendre exactement ce que fait le
système puisque ce sont des connaissances humaines qui
ont été intégrées. Le phénomène de « boîte noire », souvent
reproché à l'lA, est dans ce cas très atténué.
Dans les années 1980 ont commencé à apparaître les
réseaux de neurones artificiels, quasiment identiques à
ceux exploités aujourd'hui; mais ils n'ont eu qu'un suc
cès académique, car il n'y avait pas assez de données, ni
assez de puissance de calcul, pour les faire tournereffi
cacement. Ils réapparaissent aujourd'hui, car la disponi-
bilité de masse de données (le Big Data) et les machines
plus performantes permettent de faire les apprentissages
nécessaires.
A l'opposé de la logique, et de façon un peu caricatu-
rale, les réseaux de neurones ne prennent en compte que
des connaissances humaines minimales, mais en les fai
sant tourner sur d'immenses bases de données. Ils font
de l'apprentissage et génèrent des systèmes avec des mil-1
lions de paramètres. Cet apprentissage consiste à fixer
ces millions de valeurs alors qu'un processus logique ne
comprend que très peu de valeurs ajustables. L'avantage
des réseaux de neurones vient de la facilité de développe
ment, car il n'est pas nécessaire de mobiliser des experts
et de traduire leurs connaissances.
Prenons l'exemple de la détection de fraudes à l'utili-
sation de cartes bancaires dans les DAB ou sur Internet:
vous pouvez aborder cette question en demandant
aux
experts de la fraude d'expliquer les comportements des
fraudeurs et essayer de traduire ces connaissances sous
forme d'un certain nombre de règles. Cela demanae
beaucoupd'efforts et présente l'inconvénient d'ëtre peu
adaptable à l'évolution des comportements frauduleux
quand ceux-ci changent, il faut aussi changer les règles
Une autre possibilité est de charger des millions de do
de toutes les uu
nees, reprenant par exemplel'historique
lisations des cartes bancaires françaises, et faire r o s
ner
de
extraire ce
des algorithmes d'apprentissage qui vont
données des paramètres pour apprendre en perman
la manière dont ces cartes bancaires frauduleuses ont
utilisées et ensuite détecter quand une carte est utl
de manière suspecte. L'avantage est qu'il est poss1DIC
 en anglais). Par
ou moins permanent, et
exemple les algorithmes de deep learning
rentissage plus des frau- sont particulièrement performants dans les reconnais-
comportement
du
agher e 'évolution u t i l i s a t i o n de carte est
quand u n eil est difficile de savoir
sances d'image, mais il suffit parfois de changer quelques
en revancduleuse,
ne frauduleuse,
pixels, une modification invisible à l'eil nu, pour que l'al-
deurs. 1

est prise par le système à

décision
gorithme soit induit en erreur et se trompe sur l'interpré
la
tation de l'image. Pourquoi? Personne ne le
sait vraiment.
puisque

eurs.
nOurquoi de v a l e u r
les proba-
millions

de est celle fondée sur

tir
artareme tendance
Tne roisieonten fait une extension du domaineLa vague actuelle qui porte le deap learning et les réseaux
incluent un de neurones suivra-t-elle le même cycle que les autres ten-
hlltes. érer les problèmes qui
gique pour
d'incertitudes. Mais elles ont la faculté dances ou peut-elle s'imposer de façon plus durable en
in nombre connaissances humaines et les connais- s'appuyant sur le Big Data et une puissance de calcul qui
anger les
d'un modèle n'existaient pas auparavant?
donnees. La construction
sissues des
c o m m e n c e par la prise en compte La vague d'enthousiasme pour le deep learning risque de
nhabiliste ou bayésien mais en lais- retomber en tout cas pour certains sujets, parce quel'ex
nnaissances humaines des experts,
de parametres ouverts et dont la plicabilité est une question de plus en plus prégnante, qui
aines ant un certain nombreaux données. Ces modèles bayé- devient même légale avec l'entrée en vigueur du RGPD.
mes. dleur serafixée grce
eu énormement de Beaucoup ont été
succes. Certaines décisions doivent pouvoir être expliquées et
ances ens ont
t les mnstruits pour modeliser des comportements humains/ cela paraît légitime: si vous êtes soumis à la décision
fonctionnement de certaines applications d'un algorithme, vous devez pouvoir demander com-
ta animaux ou le
qua- ndustrielles. ment cette décision a été prise. Dans le domaine du droit,
ait le notamment, si des décisions juridiques ou administra-
squi sQuels exemples d'applications industrielles des modèles tives sont prises par des algorithmes, le justiciable est en
vent ayésiens peut-on citer? droit de demander pourquoi et cela va être très dificile à
Is ont été utilisés sur la détection des fraudes et sur la faire avec du deep learning, en tout cas tel qu'il est conçu
e les pvision du risque opérationnel, un domaine où la géné actuellement. Des adaptations importantes seront néces-
es à lisation est très importante car peu de données sont saires pour y parvenir.
suc disponibles sur certains risques. Sur l'utilisation frau-
duleuse des cartes bancaires par exemple, il est facile de Pensez-vous que lidée d'une lA autonome peut devenir
ef ravailler à partir des statistiques sur les transactions pas- une réalité ou cela reste-t-il un
oni- es pour obtenir une mythe?
prédiction pour l'année qui vient. Cela reste largement un mythe. La confusion vient de
En revanche, sur les
Ines risques opérationnels exceptionnels l'utilisation du mot « intelligence », car iln'existe pas un
ges omme un incendie ou une inondation, les données sur
concept unique d'intelligence, mais de très nombreuses
s evenements sont par nature peu nombreuses et il est formes d'intelligence. Prenons un exemple qui est celui du
tRCessaire de
s'appuyer sur des estimations humaines jeud'échecs. Quand il s'agit de « jouer aux échecs », l'ordi
que our évaluer l'occurrence de tels événements et imaginer nateur peut être considéré comme définitivement meilleur
CaScade de leurs
ont conséquences possibles. que les humains, comme l'a montré en 1997 la victoire
du supercalculateur d'IBM, Big Blue, sur le champion du
Q'est-ce que la généralisation dans système informatique? un
monded'échecs, Garry Kasparov. Maintenant prenons une
en système informatique présente certaines carac proposition légèrement différente qui est de «jouer avec
-TEstques fondamentales comme
g néralisation. l'explicabilité la
ou les échecs»: il s'agit d'être capable de prendre les
pièces
e avec la main et de les déplacer sur l'échiquier, ce
4 genéralisation est le fait d'être qu'un
roprentissage réalisé sur un ensemble capable, à partir d'un enfant est capable de faire, quels que soient la taille du jeu,
de données, la forme des pièces, l'intensité de la lumière, l'environne-
li aser en se
confrontant à de nouvelles données. de le
Maiscette ment (il peut par exemple manipuler les pièces dans l'eau),
et: n démarche est parfois complexe, car il existe etc. Aucun robot n'est actuellement capable de faire cela!
isque de
surapprentissa
«

steme »: caricaturalement le
Dans le cas de cette intelligence sensori-motrice, c'est
aPprend
Présenté peutpar ceur des réponses aux données à-dire qui perçoit et agit avec ses sens, les
avoir du mal avec des performances
denles algorithmes de deep learning sontnouveaux cas, des machines sont done très loin de celles d'un enfant.
Quelle est la différence entre ces deux problèmes, « jouer
le plus performants en la
matière. Dans ce cas
aujourd'hui auxéchecs »et« jouer avec des échecs»? Ladifférence fon-
es connaissances humaines sont importantes
iia damentale vient de la capacité à bien cerner les connais-
eralisation car elles permettent de gérer ces
W'ions
ou sances nécessaires. Celle-ci existe
quand il s'agit de « jouer
l'algorithme
ln'a pa
elesas apprises et
es onfronté à des donné« aux échecs»: il faut un échiquier, 6 types de pièces et un
pour lesquelles il faut définir des nombre fixé pour chacun d'entre eux, connaître les
enéralisation adéquates. règles
incabilité
hquer àal'utilisateur
recouvre à la fois le fait
d'être
de déplacement sur l'échiquier et
quelques règles spéci-
Oncepte la décis
écision prise, maiscapable d''ex-
aussi que e le fiques du jeu, comme le roque. Vous disposez alors des
SvE puisse connaissances nécessaires pour jouer et gagner. Le jeu en
me ne comprendre pourquoi dans certains cas lui-même se résumeà un problème de combinatoire: il faut
marche pas. Ce
les
réseaux de
point
bint est particulièrement envisager un très grand nombre de combinaisons possibles
neurones
Cnangeant très peu de choses qui peuvent dans le futur pour déterminer lesquelles sont intéressantes;
(deceptive cases l'ordinateur sait très bien faire cela. Pour « jouer avec les

HORS-SÉRIE BANQUE & DrOIT -

OCTOBR
 RB
IA
&IN.NCL
RIVUE 8ANO

échecs», en revanche, les connaiSsances

nécessaires sont encore essentiellement organisée autour du
impossibles à cerner: il faut, par exemple, comprendre, certains ne travaillent
plus, comment leur donnS
tra.
comme le fait intuitivement un enfant, comment se pro-
reconstruire la forme de la pièce
des richesses? Un
autre aspect a prendre en donne-t
de savoir si les gens desceuvrees comn -on
page la lumière, comment auront une vie mpte st
à partir de ce que vous voyez sur votre rétine, comment Il faut également agréa.
évaluer l'inertie du corps que vous déplacez, quelle force ger par l'IA ne
préciser que les métiers
sont pas forcément ceux mis en das
déployer pour que votre bras aille au bon endroit au bon lon er
que
particulier les métiers manuels, souvent situés
moment, etc. C'est quasiment sans fin. échelle sociale ou éducative, sont, à mon au hae
Il existe ainsi deux catégories de problèmes: les pro- ment à l'abri, car ils posent avis, relativa
blèmes fermés, où les connaissances nécessaires sont typiquement des problemee
sensori-moteurs ouverts que les machines ne
parfaitement connues, et les problmes ouverts, ou il est lement pas traiter. saventachiel
ctuel-
difficile de fixer les limites de connaissances dont vous
avez besoin. Par exemple, la détection des fraudes est un Quels sont les métiers qui vous
problème très ouvert, puisque vous avez en face de vous semblent en danger?
Les plus concernés sont des métiers
un humain qui cherche sciemment à vous tromper. Il est très formalisá
par exemple, la décision d'attribution de s
presque impossible de spécifier l'ensemble de ce qu'il est tion d'un dossier. C'est un probleme ancienprêt en fone.
capable de faire pour tricher avec un DAB: l'imagination
abordé, voire même traitë, par des systémes qui avaitété
est au pouvoir en face de vous!
qui reste d'actualité. Aujourd'hui encore, lesexperts, mais
L'informatique des cinquante dernières années a traité financiers pour les demandes de crédits les conseillers
de façon très performante les problèmes fermés. ='in- plus simples
ont une grille reprenant des tacteurs qui pèsent de façon -
formatique qui est devant nous est celle des problèmes positive ou négative pour aboutir à une
ouverts, dans laquelle l''A n'est qu'une branche parmi évaluation sur
l'accord ou pas du prêt. Un algorithme, même
d'autres. Mais il est certain que, même si sans être
l'informatique
envahit petit à petit nos vies sous toutes sortes de
très performant, est capable de faire cela.

les machines ne seront pas demain

formes,
plus intelligentes que Quelle gouvernance donner à l'IA?
l'humain dans tous les domaines. a.
Commetoute technique, toute science, elle
peut avoir des
bonnes et des mauvaises utilisations. II faut
Le recours à que la société et
l'A soulève-t-il des questions d'éthique? le politique établissent des
règles. Les législateurs doivent
Oui, par exemple, dans la difficulté relative à
lité des décisions prises par certains
l'explicabi- se pencher de très
près sur les cas d'utilisation de l'A etde
algorithmes, quand Pinformatique en général, pour décider de ce qui est légal X0ur
nous ne pouvons pas les attaquer en justice par exemple. etde ce qui ne l'est pas, et
Cela pose
une question
éthique, mais qui existe déjà plus quelles sont les procédures en
cas de conflit. Prenons un
globalement dans le domaine informatique. Elle n'est pas exemple simple commel'
de billets d'avion: lorsque vous consultez à partir ad'chat
une
spécifique à lIA. Par exemple, les différents algorithmes même adresse IP et à plusieurs reprises le prix d'un billet
du ministère de l'Education, pour
gérer les choix des étu- mais sans l'acheter, iln'est pas rare de constater
que le prix
diants postbac, sont loin d'être de l'IA, mais ils
prennent augmente au furà mesure des consultations car l'ordinateur
des décisions qui orientent la vie entière des
étudiants, détecte votre intérêt et ajuste le prix en fonction: est-ce une
sans que personne ne sache vraiment sur
quels critères pratique commerciale acceptable ou pas? Un commerçant
se font ces choix.
fait souventla même chose
En revanche, la question liée quand il voit quelqu'un revenir mebe
àl'éthique peut parfois être pour la deuxième fois voir le même objet..
un peu spécieuse: un cas souvent évoqué pour les voitures asle m
autonomes est de déterminer leur décision face à un choix alabo
lexplicabilité et la capacité à demander un arbitrage me te
cornélien: éviter un enfant ou trois personnes adultes.. semblent également des questions très
Or, d'une part, le développement des voitures autonomes importantes pourte
encadrer 'IA, mais difficiles à résoudre: que veut dire exp
est loin d'être aussi abouti et, d'autre
part, est-ce que les
n
cabilité? dans quels cas pouvez-vous demander un arb
choix humains dans une telle situation vont être faits de
trage humain?
manière éthique et rationnelle? Ce sont des UIIere
questions un D'autant que les politiques ont une assez granae
g
peu hors sol!
rance de ce
qui est techniquement possible.
I taudrait sans doute avoir des organes speciauses pour
Qu'en est-il des conséquences sociales?
Les conséquences sociales sont conseiller les politiques dans ce domaine, mais aussir
nuité de ce qui se passe avec
également dans la conti- décisionnaires des entreprises, qui sont souventdans
le VOue.
l'informatique
cularité liée à l'LA. Un certain nombre de
et sans
parti- même cas.
métiers sont en Comme toute technique il faut
effet mis en danger par le science emerg
ou
de les
développement de ces nouvelles faire attention aux
techniques, mais c'est une tendance de fonds depuis que conséquences de l'lA, esseions t
l'homme cherche à mécaniser ses tâches comprendre, de les influencer et prendre des mmissio
pour alléger sa et législatives
l'innova-

quantité de travail. Laquestion est de savoir sinous arrivons soCiales

tion.
pour la réguler sans brider. certaine

à un seuil où cela pose un vrai problème, c'est-à-dire qu'il Etl'utilisateur doit, de soncoté, garder une
ine. wwladr
n'est plus possible de donner du travail à tout le distance et son esprit critique vis-à-vis de la mat
monde.
Cela questionne la répartition des richesses,
aujourd'hui Élisabeth Coulomb
an dev
Propos recueillis par
krise
6 HORS-SÉRIE BANQUE & DroIT-OCTOBRE 2019
Faut-il redouter l'IA?

«Se demander si ordinateur sait penser est aussi intéressant

un

un sous-marin sait nager.

»

que se demander si
mathématicien et informaticien
néerlandais.
Edsger DIJKSTRA (1930-2002),

même les data warehouses ontcédé

dites« disruptives ». De
de traiter massivement
Si la définition de l'intelligence la place aux data lakes permettant
aux systèmes-experts,
ces
des données brutes, quant
artificielle est un exercice périlleux Face à des évolu-
derniers sont devenus
« ».
intelligents
tout d'abord est basique:
sont nombreuses, tions, la question qui pose
se
tant les formes en l'on évoque l'IA?
de quoi parle-t-on lorsque
moins
celle-ci suscite, à parts plus ou
EMMANUEL

égales, des espoirs et des craintes I. DE QUOI

PARLE-T-ON?
JOUFFIN
également déraisonnables. Artificielle est d'apparition Responsable
La notion d'Intelligence injustement du département
de cette expression,
Alors, pourquoi un tel engouement récente. La paternité
anthropomorphe, est
attribuée à John Mc Carty et Mar- veille
réglementaire
Dartmouth College
laisse aussi du
pour une notion qui se vin Minsky lors de
la
conférence qui avait
conférence
attiré une ving-
Groupe
pendantl'été 1956,
difficilement appréhender? taine de personnes. Que
signifie ce vocable?
renvoie tout
Docteur en droit

définition de l'IA est un vaste sujet qui

(1A) La est celle de la
artificielle »
primordiale qui
« intelligence d'abord à une question
Etymologiquement, le
expression mot
ou au mieux, l'intelligence.
aurait pu demeurer un oxymore, définition de » (faculté de
com-
Il n'en est issu latin « intellegentia
devenir un argument marketing. intelligence est » signifiant
com-
sont la s o u r c e issu de « intellegere
deux mots associés prendre),
lui-même
(entre), et le radical legere»
rien: ces «
oscillant entre opti- inter »

prendre, le préfixe
«
de multiples fantasmes, capacité
millénaristes. Si
l'intrusion de l'IA ligare » (lier) évoquantla
(choisir, cueillir)
ou«

Sne béatet craintes informations.

elle n'est toutetO1s éléments, ou
ans le monde bancaire
est récente, à relier des puisque « intelligence»
continus depuis 1979 sens est tout autre,
uel'aboutissement de progrès En anglais, le de toute
information, loin done
fut commandé par le premier renseignement,
signifie Tech-
ete epoque, un rapport Caisse des Dépôts
et Consi
référenceà des
fonctions cérébrales supérieures.
au directeur de la internationale de
nistre modernisation des méthodes selon l'organisation
Enation afin d'étudier la de conservation des valeurs
nologiquement, d'une unitéfonc-
standardisation, il s'agit de la « capacité
Cotation, d'échanges et associées à l'intel-
e auparavant, le
rapport Nora- tionnelle à exécuter desfonctions
généralement
»*.
Dlieres. Deux a n s évolutions a venir, telles que le
r a i s o n n e m e n t et l'apprentissage

n c annonçait déjà que,

face aux
ligence humaine, dit l'essentiel, à savoir ce
de demain ». nous pas
Mais tout ceci ne
banque pourrait être la sidérurgie
vocabulaire et les techniques l'intelligence. Ce
terme r e c o u v r e en
effet des
le qu'est d'un
epuis les années 198o, sidérurgisation
» de la
réalités très
différentes. On parle de l'intelligence
On n'évoque plus la « chercher un
CVolué. ubérisation»* face
technolOgies d'ouvrir un bocal pour y
poulpe capable
aux
«
terme pour évo-
u e mais son crabe, tout c o m m e on
utilise ce même
créatrices de Léonard de Vinci. Qui
quer les capacités
dématérialisation des valeurs mobilieres
la de la
avait pour objet :

Ptd ion Pérouse C. Karyotis,

Histoire de la compensation
«

upports deséchanges. financière, année 2006,

voi. 91,
n 1, P: 77 disrumpere » ; briser, faire
», du latin
d'économie «
M
ie w.adocumentationfrancaise.fr/var/storage/rapports-publics/154000252-pdt.
aux titres », Revue
4. «Qui sert d rompre » ; dérivé de « disruptum «

la éclater, rompre » : https://dvlf.uchicago.edu/mot/disruptif.

se faire Uberiser »,
monde a peurde Partie 28:
in Tout le de l'information -Vocabulaire
de -

a cree un
Ogisme de
Maurice Levy, «
Terme issu de
l'entreprise
Uber qui service 5. NormelSO/IEC 2382-28:1995, Technologies
appicatton fondamentales et systèmes experts », révisée
,17
décembre 2014.
tourisme avec chaufteur S'appuyant sur une Depuis,
aIntelligence artificielle- Notions
voiture de
traditionnels.

Vation de directement en a v e c les

concurrence
taxis
par ISOIEC 2282:2015.
e entrant
Airbnb a ubériser l'hötellerie.

HORS-SÉRIE BAaNQUE & DrOIT

-
OCTOBRE 2019
7
 RB
REVUE BANQUE
IA
FIN ANCE

chercheurs et entrepreneurs de reno noms"', aler

oserait comparer l'un à l'autre? D'ailleurs, existe-t-il t 700
Dar 700
par chereliaue sur
a n t ' o p i n i o n publique sur. les risques que pourrait
faire
une IA malveillante, san
une ou plusieurs intelligences? Si l'on en croit la
théo-
l'humanite
courir à
ormes
rie dite «differentes'. Lorsque
des intelligences 1'on ilentend
multiples», reproduire
en existerait neuf objurgation n'aille dans le détail. L'annéesuivane
cham.
victoire de l'IA AlphaGo sr
mars2oI6, la
pion
I5 de Go, 4 à 1, a renforce cette crainte à l'éeard de
l'intelligence, de laquelle parle-t-on?
issu d'« arti- s'opposent.
S'agissant du mot artificiel, ce dernier est une PIA.
PourInles
deux camps
fine,uns, P'TA soulagera le genre humain notam.
selon l'art»", c'est-à-dire
Jcialis
ae nore fait avec art,
», «examen, fait
1'on n'est guère avancé au sujet de établissant
ment des täches
au passage
les plusunrebarbatives
nouvel ordre
et dangeren
fondé sur la
réalité. Si, à ce point
imitation, une contrefaçon de la

revanche qu'elle n'est qu'un d'or est envisagé des GO

qu'est l'IA, on sait en raison pur et parfaite. cet age
ce
dès lors
qu'elle ne peut être dont puisqu'Aristote"
affirmait: «Si chaguein
longue date,
Simulacre d'intelligence et
à son modèle, trument pouvait, par orare ou par pressentiment, accommplir
tenue pour strictement équivalente
bien diffhciles à tracer. les navettes tissaient d'ellec-m
memes
les contours sont par ailleurs artificielle son æuvre
si
propre, l. alors les maîtres
de la cithare, uvre
En résumné, la définition de l'intelligence nom- et les plectres jouaient ni les maîtres, d'esclaves
formes en sont de
tant les n'auraient nul besoin manguvres,
est un exercice périlleux
difficile d'estimer si,
et dans abandonneraient les tâchesviles, si indianr
breuses, si bien qu'il est Les vrais hommes
en elle les germes
de la dispari-
d'eux, pour ne plus
se
consacrer qu aux activités de citoyensetà o
quelle mesure, elle porte vue que l'argu-
savoir et de la sagesse qu'il procure
de ».
tion de l'humanité. On
ne peut perdre la recherche du
loin. Ainsi, sur 2 830
start
suffit de se souvenir que Darwin et
ment marketing n'estjamais l'Union Pour les autres, il ailera
de la plus évoluée supplante
recourir à l'TA, issues de 13 pays nous a enseigné que l'espéce
up supposées montré a u c u n e et que lIA, incarnée si l'on ose
d'entre elles n'ont
européenne, 40 % celle qui l'est moins inag
conduira l'espèce humaine à la
utilisation véritable de l'IA . dire dans des robots,
preuve d'une nous de la machine Ainsi
une définition, triomphe
c'est-à-dire au
néanmoins retenir
S'il fallait de synthèse «singularité », devrait intervenit, si l'on sta
retenue par le rapport Cet évènement
soulignerions celle sur l'homme. kus
Kurzweil" directeur de l'ingénierie
habituellement
« On regroupe
France IA de m a r s 2017: en croit Raymond
artificielle" un ensemble de notions Héphs
sous le terme d "intelligence
de Google, en 2045.
du cerveau biologique, contre l'intelli- ilque
Pour l'AFCIA (association française
humaine ou
s'inspirant de la cognition
intelligence artificielle est skthée
traitement
l'individu dans le « la recherche
et destinés à assister ou suppléer gence artificielle),
en
l'interdiction aboite
massives. » et conséquent appelle
des informations
hésitations sémantiques,
l'IA illegitime, inacceptable, par ainsi aseto
Indépendamment des de la recherche en intelligence artificielle,
moins égales, pure et simple titre gracieux Bibl
à
n'en suscite pas moins, parts
plus ou à titre commercial ou à
déraisonnables, que la mise à disposition ide fa
des espoirs et des
craintes également de systèmes à intelligence artificielle»"
alors même que la kraan
une
un tel engouement pour
la question étant pourquoi Pareil anathème a-t-il un sens,
appréhender? devenir istein
des moindres, est de
difficilement
notion qui se laisse aussi crainte des Etats, et non
» des GAFA" exerçant
dans
dontéd
des « colonies numériques
Suspendre tous insuff tra
ce domaine un quasi-monopole?
ANCIENNE
II. UNE CRAINTE vaux en matière d'IA
reviendrait à accepter, paravancC yens,
entreprisesy he. Pa
ET UNIVERSELLE?
les standards fixés
unilatéralement par ces
matière transparented
de
faut-il ten- dontles écarts de conduite, en
Sile concept d'IA suscite la crainte, 6e
encore

de sécurité et de protection des données personneu

et envisager si celle-ci est
ter d'en trouver la cause (1.)
sont régulièrement
dénoncés. Le principal propieiogie
universellement partagée (2.). dans les usages etles mouAI8, Ou O
de l'IA n e réside-t-il pas alignit"
1. Craintes et fantasmes lités d'apprentissage plutôt que
dans une «
mu inage d
l'heure, reste assc a 2r
La question de la dangerosité de l'lA est trop délicate, algorithmique native » qui, pour
rai- gement à démontrer? del'TA ,que c
et les positions trop tranchées, pour que l'on puisse Une certitude émerge de tout ceci, la craln tadui
ncre,
sonnablement tenter d'y apporter une réponse synthé- solidementd itersella
dans autre peur,
tique. L'on sait qu'en janvier 20I5 les « IA sceptiques» puise ses racines une

frappèrent les esprits avec une lettre ouverte cosignée

Tesa.

1. Dont F'astrophysicien Stephen Hawking, ou bien encore, ElonMusk,

MusK,To
fondateur de Neandre,
6. Howard Gardner la propose en 1g83, pour l'enrichir en 1993.
http://remacle.org/bloodwolf/philosophes/Ar
» : 1, 2.
. Linguistique, logico-mathématique, spatiale (capacité à créer une image mentale 4.
In Politique p o u rl e u r
desobjets), intra-personnelle (capacité à politique1.htm
décrypter ses propres emotions toutefois que les deux espèces soient concuri ant trop
en
permetant Pintrospection), interpersonnelle, corporelle-kinesthésique (capacité à 15. A condition
ceux des humau
contröler finement ses mouvements), musicale, naturaliste (1993) permettant de « vitaux » de l'lA et
classifer les objets ou les animaux et enfin,
Subsistance. Or les besoins Singulonty
The
existentielle ou
l'intelligence spirituelle, differents pour envisager une réelle concurrence anglais
14, C. Raymond Kurzweil Humanité 2.0:la bible du changement (en
en
a
intelligence que Gardner qualifiera d'intelligence « huitième et demi », ne la tenant
pas pour une intelligence pleine et entière.
is Near).
*SCientihquese
lhe
8. Dictionnaire de l'Académie cnodéystife
françaisee, ge édition. parlementaire d'évaluation des
9.
MMCVentures- The state of Al : Divergence:https://www.mmcventures.com/wp
.
Kapport au nom de L'Office
echnologiques pour une « intelligence
artificielle maitrisee, u storce.
yAume
content/uploads/2019/02/The-State-of-Al-2019-Divergence.pdf.
10. https://www.economie.gouv.fr/France-IA-intelligence-artificielle. tome l, annexes, p. 254- on
ajoute
IBMetSa1esi exécit
6. Google, Apple, Facebook, Amazon, Microsoft, auxqueis

8 HORS-SÉRIE BaNQUE & DrorT-

oCTOBRE 2019
 elle des
évolutions technologiques. Bien avant que l'on
arle d'lA, en I561, la reine Elisabeth I° refusa au
rend William Lee le brevet du métier à tricoter les
redoutant qu'une telle invention n'ait des retentis-
néfastes sur lees travailleurs". Plus proche de
nents
Ols, en 1930, le maire de Palo Alto s'adressa au pré-
cident Edgar Hoover afin que ce dernier freine le progrès
echnique. Il est troublant de remarquer que, quelques
C'est à Palo Alto que fut créé
années plus tard, en 1939,
Hewlett-Packard, puis Paypal en r988 enfin, en 2013,
Google s'installa dans cette même ville.
Si la crainte de l'TA n'est que la redite de l'éternel crainte
de l'inconnue, laquelle s'exprime amplement, cette peur
est-elle unanimement partagée à la surface du globe?
2. Une crainte universelle?
La notion d'IA nous renvoie à celle de robot, manifes-
tation tangible, agissante, d'une telle intelligence. On
rappellera que le terme robot est d'apparition relative-
ment récente. Dérivé du mot « robota » qui signifie tra-
vail en tchèque, il est employé pour la première fois en
1928. En réalité, les « automates » apparaissent dans
limaginaire de l'homme" dès i'antiquité.
Ainsi, dans les Métamorphoses, Ovide20 évoque Gala-
tée, statue d'ivoire sculptée par Pygmalion à laquelle
Vénus donne la vie. De même
Hésiode nous parle
d'Héphaïstos qui façonne Pandore", une statue d'argile
à laquelle Athéna
prête la vie. Devenue l'épouse d'Epi-
méthée, frère de Prométhée, la tentation lui fera ouvrir
la boîte, à
jamais associée à son nom, offerte par Her-
mes et contenant toutes
les calamités.
La Bible" elle-même
évoque le golem, créature huma-
notde faite d'argile. Le tournant littéraire en la matière
Se fera au XIX siècle avec Mary Shelley, auteure de Fran-
kenstein". Cette créature est en effet animée par la seule
olonté de l'homme, hors de toute intervention divine pour
insuffler la vie. Pour la
première fois, par propres
AnOyens, l'homme usurpe un attribut divin, la ses
création de
avie. Par la suite, le cinéma ne sera plus
qu'une longue
tanie d'IA malveillantes, que ce soit HAL 90oo dans 20oI
ayssée del'espace, ou bien celle de la matrice dans
Ogie Matrix, sans oublier le robot tueur Terminator.
A, ou plutôt le fait de créer une entité
'ima agissante a
d e lhumain, souffre donc, et de longue date,
a priori défavorable. Toutefois, cette crainte de
Aue cele-ci soit ou non incarnée dans un «
hduisent tant la littérature que le cinéma, est-ellerobot,
Dans les pays de tradition
judéo-chrétienne, cette
crainte est le fruit du tabou de la création de la «
vie»,
ou du moins d'un simulacre de
cette dernière. Que ce
soit I'Exode ou le Deutéronomes, la
prohibition de la
création d'« idoles » est parfaitement claire. Plus encore,
la capacité de l'IA à
anticiper l'avenir, notamment au
travers du profilage, tel
que celui-ci est défini par le
RGPD, enfreint un second tabou. Tant le Deutéro-
nome que les Rois" ou bien encore le Lévitique" pro
hibent en effet, de manière dénuée
d'ambiguïté, l'an-
ticipation de l'avenir. On notera toutefois que la Corée
du Sud, majoritairement
catholique, est néanmoins le
pays le plus robotisé.
Il est piquant de relever
que cette prohibition par les
Saintes Ecritures a été scrupuleusement reproduite en
droit. Ainsi, une ordonnance royale de Louis
XIV, datée
du 31 août 1682, prévoyait que « Toutes
personnes se mêlant
de deviner et se disant devins ou devineresses videront incessam-
ment le royaume ». Le comble est
que la substance de cette
interdiction a été reproduite dans un article R.
du Code pénal qui
34-7
I 300 F, « Les
sanctionnait d'une amende 6oo Fà
gens qui font métier de deviner et pronostiquer,
ou
d'expliquer les songes », texte qui ne fut abrogé qu'en
19940. Le RGPD est ainsi le premier texte à donner ses
lettres de noblesse à une activité interdite, certes avec
plus ou moins de rigueur, pendant trois siècles.
En Asie, l'approche de l'IA par le bouddhisme et shin-
toisme est dénuée de tout a priori. Ainsi,
pour le boudd-
hisme, l'ââme peut s'incarner dans une machine, et pas
uniquement dans un corps « vivant ». Le Dalaï-Lama'
est toutefois prudent: « si la base
physique de l'ordinateur
acquiert le potentiel ou la capacité de servir de base pour un
continuum de conscience, [...] un flux de conscience
alors peut-être entrer dans un ordinateur ».
pourrait
Les principes fondamentaux du Shintoïsme défendent
quant à eux le principe d'une harmonie avec la nature,
considérée comme sacrée. L'unité fondamentale du
sacré dans le Shintô est le kami. Ce dernier peut être un
objet et, plus largement, tout ce qui se démarque, qui
inspire le respect. A cette aune, dans le monde moderne,
« » l'industrialisation, même si elle est néfaste pour l'envi-
ronnement, demeure digne de révérence.
Sil'IA, en tant que telle, n'est pas unanimement consi-
dérée comme une menace, il n'en demeure pas moins,
que cette dernière suscite diverses interrogations auprès,
notamment, des clients des banques.
»

Universellement partagée:
A
andre, La Guerre des intelligences, JC Lattès 2017, Spec. p.
RosSum
KOSum's première fois en 1921 dans la pièce de théâtre 105
de Karel Capek
Dans les Universal Robots (RUR).
20 ay.aits, attribue à Ctésibios
on 26. Exode 20:4. «Tune te feras point d'image taillée, ni de représentetion quelconque des

ide Alexandrie, la création de lad'Alexandrie, ingénieur né au l" Siecle

première clepsydre. choses qui sont en haut dans les cieux, qui sont en bas sur la terre, et qui sont dans les eaux
(-43-+18),
VIw siècle Les
Métamorphoses, Livre X.
plus bas que la terre. » Dans des termes identiques, Deutéronome 20:8.
27. Article 4.4 visant le fait de « prédire » des comportements.
etee -C.: «
Les travaux
poetes/falc/hesiode/
elle qui est le don de
5ble, psaume 139
4,
travaux.htm. les jours»:
et
http://remacle.org/bloodwoi
tous less dieux.
die
28. 21:6: «ftpaserson fils parlefeu;il obseroaitles nuages et lesserpentspouren tirer des
pronostics,.. fit de plus en plus ce qui est mal aux yeux de l'Eternel, afin de l'iriter. »
29. 19:26:« Vous n'obseroerez ni les serpents ni ls nuages pouren tirer des pronostics, »
Le livre este 30. Décret 93-726, art. 9, entré en vigueur le 1" mars 1994.
enurCARL
it en
1816, la fameuse année sans été
« 31. Propos issus de « Gentle Bridges: Conversations with the Dalai Lama on the
dans la version », et publié en 1810
française. Sciences of Mind », Paperback-Unabridged, décembre 1992.

HORS-SÉRIE BaNQUE & DROIT-OCTOBRE 2019

 RB

REVURBANQUE
faut-il
redouter? nions plus facilement
ce coincide qui
3. Que explicabilité» du monde et minimisons ce qui va à aveci notre vision
Heuristiques,
biais et « est de même des biais issus des
son
encontr
3.1. Une IA« trop
humaine thético-déductifs. Si l'on vous demande de c raisonnements po.
llen
des spécialistes de l'lA, l'avène- la suite 2, 4, 6, la plupart
De l'avis de la plupart
gens des répondront t
forte totalement a u t o n o m e et ayant bien même aucune consigne n'aurait été
ment d'une lA
« »,
conscience de son existence, relève pour d'indiquer que la suite doit être
donnd
une pleine
de nombres pairs. N'importe
linéaire . ain
Ainsi Yann Le Cun3? met quel chiffre nosée
I'instant de la science-fiction.
en balance l'intelligence
humaine, mais aussi animale, que 6 convient, mais notre formatage
de modéliser rapi- conduit à ne fournir qu'une seule réponse. intelleche
capable d'agir à partir d'intuitions, et nous
dement son environnement et de conclure « les intelli- Au cours d'une étude conduite
par des
les plus abouties ont moins de commun MIT Boston, d'Harvard, et de chercheure.
gences artijficielles
sens
l'université alifornie
de
qu'un rat!», touten soulignant que « Les humains, comme sur le simulateur Moral achines0,
ont été
àcollectées
les animaux, apprennent á partir de tres peu d'exemples, ce qui «
préférences morales » relatives à des situations devant se
est un mystère pour les ordinateurs ». d'apprentissage a un vehicule autonome devant chois
Cette remarque sur la manière dont les humains entre des scénarios d'accidents inévitables, impliguant
apprennent, avec une économie de moyens remar- la survie de diverses catégories de personnes. Envio
quable par rapport à l'ordinateur, met en reliefla place quatre millions d'utilisateurs ont fourni près de
des heuristiques dans le mode de fonctionnement de millions de réponses dans une centaine de pays.Juarante
l'esprit humain. Dans le domaine informatique, une Ainsi, ce projet démontre que plus les inégalités éco-
heuristique est une « méthode de résolution de problèmes, nomiques sont importantes dans un pays, plus on choi-
nonfondée sur un modèleformel et qui n'aboutit pas nécessai- sira d'épargner les riches plutöt que les pauvres. En Fin-
rement à une solution »4, Appliquée à l'homme, on vise lande, pays dont la population présente un faible écart de
le recours à des stéréotypes destinés à résoudre, de niveaux
de vie,
ce
type de préfërence
n'est pas sensible.
manière rapide, quasi-instinctive, un problème quitte Cette étude, outre le fait qu'elle confirme qu'il n'existe
à produire un biais cognitif. pas de morale universelle, permet toutefois de consta
Les biais cognitifs constituent quantà eux « des erreurs » ter qu'émergent trois principes vers lesquels convergent
de raisonnement, en ce sens que le résultat obtenu n'est les réponses, à savoir protéger la vie humaine plutôt que
pas systématiquement faux, mais qu'il est n'est pas celle des animaux, sauver le plus grand nombre de vies et,
conforme à un schéma de rationalité. Cette manière par priorité, sauver les enfants. Au total, l'intérêt de cette
d'agir fait la place belle à quelque chose que les machines étude n'est pas tant le réalisme des situations proposées,
ignorent, Pintuition. que les résultats qui pourraient augurer des choix d'une
Toutefois, ces « chemins de traverse intellectuels » peuvent IAainsi« alimentée» par« des humains trop humains».
s'avérer néfastes lorsqu'ils se manifestent dans les lignes La voie vers l'« humanity by design » est semée d'embûches.
de codes qui alimentent une IA. Ainsi, dans le domaine On notera qu'en France, l'article 125 de la loi n' 2019
de la santé, l'IA d'IBM baptisée WATSONa été majori- 486 du 22 mai 2019 relative à la croissance et latrans
tairement alimentée par des données issues du Memo- formation des entreprises a pour objectifde permettre ae

rial Sloan Kettering Cancer Center (MSK). De médecins développer les tests de véhicules autonomes. Il envisage
se sont émus des biais que comporte cet apprentissage, notamment une indemnisation des victimes d'accidents
les recommandations de cet hôpital n'étant pas néces- sur'unique fondement du délit d'atteinte involontairea
sairement conformes aux pratiques d'autres médecins la vie ou àl'intégrité de la personnes", le titulaire de lau-

ailleurs dans le monde. Les médecins du MSK ont ainsi torisation d'expérimentation, à l'exclusion du conduc
de
reconnu leur infuence sur Watson :« Nous n'hésitons pas teurayant activé la conduite autonome, répondant
à insérer notre parti pris »5. cette responsabilité.
Outre, les partis pris, les biais qui peuvent se manifester
chez un humain sont nombreux. On citera par exemple 3.2. Une IA insufhsamment transparente blic
le biais de confirmation qui conduit à ce que nous rete- Une des questions qui agite chercheurs, granap
etsuperviseurs bancaires est celle de l'explicabll Conseil

32. Directeur de la recherche en

intelligence artifñicielle de Facebook Yann LeCun,
décisions prises par l'IA. On se souvientgue64le
directeur de la recherche en
intelligence artificielle de Facebook, professeur d'Etat, dans un rapport de 2014 remarques algo
d'informatique et de neurosciences à lP'Université de New York. Sciences et numérique et les droits fondamentaux », voyait i r
Avenir, 24 janvier 2018,
https://www.sciencesetavenir.fr/high-tech/intelligence rithmes comme des Boîtes noires impossibles a 'eie
« leu
artificielle/selon-yann-lecun--intelligence-artificielle-a-20-ans-pour-faire-ses-
preuves_120121. ler tant en raison du secret industriel qui les protege u
33. Du grec « euristikë », « art de trouver ».
l'exclamation d'Archimède « Eurka » en
serait issue. Cette notion est issue d'un article
d'Herbert Alexander Simon, prix
Nobel d'économie en 1978, intitulé « A Behavioural
Model of Rational Choice»
publié dans le Quarterly Journal of
Economics en
Arreté du 27 juin 1989- NOR: INDD8g00398A 1955
36. http://moralmachine.mit.edu/.
34.
Annexe 1. 20o16 relative a
35. Ministère de la Cohésion
des
St.
Modifant 'ordonnance n° 2016-1057 du 3 août
territoires, « Intelligence artificielle Etat de l'artet
- vehicules à délégation de conduite sur les voies pubIique
perspectives pour la France Rapport final », février 2019: https://www.cget.gouv. rdans un
38. Articles 221-6-1, 222-19-1 et 222-20-1 du Code pena
fr/art-et-perspectives-synthese.pdf.
sites/cget.gouv.fr/files/atoms/files/2019-02-intel igence-artificiel e-etat-de- 39. Un algorithme est une suite d'opérations ou d'instructionsa e
ordre déterminé afin d'obtenir un résultat donne.

HORS-SÉRIE BanQUE &

DRoIT-OCTOBRE 2019
 complexité technique »", La proposition n° 24 de ce rap-
En
port était la nécessite de « mettre en place des garanties de France,
procédure et de transparence, lorsque des données personnelles tion, dans unl'Autorité de contrôle prudentiel et de
document de réflexion de
sont utilisées par l'algorithme ». invite à une
la réfexion au sujet de la
décembre résolu-
2018",
Cette nécessité de transparence dans le fonctionne- normalisation afin standardisation et de
ment de l'LA transparaît
ment ae
cabilité d'améliorer l'auditabilité
largement, sur le terrain éthique,
dans le rapport de ses veux
væux une
et l'«
expli-
Villani, mais également sur une Tengents »".
réflexion sur ce que L'ACPRappelle
le terrain légal, avec le RGPD lequel exige la commu- bonne gouvernance des algorithmes"
SI 'IA est
«
pourrait ëtre une
iation de la « logique sous-jacente »" d'un traitement. dans le
Elle apparaît enfin dans le domaine de la régulation. nous
sommes, du moins
source
d'inquiétudes, on
peut penser que
secteurfinancier».
dinsi, le Conseil de stabilité financière, par deux fois placés face à des risques en l'état
des travaux
actuels,
en 2017, s'est penché sur l'lA. Un premier rapport de mun une ayant pour dénominateur
n 201742 souligne que « Given the current practice gouvernance
pourra se traduire,
com-
défaillante. Cette défaillance
lidation at banks or otherjinancial service providers, inof model
which
une
impossibilité, notamment,
à par une difficulté, voire
biais introduits de prévenir la duplication par l'IA
idk models have strict governance rules and must be explained manière volontaire ou non des
in detail to regulators, there may be problems if banks or other main ou bien
encore, par l'absence de par lThu-
fnancial service providers apply Al models »43 sur
l'explicabilité.
déficit
Au
de confiance. final, tout ceci questionnement
se traduit
Dans un second rapport, daté du rt novembre par un
201744,
re même Conseil a examine les
conséquences sur la sta-
Hilité financière de I'utilisation croissante de l'IA et de
lapprentissage automatique dans les services financiers. I. LIA ET LA
cet égard, il est relevé que the lack
CONFIANCE DES CLIENTSs
hilitu ofAI and machine learning methods could become
«
of interpretability
confiance implique que les or La
rlevel risk. Similarly, widespread use of opaque models personnel utilisées à l'occasion
a
données à caractère
d'un une traitement par
nay result in unintended consequences »5. lA s'inscrivent dans un cadre
Lenjeu prudentiel est évident. Le manque d'audita- confiance implique protecteur (I.). Cette
rants de l'IA, soient également que les données, carbu-
lité de l'IA, manifestant une déficience dans la d'une qualité suffisante
atéà évaluer de manière appropriée ce type de capa-
rer des
traitements fiables (2.). pour assu-
pourra avoir des consequences en matiére de consom- risques,
1. La confiance
aion de fonds propres destinés à la couverture
adé-
et le traitement
guate de ce risque. des données
les superviseurs européens ont
également en tête la Selon une étude menée par
potection des consommateurs. Ainsi, en mars 2018, tion de l'IA serait OpinionWay", la percep-
Rapport final du joint comitees° sur le big data souli- bonne,
mistes, puisque seulement 26 dépit
en des
discours alar-
paitquantà lui la nécessité de « déterminer quels % des
personnes
nées devraient être autorisés à être types de rogées pensent que l'IA aura un inter-
utilisé d'un point de vue société. Une seconde étude, impact négatif sur la
ique et sil peut y avoir des types de données qui sont autori- conduite en octobre 20r80,
spar la réglementation en vigueur mais sont contre les inté- confirme que 73 % des
personnes
bonne opinion de l'IA, les 18 à interrogées ont une
0G tonsommateurs ou nécessite une approbation plus claire 24 ans étant les
Omsommateur ». enthousiastes avec 82 % d'opinions favorables. plus
celles des personnes Pour
ayant une bonne image de l'IA,
5I % fondent cette appréciation surle fait que l'lA facilite
e
certaines tâches, évitant celles qui sont
pénibles ou de
peu de valeur. Toutefois, 78 % réduisent cette dernière
slww à un outil utilisé par les
marques dans le but d'accéder
|1C Cumentationfrancaise.fr/var/storage/rapports-publics/144000541
p.300.
128f: informations à
npes
aux données à caractère
afin de les exploiter.
personnel des consommateurs
les
s toe a
communiquer pour
cOncernées àl'occasion pouruune collecte de données auprès
d'unprofilage: La question de la confiance
e
L
pro
0Cente, ainsi que l'importance et les [...] informations utiles
«
implique donc la trans-
n e concernée Idem ». conséquences prévues de ce parence des usages des données", notion qui apparait
0 a directement effectuéepour l'article 14-2 § gs'agissant d'une donc centrale et faisant un large écho au RGPD, entré
Mer A mplications from auprès de la personne concernee.
FinTech -Supervisory and en application le
netr
eu
|www.fsb.org/lwp-content/uploads/R270o617.pdt
Regulatory Isues 25 mai 2018. Au nombre des préoc-
on:«Compte tenu de
ds tl es prestataires de laseruices pratique actuelle de validation
gouvernance
plication des modèles strictes et doivent
financiers, où les modèlesdesde modaeie
risque
Aet des pro d'lA par les es ouêtredutresexpliqués n détail ux
en o 47.
Intelligence artificielle: enjeux pour le secteur financier Document de réflexion:
-

port, p.banques
oDlemes ». Rannor prestataires de services
e 6o: https://acpr.banque-france.fr/sites/detault/hles/medias/documents/201812_20
l https://www.fsb.org/wp-content
1/sb-considers-financial-stability-implications-or-
intelligence_artificielle_fr_o.pdf.

Rligereanductce-aionnd-machimanquene-learningi
«e
prétabilité ou d'auditabilité des méthodes
of-
48. P.g du document, ce dernier visant les normes IS0/IEC AWI 2305333.
49. En décembre 2018, étude menée pour Amaguiz.
50. Étude conduite par tfop pour Impact Alsurle thème « Notoriété et image de
modeles uepourtait
s autn opr enit
ues peut devenir un risque au niveau macro. De
P'ntelligence Artifhicielle auprès des Frangais et des salariés ».

européennes entraîner
de
des
risquauences nao
conséquences inatendues.menme
surveillance,
51. La question se pose ici de l'éthique appliquée aux traitements faisant appel àl'A.
V.dans ce mëme numéro, la contribution de Marina Teller, p. 38.
21
oéc.95*
mars 2018, Spe: S
52. Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016.

HORS-SÉRIE BanqUE & DROIT- OCTOBRE 2019 11

 RB
REVUE BANOUE
1A iNNCT

communication sur le fonctionnement des a

cupations manifestées par

trouve bien entendu

les personnes
la question de la transparence
concernées
visibles pour l'utilisateur et l'identif
ou la personne responsable (Chief Algorithmipe
lgorithmes
tification del
se

du fonctionnement des IA. Or, ce fonctionnement pose La question que pose

tout ceci est de savoir oJier)
concerne les
donnees comm
exprimer cette transparence afin qu'elle soit nent
difhculté, notamment en ce qui
qui l'alimente, au travers d'algorithmes",
parfois consi
du plus grand
nombre. comprise
dérés comme des boîtes noires Enfin, on soulignera que dans la décision

Or, l'appréciation des algorithmes,

sans lesquels I'IA Constitutionnel n° 2018-765 DC du 12 juin 2013 Consel
Si83 favorable. % des Fran- précisé, que « le responsable du traitement doit assurer de
ne conçoit guère, est peu
se
ils sont 52 %à ignorer
çais en ont déjà entendu parler, maitrise du traitement algorithmique et de ses évolutione
%), ne les s afin
de quoi il s'agit ce qui, majoritairement (64 de pouvoir expliquer, en détail et sous une jorme intelligible
représentent plutöot
empeche pas de considérer qu'ils données
la personne concernée la maniere aont le traitement a été mi

une menace en raison de l'accumulation des en æuvre à son égard. It en resulte que ne peuvent être utilis
personnelles détenues. commefondement exclusif d'une décision administratiive it
di-
Le RGPD est prolixe sur ce sujet, puisqu'il énonce viduelle, des algorithmes susceptibles de réviser eux-mêmes le
Tout d'abord, la prohibi-
quatre « principes directeurs
». règles qu'ils appliquent, sans le controle et la validation du re
données », les données à
tion du « chalutage intensif de ponsabledu traitement»
caractère personnel devant être adéquates,
pertinentes
finali
Cette décision, rendue soulignons-le dans le contete
nécessaire au regard des
et limitées à ce qui est
traitées*°, Ensuite le pro- des décisions administratives, est néanmoins porteuse
tés pour lesquelles elles sont d'un message important, à savoir qu'l, ne peuty avoir de
est autorisé lorsqu'il est
fondé sur le consente
filage on
décision individuelle, fondée sur un algorithme « auto-
concernée". Enfin,
ment explicite de la personne apprenant», capable de réviser lui-mëme les règles qufil
relèvera l'interdiction de recourir à des algorithmes met en æuvre, en l'absence de contröle et de validation
données sensibles énumérées àl'article 9,
utilisant les du responsable du traitement.
paragraphe 4, du RGPD. de« deux droits Cette décision met en reliefla difficulté que représente
A ces deux principes, s'ajoute le rappel
droit de ne pas faire
l'explicabilité des algorithmes d'apprentissage machine,
Jondamentaux ». Tout d'abord, le notion entendue comme la possibilité « de donner àl'en
d'une décision fondée exclusivementsur un trai-
l'objet semble des utilisateurs, quel que soit leur bagage éducatif, une
tement automatisé, y compris le profilage", ainsi que
vision claire des procédures employées et des fonctionnalité rem-
le droit de demander un traitement par une personne
humaine relève du minimum requis d'un responsable plies par l'algorithme, afin de permettre un usage informé»*".
Gérard Berry, professeur au Collège de France, décrit
de traitement". Pour compléter ce tableau, s'ajoute le la situation de la manière suivante « Dans un programme
recours à une « étude d'impact sur la protection des données»
de
nécessaire pour les traitements comportant des risques informatique classique, si on connaît le code, on est capable
savoir ce qui se passe et de prévoir le résultat. Avec les résea
particuliers pour les personnes.
Par ailleurs, le Code des relations entre le public et profonds, on ne sait pas ce qui se passe: quand un algorithme
l'administration envisage d'ores et déjà des obliga- donne une réponse, cest comme ça.»
tions de transparence°, tandis que le Rapport Lemaire Si les processus d'apprentissage machine deviennent
tant
de décembre 2016 envisage pour les entreprises, une a ce point complexes qu'il est difficile d'en décrire,
le fonctionnement que les résultats, dans des termes
accessibles au plus grand nombre, peut-être faut-il env

53. Cf. rapport 1. Pavel et J. Serris, « Modalités de régulation des algorith mes sager autre chose que la transparence afin
de
gaau
la confiance des utilisateurs. Peut-être que « renare
de traitement des contenus », 15 décembre 2016.
54. Pour le Conseil d'Etat: « Boîtes noires impossibles à contróler tant en raison
du secret industriel qui les protge que de leur complexité technique ». $ystemes visibles, transparents, n'est pas que o la même chose
rendre responsables" », ce qui explique que des voix Se rou
55. Sondage FOP pour la CNIL, janvier 2017.
56. Article s-1-C: Principe de minimisation des données.
entendre pour qu'émerge, en lieu et place de la no
57. Article 22-2-c trop vague d'explicabilité, celle de responsabilte
58. Article 22-1. Cette question se
posant avec d'autant plus d'acuité s'agissant
des déisions judiciaires faisant
la contribution de Nathalie
appel à 'A. V. dans ce même numéro,
Metallinos, p. 32.
59. Article 22-3.
60. Article 35 et36 cf. également Guidelines on Data Protection Impact Assessment
(DPIA) and determining whether processing is "likely to result in a high risk"
for the purposes of
les Regulation 2016/679, wp248. V. , dans ce meme numéro,
développements d'Eric Caprioli., p. 22.
61. Article
L.312-1-3: règles concernant la publication en 63. Relative à la réforme de la loi Informatique et Libertes.
les principaux traitements ligne les règles définisant
algorithmiques
décisions individuelles et article L. utilisés lorsque ceux-ci fondent des 64.71 de la décision.
311-3-1 du même code: Sous des réserves 65.
limitativement énumérées (secret des
délibérations du Mal Pégny et Mohamed Issam Ibnouhsein, Quelletranrisfrhal-o17910
agorithmesd'apprentissage machine?, 2018: https:/|hal.inna.
de la défense
sreté de l'Ëtat, etc.) « une Gouvernement, secret
eskims,

nationale,
le fondement d'un décision individuelle prise sur
traitement algorithmique 66. Cité in Benoit Georges, « Le talon d'Achille delP'intelligentde-linteligel
intéressé. Les règles comporte une mention explicite en informant
déf1nissant ce traitement ainsi que les 5 mai 2017 : https://www.lesechos.fr/2017/05/le-talon-dachie
de mise Euvre sont communiquées par l'administrationprincipales
sa en
caractéristiques
d l'intéressé sil en artificielle-1680g9. ofthe
demande Limitations

Complété par les articles R.

».
fait la 67. Kate Crawford Mike Ananny, Seeing without k
Journa,

62. Réguler les

« 311-3-1-1 et R.
311-3-1-2 du même code.
et «
tability », 50g6645
algorithmes-Cinq
la confiance dans pistes d'action
l'économie numérique Cf. pour améliorer la transparenceet
transparency ideal and its application to algorithmic accou 1177/140144

troisième proposition du
». 3 aecembre 2016: http:/ljournals.sagepub.com/do/ruuy
rapport. 58. Ibid.

12 HORS-SÉRIE BANQUE &

DROIT-OCTOBRE 2019
 ta auteur souligne ainsi « la responsabilisation doit [.
La
qualité des données entretien une relation
a e le système soit sufisamment compris ou compréhen- directe
avec la notion de confiance. En
U n dispositif d'audits réguliers pourrait s'as- mateurs français seraient effet, 55 % des consom-
sible
rer gue les résultats produits par lIA sont exempts susceptibles de falsifier les
réponses aux questions posées
dediscrimination ou autres biais?0. L'IA ne serait
pas Plus le consommateur par leurs fournisseurs.
estjeune, plus il est
informations personnellessusceptible
Sparente, mais du moins ne serait-elle pas nocive,
de falsifier ses
['innocuité algorith mique » prenant ainsi le pas sur l'ex-
I8-24 ans, et 52 % des 25-34 ans)". Le (74 % des
plicabilité. d'une telle conduite est le premier motif
Si P'IA n'est finalement que le produit du traitement souhait de ne pas être
tuné par des sollicitations impor-
92rticulier de données, Se pose inévitablementla ques- inappropriées (6o % des
répondants), deuxième motif est le fait que les don-
le
tionde la qualité de ces dernières. nées ne sont pas utilisées
pour la délivrance de la pres-
tation envisagée (35 %o). En réalité
2. La qualité de données, élément n'a pas besoin de nous
pour nous nuire, l'IA
de confiance dominer, il suffit juste que ses
créateurs l'abreuvent de données GIGO, tout en
par ailleurs une confiance totale dans les résultats
ayant
L'une des questions-clés que pose le recours à l'IA est issus
de cette dernière.
celle de la fiabilité des décisions et conseils fondés sur
On notera que les
son utilisation. Cette fiabilité implique que les
questions que pose ll'absence de
don fiabilité des données, et la médiocre
qualité des
nées qui aliment l'lA soient de qualité. On parle ainsi
mations que délivrerait une IA nourrie de donnéesinfor erro-
des données GIGO pour « garbage in, garbage out»",
nées, débordent de loin la question des relations avec
acronyme signifiant que l'algorithme le plus sophisti- la clientèle. Le Comité de Bâle s'est
qué ne pourra produire que des résultats inexacts s'il en janvier
posé cette question
est alimenté par des données de mauvaises
2013, en matière de contrôle bancaire, au tra-
qualités. À vers de 14
principes dits BCBS 239 dont 11 concernent
moins bien entendu que l'algorithme soit
capable de les banques et 3 les
superviseurs. La préservation de
compenser un biais qu'on lui aura préalablement indi-
fonds propres rejoint ici la protection de la clientèle.
qué, ou qu'il aura lui-même identifié.
Yann Le Cuns, lors de la séance
Le rapport mondial inaugurale de la chaire
2016 Databerg révélait, qu'en annuelle « Technologies informatiques et sciences
moyenne, 52 % des données stockées sont soit obs- numériques » du Collège de France, intitulée « Le deep
cures, soit redondantes, obsolètes ou inutiles?. Ces learning, une révolution en intelligence artificielle » a
données devraient coûter aux
entreprises du monde
entier 2 9oo milliards d'euros d'ici
résumé ainsi la situation « comme toute
technologie puis-
202o. sante, l'intelligence artificielle peut être utilisée pour le bénefice
agissant des banques, 16 % d'entre elles tenteraient de l'humanité entière ou pour le bénéjice d'un petit nombre aux
de
verifier la qualité des données mais sembleraient ne dépens du plus grand nombre ». Il n'est sans doute pas trop
pas etre en mesure de la garantir, 11 % penseraient que tard pour faire le bon choix.
Ieurs données sont fiables, sans pour autant le vérifier
et enfin, 24 % reconnaîtraient qu'elles doivent mobi-
Ser plus de moyens pour s'assurer de leur qualit".
Par ailleurs, 92 % des entreprises ont le sentiment que
eurs bases de données clients comportent des erreurs
namps incomplets, mauvais formats, erreurs dans les
adresses e-mails ou
physiques, doublons"

lemonde.uPeut-on
armer la
transparence de l'information? », Internet Actu
du janvier 2017:
21
http://internetactu.blog.lemonde.fr/2017/01/21
0 On-armer-la-transparence-de-linformation/.
ette e apparaît dans la synthèse du débat public conduit par la CNIL, « Comment 75. https://www.lemondeinformatique.fr/actualites/lire-55-des-consommateurs
francais-prets-a-falsifier-leurs-donnees-clients-71009.html. Les données qui

et de intomme de garder la main- Les enjeux éthiques des algorithmes seraient les
plus communément falsifiées sont: numéro de téléphone (32 % des
d'une ence artifhcielle ». La recommandation n° 4 répondants), date de naissance (19 %), adresse personnelle (18 %) et nom (17 %).
tetorme nationale d'audit des algorithmes »: évoque constitution
la
dofs YouGov Plc sur la commande de RSA (Groupe Dell
Etude réalisée par le cabinet
Conseil d' https://www.cnil.r/ses
escni_rapport garder_la_main_web.pdf. ldem, rapport au EMC) du 15 décembre 2017 au 3 janvier 2018.
la Documa e annuelle 2014, « Le numérique et les droits fondamentaux >, 76. Basel Committee on Banking Supervision's standard, numéro 239.
le contrl on trançaise, septembre 2014, Pp 301. Proposition n 25: T7. Gouvernance, architecture de données infrastructure informatique,
et
exactitude
Developp
disries resultats produits par les algorithmes, notamment pour detecter u actualité (mise å jour des données sur
les risques tout en
et intégrité, exhaustivité,
1. Ce ns licites, en renforçant les moyens dont dispose la CNIL. d'exhaustivité et d'adaptabilité),
n. h re poubelle à l'entrée, poubelle à la sortie . respectant principes d'exactitude, d'intègrité,
les les
toutes grandes
familles
«

adaptabilité, exactitude, représentativité (couverture de

est exposée), clartë et utilité, fréquence
88e es.nfo.veritas.com/Web/Veritas/%7B364a7ca_-eogc-4tce-971 de risques auxquelles l'organisation des
B.Etuda D07D45145-EMEA_Veritas _Strike Report_ (principes de production et de distribution
des
rapports sur la gestion aux
ude Accenture parties
Gult.pat. distribution (diffusion des rapports sur la gestion
des risques

: https:/ auprès
risques),
e de Boo8oo banquiers dans 25 pays-Citée in Lesechos.ft, 24
bang mai
concernees en veillant au respect de leur
confidentialité).

Parler-leewww.lesechos.fr/2018/os/pourquoi-les-banques-peinent-a-ae en intelligence artificielle de Facebook,

professeur
4.
PrAperian,
ier-les-Livredonnees-de-leurs-clients-99101.
Blanc, mars 2015.
78. Directeur de la recherche
'intormatique et de neurosciences
àUniversité de New York.

& DROIT- OCTOBRE 2019

HORS-SÉRIE BANQUE
 e LUTILISATIOA
sTION DE LINTELLIGENNCE
mité et à la
ARTIFICIELLED S LA SURVEILLANC peut
aionssément détection des
abus
DESMARCHES foncti
cultésà de imaginer des dedohé,
contröle. marché, même cas he.

ivitésles Ilya, sur ced'usage pour les si lon

sont des. dentis.ole.las

id ent ifier
marché
et de
me a hancaires
surveillées, COm
es de
des
aCivsetétroitement opératpariolens personnel
traitées sujet, de autres
opérateisonsou suspect
peuvent faire porter à la collectivité.
Jla
fiuirsegur
o
PSI. grandes
de es, qur'ils di
au'elcementedeSlen bancaire, l'entreprise d'in- 1.1. certaines agisse
Le
de arché est
important
frastructure
Les
contrôle des opérations
et obligations, opérations
St senenlusla
la supervis1on est vigoureuse.

sitif de imposent aux PSI dedes personnelles

plus

ans
ergie,

la plupart
régulée
télécommunication
5ystemugue des activités
port, MIFIL,
esrég

découlant
ons m
nee
ou nications.),
pouraes
Comne
da
cette
éviden
supervision pass
ntes d'efficacité- et détenir vigilance
raisons
des relatif aux mettre régleenmentplaceatiounns MAR
saremeforme de délégation. Aussi, les établis- dans ce informations personnes
sairement, dispo-
cadre, d'opérer des privilégiées susceptibles
gadesxeset
par une

des de crédit et les entreprises d'investissement ont tions personnelles. ou de

contrôles sur sensibles" et,
ndsdhae rions très strictes de contróle interne.
odique (audits, inspections) et
equel
Les textes en
prescriptifs survigueur,
la France, sont
leurs transac-
en
per-
eàlaière
doitétre
ligne de défense » (pour reprendre
le
dispositifà mettrefaçon place relativement peu
d'opérer contrôles". ces
ntrainNadnper manent.
La«
autorités) se situant dans les métiers,
abulione de défense », incombe aux différentes
lappreciation
en

cas, etre évaluédu PSi. ll pourra,(modalités,

comme
Aussi,
etc.) releve de
nance, risques et conformité. constatés chez parses le superviseuràl'aunec'est
des souvent le
es autorites de supervision, bancaire et de marché, pairs
lorsque l'Autorité considere(benchmarking). Enstandards
sceeSsTOmentrm-Se ES alement toute une serie de contrôles ciblés sur
m e n e n te g a l e n

ujettis ». Ladifférence avec le contrôle interne

pas aux que le
dispositif général,
trine), lesexigences réglementaires (ouà répond ne
leurs«as8 griets couramment mis sa
propre doc-
xesftas la nature (prérogative de
ssentiellementà
puissance
Aique) de ces missions, àleur fréquence, et aux suites
tère lacunaire
des
fisant des moyens. en
en
procédures place,avantle caractère
sont: le carac-
insuf-
tendaite e
que la ate
puentêtre donnees (simples preconisations, mise
upeuve.

iemeure, sanction..). Elles peuventégalement dans

Les
des
dispositifs
usuellement
declarations faites par lesmis en place consistent, lors
salariés concernés, à
uepartie, a
de comge.
s plus rares, lancer des enquêtes (à la suite deocom-
sions supposées d'infractions), donnant à ces mis-
ser ces
sur les
déclarations avec les noms croi-
différentes listes constituées de sociétés figurant
caractere plus répressif. quelles le salarié a eu (watthing ist..), aux
accès, ou avec
AVe danst th sions un les noms des
Te Doint commun de ces controles est qu'ils sont, par pour lesquelles le salariéa sociétés
procédé, qui repose en grande éventuellement
été initié. Ce
ereduire'ks uture, plus éloignés « du terrain » et des activités que les
salariés (qui déclarent leurs partie sur la bonne foi des
aitupermete
on eles. Ontroles de premier niveau. Les équipes sont également
phus restreintes à mesure que 'on prend de la hauteur impartait puisqu'un salarié transactions) est par nature
indélicat ou malhonnête se
au contoe t que la base à couvrir s'elargit. La ditficulté, tout parti- gardera le plus souvent d'effectuer de telles
s'lconnait le dispositif de contrôle ou ne déclarations
etense),ei" culièrement pour les fonctions d'audit, d'inspection et
des titres traitera que sur
pour lesquels il n'est pas oficiellement initié.
Ja supervision publique, est de savoir où chercher. Ilya Les autorités
ndes outils bien súr des programmes de supervision qui sont prépa- pourraient donc estimer que les PSI doivent
aller plus loin et croiser les déclarations
üts d'inves rés à l'avance, en fonction des risques et tendances qui avec les noms
de sociétés pour lesquels d'autres collaborateurs
as les appir auront été identifiés (par exemple, la conformité à MIF 2
phiquement proches (même espace de travail, bureaux
géogra
ants au sein ou à EMIR, les cessions temporaires de titres, les
opéra- contigus, même étage, etc.) ont obtenu des informa-
au nombre tions à effet de levier, les sondages de marché...) mais le tions (confidentielles ou privilégiées). Le data mining"
onner. Cl risque est parfois de passer à côté des véritables sujets. permettrait d'y parvenir.
nte des co e recours aux Data Scientists et aux techniques d'lA peut Si de tels contrôles permettent d'accroitre sans conteste
S'avérer alors trs précieux. l'efficacité du dispositif « anti-abus de marché », ils
ont to bad' impliquent une automatisation et un croisement de fichiers,
ce qui nous parait å ce jour rencontrer deux obstacles:
et extene 1.IAet contrôle interne:
amene2 le recours aux Reg Tech -la protection des données personnelles (le principe
devrait être dûment déclaré
du croisement des fichiers

ropre des fonctions de contrôle de deuxième et et proportionné aux butsaatteindre); des opérations
troisièm les -le respect de la vie privée (s'agissant
ne pas se borner à rejouer
LVeaux est de personnelles réalisées par
le salarié).
Controles de niveau inférieur mais d'évaluer la pertinence
Ge ces
controôles et de mener, le cas échéant, leurs propres
OLes, qui peuvent être des contrôles systématiques
Ou
a1eatoires (échantillonage...). II s'agit, pour l'esSen
de privilégiées
les qualites pour être qualiées
29. C'est-i-dire ne revëtant pas toutes au titre notamment
ie, de détecter, à la fois dans les procédures organsa mais susceptibles
neanmoins de donner
lieu a des intractions,

nelles et dans la conduite des activités, d'éventueles

des conflits dinterets.

eene

-turned
nsances, de possibles irrégularités ou,
dans les cas 30. Aridles315-2 dudotaRG mining
A l'exploration de grandes quantités de donné
ies plus graves, des nanquements ou des fraudes. 31. On désigne par
tirer dU sens.

uS nous cantonnerons ici à la seule

fonction de conror

HORS-SÉRIE BA
RB et n'importe
l nous semble qu'une atteinte à ces principes ne pourr:at forme de contróle comme
ctre la banque, interne acactivite o
un dispositit de contróle

de«pourcriticine
rait i,
justihce quc par disposition légale sufisammen
une
en place, adapte
volumes etau:niveau
aux
prescriptive, ce qui n'est pas le cas à ce jour. Parailleurs, le Le
de l'activité concerne. recours au data
Croisement de fichiers (par exemple confronter une tran lux gigantesques de données,
peut co mining,
Saction personnelle des fichiers de titres pour ies
avec de pattortuer
qucles le salarié n'était pas supposé a v o i r d ' i n f o r m a t i o n s ) intéressante, par la detection

Cst de donner lieu à des suspicions infondées

susceptible
de possibles manipulations.

On observera que cette extension cont

maliesqu
et a
des coincidences pouvant potenticllement jeter une tion de détection d'abus de marché, exnle del'oht 'obliya
suspicion sur un salarié n'ayant rien à se reprocher. O plus grandàl'eve nr
partie, le recours toujours
touche ici aux limites des dispositifs de data mining,gu
ces
fonctions de contrôlevers des prestataires Isation de
devraient nécessiter de solides garde-fous au regard au
droit du travail et du respect des libertés individuelles.
ce que
l'on appelle les RegTechs. Les
associant régulation technologie, kegTechs, spécialis
mOt-va
outils technologiques utilisés pour
couvrentl'ense
erciliter le
1.2. Le contróle des manipulations de marché des
regiementaires par les
pect des exigences
Les manipulations d'indices ou d'instruments ina acteurs
financiers, notamment dans les secteuentreprises
Ciers peuvent parfois être le fruit d'actes de collusioO financier et des
assurances..Ce
sont parfois cesbancaire
entre plusieurs traders, comme cela a été montre par prestataires qui fournissent leurs servic. mêm
vices aux superij,
ferentes affaires récentes sur des indices grand pubiic.L
diffhculté pour les services de contrôle est, dans Ces
seurs eux-mêmes, que l'on appelle alors les SupTech
de hgure, de déceler les échanges (mails, chats, appels 2. IA et supervision: le recours
relephoniques...) permettant de réaliser ces operations
frauduleuses. Certains services de conformit se so
aux SupTechs

aeja dotés, pour ce faire, d'outils de détection du langag Depuis la crise financiere des années 20
de termes à conno
1aurel ou de détection automatique susciter
obligations déclaratives (reportings) des acte08, et
tation douteuse (identification de mots pouvant n'ont cessé de croitre. Pour s'en tenir à la ce e
une suspicion de fraude). citer
Citerons bien
nous
seule régle
mentation europeenne,
elles-mêmesestdéjà en place declaration des dérivés OTC EMI
e controle des opérations de marché de 2003
mais (obligation de aux r
aepuis la première directive abus le règlement de 2014 tiels
centraux deaonnees), plus récemmentle
a
ete considérablement élargi par
quil'a étendu non seulementà tous types d'instruments
SFTR (même obligations pour les cessionst
de titres) et enfin les multiples obligations déclas
de cotation)
financiers (quels que soient le lieu et le mode issues de MIF 2 (extension a l'ensemble desinstrum
échappaientjusqu'a
mais aussi à des classes d'actifs quiy financiers négociés, Sur marchés organisés com
me de
présent (commodities, indices). gréà gré). Ces multiples reportings, qui peuvent seri
Cette obligation-et c'est le point le plus délicat en termes
fois à des fins macroprudentielles (détection desSOurces
esda
de mise égalementéééétendue aux simples
en æuvre-a de risques systémiques) ou à des fins de surveillance d
dans les marchés de gre
offres de prix qui sont proposées ». La question s'est marche(detection
d'abus de marché) constittents
ent nvéri- bu
a gré, ce qu'on appelle les quotes «

sans distinction
les table défi pour les superviseurs dont les équipes ne son
posée de savoir si, ce terme incluait
sont affichés et pas toujours dimensionnées pour y faire ace e
quotes fermes et les quotes indicatives, qui de
« streamés »).
ajustés en permanence (appelés aussi prix 2.1. La détection de zones de risques
Concernant les quotes fermes, qui sont des prix immé- pour les superviseurs
entrer naturelle-
diatement traitables, celles-ci paraissent
a. L'expérimentation de
ment dans le périmètre de la réglementation
sur les abus la SEC sur P'emploi du teme
avoir une infuence directe
CDS dans les documents d'émetteurs. Dans un discours
de marchépuisqu'elles peuvent ceu

sur le d'un instrument financier coté, même si, en

prononcé en juin 2017", Scott W. Bauguess, chefécono
prix
pratique, il semblerait que la commission de manipula- miste de la SEC expliquait que la première expérience, ld
tions de marché sur le segment des purs produits OTC relativement fruste, menée par cette autorité en matièere
i. e. swap de taux) soit relativement faible. ='intégration d'A avait consisté à utiliser un outil d'analyse de texe
des quotes indicatives (qui ne représentent pas des prix pour compter le nombre de fois où le terme CDS (Cradit
traitables et dont la valeur informationnelle est relative- Default Swap) apparaissait dans les documents publiéspar au
ment faible) demeure en revanche discutée. En tout état les entreprises et les différents articles de presse. Cete me
de cause, leur soumission aux obligations de détection expérience, somme toute assez empirique, consistait à ran
soulève des difficultés opérationnelles plus que com- s'interroger sur la capacité qu'auraient pu avoir les super
plexes. Ils ne doivent pas pour autant échapper å toute viseurs d'anticiper davantage la crise des subprimes et
35, C
36. L

32. En effet, son article 2 (1) (a) 37. Ha

prévoit que « des mesures, systèmes et procédures doivent 33. V. a Les solutions informatiques mises en ceuvre dans le cadre de la gestion de a
etre mis en place et maintenus
pour garantir une surveillance effective et constante aux conformité juridique, spécialement dans les secteurs bancaire, hinancier et des
de la détection et fins
lidentifcation des ordres et transactions pouvant constituer des abus de (Regulatory », document de travail n' 22
0u 38. 1.
morché ..),». Si fon se
réfère aux définitions de l'article 1d du même texte, un ordre se assurances Technologies
ou RegTech)
défnit comme « tout ordre, y compris toute cotation laboratoire de Cyber]ustice, 2018. De
initiale, la modifieation, lactualisation ou l'annulation(quote), que sa finalité soit la soumission
d'un ordre, et quel
34,
5. W. Bauguess (acting director and acting chiefeconomist, DERA), «Ihehau 39.Sol
qu'en soit le
type ».
Big Data, Machine Learning and Al in Assessing Risks: ARegulatoryPerspecu

HORS-SÉRIE BANQUE & DRoIT- oCTOBRE

2019
 CD
terme CDS avait été
que
le
c le
terme

1998 dans
manquantes) de
façon améllorer a
jontrait

sculement
en
ce c et
rendre leur exploitation les jeuz de donnees
utikm.11mcrican
a r CeIC
o i sb a 7
CS
cain de
leur
)Our
rapport.

final
par
2.2. La
marché
posnible.
détection de fraudes et
apres la crise. I'em-
2004
Ch
2009, autres abus de
if en
en .
s o i é t é s
mASSil
avait quan à
csCIHNCnt
les
articles
de presse

ct 2 0 0 8 .
Commel'expliquede P. Amstrong, del'ESMA",
cation
1o
entre
2007
modeste qu'elle soit,
possible V'IA et
mettre aux autorités de du machine
une
appli
i é par nce, pour
nme détecter les de per learning est
sophisti-
périen ce

A, même peu lusits dans les

des
outils

de detecter cer-
marchés ainsi que les comportements col-
rer tre,
quc bien employes,
structurées.
cours,
avec des
qui deviennent de manipulations de
plus en plus difficiles
traditionnels (notamment a détecter
eUvempermer non
trer

des donnees de référentiels

moyens
ces sur données
endancn des
ISsues
qui touche au
trading algorithmique et au pour atout ce
Ix(tradeion aries).
repositories). C'est précisément parce fréquence). Les
rudentiellesetde marché) n'ont pas
trading haute
systèmes de détection classiques
tar de ce
qui existe en matière de (al'ins
la
de
2007 que les législa- de gel des avoirs et sanctions filtrage, pour les besoins
crise

grand nombre de fauxinternationales)

aanticiper l'infuence du FSB, un très
capable: du G20
et sous
génerent
beaucoup de travail d'analyse pourpositifs
«
le sillagerion
age
tenplacel'obligation de déclarer
de déclarer les transactions », qui
les équipes de
suppose
s
récemment les
récen cessions temporair sion et de nombreux échanges avec les marchés ensupervi
(etplus
de titres) cause.
(etacnensions et prëts/emprunts Lorsque des cas
atypiques sont détectés, leur
o m m el e s
analyse
derives

de données.
exige d'y consacrer des ressources
sr

es,cels centraux
rentiels Cenuarts considérables
efforts
des.
des acteurs pointues
considérables
et coüteuses, de sorte
techniques et humaines
je les
algréconformer que le recours à des tech-
deset
Acejour,. se
ligations, torce niques basées sur l'IA et le machine
à ces oblig
learning permettraitde
p0ur
termes de détection des faire ce travail de
marene

t econsta
rque ce but-

iblement pas
n'est visible atteint.
pré-instruction. La déjà au
Uni, et la SEC, aux Etats-Unis, ontFCA, Royaume-à
commencé
de -

erviseurs
supervise

les
p an rt é m o i g n e u n e «
e étude récente de la Banque de explorer la façon d'exploiter de grands volumes de don-
isques
c e n t raux données", il'ana-
a u x de données'5 nées pour déceler de
les réfërentiels potentiels abus de marché ou cas
CO r infrastructures est encore de fraudes (par exemple des cas de mauvaise
sancenées issues de
ces
conduite
de qualité des données des conseillers en investissement), en se basant sur un
des problemes
1 senceen raison
d'harmonisation des formats de reporting, algorithme auto-apprenant analysant les déclarations
de double comptabilisation reglementaires, qui comportent à la fois des données
tdnter les problèmesDes
sns compmanquants. Des ttravaux d harmonisation structurées et non structurées.
manquants.

etde
champs sous l'egide du CPMI et de IOSC0 Ace stade, et comme le reconnaît
Scott W. Bauguess
ues éré lancés, e n c o r e des
avant
d'aboutir. Dans
années a de la SEC, les ordinateurs utilisés par lAutorité, aussi
rendront sous-exD itent les seules sophistiqués soient-ils, ne sont pas encore capables de
superviseurs

les
te attente,
ete
atentcihies et
et rreconnaissent
eco
eux-mêmes que les mener defaçon autonomedes investgations et enquêtes
dispOnibles

données raison notamment

de contraintes mais peuvent simplement guider les controleurs et ins-
produites (en vérital pecteurs dans la bonne direction. Ils ne peuvent-et c'est
analyses
ne permettent
pas de donner de itables
hudgétaires)
tendances et risques de marché". Il en va une bonne chose-décider seuls dulancementd'une pro-
unuX Sur les de marché. Le secrétaire cédure disciplinaire et P'interaction humaine demeure, à
les régulateurs
demême pour avait lul-meme reconnu, dés 2014, que ce jour encore, indispensable.
l'AMF
néral de trade repositories ne seraient
transmises aux
ies données les effectifs de Pour conclure, la plus-value des SupTech ou«RegTech for
explotables et que
supervisors » réside dans leur potentiel de surveillance (des
immédiatement
Es
ne permettraient pas de remplir
autorité
lautor
-
en 1l'état -

données) en temps rel, afin d'assurer une plus grande

cett tâche". réactivité (automatisée) des directives et réglementations
de la Banque des Reglements Inter
lne érude récente difficultés aux conditions des marchés. Il s'agit
d'un véritable chan-
enfin qu'au regard de ces modèle de gouvernance
nationaux montre gement de paradigme
vers un
lIA et le machine learning appa-
dexploitation de données, Ces tech- automatisé" qui n'est pas
sans risque. superviseurs
Les
solutions prometteuses. noire » etsi l'on
raissent comme des plusåà«l'effetboîte
différence des traitements classiques n'échappent pas non
des outils d'IA pour
nigques peuvent, à la identifier rapide- peut concevoir qu'ils aient recours à
ou a fortiori manuels) (comme les services de
(automatiques
les données aber- les aiguiller sur certaines pistes
recours à Ana-
ment les incohérences de données, peuvent avoir
d'anomalies (p. ex., valeurs police ou de gendarmerie saurait les
les
(outliers), patterns leurs enqutes), cela ne
tantes
crim dans le cadre de notification de
de l'instruction et la
dispenser, au stade
lesquelles ils pensent
griefs,d'expliciter les raisons pour
sanction.
D. thaptre 16: https://publications.banque-france.fr.
au rendez-vouS »,
Les kCnos, pouvoir ouvrir
une procédurede
BO5eau, « Dérivés: la transparence n'est pas
2. L encore

17 mars 2015.
Elements (other than UTI and UPl)
harmonisation of Critical OTC Derivatives Data
Technical Guidance Isued by CPMI-IOSCO. octobre 2018, BIS.
Banque Centrale,
Fisher sur les statistiques
Settlements), « Ihe Use of 40. Comité Inving 27 novembre
2018.
Van lelyveld (Netherland Bank; BankofInternationaland Challenges ». « Developments
in RegTech and SupTech »,
ESMA,
Possibilities 41. P.Amstrong, Supervision, 2018
ervatives Trade Repositories Data: utilisateurs et SupTech : leveraging
Technology for Better
Poullennec, « La sur les dérivés met au défi
régulation 42. V.: Toronto Centre,
egulateurs », LAgefi, 12 février 2014.

DROIT-OCTOBR

HORS-SÉRIE BANQUE &

 La régulation
des intelligences artifhcielles

Les intelligences artificielles L'usage des IA suscite des craintes

tant les avantages attendus. En
justifé.
effet, si elles Onoh
sont encadrées par les principes utilisées bénéfice des individus
au
(avaneéent
de détection de cancer, par
généraux du droit de la protection exemple),
lement pour évaluer les individus à deselles le sont égg ins c
des données. Le RGPD consacre ciales publicitaires encore en tant awe
ou ou

prise de décision dans P'octroi d'un crédit. ide àla

notamment un droit au non-profilage, rance, le recrutement d'un candidat... La d'une as
vient également d'un caractère inhére
craininte
NATHALIE
etl'application de principes généraux érent aux Big pro.
METALLINOS centralisation de grandes masses de données oD
de finalité et de minimisation, ainsi des risques importants de sécurité et plus
Avocate assOCiee
ldea perte de contrôle pour les individus. ement de
AARPI que de loyauté et de responsabilité. La nécessité d'offrir une
protection
aux
aux
individusface
nouvelles formes et capacites de traitement
Chargee de cours
assez naturellement, l'un des piliers de la
estainnsi,
Université René
edéveloppement de l'usage des intelligences cadre européen de la protection des données n
réforme i
Descartes et
Conservatoire artificielles' (ci-après les « IA ») permetant nelles quis'est traduit par ladoption en2016du Bn
national des arts d'exploiter et d'analyser en un temps record RGPD.
L'introduction de dispositions VIsant spécifiquement
et métiers et de manière inédite des données en masse la massification du traitement des données et le
prof.
nourrit les débats et questionne tant sur le plan lage des individus°, l'obligation de mettre en ceuvre des
éthique que juridique'. Si leur traitement n'implique mesures de protection des données
par défaut et protec.
pas toujours le traitement de données à caractère per- tion des données dès la conception' et
sonnel et peut viser à générer des connaissances géné- tormaliser des analyses d'impact sur la
l'obligation de
protection des
rales, beaucoup d'usages ont pour objectifd'inférer des données traduisent cette prise en compte.
connaissances sur les individus et sont soumis de ce fait Par souci de concision, la
à la législation en matière de protection des données
présente contribution sera
centrée sur la façon dont le droit de la
personnelles' pour adapter le droit français au RGPD. protection des
données à caractère personnel,
appréhende les IA, en
consacrant un droit au
non-profilage (1.), ainsi qu'en
analysant leur légitimité au travers du prisme des prin-
1. l'usage du pluriel sera préféré dans la mesure où l'expression « intlligence cipes généraux de finalité et de minimisation, ainsi que
de loyautéet de
artifcielle » renvoie à des technologies diférentes (logiciels d'automatisation et
de robotisation, algorithmes apprenants ou « machine learning », supervisé ou non
responsabilité (II.).
par un humain, simple ou profond..), v., dans ce mëme numéro, la contribution de
Jean-Michel Lefevre, « Petit lexique de l'A », p. 51.
2. la présente contribution se centrera sur les
enjeux juridiques. Sur les
éthiques, v., dans ce même numéro, la contribution de Marina Teller, «enjeux
Ethique de
et lA: un préambule pour un autre droít », P. 38.
3. V. pourune approche globale des
problématiques juridiques:Alexandre de Streel et
Hervé Jacquemin (coord.), L'intelligence artificielle et le droit, Crids, Larcier, 2018;
Vv.également: Alexandra Bensamoun et Grégoire Loiseau (dir), Droit de l'intelligence 5. V. Jean-Sylvestre
artifcielle, Lextenso, à paraitre. Bergé et Daniel Le Métayer, « Phénomènes de masse et droit des
données », Comm. com. électr., 2018, étude
4. Notamment PE et Cons. UE, règl. (UE) 2016/679, avr. 2016 20., spéc. p. 10.
27 relatif àla protection
des personnes physiques à l'égard du traitement des données à caractère
6. V.la référence aux traitements «
dgrande échelle » et à« lévaluation systématique et
età la libre circulation de ces données,
personnel approfondie d'aspects personnels fondée sur un traitement automatisé » aux articles
et abrogeant la directive 95/46/CE (ci-après (obligation de formaliser une AIPD) et 37 du RGPD 35
« le RGPD
»); et, en France, la loi n° 78-17 du Loi Informatique et libertés du 6janvier àla protection (obligation de désigner un delegue
1978 relative à l'informatique, aux fichiers et aux libertés (ci-après « Loi Informatique des données), que définition du profilage à l'article 4) du
ainsi la
RGPD intégrant l'analyse et la
et libertés »). prédiction d'éléments concernant une personne.
7. Article 25 du RGPD.

HORS-SÉRIE BANQUE & DROIT- OCTOBRE 2019

 ANSÉCRATION D'UN DROIT
L AC O N S E
algorithmique des environnements
UNON-PROFILAGE riques", atteinte à la dignité
interactions numé et

regard des autres technologies

tion", impossibilité humaine
de contester une
ou
déshumanisa-
ieularité des
IA a u
es serait constituée notamment
Pour contrer ces décision..
indecision..
risques, individus se voient recon-
isques, les
les
Lapartie
traitement de. naître des d-
naître des droits par la
données personlégislation
caractère imprévisik
caractère imprévisibledes
é l é m e n t s s u i v a n t s 3 ; le

éments
suivants": tion sdes données matière de
n en matière de protec-
r e s
elen

des algorithmes (génération automatique personnelles. En premier lieu, le droit

àl'autodétermination
sultats
dujeu
Dartir desquelles déduite ouiinfe- sont
àl'article informationnelle introduit 2016
1" de la loi en
latondonnées), l'opacite traitement des
elations
du aux Informatique
individus le droit de
et libertés" confere
décider et de contrôler
de
co

«
les usages qui
nhénomène
données( p h e
boite noire ») rendant très dif. sontfaits des données à caractere personnel les concernant
de «
Ce
des raisons conduisant au résultat
».
droit sert de cle de lecture des autres droits
et principes
l'identification

hle
ie lidece
ndanceà utiliser toutes les données disponibles de protection contenus dans le RGPD et la Loi Informa-
à utiliseri
p r o d u i t ,t e n d a

nduit,
limitesetde
façon quasi instantanée (volume, variététique et libertés. Il se décline notamment en un droit au
disruption
dans la alité des traitements, non-profilage qui a plusieurs facettes. En premier lieu,
vocdlocité),
lonnées nérant des connaissances nouvelles utili-
r velocité),
un droit discrétionnaire et spécifique d'opposition à ce
s

6
don,

inattendues. que le profilage soit utliséà des fins de prospection com-

des finalités risques merciale, a été instauré par l'article 21, 2) du RGPD, en
des
istiques doivent être ajoutés
pour
Sees
ss
A ces caractérist

en tout cas amplifiés, par

les IA: propen- complément du droit à ne pas faire l'objet de sollicita
pécitiques, ou conduire à des discrimi-. tions commerciales du droit d'opposition général prévu a
biais pouvant
ianà générer des en l'objectivité des l'article 21,1) du RGPD. Ce dernier permet aux individus
exacerbée par une croyance à
nations',
enfermement algorithmique, manque
de d'invoquer leur situation personnelle pour s'opposer
algorithmes, traitement de leurs données à caractère personnel, y
(données erronées, périmées ou cor- un à des fins statistiques
estréaliséa
ualité des données des e r r e u r s ou des dysfonctionne- compris compris lorsque
celui-ciest réalisé
à moins que le traitement
ompues) entraînant ou de recherche
recherche scientifique,
hypertrophie de la sphère d'une mission d'intérêt
ou moins graves", nécessaire à l'exécution o
ments plus ne soit nécessaire
l ' i n t e n s i f i c a t i o n de la
personnalisation
du RGPD).
privée créée par public (article 21, 6° résulte éga-
le droit au non-profilage
En second lieu, d'obtenir le
dans certains cas,
lement de l'obligation, de la per-
la main? Les enjeuxéthiques express et
partois explicite
à l'homme de garder animé consentement
données à des fins de
8. V.CNIL, « Comment permettre artificielle », Synthèse
du débat public traiter ses
de lP'intelligence la loi pour une concernée pour intrusif
des algorithmes et confiée sonne excessivement

cadre de la mission de réflexion éthique raison du

caractère
dans le
par la CNIL, https://www.cnil.fr/sites/default/fles/

profilage, en
V.également lesrapportsde
décembre 2017:
Trepublique numérique,
Royaume-
de contrõle du
atoms/files/cnil_rapport_garder_la_main_web.pdf.

Commissionner Office), 'Autorité ,

CO (Information and Data Protection
Machine Learning
Artifice Inteligence,
https:/fico.org.uk/media/for-organisations/documents/2013559 la donnée
Uni, Big Data,
«
le fétichisme de
du Datatilsynet, PAutorite
sans personne: annuelle
Des données in Étude
ars 2017, 2.0.,
V.
spéc. p. 9, et 2016, Rouvroy, «
l'idéologie des Big
Data »,

Privacy Report, javier

Dg-02ta-al-ml-and-data-protection.pdf,

12.
V.Antoinette

l'épreuve de la
Documentation

Intelligence and personnel à fondamentaux, 2014,

P.17:https://www.datatilsynet.no/globalassets/global/english/ai-and-privacy.pdft.
norvégienne, « Artificial à caractèred'Etat: le numérique et les droits
EControle à l'homme
de garder du Conseil
française, pp. 407-422. être
r a t i o n n e l l e s et
justifées sur
Comment permettre établi peuvent s o c i a l e m e n t injustes,
de risque
9. Biaisnotamment relevés par la CNIL,
«
sociétal car
attributions de profhil sur le plan
13. Les inacceptables
cit.
0p. cit., spéc. p. 31
lamain?.., défense de
l'éprouvante
statistique,
mais
0p.
une République
personne...»,

Pour une le plan données sans

« « Des octobre 2016 pour
10. V.sur cet aspect AntoinetteRouvroy, sans épreuve du
politiquede V.A. Rouvroy,
la loi n°
2016-1321
du 7
face à l'opérationnalité philosophie introduit par
operationnalité du droit Dissensus,
Revue de
https://popups.uliege.be/2031-4981/ 14. Droit
numérique (art. 54).
nportementalisme numérique »,
127:
lUniversité de Liège n°4, avril 011, p.
DROIT-OCTOBRE 2019
inde.php?id=g3 diagnostic
médical.
Par exemple une erreur de HORS-SÉRIE BA
 estprésumé lorsque
earactere mtrusifde
vation limitée,
sécurite et
du protilape", Ce
décision autom à lamise en æuvre des Alodès responsabilité)
Ie traiteent a

tisce ou
a des
pour objet
conscquences
la prise
affectant les individus de tère personnel sont
des IA est opposé aux
lors que des ani.
utilisees produites oue
ou
do
ouonnées auis'appliq
manicre NIilairc.
individus de que le
Lcprofilage d'une pcrsonneà
des fins de prise de déci- Ces principes
s'appliquent tant a la maniere: rés
sion automatisec
ou produisant des effets juridiques afec- (accumulation de données et phase de
tant de manière sgnificative de façon similaire »" est ainsi
interdit par principe par le RGPD (article 22), assurant la
corrélations), qu'à la phase traitement ur produireeptioden
révéler des informations surd'application (
conceptio
ontinuite avec la directive 95/46/CE et la Loi Informatique
ct libertés. Cette interdiction n'est toutefois pas absolue.
décisions ou autres mesures les
les
personnes
ore
affectant oshdre
lisation po
Des exeeptions s'appliquent ainsi lorsque le traitement est
conditionne la licéité de l'utilisation
rer des connaissances des A Jeur respeddes
nécessaire à la conclusion ou a lexécution d'un contrat individuelles. a géne.
avec la personne concernée, ou dans l'hypothèse d'une 1. La réutilisation des
principes de finalitéonnées par les
autorisation législative"; ou encore lorsque la personne
les
a explicitement (et librement) consenti" au traitement. et
Ces exceptions ne s'appliquent toutefois
un certain nombre de
que moyennant L'usage des données a caractère
minimisation
garanties : la reconnaissance d'un personnel
droit à une intervention humaine, d'un droit de discus- questionne en premier lieu les principes d
n-

sion et de contestation de la décision. minimisation. Aux termes des

S'ajoutent à ces I, a) c)
et du RGPD, des données àdispositions de b etde
garanties, pour les traitements fondés sur la nécessité doivent être collectées et traitées caractère
contractuelle: la démonstration du caractère nécessaire perso
pour une fnaionhe
du traitement au regard des autres minée, explicite et légitime, ne doivent
méthodes tout aussi pas er dete.
efficaces et moins intrusives ultérieurement de maniere incompatible
pouvant être utilisées" ; pour et doivent être avec cette ee
ceux fondés
l'autorisation législative:
sur adéquates, pertinentes et limitnalité
garanties pour la sauvegarde des droits et l'exigence
de est nécessaire au
regard desfinalités pour
libertés de la
personne"; et pour ceux fondés sur le consentement: la sont traitées. Ces
dispositions sont
lesaneli
démonstration du fait que la personne concernée destinées
réutilisation arbitraire à nré
tant la collecte que la
d'une véritable liberté de choix dispose à caractère personnel et de donn
après avoir été parfaite- de garantissent en
réalitél'ahsen.
ment informée sur le
traitement. Ces exigences visent du surveillance généralisée des personnes et la lou
à limiter les traitement vis-à-vis
risques présentés par l'utilisation des IA. des
personnes oyauté
Le respect de ces
principes peut concernéesi
toutefois paraître
un obstacle au
Il. LES IA AU PRISME il est attendu de développement des IA dans la comme
mesure a
AVEC LES PRINCIPEs
ces dernières
qu'elles analysent le plus
de données
GÉNÉRAUx DU DROIT possible dans l'espoir qu'elles
corrélations inattendues pouvant révèlent des
DE LA PROTECTION DES conduire à un usage
DONNÉES
À CARACTÈRE PERSONNEL
nouveau des données ou des
Tel n'est pas le cas. Le connaissances nouvelles
RGPD prévoit en effet une cer
taine flexibilité concernant
Lalégislation des l'usage ultérieur,
matière de protection des données
en dérogations permettant tenir compte des de
ainsi que
sonnelles fixe un certain per-
nombre de principes (finalité, cularités des LA tout en assurant le pari
transparence, minimisation, exactitude, durée de libertés des respect des droits et
conser- personnes à l'égard du traitement de
données à caractère leurs
personnel.
Ainsi, c'est par la réalisation d'un
test de «
que le respect du
principe de finalité seracompatibilté
15. Tel est le cas des *
profils dont le niveau de détail est excessif assuré. Acet
trop précise), ou
présentant pas qu'un aspect limité de la (segmentation par
ne égard, le RGPD
n'impose pas les
susceptible de produire des discriminations ou des erreurs
personne, profilage utilisées pour la même que données soient
notamment du fait du manque
Lignes directrices relatives à la d'assurance sur l'exactitude
d'appréciation
des données. V. G nouvelle finalité, s'il y afinalité, mais uniquement que la
au
profilage fins du
aux
prise de décision individuelle
automatisée et
29, lieu,
ayant permis la collecte. D'une
soit
compatible
avec celle
Wp25irev.01, p. 16, Comm.règlement (UE) 2016/679,
com. électr. adoptées le 3 octobre 2017,
2017, comm. n° tement sera considéré manière générale, le trai
16. V. sur les 14, nos obs.
incertitudes de cette comme
17. V. sur cette
interdiction,
notion, G29, Lignes
Judith Rochfeld, l'encadrement des
directrices.., op. cit., p. 21, compatible s'il est dans e
prolongement de la finalité du traitement
paralgorithme », Dalloz IP|!IT,
«
décisions prises de base", qu'l
18. La prise de décision septembre 2018, p. 474.
en droit français (loi administrative automatisée a ainsi été rendue
n°
2018-493 du 20 juin 2018 ayant modifié possible 22. Pour éviter les
Informatique etlibertés transféré à 'article 10 de la loi phénomènes de life login »:].-S. Bergé et D. Le Métayer,
décembre 2018). V., sur cette l'article 47 par 'ordonnance n°
«
du spéc. p. 10.
12
2018-1125 op. dl,
et données à
caractère personnel » inpossibilité, Anne Debet,
Intelligence «
artificielle
23. Le scandale
Cambridge
massif et incontrõlé des Analytica
A. Bensamoun et
Finteligence artifcielle, op. cit.
19. V.Anne
G. Loiseau
(dir.), Droit de
est un
exemple des
données ayant permis un conséquencesded'hnaline un tra ent
Debet, « Le consentement dans le Debet, «
L'ICo, autorité de protection des détournement :.

données, Rôle et définition », Comm. Règlement Général sur la Protection des

com. électr.
de soo o0o
livres à l'encontre de données anglaise, prononce
une sancu
20. Ibid. 2018, n° spécial avril 2018, Etude n° Comm. com. Facebook dans 'affaire Cambridge Analytco ,
21. V. sur ces 9. électr.,
24, V. sur le test,
2019, com.92.
garanties et les Groupe de l'article 29, Opinion o3/2003 on
administrative: Anne Debet,exceptions applicables à la prise de décision 2013, WP203 (disponible en anglais purpose lima compte mt
personnel », op. dit. Intelligence artificielle et données à caractère
«
des
inalités
Le traitement des données
pour lesquels les données ont été
devra
tenir
gestion des clients, exécution du collectées initialement (par eNeu
contrat de travail...) et
5. Ainsi
P'utilisation des données uniquement).
collectées dans le cadre d'une demande ae
ui
HORS-SÉRIE BANQUE &
DroIT-QGTORR T
 donnces
scnsib
bles ou des données conditionne la reconnaissance de la finalité
d que le « tésultat du traitement
des pénales et ce
ne satistique a

caractere personnel mais des données constitue pas des données a

nations
sur

e t 1o o
du RGPD, que les
g
oc01C8 ux
a u r
articles

ncernée ne sont pas

concernée
(Cs donnes a agrégées et que ce résultat ou
caractere persomnel ne soient
la relation, des droits, pas utilisé a
personne

la de lar mesures ou de décisions concernant l'appui de

espour
mces
pou

une
que

du
contexte

personneconcernée"etque culier ».Cette double personne physique en

parti
s
sal intérêtsdela
1egard
exigence peut mettre à mal la
surer
telles

le respect des
la pses
la pseudonymisation bilitéd'invoquer la présomption de compatibilité possiles
es
particulieres,

t", permettantd'ass. systèmes reposant sur des lA si les données utiliséespourdans

sécurité sont mises
finalité, minimisation et, laphase de conception sont conservées sous une forme
test de compatibilité» s'inscrit non agrégée. Elle est par ailleurs clairement écartée dans
sation du
«
yaineipe
d s e

responsabilité (accounta- lhypothèse d'une finalité statistique pour la phase appli-

redémarche desera au cceur de la for
forma cation lorsque des
algorithmes
ite
nalyse d'impact sur la protection des.don des fins de prise de décision. prédictifs sont utilisés a
démontrer Le RGPD offre une voie de sortie
être entreprise pour lorsque la finalité du
je
sAPD)4
devra
traitement paraît incompatible en
yontormite
m i t éd u t r a i t e m e n t .

d ut r
ailleurs une présor
prévoyant que le trai
RGPD pose par mp tement peut quand même avoir lieu avec le
consentement
b) du
L h t h l,e 1 b ) d u
traitements réalisés a de la personne concernée ou en
mondecompatibilit
natibilité pour
les
conséquence d'une obli-
scientihque
historique ou à des fins gation légales.
he
recherche
tmises en ceuvre les garanties I peut toutefois paraître difficile
lors que
sont
d'exploiter ces possi
l'article 87 du RGPD (dont notam- bilités, soit parce qu'aucun texte ne prévoit le traitement,
dès
s à pour assurer le respe
r é enisation
proprees
prév
du principe soit que les conditions permettant d'obtenir un consen
eminimisau01,
dony
separation
ration fonctionnelle entre la phase tement valide ne sont pas réunies". La solution, en pareil
ation pour asurer le respect du
t i o n e td ' a p p l i c a t i c
cas, sera soit de revoir les conditions du traitement afin
derendre le traitementcompatible (par exemple en assu-
cepto
de
l est donc tentant de faire entrer
en CPUvre dans la phase de conception rantla pseudonymisation les données ou en modifantles
panicipe

d'application de la presomption effets du traitement sur les personnes), soit plus radicale
Tite lechamp ment d'anonymiser les données. Dans tous les cas, l'ana-
champ
ou de
wtraitements à des fhns statistiquesl'usage
dans
de
IA très
s
et ce, d'autant que, lorsque
lyse devra se faire au cas parcas*.Ilya toutefois une
torte incitation à ce que les traitements réalisés a l'aide
che scientifique"
le traitement ultérieur peut repo-
Ompatible, traitement initial
des IA soient effectués à l'aide de données anonymisées
juridique" que le pseudonymisées, notamment dans la
même base c o n s e n t e m e n t dans le sec-
Ou tout au moins
ou
deuxième série de principes
s entintérêtlégitime
mission d'intérêt général
dans phase de conception. Une
assurer la conformité des
d'une lA avec
nrivéetpoursuite le 102 Considerant
du RGPD doit être respectée pour
des données per-
etr Dublic). Toutefois, la législation en matière de protection
esecte
prévenir le biais algorithmique.
sonnelles et en particulier

2. Le biais algorithmique l'épreuve

informations
relatives å P'historique des
relations
à
largement les le risque de crédit
ainsi que plus pour évaluer d'exactitude
auecle
demandeur au
credit
peuvent etre utilisees
tutilisation
de donnees
collectées sur les
réseaux
des principes de loyauté,
hnalité: v. ICO rapport,
présenté par personne.
une
cette meme
á l'oppose
incompatible pour et de responsabilité
saciaux parait
3. d'assurer un
qp.at, spec. P. RGPD. l'obligation
considérant du
stricte a) du RGPD pose
L'article 5,
h. V.artide 6, 4)
et so'
etre pris en compte,
comme la
et transparent
des données à carac

traitement licite, loyal

egalement conservées.
éléments peuvent individuelles sont
7. D'autres
durée pendant laquelle
les données tenir compte des
de
Cette exigence impose
l'entraînement
imitation de la utilisées pour
de conception,
les données
statiques, une
fois tère personnel. ainsi que des
attentes
Ainsi, pour la phase tous les cas.
Pour les mod les concernées,
conservées dans l'algorithme. intérêts des personnes vis-à-vis des
traitements
n'ont pas á ëtre devraient être
alors retirées de
ces personnes
raisonnables de
données
emodèle établi, les et 4)
Datatilsynet, op. dt., p.
18.
RGPD pour les Le RGPD (articles 13
V.encesens, l'article 35 du l'intérêt légitime". du
d'une AlPD est imposée
par å fondés sur tout long
au
individuelle prévu des personnes,
8. la formalisation décision
relevant du régime
de la prise de taire
obligatoire ainsi > ' n f o r m a t i o n des traite-
traitements devant prévoit caractéristiques
fratements
22 et la CNIL intégré
dans la liste des ont recoursa surl'existence
et les
finalité, basejuridique,
a
qu'is lors
artcle profilage dès traitement,
les traitements de simple
2018
AlPD externes: v. CNIL, Délibération n° octobre
2018-327 du
11
de traitement, les
objetd'une sources traitement pour
lesquelles ments
(responsable
conservation...),
ainsi que sur
0ESdonnées de durée de
liste des types d'opérations Ot. d'existence
Comm,
portant adoption de la est requise, destinataires, en cas
relative à la protection
des données
tiennent du RGPD, et,
analyse d mpact qu'elles
Metalinos.

e Debet et Nathalie droits

Ra, 2019, Comm.
n° 4, obs. Anne relèvent du domaine ae e
la

traitements d'A
de considérer que les des données tondee sur
Sur laposibilité de l'autorité norvégienne de protection de la notion de recNercne
erCne la position
du RGPD invitant à
une interprétation
large
dans sa
rédaction issue de
17:nupsw et libertés
y consioerant intelligence and privacy Report, janvier 2018,P.L'autoritë emet toUrerois

l'article 4, 2)
de la loi
Informatique
cette
interdiction.

synet, Arthcial
et.nolglobalassets/global/english/ai-and-privacy.pdf. 31. décembre
201
reprenant

aeveoppa du 12
les modèles dynamques (se
l'ordonnance
ent 0 consid rant.
la protection des
considérer que diféërencier la phase sur
la possibilité de de Articdle 6, 4) et o' général
SUr donc diffhcile 32.
dans le Reglement
lesquels il est le consentement
ontinue et pour
«
rechercne Debet,
relever de la 33. V.A. Cit.
46 (disponible
n de l'application) puissent être mis en ceuvre que
s Role et
dehnition », 9p.

limitation, 2
avril 2013, WP203, P.
plon peut
traitement ne
données,
on purpose
qu'un e
a intérëtsvitaux og/2003
t GPD prévoit légales suivantes: le consentement, des 34. G29, Opinion
uniquement), p.
21.
interes
la sauvegardedes
des bases
nde sur P'une légale, enhn l'interet
legiime en anglais

contractuelle, le respect d'une obligation d'intérêt public

ou
libertës et
ibe 35. V. Supra,
note 31.
d'une mission les droits et
execution
d ro de traitement à moins que
ne
prévalents
35
u responsable OCTOBRE 2019
intérèts de la personne concernee
HORS- BANO
 'one prise de décIsiOn avtomatisee, prévoit un droit à
l'eaplication (intormatin sur la logique sous-jacente) et reconstituer un raisonnement «

défaut en
l'occurrence. Ains1, le ou lne.
»

lex consequences du traitement à

leur égard". La recon-
rapportcausalité
Vit laiSa
la
naisNanced'un droit à l'explication pose des diflicultés aux possibilité d'auditer les
acteurs notamment s agissant des algorithmes
apprenants
soumettant
créer de très
de algorithmeslani evoqy
multiples fausses
Nansinternvention humaine compte tenu du
phénomène de
boite noire dejà évoqué. Toutefois, cette difliculté suivant des nombreux profils d'utilisateure eemple
donnéeses d'entrées
la
pas
»

insurmontable car ce n'est pas tant la présentation de

n'est caractéristiques précises... eurs du s
YSt
tonctionnement interne de l'algorithme qui est attendue eme
serait d'assez peu d'utilite pour les (i 1. CONCLUSION
personnes concernées
quin'ont en principe pas les connaissances
le comprendre) que la permettant de Le
droit de la
manière assez protection des données enca
communication de la nature des
données utilisées et
l'objectif d'apprentissage inculqué7. exigeante et complète l'usage
cadre
l doit être possible de
présenter une explication simple
ses
implications
comme une forme de individuelles. Il peut done densi d
dans tous les cas.
résistance seAda
Par ailleurs, la nécessité de
protéger les personnes
la
gouvernance des algorithmesaux tentatives vo
conséquences du biais
des tefois, l'encadrement des IA à l'état de dPose
prisc en algorithmique est spécifiquement
compte parle RGPD" des données par le
ne couvre droit de la To
qui appelle à la mise en ceuvre pas toutes les
de
moyens permettant de réduire les
discrimination, afin de permettre un risquesd'erreurs ou deet
législation matière de protection facettes
nelles ne
en

s'appliquant que des donnéa,la protection

traitementéquitable
transparentàl'égard de la personne concernée. caractère personnel sont pour autant que dec ason.
concerné et
tion de prévenir les
ment dans la
Cette obliga-
risques d'erreurs (qui s'impose notam-
phase de conception où les moteurs d'IA sont
une
pris compte les impacts des
en
uniquemenlonnéesa
perspective individualiste. Ne sont ne

entraînés) découle tout autant du données non personnelles lesalgorithmes trait Pas
ticle 5, 1), d du RGPD principe d'exactitude, l'ar- lectifs. Il ne
ou
résout pas plus touseffets sociétant de_
imposant, lorsque les conditions du les
raitementl'exigent, la vérification de la qualité des données. problèmes de
ponsabilité pouvant se poser, notamment
Dans le contexte des IA, le
traitement sera considéré responsabilité entre les différents acteurs artage de
le Darta
comme loyal s'il est
possible de démontrer que traitement, sous-traitant et aussi (responsa
programme ar de
rithme fait (exclusivement) ce l'algo- ment au regard de
l'obligation de tenir
qu'il est censéfaire et otam-
ne
reproduit pas les biais présents dans la société0,qu'il cipe de protection dès la conception compte du prin-
nécessité de disposer de La bien que prévue par le RGPD (privacy bu desian
systèmes capables d'auditer les n'impose
algorithmes découle
ainsi directement non seulement de
aux
concepteurs des IA. Une des pistes aucune obligati
à étendre à toutes les LA pourrait consistes
l'application du principe de loyauté, d'exactitude, mais par la certains des
mécanismes pr.
aussi du principe de
responsabilité (accountability) défi-
vus
nées
législation en matière
protection des don. de
nie aux articles 5, 2°) et du RGPD et 24 qui impose
personnelles, comme le
principe de
pouvoir démonter la conformité. D'aucuns opposeront
de
(accountability), la place des
mécanismes responsabilité
de
le phénomène de la « boîte noire »
et de
labélisation, apportant des assurancescertification
évoqué plus haut pour et de d'audibilité
traçabilité destinées notamment à démontrer
considérer qu'un tel audit n'est l'ab
techniquement pas envi-
sageable, les corrélations étant inférées par les IA selon
sence de biais
et des IA.l'efficacité
des règles créées par ces dernières et sans
qu'il soit pos-
sible à l'intelligence humaine de
comprendre le procédé
ayant conduit à l'inférence. Toutefois, il est avancé que
l'évolution de la recherche pourrait permettre de mettre
au point des systèmes d'audits performants et adaptés
aux AI", l'audit ne nécessitant pas nécessairement de

36. Les opérateurs de plateformes ont P'obligation d'assurer la transparence des

algorithmes qu'ils utilisent, même en P'absence de prise de décision automatisée,
ds lors qu'ils classent, référencent, trient et/ou suggèrent des contenus, biens ou
services (articles L. 111-7 et L. 111-7-1 du Code de la consommation).
37. V.en ce sens, position de
Dominique Cardon: Compte rendu de l'événement,
organisé par la CNIL, de lancement du cycle de débats publics sur les enjeux
éthiques des algorithmes, 23 janvier 2017: https://www.cnil.fr/sites/default/
files/atoms/hles/compte_rendu_table-ronde_--ethique_et_numerique_les
algorithmes_en_debat.pdf.
38. V. Nicholas Diakopoulos et Sorelle Friedler, How to Hold Algorithm
«

Accountable? », MITtechnology Review, 17 novembre 2016: https://www.

technologyreview.com/s/602933/how-to-hold-algorithms-accountable/.
39. 71 considérant.
40. En ce sens, v. Résolution du Parlement
européen du 12 février 2019 sur une
politique industrielle européenne globale sur lP'intelligence artificielle et la IA par des experts competents dan
robotique (2018/2088(INI)) (Point U). ce point et propose de développer l'audit des
domaine (p. 145).
41. Le rapport Villani (op. it.,
p. 23) relève ainsi la nécessité de réaliser des progrès sur 42. En ce sens, A. Rouvroy, «
Des données sans personne.., 09.
t.

HORS-SÉRIE BaNQUE& DROIT-OTOBRE 7010

 GOUVERNANCE
de Risque, Conformité et
financiers, les sociétésontrole
tions
ston
dans" les
ssurance, les étmutuelles
ablisse ET FONCTIONS CLÉS
b a n c a i r e s e t

subid'aune
nents
e t les s o c i
és de gestion dactifs ont
DE
du temps, sous
lsion des profonde mutation RISQUE,
uis lemergence des des premiers texte
utions
-
normes
au
début des réglementaires,
DANS
NFORMI TÉ ET
tTABLISSEMEwTS CONTRÓLE
CONTROA
lus
récentes
t-crise. années 1990
ont, en outre,Les exigences en matière ANCIEAS
NNemance
établissement
été structurellement modi- BANQULS,
évol
ons des directives de ASSURANCES,
REGLEMENTATIONS TUROPLENNES
sociTiS
aux

européennes oI

pour lesnotamment Solva-

reurs et mutuelles; CRD ET GiSTION
grace
s assureu

2 pour
les

et entreprises 'investissement...
4 Yedton RAMÇAISES
ite

a n s
A s s e t
M a n a d

ent, les normes de

établissements de
ement évolué, des
controle des risques et
normes des rému-
neration
plus
dant
les
rémunérations des preneurs de
risques des fonctions enca
et contraignarntes
tróles ayant no etamment été développées par les risques etautorités
e supervision.

européennes
cerne la
gouvernance,. évaluation des
En ce
trateurs
qui
compétences
la prévention des conflits dintérêts
ainsique des admi MARIE-AGNÈS NICOLET
fait
ont rait
n s t e t

de, publi par la Banque centrale européenne et dorientations l'objet dun

lobjet
réglementations hors Europe ayant apporté des précisionsde lEBA:
FUOe

dautres

oté et la défnition des administrateurs sur la RB

nCessit
indépendants. (omiow

Denouveaux
thèmes ont, parailleurs, intégré le périmètre de
fonction compétences
Conformité (utte contre la corruption, protection des don GOUVERNANCE ET FONCTIONS CLÉS
nées personnelles. DE RISQUE, cONFORMITÉ ET
CONTRÔLE
Cet oUvrage présente les caracteristiques de ces fonctions clés qui consti" DANS LES ETABLISSEMENTS FINANCIERS
Dent le socle des dispositifs de contróle interne et de gestion des risques, BANQUES, ASSURANCES, SOCIÉTÉS DE GESTION
nsi que les nouvelles exigences pour les organes de gouvernance des éta- REGLEMENTATIONS EUROPÉENNES ET FRANÇAISEs
blissements. Marie-agnès NICOLET, 228 pages, 26 ¬, 3 édition

Lesfonctions successivement décrites sont

la fonction Conformité. Marie-Agnès Nicolet est Présidente de Regulation
La fonction de responsable des contrôles permanents. Partners. Elle est diplômée d'HEC (promotion 1989)
TRACFIN.
Le responsable LCB-FT Le correspondant/déclarant et dispose de 30 ans d'expérience dans les
domaines
-

d'investissement RCSI et RCCl. conformité auprès

Le responsable du contrôle des services du contrôle, des risques et de la
tout dabord
la fonction Risques. des institutions bancaires et financières,
d'information (RSSI). du
sécurité des systèmes dans l'audit externe, puis en tant que responsable
La fonction de responsable de la de 1991 à 1998, enfin en
controle interne dune banque
La fonction de contrôle périodique (audit interne). d'un cabinet de conseil spécialis
et explique tant que dirigeante
entre ces professions dans ces mati res.
interdépendances
Laureur analyse les leurs relations
ahn doeuvrer pour
organisation et
optimiser leur
maitrise
Ccomment
et une plus grande
un
contrôle effcace
uE meilleure
gouvernance,
dadministration

des risques. pOur

le conseil
n o u v e l l e s exigences du conseil,
Elle met en exerg
ergue les (comités
spécialisés
la Commandes, informations,
compétences et å
l'organisation
relatives à aux
surveillance administrateurs, catalogue, version e-book:
responsabilité
des
a la revue-banque.fr
et
formation. contact

librairie@revue-banque.fr

RR
 Ethique et IA: un
droit autre
un
pour

rand vers l'infiniment petitavec les nouveaty.

et valeurs
Le respect de principes d'information'.

élément essentiel
est un (Re)trouver la confiance. Les experts inters
éthiques
de l'admission
et du développement
se sont lancés dans une épopée qui sera proba
décisive pour le siècle à venir: remporter
enationau,
commne la bataille
de l'IA. Elle est pensée igne de conf
intelligence artificielle
d'une
à côté nombreux sont les rapports et autres
un
instrument de régulation
effet,
qui contribuent à
élever la réflexion et a
armer
éclarati En
ELLER du droit, mais n o u s nions publiques pour raire en sorte que notro les oni.
-

ou en dehors -

nité ne devienne pas ce monde dystopique dan.ng

les prémices des futurs ns leque
voyons aussi
les «androides rêveraient de utons électriques »*.
ote y remet plus en cause aujourd'hui les effets mai Nul ne
S droits du numérique. dits ou dénoncés, induits par PIA sur nos s pré
ance
la tous les domaines, notamment bancaire et fm
1ancier"
1que Un langage commun. La compréhension des e
nenouvelle mythologie. Le conceptd'intel- suppose d'abord d'élaborer un langage commun.:
dans tous
ligence artificielle s'est imposéTraitd'union
de définir les objets et concepts qui sont ici come
les esprits et tous les espaces. nés. Calque de l'anglo-américain, l'lA désignel
del'« homo sapiens » l'« homo deus »,
vers par
tie de l'informatique qui vise la simulation des facué
bien connue
l'intelligence artificielle est si
lettres suffisentà pour la nommer sans
présent cognitives humaines. Emprunt ancien au latin sique
que deux «intellegentia », l'intelligence est l'action de comprendra
croyait-
ambiguité:IA. ='homme, dontl'intelligenceétait, et, par extension, l'entendement, la bonneentente.
et de noblesse, a concédé cette e
on, la marque distinctive commun accord. Sa racine étymologique renvoie àlidée
machine. L'IA
qualité à interface numérique, une
une
du choix, à ce qui permet de cueillir et de choisir". Quant
nous pose des défis majeurs
et renouvelle la sociologie
commne àl'adjectif« artificiel », deux sens lui reviennent:ilsigni
du numérique'; elle nous apparaîtrait presque fie d'abord « produit par les conventions, un code, agisamt
l'incarnation de Fukuyama dans les sciences, annonçant
toutà la fois « la fin de l'histoire etle dernier homme»' par des processus automatiques ». Il est doté d'une seconde

Avecelle se dessine aussi une nouvelle mythologie assise valeur, à la subjectivité péjorative, qui correspond à
surle pouvoir statistique devenu substitut des sciences,
le BigData', et les données qui oscillent de l'infiniment Introduction: http:/lijoc.org/index.php/ijoc/article/view/2167/h164.
7. Y.Poullet, La Vie privée à l'heure de la sociétédu numérique, Larcier, 2019.
8. P.K. Dick, Les androides rêvent-ils de moutons électriques 2, Champ libre, 1976.
1. V.Y.N. Harari, Homo Deus. Une brève histoire du futur, Essai, Albin Michel, 2017.
9. l'une des premières alertes est venue du chercheur Nick Bostrom de l'université
2. D.Boullier, Sociolgiedu Mumérique, Paris, Armand Colin, 2016. d'Oxford. Son ouvrage, Superintelligence: Paths, Dangers and Strategy, Oxtford

3. F.Fukuyama, la fin de l'histoire et le dernier homme, Flammarion, 2009. University Press, imagine les conséquences-potentiellement dévastatrices- 'une
ll a été elayé en
4. D. Boyd et K. Crawford, «Critical questions for big data: Provocationsfora intelligence artificielle devenue supérieure à celle des humains.
cultural, technological, and scholarly phenomenon », Information, Communication & 2014 par Elon Musk ou encore Stephen Hawking.
Delamorniere,
Society, 2012, 1s(s), p. 662. 10. Sur les enjeux spécifiques à ce domain, v. N. Weinbaum et M.
5. Le Big Data permettrait de remplacer les théories scientifiques en mettant au jour «Algorithmes en milieu bancaire: une équation à deux inconnusentrepropriete
des patterns que la science ne parvient pas à prouver ni à théoriser: V. C. Anderson, et transparence », Revue Banque n° 176, 2017, p. 23; E. Francis,). Blumenstoc
», Revue bonue
et). Robinson, Quand les algorithmes remplacent banquier
The end oftheory », Wired, 16, 23 juin 2008: http://archive.wired.com/.Adde: «
le
n 818, Dossier « Services Financiers: 'innovation vue d'Afrique », mars2010
M.Graham, « Big data and the end oftheory? », The Guardian, gmars 2012: http://
www.theguardian.com/news/datablog/2012/mar/og/big-data-theory. Les algorithmes deviennent nouveaux
les oraceo
A. BasdevantetJ-P. Mignard, «
et Droit, sept. 201, P.a
V. K. Crawford, K. Miltner et M. Gray,
Critiquing Big Data: Politics, Ethics,
« spé. « Big Data et intelligence artificielle », Banque
Epistemology», International Journal of Communications, 2014, vol. 8, Special Section . Dictionnaire la langue française sous la direction d'Alain Rey,le
historique
Rober,
201

ORS-SÉRIE BANQUE &DroIT-OCTOBRE 2019

 ni is simplicité, voire arbitraire
échappe à la natu
naturel

enote ue de l'arbitraire.
a l s

donc
à ce
donc
oie
id eni
Tout est dit! Le ainsi posées
rise IA» frappe les esprits sitifs
h
éthiques
(i.)er au prea
l e o t

qi
e

afind'etévalalaublerelesla pertinpalencees difhoutes

Q 1 P e

q u el e Dar
alors que Ors

c'est bien davan-

iclaqui
ni
devrait guider leur ssont
1.leCBiétghiDataque native, pourproponés en réporreponse
ionde
notre
des dispror
artificiel

com-
etil
u
cept. Dès lors,
en moins cette
'intelligence dont il
capacité à exer
s
en
en
h, e r choisir »
tueilir
Biais et Smart Datatransformer .

e dehnitiond
de
àdeux dimensions. Nous pren munauté dedonnées.
a 'IA du Big Data
l adéfinition suivante de l'IA.
ons pour détecter travaile depuis Smart au
données d' et à attenuer
ds

la
depart

d que les biaispeuades Data. La com-

t
de
ans la communication
le sujet": «CIA désigneles Commission eautomatique ent raî nement des dans lesméthodes visant
evait des supervisé. En efet,systemes ensembles de
systèmes qui
ayeennSe u r

et
e d'un omportement intelli,ligent en analysant
en etenpprenant des mesures-avecu
rtain
leur
degré
soultraitement
toutes sortes" risques de et la éré démontré intormatique d'apprentis age
etautdeomatisé du Big que
ptonomne-POur
yatnement
des objectifs
bi ais "
spécifiques Les sys- La qualité (racia les, Data
profdiesscrioinnelminatleiso,ns
t s d'A peuvenit vocaux, iciels, agissant dans le cidoit de la donnée estgenrées,
etre puremen logicio
vorasent

(assistants
logiciels nalyse de etre juste, donc un de
pirtuel
n a d t ev i r t u

de recherche cou diverses indlusive

sustèmes de reconnaissance d'images, donc de tendances, et ,c'est-a-direessentiel: celle- sujet
«
etc.). »

dl.parexemple) mais l'TA peut aussi être intégrée vocaledans deset passer du Big Datafiable dans la représentative
s (robots évolués, voitur au Smart durée.Il s'agt
asitysm
ficationsde l'internet
objets, par autonomes, drones Léthique
nauté etla sécurité natives
Data.
é élargie", pour arifier exemple). Cette internationale et, tout (by design) la commu
»
ethinutiona
certains aspects européenne .

Quiestå
A elogie
la fois une discin

dotée de rationalite4 scientifique et une

ab initio font la
dans les promotion d'une P'Union particulierement,
de damental
promeut ainsi un principealgofonope technoloéthique
rithmiques".L'Eurdispositifs giques intégrée et

hique, condition
«
de la confiance.
La design), dans conception
cadre de respectueuse del'éthique
Puropéenne considere une IA digne de Commis-
le
juridiques, laquelle les (ethic by »

per- tection des la base du règlementprincipes éthiques et

confiance
sione
sur
ition de présenter trois caractéristiques
conditio,

données, du respect du droit général sur la pro-

ntes: la licéité, a robustesse (tant technique que rence, de l'absence
de de la
ique. Le respect deprincipes et en
application
biais dans les
dès le début du
concurmis
données, sont
valeurs
s0cale)«

est donc lément

un Unautre
essentiel de l'admission de
principe fondamentalprocessus
résidera dansconception.
es
dès la
tdu éveloppement de l'IA, qui est présenté comme conception », dans le cadre la« sécurté
erondition distincte du respect des règles de droit. la
protection des victimes et la duquel la
cybersécurité,
Hthigue est donc pensee comme un instrument de régu- répressives devraient être prisesfacilitation des activités
ution à côté, ou en dehors du droit (.). Nous y voyons
le début du en
considération des
processus de conception.
HISS les prémices des futurs droits du numérique (II.).
Les limites de
l'éthique by
ainsi l'éthique native d'une design. Comment penser
lA et jusqu'à
quel degré
peut-on raisonnablement anticiper ses risques? Nous
LETHIQUE EN DEHORS DU DROIT sommes aux
limites de cette éthique by design: le propre
de l'éthique est de poser des dilemmes,
auxquels il n'y
ITA mobilise des données et des algorithmes. Cette a pas, par définition, de melleuresisuesaprioridans
nteraction souleve de multiples interrogations: un algo un contlit de valeurs. Il faut donc hiérarchiser des prin-
ihme n'est, finalement, qu'une « opinion intégrée à des cipes ou desvaleursen fonction d'un contexte. d'iné-
comme tout langage, il comporte ses rêts particuliers ou collectifs pour prendre la décision
Programmes » et,
bais et induit des risques bien établis en termes de dis-
criminations et d'équité". La régulation de l'TA implique
discrimination et équité », Telkcom ParisTech, février 2019.

Biases in Big Data », Harvard Busines Review, avril 2013:

18. K. Crawford, « The Hidden
http://blogs.hbr.org/2013/04/the-hidden-biases-in-big-data

Les lacunes
bias genrés
-

europeen, 19. V.J. Charpenet et C. Lequesne, «Discrimination et

Lommunication de la Commission au Parlement européen, Consel
au Recueil balloz, à paraitre. les
auteures
laudit algorithmique »,
des reg0ns, juridiques de au-del des
social européen et au Comite discrimination algorithmique;

ULonseil, au Comité économique et recensent de

nombreux cas de

concernent dIverses minoritë's dans

le domaine de >'emploi

LA.pour l'Europe », Bruxelles, 25.4.2018,

COM(2018) 237dehna biais de genre, iIs mentaux), de la justice
du Groupe d'experts hautniveau sur
atteintes de troubles
(discrimination des personnes contre la fraude par
les
ition élargie résulte du rapportl'A: principales capacitéës et discpjine (discrimination
des personnes
de couleurs)
Ou de la lutte
en situation précaire).
Définition de
ence artificielle, https://ec.europa.eu/digital-single-maret/en/nign-ieve
administrations (Visant
distinctement les personnes

coordonné dans le
domaine de

avril Commission, Un plan

«

es,8 2019: hinal,

20. V. Communication de la BrUxelles, le 7decembre 2018 COM(2018) 795
ipert-group-artificial-inteligence. auteurs de référence sur la questio Pintelligence
artificielle »,
autonomes
et
Ethtque» de l'Agence
les
qu'entendue par . le projet ElHICAA-Agentsdu
«
ETHICAA est de
dénnir ce que
i t e , telle Inteligence: A Aprod
Merm
Annexe, p. 9 LODjectit projet de gérer des
P. Norvig, Artifcial nationale de
la Recherche (ANR). et capable
mment S. Russell et compose
d'un ou plusieurs agents
niveau collectif»:
http://
Prentice Hall, 3 édition, 2009- devrait être systeme
un
de conhance, individuel qu'au

une IA digne aussi

au niveau
bren
pour éthigues,
www.agence-nationale-
conflits recherche.fr/?Projet=ANR-13-CORD-0006.

trices en matière d'éthique

avril0
Les Arenes, 2010 bra5,

6.CONel,
T. V.P.E
Algorithmes, la
bombe d

S. Clemençon
retardement,

et P.
Waelbroeck,
«
Algorithmes:

DroIT-OCTOBRE
2019
39
BANQUE &
. B o u n i e ,

ORS-SÉRE
 qui
international s'impose. Parmi toutes
ces initiatives

principale-
toute atteinte portee, ni nuire aux êtres
es humair
humains 68taver
d'une
nous retiendrons
finissent par se recouper,
quelconque larprotection
autre manière. Cela englobe la
ment celles proposées par
la Commission européenne" humaine ainsi que de
fondamentaux de la dignité l'intégritéme
physique. Les systèmes d'IA et les environnementale
distinguo entre les droits
qui opère un
et
et les principes éthiques. dans lesquels ils évoluent doivent être sûrs et
nents
La prévention de toute atteinte implique égalem
sécur
De
Des droits fondamentaux aux principes éthiques. entla
nombreux droits fondamentaux trouveraient às'appli- prise en compte de l'environnement naturel etddetoUs
t
les êtres vivants.
d'IA. Consacrés par le droit interna-
quer aux systèmes
traités de
tional en matière de droits de l'homme, les Le principe de l'équité. ='équité se caractérise à laf
dans
PUnion etla charte de l'Union, ils sont opposables,
fonda- ma
par un volet matériel et un voletprocédural. Le volet mate-
la plupart des cas, au sein de l'UE". Ces droits veiller à
mentaux se distinguent donc de l'éthique,
et renvoientau riel suppose l'engagement de une répartiti
égale et juste des bénéfices et des coûts, de veiller
et
de la humaine, à la liberté des individus,
au respect dedignité
respect la démocratie, de la justice et de l'état de ceque les individus et les groupes ne fassent pas l'obiet
debiais injustes, de discrimination et de stigmatisation,
droit, à l'égalité, la non-discrimination et la solidarité, L'équité implique, en outre, que les professionnels de
s'articulent avec les
etaux droits des citoyens. Ces droits néanmoins. PIA respectent le principe de proportionnalité entre la
principes éthiques, dont ils se distinguent
fin et les moyens. Le volet de l'équité sup-
procédural
Ancrés dans les droits pose la capacité de contester les décisions prises par
Quatre principes éthiques. des systèmes d'lA et par les êtres humains qui les uti-
fondamentaux, quatre principes éthiques sont présen-
tés comme des impératifs pour assurer le déploiement lisent, ainsi que celled'introduire un recours efficaceà
d'une lA digne de confiance. L'adhésion à ces principes l'encontre de ces décisions. L'entité responsable de la
décision doit pouvoir être identifiée, et le processus de
dépasse le respect formel de règles juridiques existantes prise de décisions devrait pouvoir être expliqué.
et implique un « supplément d'äme». Il s'agit des prin-
cipes suivants: le respect de lautonomie humaine, la
prévention de toute atteinte, l'équité etl'explicabilité28 Le principe de l'explicabilité. Ce principe implique que
les processus doivent être transparents, que les capac
tés et la finalité des systèmes d'lA soient communiques
21. En ce sens, v. Gouvernance de l"'intelligence artifñcielle dans les grandes entreprises, ouvertement, et que les décisions doivent pouvoir ëtre
CIGREF, septembre 2016 expliquées aux personnes directement et indirectement
22. 'Union européenne a réuni s2 experts pour travailler sur l'éthique de l'A: concernées. Ces informations sont indispensables pour
v.Communication de la Commission intitulée« l'intelligenceartificielle pour
PEurope »: https://ec.europa.eu/digital-single-market/en/news/communication pouvoir contester une décision. Dans le cas des algo
artificial-intelligence-europe; Déclaration de coopération sur P'intelligence rithmes à effet « boîte noire », d'autres mesures d'expli
artificielle: https://ec.europa.eu/digital-single-market/en/news/eu-member
cabilité pourraient trouver à s'appliquer: par exempie
states-sign-cooperate-artificial- intelligence); Alliance pour l'A: https://ec.europa.
eu/digital-single-market/en/european-ai-alliance. La France promeut un Groupe la traçabilité, l'auditabilité et la communication trans*
international dexperts en intelligence artificielle (G2IA), sur le modèle du GIEC parente concernant les capacités du système.
(Groupe d'experts intergouvernemental sur P'évolution du climat). Citons enfin le
rapport Donner un sens à l'lA- Pour une stratégie nationale et européenne, mission
parlementaire pilotée par Cédric Villani du 8septembre 2017 au 8mars2018 Acoté des principes éthiques, Paffirmationdevaleurs.
23. V. The Partnership on Al.
Pour parvenir à une IA digne de confiance, la Commis
24. CNIL, « Les enjeux éthiques des algorithmes et de
l'intelligence artificielle », 2017. certain nombre de
valeurs
25. V. Déclaration de Montréal pour un développement sion européenne affirme un
responsable de l'A, 2017: Nous
https://www.declarationmontreal-iaresponsable.com/la-declaration.
26. Communication de la Commission, Renforcer la confiance dans
qui complètent ces quatre principes éthiques". et lc
artificielle axée sur le facteur humain, 8.4.2019
P'intelligence
168 final.
pouvons citer l'exigence d'une action humaine
COM(2019)
27. 1d, p. 13
28. V. Groupe d'experts de haut niveau sur l'intelligence artificielle, «
Lignes directrices
on matière d'éthiaue pour une LA. digne de confance 0
 bustesse technique et la sécurite
le umain, vIeprivée
etla c
gOuvernance des données,
non-discriminaees,
la ala Récem.
la diversite,
nsparence tre sociétal et
e d e

environnemolon er
éformnmens
e
l eD i e n - é t r es (

onnemental, et la et les u
droit
relations Kappor tdedu groupe
yuie. tement françai s
cadre de Y'lahypothéconomi
ese qd'uneues estla ve onsabide WAvailte lcvisurle
re

X DE L'ETHIQUE COM
LECHONrDA MME courants serétorme de la régulation deCarter ciplic
ULE AUX DROITS
NPRE
fondements dessinent responsabilite Y'A danmle
tive existants clairement: le recours
civile":» dew
NTAUX DU NUMERIQUE seule,suffiraità de la
la régler la
NDAME
OND rde laesponsabi
robots reconnaissancegrande lité al'un des
majorité des ile otiet
ciw
de l'IA
s technoiogIesde
remis
lifient en permettrait de répondrepersonnalité cas, (mais
profondeur le gence artiicielle,
question dans sa totalement la sans qu'à ce aux enjeuxjurdeidique ax
u i se trouve, en
teurs et ses
straditionnelles du o
iale, ses
concepts
t s'effritent, certaines
es
peu
auparavantconvi
, ction Le stade aucun l'înteli »,
nisme de est tout aussi rapport du n'emporte
ile droitveut nserver son rôle
odémocratie et luvivre ensemble, il im de gar- .ni
a
Sénat, rendu
légard de l1A. du méca- responsabilité réticental'égard
Medne .

rs et les juges
importe que
sissentles bons concer Theure, mmisei s eà e .iPuissque la déontologie.
itndigues
permettront de guider
ons gu' de
in
la l'écart, une autre notion est, pour
tdeurs
invoquée: responsabilité
A
choix
s le de
dans
des solutions

avoircom
qu'o offre
offre
comment rendre
savoir
la
la
regroupe pOur les Bn effet, aurait pu être
technologie. la
déontologie.
s'agit pas
sorte qu'eellenne
lIA bier
s e A bienveil. publiques ou personnes
privées, exerçant déontactivités
ologie
emais de tai
e .
e se qu' elles ontle
substitue pas à aux les
regles certaines
anlen
ral?. Dans cette
qu'agent

règles
devoir de juridiques et morales
rhomme en tant
éthique est un choix blitique, perspec de la
oud'unedéontologie, qui sont variables
manquements respecter".Les
dont fonction
recours à l'éth
questionner bien-fondé en tant que
méthode
à profession àune autre, sont de d'une
provoquer des poursuites
peu Jation
an les limites en
et pointer bien que le nature
termes d'effec-
) . Toutefois, la référence à léthique n'est pas contenu des
sans lien avec règles de disciplinaires. Néanmoins,
les déontologie ne
déontologie a étéenjeux portés par l'IA", le recours pasàla soit
intérêt: dénominateur commun permettant
p o u s

international sur la nécessité de réguler européens au profit de la par les experts expressément écarté
uncons

réthique
estla
la pren exclut la réfërence
première étape d'une marche le tions possibilité de poursuites dans l'leéthique", Cela
à
1Aeetégard, nous pensons qu'elle préfigure vers disciplinaires cadre de sanc-
l'avè teurs de
et manifeste
la volonté des
nementa futurs droits fondamentaux du
nunmérique maintenir le droit à bonne
distance de
régula
reste encore a decouvrir et à écrire (2.). drement de lIA. l'enca
2.
1Léthique, un choix politique Lethique, prélude à
l'émergence
futurs droits fondamentaux des
du numérique
stionner la méthode. Choisir l'éthique, c'est exclure
Questio
toutautre instrument de droit dur, qu'il s'agisse de res- Dépasser l'éthique. L'éthique est une bannière consen-
suelle sous laquelle se
rangent les décideurs et experts
onsabilité ou mëme de déontologie. de la question. Elle constitue
certainement un dénomi-
nateur commun, relativement
peu engageant, à partir
Niresponsabilité... En effet, la régulation de 'lAaurait dugquel la régulation par le droit poura prendre iorme
le canon traditionnel de la régulation de à l'avenir pour densifier l'encadrement de l'A. Mais
Du passer par
touteinteraction sociale, via le concept de la responsa- elle est tout aussi certainement source d'ambiguités,
de par son contenu et l'interprétation qui en résultera.
hlité, qui se décline sous toutes ses formes (délictuele,
la référence
contractuelle, pénale, pour risque, etc.)". Or,
de
ala responsabilité se trouve reléguée rang principe
au

Montréal", pour
teleologique (ainsi la Déclaration de
réforme du droit français de la responsabilité
35. Rapport du groupe de travail sur la
Civile et les relations économiques, avnil 2019:http://www.justice.goUv.rlart_pix
»)
artijficiele
un « développement responsable de l'intelligence Rapport_CA_PARIS_retorme_esponsabilite.chvile.pdt.

en étant exclue en tant que concept

opératoire du 36. V. Sénat, « Stratégie européenne pour l'intelligence
artihicielle», rap. n279,
tout l peut yavoir de responsabilté
des machines ou
2018-2019, 31 jany. 2019, P. 30:« ned'abord une machine, qui d des concepteurs
et des
des robots. Une inteligence artipcielleest
en cas de difhculté.
»

doiuent etre responsables

fabricants. Ce sont qui
eux
Dalloz, 2017
la Deep Law ou le dei d'une T. Debard, lexique des termesunidiques,
détaillée, v. M. Teller, «
37. S. Guinchard et dans son recueil des obligations
FOur une analyse plus
economie
autrement le drort dans de la magistrature,
du droit (Doit-on penser 38. Le Conseil supérieur valeurs au
"

numérique 2010, a recensé sept

nalyse Alain Couret, a paratre. déontologiques des
magistrats du 10juin P'intégrité, la
l'honneur du professeur 'indépendance, l'impartialité,
nerique !) », in Mélanges
en
fondement de l'action lajustice:
de
numérigque.., op.t
'heure de la société du et la réserve.
la discr tion
.
L.Poulet, La Vie privée à Desclée De Brouwer, 23javer 2019 Commerce légalité,
l'attention à autrui,
matière d'éthique pour
une lA digne de
confance, op.

** Grinbaum, les Robots et le mal, Communication

39. Lignes
V.
directrices en
d domaine donne-quel que soit le nivedude
de deontologie specipque un
», se substtuer
artificielle et responsabilite cit.: Un code poura
uErsions-ne jamais
USkin, Intelligence
* «
«
et de detail de ses jutures sensible
des propositions cohérence,
d'tlaboration

toutes circonstances rester

dectonique n'6, juin 2018, p- 7 partie, tant que te, qu dot
en ne
en
directrices
sont, en grande lignes
ethique des
dun
raisonnement
etre rendus dams
4. La qui
protection de l'int1mite
et peuuentyamais
déclaration propose des principes aUx dléments
de contexte, qui
équitë;inclusionet
l'autonomie;
de
en-etre; Respect démocratique ;
V. htps:/www.
générales. »

delala vie privée ; solidarité; participation

soutenable.
développement
responsabilité;
sitéPrUdence;
arationmontreal-iaresponsable.com/la-declaration.
ANQUE& DRorT-OCTOBRE 2019