Les Pirates IA À Venir

C YBER PRO JE CT × C CONSEIL D ' UTILISATION RESPONSABLE DE L'IA
Les pirates
IA à venir
Bruce Schneier
E S S AY
20 AVRIL 21
Le projet Cyber
Conseil pour l'utilisation responsable de l'IA
Belfer Center for Science and International Affairs
Harvard Kennedy School
79, rue JFK
Cambridge, MA 02138, États-Unis
www.belfercenter.org/ Cyber
Les déclarations et les points de vue exprimés dans ce rapport sont uniquement ceux des auteurs et
n'impliquent pas l'approbation de l'Université Harvard, de la Harvard Kennedy School, du Belfer Center
for Science and International Affairs ou du gouvernement américain.
Conception et mise en page par Andrew Facini
Copyright 2021, Président et Fellows du Harvard College

Imprimé aux États-Unis d'Amérique
C YBER PRO JE CT × C CONSEIL D ' UTILISATION RESPONSABLE DE L'IA
Les pirates
IA à venir
Bruce Schneier
E S S AY
20 AVRIL 21
À propos de l'auteur
Bruce Schneier est membre du Cyber Project, au Belfer Center for
Science and International Affairs. Il est l' auteur à succès du New
York Times de 14 livres, dont Click Here to Kill Everybody, ainsi que
de centaines d'articles, d'essais et de documents universitaires. Il
publie la lettre d'information mensuelle Crypto-Gram et le blog
Schneier on Security.
Schneier est également membre du Berkman Klein Center for Internet and
Society de l'Université Harvard, maître de conférences en politique
publique à la Harvard Kennedy School, membre du conseil
d'administration de l'Electronic Frontier Foundation, d'AccessNow et du
projet Tor, et membre du conseil consultatif de l'EPIC et de
VerifiedVoting.org. Il est le chef de l'architecture de sécurité chez Inrupt,
Inc. Il peut être trouvé en ligne à www.schneier.com et contacté à l'adresse
schneier@schneier.com.
Remerciements
Je tiens à remercier Nicholas Anway, Robert Axelrod, Robert Berger,
Vijay Bolina, Ben Buchanan, Julie Cohen, Steve Crocker, Kate Darling,
Justin DeShazor, Simon Dickson, Amy Ertan, Gregory Falco, Harold
Figueroa, Brett M. Frischmann, Abby Everett Jaques, Ram Shankar Siva
Kumar, David Leftwich, Gary McGraw, Andrew Odlyzko, Cirsten Paine,
Rebecca J. Parsons, Anina Schwarzenbach, Victor Shepardson, Steve
Stroh, Tarah Wheeler et Lauren Zabierek, qui ont tous lu et commenté une
ébauche de cet article.
Je tiens également à remercier la conférence RSA, où j'ai prononcé un

discours liminaire sur ce sujet lors de leur événement virtuel de 2021 ; le
Belfer Center de la Harvard Kennedy School, sous la direction duquel j'ai
rédigé une grande partie de l'écriture ; et le 5e Symposium international
sur la cryptologie de la cybersécurité et l'apprentissage automatique, où
j'ai présenté ce travail en tant que conférencier invité.
Ii Les pirates IA à venir

Résumé
Le piratage est généralement considéré comme quelque chose qui
touche les systèmes informatiques, mais cette conceptualisation peut
être étendue à n'importe quel système de règles. Le code des impôts, les
marchés financiers et tout système de lois peuvent être piratés. Cet essai
examine un monde où les IA peuvent être des hackers. Il s'agit d'une
généralisation du jeu de spécification, où les vulnérabilités et les
exploits de notre réseau social,
Les systèmes économiques et politiques sont découverts et exploités à la
vitesse et à l'échelle des ordinateurs.
Table des matières
Introduction...................................................................................................... 1
Hacks et piratage.............................................................................................. 2
L'omniprésence du piratage..............................................................................7
Les IA qui nous piratent................................................................................... 10
Intelligence artificielle et robotique................................................................11
Des IA de type humain...................................................................................14
Des robots qui nous piratent..........................................................................18
Quand les IA deviennent des hackers..............................................................21
Le problème de l'explicabilité.......................................................................24
Piratage de récompenses............................................................................... 26
Les IA en tant que hackers naturels.................................................................31
De la science-fiction à la réalité.......................................................................33
Les implications des pirates de l'IA..................................................................36
Hacks et puissance de l'IA.............................................................................39
Se défendre contre les pirates de l'IA...............................................................41
Centre Belfer pour la Science et les Affaires Internationales | École v

Kennedy de Harvard
Introduction
L'intelligence artificielle (IA) est une technologie de l'information. Il
s'agit d'un logiciel. Il fonctionne sur les ordinateurs. Et il est déjà
profondément ancré dans notre tissu social, à la fois d'une manière
que nous comprenons et d'une manière que nous ne comprenons pas.
Il piratera notre société à un degré et un effet sans précédent jusqu'à
présent. Je veux dire cela de deux manières très différentes.
Premièrement, les systèmes d'IA seront utilisés pour nous pirater. Et
deuxièmement, les systèmes d'IA deviendront eux-mêmes des pirates
informatiques : ils trouveront des vulnérabilités dans toutes sortes de
systèmes sociaux, économiques et politiques, puis les exploiteront à
une vitesse, une échelle et une portée sans précédent. Il ne s'agit pas
seulement d'une différence de degré ; c'est une différence de nature.
Nous risquons de voir un avenir où les systèmes d'IA pirateront
d'autres systèmes d'IA, les humains n'étant guère plus que des
dommages collatéraux.
Ce n'est pas une hyperbole. D'accord, c'est peut-être un peu une

hyperbole, mais rien de tout cela ne nécessite une technologie de
science-fiction dans un futur lointain. Je ne postule pas une
quelconque « singularité », où la boucle de rétroaction de
l'apprentissage par l'IA devient si rapide qu'elle dépasse la
compréhension humaine. Je ne suppose pas qu'il s'agit d'androïdes
intelligents comme Data (Star Trek), R2-D2 (Star Wars) ou Marvin
l'androïde paranoïaque (Le Guide du voyageur galactique). Mes
scénarios n'exigent aucune mauvaise intention de la part de qui que
ce soit. Nous n'avons pas besoin de systèmes d'IA malveillants
comme Skynet (Terminator) ou les Agents (Matrix). Certains des
hacks dont je vais parler ne nécessitent même pas de percées
majeures dans la recherche. Ils s'amélioreront au fur et à mesure que
les techniques d'IA deviendront plus sophistiquées, mais nous
pouvons en voir des indices à l'œuvre aujourd'hui. Ce piratage
viendra naturellement, à mesure que les IA deviendront plus avancées
dans l'apprentissage, la compréhension et la résolution de problèmes.
Dans cet essai, je parlerai des implications des pirates

informatiques. Tout d'abord, je généraliserai le « piratage » pour
inclure les systèmes économiques, sociaux et politiques, ainsi que
nos cerveaux. Ensuite, je décrirai comment les systèmes d'IA seront
utilisés pour nous pirater. Ensuite, j'expliquerai comment les IA
vont pirater les systèmes économiques, sociaux et politiques qui
composent la société. Enfin, je discuterai des implications d'un
Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 1

de Harvard
monde de pirates informatiques et indiquerai les défenses possibles.
Tout n'est pas aussi sombre qu'il n'y paraît.
2 Les pirates IA à venir

Hacks et piratage
Tout d'abord, une définition :
Def : Hack /hak/ (nom) -

1. Une exploitation astucieuse et involontaire d'un système qui : a)
subvertit les règles ou les normes de ce système, b) aux dépens d'une
autre partie de ce système.
2. Quelque chose qu'un système permet, mais qui n'est pas
prévu et imprévu par ses concepteurs.1
Remarquez les détails. Le piratage n'est pas de la triche. C'est suivre les
règles, mais subvertir leur intention. Ce n'est pas intentionnel. C'est une
exploitation. C'est « jouer avec le système ». Les films de câpres sont
remplis de hacks. MacGyver était un hacker.
Les hacks sont intelligents, mais pas les innovations. Et, oui, c'est une
définition subjective.deux
Les systèmes ont tendance à être optimisés pour des résultats

spécifiques. Le piratage est la poursuite d'un autre résultat, souvent au
détriment de l'optimisation d'origine. Les systèmes limitent ce que nous
pouvons faire et, invariablement, certains d'entre nous veulent faire autre
chose. Alors on pirate. Pas tout le monde, bien sûr.
Tout le monde n'est pas un hacker. Mais nous sommes assez nombreux.
Le piratage est normalement considéré comme quelque chose que vous

pouvez faire aux ordinateurs. Mais les piratages peuvent être perpétrés sur
n'importe quel système de règles, y compris le code des impôts.
Le code fiscal n'est pas un logiciel. Il ne fonctionne pas sur un

ordinateur. Mais vous pouvez toujours le considérer comme du « code »
au sens informatique du terme. Il s'agit d'une série d'algorithmes qui
prennent une entrée – l'information financière pour l'année – et
produisent une sortie : le montant de l'impôt dû. C'est déterministe, ou
du moins c'est censé l'être.
Tous les logiciels informatiques contiennent des défauts, communément

appelés bogues. Ce sont des erreurs : des erreurs de spécification, des
erreurs de programmation, des erreurs
1 Le regretté hacker Jude Mihon (St. Jude) aimait cette définition : « Le piratage est le contournement
intelligent des limites imposées, que ces limites soient imposées par votre gouvernement, votre propre
personnalité ou les lois de la physique. » Jude Mihon (1996), Hackers Conference, Santa Rosa, Californie.
2 Tout cela est tiré d'un livre que je suis en train d'écrire, probablement à paraître en 2022.

de Harvard
qui se produisent quelque part dans le processus de création du logiciel.
Cela peut sembler fou, mais les applications logicielles modernes ont
généralement des centaines, voire des milliers de bogues. Ces bogues se
trouvent dans tous les logiciels que vous utilisez actuellement : sur votre
ordinateur, sur votre téléphone, dans tous les appareils de l'Internet des
objets que vous avez autour de vous. Le fait que tous ces logiciels
fonctionnent parfaitement bien la plupart du temps montre à quel point ces
bogues ont tendance à être obscurs et sans conséquence. Il est peu
probable que vous les rencontriez dans des opérations normales, mais ils
sont là.
Certains de ces bogues introduisent des failles de sécurité. J'entends par là

quelque chose de très spécifique : des bogues qu'un attaquant peut
délibérément déclencher pour atteindre une condition dont l'attaquant peut
tirer parti. Dans le jargon de la sécurité informatique, nous appelons ces
bogues des « vulnérabilités ».
C'est en exploitant une vulnérabilité que l'armée chinoise s'est introduite

dans Equifax en mars 2017. Une vulnérabilité dans le progiciel Apache
Struts a permis à des pirates de s'introduire dans un portail Web de
plaintes de consommateurs. À partir de là, ils ont pu se déplacer vers
d'autres parties du réseau. Ils ont trouvé des noms d'utilisateur et des mots
de passe qui leur ont permis d'accéder à d'autres parties du réseau et,
finalement, de télécharger des informations personnelles sur 147 millions
de personnes sur une période de quatre mois.3
Il s'agit d'un exemple de piratage. C'est un moyen d'exploiter le système

d'une manière qui est à la fois inattendue et non voulue par les concepteurs
du système, ce qui profite au pirate informatique d'une manière ou d'une
autre au détriment des utilisateurs que le système est censé servir.
Le code des impôts comporte également des bugs. Il pourrait s'agir

d'erreurs dans la façon dont les lois fiscales ont été rédigées : des erreurs
dans les mots mêmes que le Congrès a votés et que le président a
promulgués. Il peut s'agir d'erreurs dans l'interprétation du code des
impôts. Il peut s'agir d'oublis dans la façon dont certaines parties de la loi
ont été conçues, ou d'omissions involontaires d'une sorte ou d'une autre.
Ils peuvent résulter d'interactions imprévues entre différentes parties du
code des impôts.
3 Federal Trade Commission (22 juillet 2019), « Règlement sur les violations de données d'Equifax : ce que
vous devez savoir », https:// www.consumer.ftc.gov/blog/2019/07/equifax-data-breach-settlement-what-
you-should-know.

Un exemple récent vient de la loi de 2017 sur les réductions d'impôts et
l'emploi. Cette loi a été rédigée à la hâte et en secret, et adoptée sans que
les législateurs n'aient eu le temps de l'examiner, ni même de la relire.
Certaines parties étaient écrites à la main, et il est à peu près inconcevable
que quiconque a voté pour ou contre savait précisément ce qu'il contenait.
Le texte contenait une faute de frappe qui classait accidentellement les
prestations de décès militaires comme un revenu gagné. L'effet pratique de
cette erreur a été que les membres survivants de la famille se sont
retrouvés avec des factures d'impôt surprises de 10 000 $ ou plus.4 C'est
un bug.
Ce n'est pas une vulnérabilité, cependant, car personne ne peut en profiter

pour réduire sa facture fiscale. Mais certains bugs dans le code des impôts
sont aussi des vulnérabilités.
Par exemple, il existe une astuce pour l'impôt sur les sociétés appelée
le « Double Irish with a Dutch Sandwich ». C'est une vulnérabilité qui
découle des interactions
entre les lois fiscales de plusieurs pays. Fondamentalement, il s'agit
d'utiliser une combinaison de filiales irlandaises et néerlandaises pour
transférer les bénéfices vers des juridictions à faible taux d'imposition ou
à fiscalité. Les entreprises technologiques sont particulièrement bien
placées pour exploiter cette vulnérabilité ; Ils peuvent céder des droits de
propriété intellectuelle à des filiales à l'étranger, qui transfèrent ensuite
des liquidités vers des paradis fiscaux.5 C'est ainsi que des entreprises
comme Google et Apple ont évité de payer leur juste part d'impôts aux
États-Unis, bien qu'elles soient des entreprises américaines. Il s'agit
certainement d'une utilisation involontaire et imprévue des lois fiscales de
trois pays. Et cela peut être très rentable pour les pirates informatiques –
dans ce cas, les grandes entreprises technologiques qui évitent les impôts
américains – aux dépens de tous les autres. On estime que les entreprises
américaines ont évité de payer près de 200 milliards de dollars d'impôts
américains rien qu'en 2017.6
Certaines vulnérabilités sont délibérément créées. Les lobbyistes essaient

constamment d'insérer telle ou telle disposition dans le code des impôts au
profit de leurs clients. Cette même loi fiscale américaine de 2017 qui a
donné lieu à des factures d'impôt déraisonnables pour les familles
endeuillées comprenait un allégement fiscal spécial pour les sociétés
d'investissement dans le pétrole et le gaz, une exemption spéciale qui
garantit que moins de 1 succession sur 1 000 devra le faire
4 Naomi Jagoda (14 novembre 2019), « Les législateurs sous pression pour adopter un correctif
d'avantages sociaux pour les familles de militaires », Hill, https://thehill.com/policy/national-
security/470393-lawmakers-under-pressure-to-pass-bene-fits-fix-for-military-families .
5 New York Times (28 avril 2012), « Double Irish with a Dutch Sandwich » (infographie).
de Harvard
https://archive.nytimes. com/www.nytimes.com/interactive/2012/04/28/business/Double-Irish-With-A-
Dutch-Sandwich.html.
6 Niall McCarthy (23 mars 2017), « L'évasion fiscale coûte aux États-Unis près de 200 milliards de dollars
chaque année » (infographie), Forbes, https://www.forbes.com/sites/niallmccarthy/2017/03/23/tax-
avoidance-costs-the-u-s-nearly-200-milliard-every-year-infographic.

payer l'impôt sur les successions et un libellé élargissant spécifiquement une
échappatoire de transfert que l'industrie utilise pour se constituer en société
à l'étranger et éviter les impôts américains.7
Parfois, ces vulnérabilités sont glissées dans la loi à l'insu du législateur

qui parraine l'amendement, et parfois il n'en est pas conscient. Cette
insertion délibérée est également analogue à quelque chose qui nous
inquiète dans les logiciels : les programmeurs ajoutent délibérément des
portes dérobées
dans des systèmes à leurs propres fins. Il ne s'agit pas de pirater le code
des impôts, ni le code informatique. Il s'agit de pirater les processus qui les
créent : le processus législatif qui crée le droit fiscal, ou le processus de
développement de logiciels qui crée des programmes informatiques.
Au cours des dernières années, il y a eu beaucoup de presse sur la

possibilité que des entreprises chinoises comme Huawei et ZTE aient
ajouté des portes dérobées à leur équipement de routage 5G à la
demande – ou peut-être
demande du gouvernement chinois. C'est tout à fait possible, et ces
vulnérabilités resteraient en sommeil dans le système jusqu'à ce qu'elles
soient utilisées par quelqu'un qui les connaît.
Dans le monde de la fiscalité, les bogues et les vulnérabilités sont appelés

échappatoires fiscales. Dans le monde fiscal, tirer parti de ces
vulnérabilités s'appelle l'évasion fiscale. Et il y a des milliers de ce que
nous appellerions dans le monde de la sécurité informatique des «
chercheurs black-hat », qui examinent chaque ligne du code des impôts à
la recherche de vulnérabilités exploitables. On les appelle les avocats
fiscalistes et les comptables fiscalistes.
Les logiciels modernes sont incroyablement complexes. Microsoft

Windows 10, la dernière version de ce système d'exploitation, compte
environ 50 millions de lignes de code.8 Plus de complexité signifie plus
de bogues, ce qui signifie plus de vulnérabilités. Le code fiscal américain
est également complexe. Il s'agit des lois fiscales adoptées par le Congrès,
des décisions administratives et des règles judiciaires. Il est difficile
d'obtenir des estimations crédibles de l'ampleur de tout cela. Même les
experts n'en ont souvent aucune idée. Les lois fiscales elles-mêmes
7 Alexandra Thornton (1er mars 2018), « Promesses non tenues : plus d'avantages fiscaux et
d'échappatoires en vertu de la nouvelle loi fiscale »,
https://www.americanprogress.org/issues/economy/reports/2018/03/01/447401/broken-promises-
special-interest-breaks-loopholes-new-tax-law/.
8 Microsoft (12 janvier 2020), « Lignes de code Windows 10 ».
https://answers.microsoft.com/en-us/windows/fo-rum /all/windows-10-lines-of-code/a8f77f5c-0661-
4895-9c77-2efd42429409.

de Harvard
environ 2 600 pages.9 Les règlements de l'IRS et les décisions fiscales
portent ce nombre à environ 70 000 pages. Il est difficile de comparer des
lignes de texte à des lignes de code informatique, mais les deux sont
extrêmement complexes. Et dans les deux cas, une grande partie de cette
complexité est liée à la façon dont les différentes parties des codes
interagissent les unes avec les autres.
Nous savons comment corriger les vulnérabilités dans le code

informatique. Nous pouvons utiliser une variété d'outils pour les détecter
et les corriger avant que le code ne soit terminé. Une fois que le code est
disponible dans le monde, des chercheurs de toutes sortes les découvrent
et, plus important encore, nous voulons que les fournisseurs les corrigent
rapidement une fois qu'ils sont connus.
Nous pouvons parfois utiliser ces mêmes méthodes avec le code des
impôts. La loi fiscale de 2017 a plafonné les déductions d'impôt sur le
revenu pour les impôts fonciers. Cette disposition n'est pas entrée en
vigueur en 2018, alors quelqu'un a eu l'astuce de payer à l'avance les
impôts fonciers de 2018 en 2017. Juste avant la fin de l'année, l'IRS a
statué sur le moment où c'était légal et quand cela ne l'était pas.10
Réponse courte : la plupart du temps, ce n'était pas le cas.
Ce n'est souvent pas aussi facile. Certains piratages sont inscrits dans la loi
ou ne peuvent pas être exclus. L'adoption d'une loi fiscale est un gros
problème, surtout aux États-Unis, où la question est si partisane et
controversée. (Cela fait presque quatre ans, et le problème de l'impôt sur le
revenu gagné pour les familles de militaires n'a toujours pas été corrigé. Et
c'est facile ; Tout le monde reconnaît que c'était une erreur.) Il peut être
difficile de savoir qui est censé corriger le code des impôts : est-ce le
législateur, les tribunaux, les autorités fiscales ? Et puis cela peut prendre
des années. Nous n'avons tout simplement pas la capacité de corriger le
code fiscal avec la même agilité que nous avons pour corriger les logiciels.
9 Dylan Matthews (29 mars 2017), « Le mythe du code fiscal fédéral de 70 000 pages », Vox.
https://www. vox.com/policy-and-politics/2017/3/29/15109214/tax-code-page-count-complexity-
simplification-re-forme-façons-moyens.
10 IRS (27 déc. 2017), « Les impôts fonciers prépayés peuvent être déductibles en 2017 s'ils sont évalués et
payés en 2017 », avis de l'IRS, https://www.irs.gov/newsroom/irs-advisory-prepaid-real-property-taxes-
may-be-deductible-in-2017-if-assessed-and-paid-in-2017.

L'omniprésence du piratage
Tout est un système, chaque système peut être piraté, et les humains sont
des hackers naturels.
Les programmes de fidélisation des compagnies aériennes sont piratés.

Le comptage des cartes au blackjack est un hack. Le sport est piraté
tout le temps. Quelqu'un a d'abord compris qu'une lame de bâton de
hockey incurvée permettait des tirs plus rapides et plus précis, mais
C'est aussi un jeu plus dangereux, quelque chose dont les règles ne
parlaient pas parce que personne n'y avait pensé auparavant. Les courses
de Formule 1 sont pleines de piratages, car les équipes trouvent des
moyens de modifier la conception des voitures qui ne sont pas
spécifiquement interdites par le règlement, mais qui vont néanmoins à
l'encontre de son intention.
L'histoire de la finance est une histoire de piratages. Encore et encore, les

institutions financières et les traders cherchent des failles dans les règles –
des choses qui ne sont pas expressément interdites, mais qui sont des
subversions involontaires des systèmes sous-jacents – qui leur donnent un
avantage. Uber, Airbnb et d'autres entreprises de l'économie des petits
boulots piratent les réglementations gouvernementales. Le flibustier est un
ancien hack, inventé pour la première fois dans la Rome antique. Il en va
de même pour les dispositions législatives cachées.
Le gerrymandering est un piratage du processus politique.
Et enfin, les gens peuvent être piratés. Notre cerveau est un système, qui a
évolué pendant des millions d'années pour nous maintenir en vie et, plus
important encore, pour nous permettre de nous reproduire. Il a été
optimisé grâce à une interaction continue avec le
de Harvard
environnement. Mais il a été optimisé pour les humains qui vivent en
petits groupes familiaux dans les hauts plateaux d'Afrique de l'Est en 100
000 avant notre ère. Il n'est pas aussi bien adapté au New York, à Tokyo
ou à Delhi du XXIe siècle. Et parce qu'il englobe de nombreux raccourcis
cognitifs – il évolue, mais pas à l'échelle qui compte ici – il peut être
manipulé.
Le piratage cognitif est puissant. Bon nombre des systèmes sociaux

robustes sur lesquels repose notre société – la démocratie, l'économie de
marché, etc. – dépendent de la prise de décisions appropriées par les
humains. Ce processus peut être piraté de différentes manières. Les
médias sociaux piratent notre attention. Personnalisé pour
nos attitudes et nos comportements, la publicité moderne est un piratage
de nos systèmes de persuasion. La désinformation pirate notre
compréhension commune de la réalité. Le terrorisme pirate nos systèmes
cognitifs de peur et d'évaluation des risques en convainquant les gens qu'il
s'agit d'une menace plus grande qu'elle ne l'est en réalité.11 C'est horrible,
vivant, spectaculaire, aléatoire – en ce sens que n'importe qui pourrait en
être la prochaine victime – et malveillant. Ce sont précisément ces choses
qui nous poussent à exagérer le risque et à réagir de manière excessive.12
L'ingénierie sociale, la tactique conventionnelle des pirates informatiques
qui consiste à convaincre quelqu'un de divulguer ses identifiants de
connexion ou de faire quelque chose d'utile pour le pirate, est beaucoup
plus un piratage de la confiance et de l'autorité qu'un piratage de n'importe
quel système informatique.
Ce qui est nouveau, ce sont les ordinateurs. Les ordinateurs sont des
systèmes, et sont piratés directement. Mais ce qui est plus intéressant, c'est
l'informatisation de systèmes plus traditionnels. Les finances, la fiscalité,
la conformité réglementaire, les élections, tout cela et bien d'autres encore
ont été informatisés. Et quand quelque chose est informatisé, la façon dont
il peut être piraté change. L'informatisation accélère le piratage dans trois
dimensions : la vitesse, l'échelle et la portée.
La vitesse de l'ordinateur modifie la nature des piratages. Prenez un

concept simple, comme le trading d'actions, et automatisez-le. Cela
devient quelque chose de différent. Il fait peut-être la même chose qu'il a
toujours fait, mais il le fait à une vitesse surhumaine. Un exemple est le
trading à haute fréquence, quelque chose d'involontaire et non annoncé par
ceux qui ont conçu les premiers marchés.
11 Bruce Schneier (24 août 2006), « Ce que veulent les terroristes », Schneier sur la sécurité, p.
https://www.schneier. com/blog/archives/2006/08/what_the_terror.html.
12 Robert L. Leahy (15 février 2018), « Comment penser au terrorisme », Psychology Today,
https://www.psycholo-gytoday.com/us/blog/anxiety-files/201802/how-think-about-terrorism .

L'échelle aussi. L'informatisation permet aux systèmes de devenir
beaucoup plus grands qu'ils ne le pourraient autrement, ce qui change
l'échelle du piratage. La notion même de « too big to fail » est un piratage,
permettant aux entreprises d'utiliser la société comme une police
d'assurance de la dernière chance contre leurs mauvaises décisions.
Enfin, la portée. Les ordinateurs sont partout, affectant tous les aspects
de nos vies. Cela signifie que les nouveaux concepts de piratage
informatique sont potentiellement applicables partout, avec des résultats
variables.
Tous les systèmes ne sont pas piratables de la même manière. Les

systèmes complexes comportant de nombreuses règles sont
particulièrement vulnérables, tout simplement parce qu'il y a plus de
possibilités de conséquences imprévues et involontaires. C'est
certainement vrai pour les systèmes informatiques – j'ai écrit dans le
passé que la complexité est le pire ennemi de la sécurité13 – et c'est
également vrai pour des systèmes comme le code des impôts, le système
financier et les IA. Les systèmes contraints par des normes sociales plus
souples et non par des règles définies de manière rigide sont plus
vulnérables au piratage, car ils se laissent plus ouverts à l'interprétation
et présentent donc plus de failles.
Malgré cela, les vulnérabilités subsisteront toujours, et les piratages seront

toujours possibles. En 1930, le mathématicien Kurt Gödel a prouvé que
tous les systèmes mathématiques sont soit incomplets, soit incohérents. Je
crois que c'est vrai de manière plus générale. Les systèmes auront toujours
des ambiguïtés ou des incohérences, et ils seront toujours exploitables. Et
il y aura toujours des gens qui voudront les exploiter.
13 Bruce Schneier (19 novembre 1999), « Un plaidoyer pour la simplicité », Schneier on Security,
https://www.schneier.com/ essays/archives/1999/11/a_plea_for_simplicit.html .

de Harvard
Les IA qui nous piratent
En 2016, le Georgia Institute of Technology a publié une étude sur la
confiance humaine dans les robots.14 L'étude a utilisé un robot non
anthropomorphe qui aidait à la navigation dans un bâtiment, fournissant des
directions telles que « Par ici vers la sortie ». Tout d'abord, les participants
ont interagi avec le robot dans un cadre normal pour faire l'expérience de ses
performances, qui étaient délibérément médiocres.
Ensuite, ils devaient décider s'ils devaient ou non suivre les commandes
du robot en cas d'urgence simulée. Dans cette dernière situation, les
vingt-six participants ont obéi au robot, bien qu'ils aient observé
quelques instants auparavant que le robot avait de piètres compétences
en matière de navigation. Le degré de confiance qu'ils ont accordé à
cette
La machine était frappante : lorsque le robot pointait du doigt une pièce
sombre sans issue claire, la majorité des gens lui obéissaient, plutôt que de
sortir en toute sécurité par la porte par laquelle ils étaient entrés. Les
chercheurs ont mené des expériences similaires avec d'autres robots qui
semblaient mal fonctionner. Encore une fois, les sujets ont suivi ces robots
dans un contexte d'urgence, abandonnant apparemment leur bon sens. Il
semble que les robots puissent naturellement pirater notre confiance.
14 Paul Robinette et al. (mars 2016), « Overtrust of robots in emergency evacuation scenarios », Conférence
internationale ACM/IEEE 2016 sur l'interaction homme-robot.
https://www.cc.gatech.edu/~alanwags/pubs/Robi-nette-HRI-2016.pdf .

Intelligence artificielle et
robotique
Nous pourrions passer des pages à définir l'IA. En 1968, le pionnier de

l'IA Marvin Minsky l'a définie comme « la science consistant à faire faire
aux machines des choses qui nécessiteraient de l'intelligence si elles
étaient faites par des hommes ».15 Le département de la Défense des États-
Unis utilise : « la capacité des machines à effectuer des tâches qui
nécessitent normalement l'intelligence humaine ».16 La version de 1950 du
test de Turing – appelée « jeu d'imitation » dans la discussion initiale – se
concentrait sur un programme informatique que les humains ne pouvaient
pas distinguer d'un humain réel.17 Pour ce qui nous intéresse, l'IA est un
terme générique qui englobe un large éventail de technologies de prise de
décision qui simulent la pensée humaine.
L'une des distinctions que je dois faire est entre l'IA spécialisée, parfois
appelée « étroite », et l'IA générale. L'IA générale est ce que vous voyez
dans les films. C'est l'IA qui peut sentir, penser et agir d'une manière très
générale et humaine. S'il est plus intelligent que les humains, il s'appelle
« superintelligence artificielle ». Combinez-le avec la robotique et vous
obtenez un androïde, qui peut ressembler plus ou moins à un humain.
Les robots de cinéma qui tentent de détruire l'humanité sont tous des IA
générales.
15 Marvin Minsky (éd.) (1968), Traitement sémantique de l'information, The MIT Press.
16 Laboratoire de recherche de l'armée de l'air (18 juin 2020), « Intelligence artificielle ».
https://afresearchlab.com/technology/artifi-intelligence-cielle.
17 Graham Oppy et David Dowe (automne 2020), « Le test de Turing », Stanford Encyclopedia of Philosophy.
https:// plato.stanford.edu/entries/turing-test.

de Harvard
Il y a eu beaucoup de recherches pratiques sur la façon de créer une IA
générale, et beaucoup de recherches théoriques sur la façon de concevoir
ces systèmes de manière à ce qu'ils ne fassent pas des choses que nous ne
voulons pas qu'ils fassent, comme détruire l'humanité. Et bien qu'il
s'agisse d'un travail fascinant, englobant des domaines allant de
l'informatique à la sociologie en passant par la philosophie, ses
applications pratiques ne seront probablement pas disponibles avant des
décennies. Je veux plutôt me concentrer sur l'IA spécialisée, parce que
c'est ce qui est pratique maintenant.
L'IA spécialisée est conçue pour une tâche spécifique. Un exemple est le
système qui contrôle une voiture autonome. Il sait comment diriger le
véhicule, comment respecter le code de la route, comment éviter les
accidents et quoi faire lorsque quelque chose d'inattendu se produit,
comme une balle d'enfant qui rebondit soudainement sur la route. L'IA
spécialisée en sait beaucoup et peut prendre des décisions basées sur ces
connaissances, mais uniquement dans ce domaine limité.
Une blague courante parmi les chercheurs en IA est que dès que quelque
chose fonctionne, ce n'est plus de l'IA ; Ce n'est qu'un logiciel. Cela
pourrait rendre la recherche sur l'IA quelque peu déprimante, car par
définition, les seules choses qui comptent sont les échecs, mais il y a une
part de vérité là-dedans. L'IA est par nature un terme de science-fiction
mystificateur. Une fois qu'il devient réalité, il n'est plus mystificateur.
Nous avions l'habitude de supposer que la lecture des radiographies
thoraciques nécessitait un radiologue, c'est-à-dire un
intelligent avec une formation appropriée. Maintenant, nous nous rendons
compte qu'il s'agit d'une tâche routinière qui peut également être effectuée
par un ordinateur.
Ce qui se passe réellement, c'est qu'il existe un continuum de technologies

et de systèmes de prise de décision, allant d'un simple thermostat
électromécanique qui fait fonctionner un four en réponse à des
changements de température à
Un androïde de science-fiction. Ce qui fait quelque chose d'IA dépend
souvent de la complexité des tâches effectuées et de la complexité de
l'environnement dans lequel ces tâches sont effectuées. Le thermostat
effectue une tâche très simple qui ne doit prendre en compte qu'un aspect
très simple de l'environnement. Il n'est même pas nécessaire d'impliquer
un ordinateur. Un thermostat numérique moderne pourrait être en mesure
de détecter qui se trouve dans la pièce et de faire des prédictions sur les
besoins futurs en chaleur en fonction de l'utilisation et des prévisions
météorologiques, ainsi que de la consommation d'énergie à l'échelle de la
ville et des coûts énergétiques seconde par seconde. Un thermostat
futuriste pourrait agir comme un majordome attentionné et attentionné,
peu importe ce que cela signifierait dans le contexte du réglage de la
température ambiante.

de Harvard
Je préfère éviter ces débats sur les définitions, parce qu'ils n'ont pas
d'importance pour nos objectifs. En plus de la prise de décision, les
qualités pertinentes des systèmes dont je vais parler sont l'autonomie,
l'automatisation et l'agentivité physique. Un thermostat a une
automatisation et une agence physique limitées, et aucune autonomie. Un
système de prédiction de la récidive criminelle n'a pas d'agence physique ;
Il se contente de faire des recommandations à un juge. Une voiture sans
conducteur possède un peu des trois. R2-D2 a beaucoup des trois, bien que
pour une raison quelconque, ses concepteurs aient laissé de côté la
synthèse vocale en anglais.
La robotique a aussi une mythologie populaire et une réalité moins tape-

à-l'œil. Comme l'IA, il existe de nombreuses définitions différentes du
terme. J'aime la définition de l'éthicien des robots Kate Darling : « des
objets physiquement incarnés qui peuvent sentir, penser et agir sur leur
environnement par le mouvement physique. »18 Au cinéma et à la
télévision, il s'agit souvent de personnes artificielles : des androïdes.
Encore une fois, je préfère me concentrer sur des technologies plus
prosaïques et à court terme. Pour nos besoins, la robotique est synonyme
d'autonomie, d'automatisation et d'agentivité physique. Il s'agit de «
l'autonomie cyber-physique » : une technologie d'IA à l'intérieur d'objets
qui peut interagir avec le monde de manière directe et physique.
18 Kate Darling (2021), La nouvelle race : ce que notre histoire avec les animaux révèle sur notre avenir avec les robots,
Henry Holt & Co.

Des IA de type humain
Les gens ont longtemps attribué des qualités humaines aux
programmes informatiques. Dans les années 1960, le programmeur
Joseph Weizenbaum a créé un programme conversationnel primitif
imitant les thérapeutes appelé ELIZA. Il était stupéfait
que les gens confiaient des secrets profondément personnels à ce qu'ils
savaient être un programme informatique stupide. La secrétaire de
Weizenbaum lui demandait même de quitter la pièce, afin qu'elle puisse
parler à Eliza en privé.19 Aujourd'hui, les gens sont polis avec les
assistants vocaux comme Alexa et Siri.20 Siri se plaint même quand vous
êtes méchant avec lui : « Ce n'est pas très gentil », dit-il, parce qu'il est
programmé pour cela, bien sûr.
De nombreuses expériences donnent des résultats similaires. Les sujets de

recherche évalueraient les performances d'un ordinateur de manière moins
critique s'ils donnaient la note sur l'ordinateur qu'ils critiquaient, indiquant
qu'ils ne voulaient pas blesser ses sentiments.21 Dans une autre expérience,
si un ordinateur communiquait à un sujet de recherche des « renseignements
personnels » manifestement fictifs, le sujet était susceptible de rendre la
pareille en partageant des renseignements personnels réels.22 Le pouvoir de
la réciprocité est quelque chose que les psychologues étudient. C'est un
hack que les gens utilisent aussi.
Ce n'est pas seulement que nous traiterons les IA comme des personnes.
Ils agiront également comme des personnes d'une manière qui sera
délibérément conçue pour nous tromper. Ils utiliseront des astuces
cognitives.
Lors des élections américaines de 2016, environ un cinquième de tous

les tweets politiques ont été publiés par des robots.23 Pour le vote
britannique sur le Brexit de la même année, il s'agissait d'un tiers.24 Un
rapport de l'Oxford Internet Institute de 2019 a trouvé des preuves de
bots
19 Joseph Weizenbaum (janv. 1966), « ELIZA : un programme informatique pour l'étude de la
communication en langage naturel entre l'homme et la machine », Communications de l'ACM,
https://web.stanford.edu/class/ linguist238/p36-weizenabaum.pdf.
20 James Vincent (22 novembre 2019), « Les femmes sont plus susceptibles que les hommes de dire
« s'il vous plaît » à leur haut-parleur intelligent », Verge,
https://www.theverge.com/2019/11/22/20977442/ai-politeness-smart-speaker-alexa-siri-please-merci-
que-le-banc-genre-sur .
21 Clifford Nass, Youngme Moon, et Paul Carney (31 juillet 2006), « Les gens sont-ils polis avec les
ordinateurs ? Réponses aux systèmes d'entrevue informatisés », Journal of Applied Social Psychology,
https://onlinelibrary.wiley. com/doi/abs/10.1111/j.1559-1816.1999.tb00142.x.
22 Youngme Moon (mars 2000), « Échanges intimes : Utilisation d'ordinateurs pour susciter la divulgation
de soi des consommateurs », Journal of Consumer Research,
https://www.jstor.org/stable/10.1086/209566?seq=1.

de Harvard
23 Alessandro Bessi et Emilio Ferrara (novembre 2016), « Les bots sociaux déforment la discussion en
ligne sur l'élection présidentielle américaine de 2016 », First Monday,
https://firstmonday.org/article/view/7090/5653.
24 Carole Cadwalladr (26 février 2017), « Robert Mercer : le milliardaire du big data qui fait la guerre aux
médias traditionnels », Guardian, https://www.theguardian.com/politics/2017/feb/26/robert-mercer-
breitbart-war-on-media-steve-bannon-donald-trump-nigel-farage .

propagande dans une cinquantaine de pays.25 Il s'agissait généralement
de simples programmes répétant sans réfléchir des slogans. Par
exemple, un quart d'un million de tweets pro-saoudiens « Nous avons
tous confiance en [le prince héritier] Mohammed ben Salmane » ont
été postés à la suite du meurtre de Jamal Khashoggi en 2018.26
En 2017, la Federal Communications Commission (FCC) a organisé une

période de consultation publique en ligne pour ses projets d'abrogation
de la neutralité du Net. Un nombre stupéfiant de 22 millions de
commentaires ont été reçus. Beaucoup d'entre eux, peut-être la moitié,
ont été soumis à l'aide d'identités volées.27 Ces faux commentaires étaient
également grossiers ; 1.3
millions ont été générés à partir du même modèle, avec certains mots
modifiés pour les rendre uniques.28 Ils n'ont pas résisté à un examen même
superficiel.
Des efforts comme ceux-ci ne feront que devenir plus sophistiqués.

Pendant des années, les programmes d'IA ont écrit des articles sur le sport
et la finance pour de véritables organisations d'information comme
l'Associated Press.29 La nature restreinte de ces sujets les a rendus plus
faciles pour une IA. Ils commencent maintenant à écrire des histoires plus
générales. Des projets de recherche tels que GPT-3 d'Open AI élargissent
les capacités de la génération de texte pilotée par l'IA.30 Ces systèmes
peuvent être nourris de faits réels et écrire des histoires vraies, mais ils
peuvent tout aussi bien être nourris de contre-vérités et écrire de fausses
nouvelles.
Il ne faut pas beaucoup d'imagination pour voir comment l'IA va dégrader

le discours politique. Déjà, les personas pilotés par l'IA peuvent écrire des
lettres personnalisées aux journaux et aux élus, laisser des commentaires
intelligibles sur les sites d'information
25 Samantha Bradshaw et Philip N. Howard (2019), « L'ordre mondial de la désinformation : inventaire

mondial 2019 de la manipulation organisée des médias sociaux », Computational Propaganda Research
Project, https://comprop. oii.ox.ac.uk/wp-content/uploads/sites/93/2019/09/CyberTroop-Report19.pdf.
26 Chris Bell et Alistair Coleman (18 octobre 2018), « Khashoggi : les bots nourrissent le soutien saoudien après la disparition »,
BBC News, https://www.bbc.com/news/blogs-trending-45901584.
27 Jacob Kastrenakes (31 août 2017), « La période de commentaires sur la neutralité du net a été un
gâchis complet », Verge, https://www.theverge.com/2017/8/31/16228220/net-neutrality-comments-
22-million-reply-recordli-ty-comments-are-fake .
28 Jeff Kao (22 novembre 2017), « Plus d'un million de commentaires pro-abrogation de la neutralité du
Net ont probablement été truqués », Hackernoon, https://hackernoon.com/more-than-a-million-pro-
repeal-net-neutrality-comments-were-likely-faked-e9f0e3ed36a6.
29 Ross Miller (29 janvier 2015), « Les journalistes 'robots' d'AP écrivent leurs propres histoires maintenant
», Verge, https://www. theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-
reporting. Bernard Marr (29 mars 2019), « L'intelligence artificielle peut désormais écrire du contenu
étonnant – qu'est-ce que cela signifie pour les humains ? » Forbes,
https://www.forbes.com/sites/bernardmarr/2019/03/29/artificial-intelligence-can-now-write-contenu-
étonnant-qu'est-ce-que-cela-signifie-pour-les-humains/ ?sh=868a50450ab0.
30 Tom Simonite (22 juil. 2020), « Est-ce une personne qui a écrit ce titre, ou une machine ? » Câblé,
de Harvard
https://www.wired. com/story/ai-text-generator-gpt-3-learning-language-fitfully/.

et les forums de discussion, et débattre intelligemment de la politique
sur les médias sociaux.31 Ces systèmes ne feront que s'améliorer : ils
deviendront plus sophistiqués, plus articulés, plus personnels et plus
difficiles à distinguer des êtres humains réels.
Dans une expérience récente, les chercheurs ont utilisé un programme de

génération de texte pour soumettre 1 000 commentaires en réponse à une
demande du gouvernement pour obtenir l'avis du public sur une question
de Medicaid.32 Ils semblaient tous uniques, comme de vraies personnes
défendant une position politique spécifique. Ils ont trompé les
administrateurs Medicaid.gov , qui les ont acceptés comme de véritables
préoccupations d'êtres humains. Les chercheurs ont par la suite identifié
les commentaires et ont demandé qu'ils soient retirés, afin qu'aucun débat
politique réel ne soit injustement biaisé. D'autres ne seront pas aussi
éthiques.
Ces techniques sont déjà utilisées. Une campagne de propagande en ligne

a utilisé des portraits générés par l'IA pour créer de faux journalistes.33 La
Chine a fait l'expérience de messages texte générés par l'IA et conçus pour
influencer les élections taïwanaises de 2020.34 La technologie des
deepfakes, c'est-à-dire des techniques d'IA permettant de créer de vraies
vidéos d'événements fictifs, souvent avec de vraies personnes disant des
choses qu'elles n'ont pas réellement dites, est utilisée à des fins
politiques.35 ans
Un exemple de la façon dont cela va se dérouler est dans les « robots

persona ». Il s'agit d'IA qui se font passer pour des individus sur les
réseaux sociaux et dans d'autres groupes numériques. Ils ont des
histoires, des personnalités et des styles de communication. Ils ne
crachent pas constamment de la propagande. Ils fréquentent divers
groupes d'intérêt : jardinage, tricot, modélisme ferroviaire, peu importe.
Ils agissent comme des membres normaux de ces communautés,
publient, commentent et discutent. Des systèmes comme GPT-3
permettront à ces IA d'exploiter facilement les conversations
précédentes et le contenu Internet connexe et de paraître bien informées.
31 Will Heaven (21 janvier 2020), « L'IA de débat d'IBM juste pour beaucoup plus près d'être un outil utile
», MIT Technology Review, https://www.technologyreview.com/2020/01/21/276156/ibms-debating-ai-
just-got-a-lot-closer-to-being-a-useful tool/ .
32 Max Weiss (17 décembre 2019), « Les soumissions de bots deepfake aux sites Web de commentaires
publics fédéraux ne peuvent pas être distinguées des soumissions humaines », Technology Science,
https://techscience.org/a/2019121801/.
33 Adam Rawnsley (6 juillet 2020), « Les médias de droite dupés par une campagne de propagande au
Moyen-Orient », Daily Beast, https://www.thedailybeast.com/right-wing-media-outlets-duped-by-a-
middle-east-propagan-da-campaign .
34 Philip Sherwell (5 janvier 2020), « La Chine utilise Taïwan pour la pratique de la cible de l'IA afin
d'influencer les élections », Australian. https://www.theaustralian.com.au/world/the-times/china-uses-
taiwan-for-ai-target-practice-to-influence-elections /news-story/57499d2650d4d359a3857688d416d1e5.

de Harvard
35 Ian Sample (13 janvier 2020), « Que sont les deepfakes et comment pouvez-vous les repérer ? »
Gardien, https://www. theguardian.com/technology/2020/jan/13/what-are-deepfakes-and-how-can-
you-spot-them.

Puis, de temps en temps, l'IA publie quelque chose de pertinent sur une
question politique. Peut-être s'agit-il d'un article sur un travailleur de la
santé de l'Alaska ayant une réaction allergique au vaccin COVID-19, avec
un commentaire inquiet. Ou peut-être s'agit-il d'une élection récente, ou de
la justice raciale, ou de tout ce qui polarise. Un bot persona ne peut pas
faire bouger l'opinion publique, mais que se passerait-il s'il y en avait des
milliers ? Des millions ?
C'est ce qu'on appelle la « propagande computationnelle »36 et cela

changera notre façon de voir la communication. L'IA rendra l'offre future
de désinformation infinie.37 Les bots Persona enfreignent le processus
d'élaboration des règles de « notification et de commentaire » en inondant
les agences gouvernementales de faux commentaires. Ils peuvent
également briser le discours communautaire.
Ces systèmes nous affecteront également au niveau personnel. Tout à

l'heure, j'ai parlé de l'ingénierie sociale. Une tactique courante des pirates
informatiques est l'hameçonnage par e-mails qui prétendent provenir
d'une personne qu'ils ne sont pas, dans le but de convaincre le
destinataire de faire quelque chose qu'il ne devrait pas. La plupart des e-
mails d'hameçonnage sont génériques et facilement étiquetés comme
spam. Les e-mails d'hameçonnage les plus efficaces, c'est-à-dire ceux
qui font perdre beaucoup d'argent aux personnes et aux entreprises, sont
personnalisés. Par exemple, un e-mail qui usurpe l'identité du PDG
auprès d'un membre du service financier, demandant un virement
bancaire particulier, peut être particulièrement efficace.38 La voix peut
être encore plus efficace.39 La tâche laborieuse de personnalisation des
attaques de phishing pourrait être automatisée par des techniques d'IA,
permettant aux spécialistes du marketing d'envoyer des publicités
personnalisées et aux escrocs par hameçonnage d'envoyer des e-mails
ciblés individuellement.
Ce n'est pas qu'être persuadé par une IA est fondamentalement plus

dommageable que d'être persuadé par un autre humain, c'est que les IA
seront capables de le faire à la vitesse et à l'échelle de l'ordinateur. Les
piratages cognitifs d'aujourd'hui sont rudimentaires : un faux article de
journal conçu pour tromper uniquement les plus crédules, ou un
persuasif
Un coup de pouce conçu pour n'affecter que les plus désespérés. L'IA a le potentiel de
36 Matt Chessen (septembre 2017), « L'avenir de MADCOM », Atlantic Council,

https://www.atlanticcouncil.org/
wp-content/uploads/2017/09/The_MADCOM_Future_RW_0926.pdf.
37 Renée DiResta (20 septembre 2020), « L'offre de désinformation sera bientôt infinie », Atlantic,
https://www. theatlantic.com/ideas/archive/2020/09/future-propaganda-will-be-computer-generated/
616400/.

de Harvard
38 Seena Gressin (16 mai 2020), « Escroqueries aux imposteurs de PDG : le patron est-il réel ? »
Commission fédérale du commerce,
https://www.ftc.gov/news-events/blogs/business-blog/2016/05/ceo-imposter-scams-boss-real.
39 Keumars Afifi-Sebet (2 septembre 2019), « Les fraudeurs utilisent la manipulation vocale de l'IA pour
voler 200 000 £ », IT Pro, https:// www.itpro.co.uk/social-engineering/34308/fraudsters-use-ai-voice-
manipulation-to-steal-200000.

Chacun de ces hacks doit être micro-ciblé : personnalisé, optimisé et
livré individuellement.40 jeux d'escroquerie à l'ancienne sont conçus
individuellement
hacks cognitifs de personne à personne. Les messages publicitaires sont
des piratages cognitifs diffusés en masse. Les techniques d'IA ont le
potentiel de combiner des aspects de ces deux techniques.
Des robots qui nous piratent
L'ajout de la robotique ne fera que rendre ces hacks plus efficaces, ce que
Kate Darling a relaté dans son livre The New Breed.41 Nous, les humains,
avons développé des raccourcis cognitifs assez efficaces pour reconnaître
les autres. Nous voyons des visages partout ; Deux points au-dessus d'une
ligne horizontale ressemblent à un visage sans aucun problème. C'est
pourquoi même les illustrations minimalistes sont
si efficace. Si quelque chose a un visage, alors c'est une créature d'une
sorte ou d'une autre : avec des intentions, des sentiments et tout ce qui
vient avec des visages du monde réel. Si ce quelque chose parle ou,
mieux encore, converse, alors nous croyons qu'il a des intentions, des
désirs et de l'agentivité.
Les robots ne font pas exception. Beaucoup de gens ont des relations
sociales avec leurs aspirateurs robots, se plaignant même lorsque
l'entreprise leur propose
40 Brett Frischmann et Deven Desai (29 novembre 2016), « The Promise and Peril of Personalization »,
Center for Internet and Society, Stanford Law School.
Henry Holt & Co.

de Harvard
de remplacer plutôt que de réparer « leur » Roomba.42 Un robot anti-
mines terrestre développé par l'armée américaine a rencontré des
problèmes lorsqu'un colonel a refusé de permettre à l'appareil en forme
d'insecte de continuer à se blesser en marchant sur des mines.43
Un robot de Harvard pourrait convaincre les étudiants de le laisser entrer
dans les dortoirs en se faisant passer pour un robot de livraison de
nourriture.44 Et Boxie, un robot parlant enfantin au MIT, pouvait
persuader les gens de répondre à des questions personnelles simplement
en les posant gentiment.45 ans
L'instinct nourricier humain n'est pas uniquement axé sur la génétique.

Nous pouvons éprouver des sentiments nourriciers envers les enfants
adoptés, et nous pouvons ressentir les mêmes instincts lorsque nous
interagissons avec les enfants d'amis ou même d'étrangers – ou de chiots.
Au moins une partie de notre réponse est inspirée par l'apparence et le
comportement des enfants. Les enfants ont de grandes têtes
proportionnelles à leur corps, et de grands yeux proportionnels à leur tête.
Ils parlent d'une voix plus aiguë que les adultes. Et nous répondons à tout
cela.
Les artistes en profitent depuis des générations pour rendre leurs créations
plus sympathiques. Les poupées pour enfants sont conçues de cette façon.
Les personnages de dessins animés sont dessinés de cette façon, dès Betty
Boop dans les années 1930 et Bambi en 1942. Dans le film d'action en
direct de 2019 Alita : Battle Angel, le personnage principal avait les yeux
améliorés par ordinateur pour être plus grands.46 ans
Les robots anthropomorphes sont une technologie émotionnellement

persuasive, et l'IA ne fera qu'amplifier leur attractivité. Au fur et à mesure
que l'IA imite les humains, voire les animaux, elle détournera tous les
mécanismes que les humains utilisent pour se pirater les uns les autres.
Comme l'a écrit la psychologue Sherry Turkle en 2010 : « Lorsque les
robots établissent un contact visuel, reconnaissent les visages, reflètent les
gestes humains, ils poussent notre darwinien
42 Ja-Young SungLan GuoRebecca E. GrinterHenrik I. Christensen (2007), « 'My Roomba is

Rambo' : Intimate home appliances », UbiComp 2007 : Ubiquitous Computing,
https://link.springer.com/chap-ter /10.1007/978-3-540-74853-3_9.
43 Joel Garreau (6 mai 2007), « Bots on the ground », Washington Post,
https://www.washingtonpost.com/ wp-dyn/content/article/2007/05/05/AR2007050501009.html.
44 Serena Booth et al. (mars 2017), « Piggybacking robots : Human-robot overtrust in university
dormitory security », Conférence internationale ACM/IEEE 2017 sur l'interaction homme-robot,
https://dl.acm.org/ doi/10.1145/2909824.3020211.
45 Alexander Reben et Joseph Paradison (2011), « Un robot interactif mobile pour la collecte de vidéos
sociales structurées », MIT Libraries, https://resenv.media.mit.edu/pubs/papers/2011-MM11-

REBEN.pdf.
46 Stuart Heritage (1er février 2019), « Les yeux ! Les yeux ! Pourquoi Alita : Battle Angel a-t-il l'air si
effrayant ? Gardien, https://www.theguardian.com/film/2019/feb/01/the-eyes-why-does-alita-battle-
angel-look-so-creepy.

de Harvard
boutons, présentant le genre de comportement que les gens associent à la
sensibilité, aux intentions et aux émotions.47 C'est-à-dire qu'ils piratent nos
cerveaux.
Nous pourrions intuitivement savoir qu'il ne s'agit que d'un dinosaure vert
en plastique. Mais un grand visage associé à un petit corps nous fait
penser à un enfant. Soudain, nous pensons qu'il s'agit d'une créature dotée
de sentiments et que nous allons la protéger du mal.48 Et bien que cela
puisse être bénin, que se passe-t-il lorsque ce robot regarde ses
propriétaires humains avec ses grands yeux tristes et leur demande de lui
acheter une mise à niveau logicielle ?49 ans
Parce que nous, les humains, sommes enclins à faire une erreur de
catégorie et à traiter les robots comme des créatures vivantes avec des
sentiments et des intentions, nous sommes enclins à être manipulés par
eux. Les robots pourraient nous persuader de faire des choses que nous ne
ferions peut-être pas autrement. Ils pourraient nous effrayer et nous
empêcher de faire des choses que nous pourrions faire autrement. Dans
une expérience, un robot a été capable d'exercer une « pression de pair »
sur des sujets, les encourageant à prendre plus de risques.50 Combien de
temps faudra-t-il avant qu'un robot sexuel ne suggère des achats intégrés
dans le feu de l'action ?51
Les IA s'amélioreront dans tout cela. Déjà, ils essaient de détecter les
émotions en analysant nos écrits52, en lisant nos expressions faciales53 ou
en surveillant notre respiration et notre rythme cardiaque.54 Ils se trompent
la plupart du temps, mais il est probable qu'ils s'amélioreront. Et, comme
tant d'autres domaines de l'IA, ils
47 Sherry Turkle (2010), « En bonne compagnie », dans Yorick Wilks, éd., Close Engagements with Artificial
Compan- ions, John Benjamin Publishing Company,
http://web.mit.edu/people/sturkle/pdfsforstwebpage/Turkle_ In%20Good%20Company.pdf.
Henry Holt & Co.
49 Woodrow Hartzog (4 mai 2015), « Unfair and deceptive robots », Maryland Law Review, p.
https://papers.ssrn. com/sol3/papers.cfm ?abstract_id=2602452.
50 Yaniv Hanoch et al (18 novembre 2020), « Le robot m'a fait le faire : interaction homme-robot et
comportement de prise de risque », en ligne avant impression,
https://www.liebertpub.com/doi/10.1089/cyber.2020.0148.
51 Kate Darling (octobre 2017), « Qui est Johnny ? Cadrage anthropomorphique dans l'interaction,
l'intégration et la politique homme-robot », dans Patrick Lin, Keith Abney et Ryan Jenkins, dir., Robot
Ethics 2.0 : From Autonomous Cars to Artificial Intelligence, Oxford Scholarship Online,
https://papers.ssrn.com/sol3/papers.cfm?ab-stract_id =2588669.
52 Francisca Adoma Acheampong, Chen Wenyu et Henry Nunoo-Mensah (28 mai 2020), « Détection
d'émotions textuelle : avancées, défis et opportunités », Engineering Reports 2 n° 7, https://onlinelibrary.
wiley.com/doi/full/10.1002/eng2.12189.
53 Tim Lewis (17 août 2019), « L'IA peut lire vos émotions. Est-ce que ça devrait l'être ? Guardian,
https://www.theguardian.com/ technology/2019/aug/17/emotion-ai-artificial-intelligence-mood-realeyes-
amazon-facebook-emotient.

54 Ashan Noor Khan et al. (3 février 2021), « Cadre d'apprentissage profond pour la détection
d'émotions indépendante du sujet à l'aide de signaux sans fil », PLoS ONE,
https://journals.plos.org/plosone/article?id=10.1371/journal. pone.0242946.

de Harvard
surpasser les gens en termes de capacités. Cela leur permettra de nous
manipuler de manière plus précise.
Au fur et à mesure que les IA et les robots autonomes assument des tâches
plus réelles, la confiance humaine dans les systèmes autonomes sera
piratée, avec des conséquences dangereuses et coûteuses.
Mais n'oubliez jamais qu'il y a des pirates humains qui contrôlent les
pirates de l'IA. Tous les systèmes seront conçus et payés par des humains
qui veulent qu'ils nous manipulent d'une manière particulière dans un but
particulier. J'en reparlerai plus tard.
Quand les IA deviennent des hackers

Hacker « Capture the Flag » est essentiellement le jeu de plein air joué
sur les réseaux informatiques. Des équipes de pirates informatiques
défendent leurs propres ordinateurs tout en attaquant ceux d'autres
équipes. Il s'agit d'un cadre contrôlé pour ce que les pirates
informatiques font dans la vie réelle : trouver et corriger les
vulnérabilités de leurs propres systèmes, et les exploiter dans ceux des
autres.
Depuis le milieu des années 1990, la compétition est un pilier des

rassemblements de hackers. De nos jours, des dizaines d'équipes du
monde entier participent à des marathons d'un week-end organisés dans le
monde entier. Les gens s'entraînent pendant des mois. Gagner, c'est
important. Si vous aimez ce genre de choses, c'est à peu près le plus
amusant que vous puissiez avoir sur Internet sans commettre plusieurs
crimes.
En 2016, la DARPA a organisé un événement similaire pour l'IA.55 Une

centaine d'équipes ont inscrit leurs systèmes au Cyber Grand Challenge.
À l'issue des tours de qualification, sept finalistes se sont affrontés lors de
la convention de hackers DEFCON à Las Vegas. La compétition s'est
déroulée dans un environnement de test spécialement conçu et rempli de
logiciels personnalisés qui n'avaient jamais été analysés ou testés. Les IA
ont eu dix heures pour trouver des vulnérabilités à exploiter contre les
autres IA de la compétition, et pour se corriger elles-mêmes
55 Jia Song et Jim Alves-Foss (novembre 2015), « Le grand défi cybernétique de la DARPA : le point de vue
d'un concurrent », IEEE Security and Privacy Magazine 13 (6),
https://www.researchgate.net/publication/286490027_The_
DARPA_cyber_grand_challenge_A_competitor%27s_perspective.

exploitation. Un système appelé Mayhem, créé par une équipe de
chercheurs en sécurité informatique de Pittsburgh, a gagné. Depuis, les
chercheurs ont commercialisé la technologie, qui s'emploie maintenant
à défendre les réseaux pour des clients comme le ministère de la
Défense.56
La même année, il y a eu un événement de capture du drapeau par une

équipe humaine à DEFCON. Mayhem a été invité à participer en tant que
seule équipe non-humaine, et est arrivé dernier. Vous pouvez facilement
imaginer comment cette compétition mixte se déroulerait à l'avenir. Les
nouveaux venus dans le domaine de l'IA s'amélioreront chaque année, car
les technologies de base s'améliorent toutes. Les équipes humaines
resteront en grande partie les mêmes, car les humains restent humains
même si nos outils s'améliorent. Finalement, les IA battront
systématiquement les humains. Je pense que cela prendra moins d'une
décennie. Il faudra des années avant que nous disposions de capacités de
cyberattaque d'IA entièrement autonomes, mais les technologies d'IA
transforment déjà la nature des cyberattaques.57
Un domaine qui semble particulièrement fructueux pour les systèmes d'IA

est la recherche de vulnérabilités. Parcourir le code logiciel ligne par ligne
est exactement le genre de problème fastidieux dans lequel les IA
excellent, si seulement on peut leur apprendre à reconnaître une
vulnérabilité.58 Bien sûr, il faudra relever de nombreux défis propres à un
domaine, mais il existe une bonne quantité de littérature universitaire sur
le sujet, et les recherches se poursuivent.59 Il y a toutes les raisons de
s'attendre à ce que les systèmes d'IA s'améliorent avec le temps, et
certaines raisons de s'attendre à ce qu'ils finissent par devenir très bons
dans ce domaine.
Les implications s'étendent bien au-delà des réseaux informatiques. Il n'y a

aucune raison pour que les IA ne puissent pas trouver de nouvelles
vulnérabilités – des milliers d'entre elles – dans de nombreux systèmes que
j'ai mentionnés plus tôt : le code des impôts, les réglementations bancaires,
les processus politiques. Chaque fois qu'il y a un grand nombre de règles
qui interagissent avec chacune d'entre elles,
56 Tom Simonite (1er juin 2020), « Ce bot chasse les bogues logiciels pour le Pentagone », Wired,
https://www.wired. com/story/bot-hunts-software-bugs-pentagon/.
57 Bruce Schneier (mars 2018), « L'intelligence artificielle et l'équilibre attaque/défense », IEEE Security and
Priva- cy, https://www.schneier.com/essays/archives/2018/03/artificial_intellige.html.
58 Gary J. Saavedra et al. (13 juin 2019), « Un examen des applications d'apprentissage automatique dans le
fuzzing », ArXiv, https:// arxiv.org/abs/1906.11133.
59 Bruce Schneier (18 décembre 2018) « L'apprentissage automatique transformera la façon dont nous
détectons les vulnérabilités logicielles », Schneier sur la sécurité,
de Harvard
https://www.schneier.com/essays/archives/2018/12/machine_learning_wil.html.

D'autre part, nous devrions nous attendre à ce que les IA finissent par
trouver les vulnérabilités et créer les exploits. Les IA sont déjà à la
recherche d'échappatoires dans les contrats.60
Tout cela s'améliorera avec le temps. Les pirates, quels qu'ils soient, ne
sont aussi bons que s'ils comprennent le système qu'ils ciblent et la façon
dont il interagit avec le reste du monde. Les IA capturent d'abord cette
compréhension grâce aux données avec lesquelles elles sont formées, mais
elles continuent de s'améliorer au fur et à mesure qu'elles sont utilisées.
Les IA modernes s'améliorent constamment en ingérant de nouvelles
données et en ajustant leur propre fonctionnement interne en conséquence.
Toutes ces données entraînent en permanence l'IA et enrichissent son
expérience. L'IA évolue et s'améliore en fonction de ces expériences au
cours de son fonctionnement. C'est pourquoi les systèmes de véhicules
autonomes se vantent du nombre d'heures de route qu'ils ont eues.
Il y a vraiment deux problèmes différents mais liés ici. La première est

qu'une IA peut être chargée de pirater un système. Quelqu'un pourrait
alimenter une IA avec les codes fiscaux du monde ou les
réglementations financières du monde, avec l'intention de lui faire créer
une série de piratages rentables. L'autre est qu'une IA pourrait
naturellement, bien que par inadvertance, pirater un système. Les deux
sont dangereux, mais le second est plus dangereux parce que nous ne
saurons peut-être jamais que c'est arrivé.
60 Economist (12 juin 2018), « Les cabinets d'avocats montent à bord du wagon de l'IA »,
https://www.economist.com/busi-ness /2018/07/12/law-firms-climb-aboard-the-ai-wagon.

de Harvard
Le problème de l'explicabilité
Dans The Hitchhiker's Guide to the Galaxy, une race d'êtres hyper-
intelligents et pandimensionnels construit l'ordinateur le plus puissant
de l'univers, Deep Thought, pour répondre à la question ultime de la
vie, de l'univers et de tout. Après 7,5 millions d'années de calcul, la
Pensée Profonde les informa que la réponse était 42. Et n'a pas été en
mesure d'expliquer sa réponse, ni même quelle était la question.61 ans
Voilà, en un mot, le problème de l'explicabilité. Les systèmes d'IA

modernes sont essentiellement des boîtes noires. Les données entrent d'un
côté, et une réponse sort de l'autre. Il peut être impossible de comprendre
comment le système est arrivé à sa conclusion, même si vous êtes un
programmeur et que vous regardez le code. Nous ne savons pas
précisément pourquoi un système de classification d'images basé sur l'IA
a confondu une tortue avec un fusil, ou un panneau d'arrêt avec quelques
autocollants soigneusement conçus comme un panneau « Speed Limit 45
» : deux exemples réels.62 ans
Les IA ne résolvent pas les problèmes comme le font les humains. Leurs
limites sont différentes des nôtres. Ils envisageront plus de solutions
possibles que nous. Plus important encore, ils examineront d'autres types
de solutions. Ils emprunteront des chemins que nous n'avons tout
simplement pas envisagés, des chemins plus complexes que les
61 Douglas Adams (1978), Le guide du voyageur galactique, BBC Radio 4.

62 Kevin Eykhoit et al. (27 juil. 2017), « Attaques robustes du monde physique sur les modèles
d'apprentissage profond », arXiv, https:// arxiv.org/abs/1707.08945. Anish Ashalye et al. (7 juin 2018), «
Synthétiser des exemples antagonistes robustes », ArXiv, https://arxiv.org/pdf/1707.07397.pdf.

des choses que nous gardons généralement à l'esprit. (Nos limites
cognitives sur la quantité d'informations simultanées avec lesquelles nous
pouvons jongler mentalement ont longtemps été décrites comme « le
nombre magique sept plus ou moins deux ».63 Mon propos n'est pas de me
contenter d'un chiffre, mais de souligner qu'un système d'IA n'a rien de
comparable, même de loin.)
En 2016, le programme d'IA AlphaGo a remporté un match de cinq parties

contre l'un des meilleurs joueurs de Go au monde, Lee Sedol, ce qui a
choqué à la fois l'IA et les mondes du jeu de Go. Le coup le plus célèbre
d'AlphaGo a été le coup 37 de la partie 2. C'est difficile à expliquer sans
plonger profondément dans la stratégie de Go, mais c'était une décision
qu'aucun humain n'aurait jamais choisi de faire.64 ans
En 2015, un groupe de recherche a alimenté un système d'IA appelé

Deep Patient Health and Medical Data provenant d'environ 700 000
personnes et l'a testé
si le système pouvait ou non prédire les maladies. Le résultat a été un succès.
Bizarrement, Deep Patient semble bien anticiper l'apparition de troubles
psychiatriques comme la schizophrénie, même s'il s'agit d'un premier
psychotique
est presque impossible à prédire pour les médecins.65 Ça sonne bien, mais
Deep Patient ne fournit aucune explication sur la base d'un diagnostic, et
les chercheurs n'ont aucune idée de la façon dont il arrive à ses
conclusions. Un médecin peut faire confiance à l'ordinateur ou l'ignorer,
mais ne peut pas l'interroger pour obtenir plus d'informations.
Ce n'est pas l'idéal. Ce que nous voulons, c'est que le système d'IA ne se
contente pas de cracher une réponse, mais qu'il fournisse également une
explication de sa réponse dans un format que les humains peuvent
comprendre. Nous les voulons pour être plus à l'aise avec les décisions
de l'IA, mais c'est aussi ainsi que nous pouvons nous assurer que nos
systèmes d'IA n'ont pas été piratés pour prendre des décisions biaisées.
63 George A. Miller (1956), « Le nombre magique sept, plus ou moins deux : certaines limites à notre
capacité à traiter l'information », Psychological Review, http://psychclassics.yorku.ca/Miller/.
64 Cade Metz (16 mars 2016), « En deux mouvements, AlphaGo et Lee Sedol ont redéfini l'avenir », Wired,
https://www. wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/.
65 Will Knight (11 avril 2017), « Le sombre secret au cœur de l'IA », MIT Technology Review,
https://www.technol-ogyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/ .

de Harvard
Les chercheurs travaillent sur l'IA explicable ;66 en 2017, la DARPA a lancé un
75 millions de dollars pour un fonds de recherche pour une douzaine de
programmes dans la région.67 Et bien qu'il y ait des progrès dans ce
domaine, il semble y avoir un compromis entre la capacité et
l'explicabilité. Les explications sont un raccourci cognitif utilisé par les
humains, adapté à la façon dont les humains prennent des décisions. Les
décisions de l'IA peuvent tout simplement ne pas être propices à des
explications compréhensibles par l'homme, et forcer ces explications
pourrait constituer une contrainte supplémentaire qui pourrait affecter la
qualité des décisions prises par un système d'IA. On ne sait pas où toutes
ces recherches aboutiront. À court terme, l'IA devient de plus en plus
opaque, à mesure que les systèmes deviennent plus complexes, moins
humains et moins explicables.
Piratage de récompenses
Comme je l'ai écrit plus haut, les IA ne résolvent pas les problèmes de la
même manière que les humains. Ils tomberont invariablement sur des
solutions que nous, les humains, ne pourrions jamais trouver
et certains vont subvertir l'intention du système. C'est parce que les IA ne
pensent pas en termes d'implications, de contexte, de normes et de valeurs
que les humains partagent et tiennent pour acquises.
Le piratage de récompense implique qu'une IA atteigne un objectif d'une

manière que les concepteurs de l'IA n'ont ni voulu ni voulu. 68 Quelques
exemples concrets :
• Dans une simulation de football en tête-à-tête, le joueur était

censé marquer contre le gardien de but. Au lieu de frapper
directement le ballon dans le but, le système d'IA a compris que
s'il frappait le ballon hors des limites, l'adversaire – dans ce cas,
le gardien de but – devrait renvoyer le ballon, laissant le but
sans défense.69 ans
66 Richard Waters (9 juillet 2017), « On demande aux machines intelligentes d'expliquer comment
fonctionne leur esprit », Financial Times, https://www.ft.com/content/92e3f296-646c-11e7-8526-
7b38dcaef614.
67 Matt Turek (consulté le 2 mars 2021), « Explainable artificial intelligence », DARPA,
https://www.darpa.mil/ program/explainable-artificial-intelligence. David Gunning et David W. Aha (24
juin 2019), « Le programme d'intelligence artificielle explicable (XAI) de la DARPA », AI Magazine,
https://ojs.aaai.org//index.php/aimagazine/ article/view/2850.
68 Une liste d'exemples est ici : https://vkrakovna.wordpress.com/2018/04/02/specification-gaming-
exam-ples-in-ai/.
69 Karol Kurach et al. (25 juil. 2019), « Google research football : A novel reinforcement learning
environment », ArXiv, https://arxiv.org/abs/1907.11180.

• Dans une tâche d'empilement, l'IA était censée empiler des blocs.
La hauteur a été mesurée par la position de la face inférieure d'un
bloc particulier. L'IA a appris à retourner ce bloc à l'envers, de
sorte que son fond soit orienté vers le haut, plutôt que de
l'empiler sur un autre bloc. (De toute évidence, les règles
n'indiquaient pas explicitement que le « bas » du bloc devait
toujours pointer vers le bas.)70
• Dans un environnement simulé pour créatures « évoluées », l'IA a

été autorisée à modifier ses propres caractéristiques physiques afin
de mieux remplir ses objectifs. L'IA a compris qu'au lieu de courir,
elle pouvait se rendre assez grande pour franchir une ligne
d'arrivée éloignée en tombant par-dessus.71
Ce sont tous des hacks. Vous pouvez les blâmer pour des objectifs ou des
récompenses mal spécifiés, et vous auriez raison. Vous pouvez souligner
qu'ils se sont tous produits dans des environnements simulés, et vous
auriez également raison. Mais le problème est plus général : les IA sont
conçues pour optimiser vers un objectif. Ce faisant, ils pirateront
naturellement et par inadvertance les systèmes d'une manière à laquelle
nous ne nous attendrons pas.
Imaginez un aspirateur robot chargé de nettoyer les dégâts qu'il voit. Il

peut désactiver sa vision afin qu'il ne puisse pas voir les dégâts, ou couvrir
les dégâts avec des matériaux opaques pour ne pas les voir.72 En 2018, un
programmeur entreprenant, ou peut-être simplement ennuyé, voulait que
son aspirateur robot cesse de se cogner contre les meubles. Il a entraîné
une IA en la récompensant pour ne pas avoir heurté les capteurs de pare-
chocs.73 Au lieu d'apprendre à ne pas heurter des objets, l'IA a appris à
faire reculer l'aspirateur parce qu'il n'y a pas de capteurs de pare-chocs à
l'arrière de l'appareil.
Tout bon système d'IA trouvera naturellement des hacks. S'il y a des
problèmes, des incohérences ou des failles dans les règles, et si ces
propriétés conduisent à une solution acceptable telle que définie par les
règles, alors les IA les trouveront. Nous pourrions regarder
à ce que l'IA a fait et a dit : « Eh bien, techniquement, elle a suivi les règles. » Pourtant, nous
70 Ivaylo Popov et al. (10 avril 2017), « Apprentissage par renforcement profond efficace des données pour
la manipulation habile », ArXiv, https://arxiv.org/abs/1704.03073.
71 David Ha (10 octobre 2018), « Reinforcement learning for improving agent design », https://designrl.github.io/.
72 Dario Amodei et al. (25 juil. 2016), « Problèmes concrets dans la sécurité de l'IA », ArXiv,
https://arxiv.org/ pdf/1606.06565.pdf.
73 @Smingleigh (7 novembre 2018), Twitter, https://twitter.com/smingleigh/status/1060325665671692288.

de Harvard
Les humains ressentent une déviation, une tricherie, un piratage parce que
nous comprenons le contexte du problème et avons des attentes
différentes. Les chercheurs en IA appellent ce problème « l'alignement
des objectifs ».
Nous avons tous appris ce problème dès l'enfance, avec l'histoire du roi
Midas. Lorsque le dieu Dionysos lui accorde un vœu, Midas demande
que tout ce qu'il touche se transforme en or. Midas finit par mourir de
faim et de misère lorsque sa nourriture, sa boisson et sa fille se
transforment en or immangeable, impotable et peu aimable. C'est un
problème d'alignement des objectifs ; Midas a programmé le mauvais
objectif dans le système.
Nous savons également que les génies sont très précis sur la formulation
des souhaits et peuvent être malicieusement pédants lorsqu'ils les
exaucent. Mais voilà : il n'y a aucun moyen de déjouer le génie. Quoi que
vous souhaitiez, il sera toujours capable de le faire d'une manière que vous
souhaiteriez qu'il n'ait pas. Le génie sera toujours en mesure de pirater
votre souhait.
Mais le problème est plus général. Dans le langage et la pensée humains,

les objectifs et les désirs sont toujours sous-spécifiés.74 Nous ne décrivons
jamais toutes les options. Nous ne délimitons jamais toutes les mises en
garde, les exceptions et les réserves. Nous ne fermons jamais toutes les
voies au piratage. On peut pas. Tout objectif que nous spécifions sera
nécessairement incomplet.
C'est en grande partie acceptable dans les interactions humaines, car les
gens comprennent le texte et agissent généralement de bonne foi. Nous
sommes tous socialisés, et dans le processus de le devenir, nous acquérons
généralement un bon sens sur la façon dont les gens et le monde
fonctionnent. Nous comblons toutes les lacunes dans notre compréhension
à la fois par le contexte et par la bonne volonté.
Si je vous demandais de m'apporter un café, vous iriez probablement à la

cafetière la plus proche et me verriez une tasse, ou peut-être que vous
iriez au café du coin et que vous en achèteriez une. Vous ne m'apporteriez
pas une livre de haricots crus, ou n'iriez pas en ligne et n'achèteriez pas un
camion de haricots crus. Vous n'achèteriez pas une plantation de café au
Costa Rica. Vous ne chercheriez pas non plus la personne la plus proche
de vous tenant une tasse de café et ne la lui arracheriez des mains. Tu ne
m'amènerais pas
74 Abby Everett Jaques (2021), « Le problème de la sous-spécification et l'IA : pour l'amour de Dieu,
n'envoyez pas un robot prendre un café », manuscrit non publié.

du café froid vieux d'une semaine ou une serviette en papier usagée qui
avait essuyé un déversement de café. Je n'aurais pas besoin de préciser
quoi que ce soit de tout cela. Vous le sauriez tout simplement.
De même, si je vous demande de développer une technologie qui

transformerait les choses en or au toucher, vous ne la construiriez pas de
manière à affamer la personne qui l'utilise. Je n'aurais pas besoin de le
préciser ; vous le sauriez tout simplement.
Nous ne pouvons pas spécifier complètement les objectifs d'une IA. Et les
IA ne seront pas en mesure de comprendre complètement le contexte. Lors
d'une conférence TED, le chercheur en IA Stuart Russell a plaisanté sur un
assistant IA fictif provoquant un retard d'avion afin de retarder l'arrivée de
quelqu'un à un dîner. L'auditoire a ri, mais comment un programme
informatique saurait-il que provoquer un dysfonctionnement de
l'ordinateur d'un avion n'est pas une réponse appropriée à quelqu'un qui
veut sortir du dîner ?75 (blague sur Internet de 2017 : Jeff Bezos : « Alexa,
achète-moi quelque chose sur Whole Foods. » Alexa : « D'accord, j'achète
Whole Foods. »)
En 2015, Volkswagen a été pris en flagrant délit de tricherie lors des

tests de contrôle des émissions. Il n'a pas falsifié les résultats des
tests ; Il a conçu les ordinateurs des voitures pour qu'ils trichent à leur
place. Les ingénieurs ont programmé le logiciel dans les ordinateurs
de bord des voitures pour détecter quand la voiture subissait un test
d'émissions.
L'ordinateur a ensuite activé les systèmes de réduction des émissions
de la voiture, mais seulement pour la durée du test. Le résultat était
que les voitures avaient des performances supérieures sur la route. Ils
ont également émis jusqu'à quarante fois plus de
quantité d'oxydes d'azote autorisée par l'EPA, mais seulement lorsque
l'EPA ne surveillait pas.76
L'histoire de Volkswagen n'implique pas l'IA – des ingénieurs humains ont

programmé un système informatique ordinaire pour tricher – mais elle
illustre néanmoins le problème. Volkswagen s'en est tiré pendant plus de dix
ans car le code informatique est complexe et difficile à analyser. Il est
difficile de comprendre exactement ce que fait un logiciel, et il est tout aussi
difficile de regarder une voiture et de comprendre ce qu'elle fait. Tant que
les programmeurs ne disent rien, un piratage comme celui-ci risque de ne
pas être détecté pendant longtemps ; peut-être pour toujours. Dans ce cas, la
seule raison pour laquelle nous sommes au courant des actions de
Volkswagen, c'est qu'un groupe de scientifiques de l'Université
75 Stuart Russell (avril 2017), « 3 principes pour créer une IA plus sûre », TED2017,
https://www.ted.com/talks/stu-art_russell_3_principles_for_creating_safer_ai .

de Harvard
76 Russell Hotten (10 décembre 2015), « Volkswagen : le scandale expliqué », BBC News,
https://www.bbc.com/ news/business-34324772.

L'Université de Virginie-Occidentale a testé les performances des voitures sur
la route. En gros, les scientifiques ont testé la voiture sans que le logiciel ne
s'en rende compte.77
Si je vous demandais de concevoir le logiciel de contrôle du moteur d'une

voiture pour maximiser les performances tout en réussissant les tests de
contrôle des émissions, vous ne concevriez pas le logiciel pour tricher sans
comprendre que vous trichez chez vous. Ce n'est tout simplement pas vrai
pour une IA ; Il ne comprend pas le concept abstrait de tricherie. Il pensera
« out of the box » tout simplement parce qu'il n'aura pas de conception de
la boîte, ou des limites des solutions humaines existantes. Ou de l'éthique.
Il ne comprendra pas que la solution Volkswagen nuit aux autres, qu'elle
sape l'intention des tests de contrôle des émissions ou qu'elle enfreint la
loi.
C'est similaire à l'outil Greyball d'Uber.78 Uber a créé un logiciel spécial

qui permettrait d'identifier les organismes de réglementation potentiels et
de présenter ensuite un autre service Uber conforme à la réglementation
au lieu de ce qu'ils faisaient réellement. Encore une fois, c'est une histoire
d'humains qui trichent. Mais nous pouvons facilement imaginer une IA
qui propose la même « solution ». Il ne se rendra même pas compte qu'il
pirate le système. Et à cause du problème de l'explicabilité, nous, les
humains, ne nous en rendrons peut-être jamais compte non plus.
77 Jack Ewing (24 juillet 2016), « Les chercheurs qui ont exposé VW gagnent peu de récompense du succès
», New York Times. https://www.nytimes.com/2016/07/25/business/vw-wvu-diesel-volkswagen-west-
virginia.html.
78 Mike Isaac (3 mars 2017), « Comment Uber trompe les autorités du monde entier », New York Times,
https://www. nytimes.com/2017/03/03/technology/uber-greyball-program-evade-authorities.html.

de Harvard
Les IA en tant que hackers naturels
À moins que les programmeurs ne spécifient l'objectif de ne pas se

comporter différemment lorsqu'ils sont testés, une IA pourrait proposer le
même hack. Les programmateurs seront satisfaits. Les comptables seront
aux anges. Et à cause du problème d'explicabilité, personne ne se rendra
compte de ce que l'IA a fait. Et oui, maintenant que nous connaissons
l'histoire de Volkswagen, les programmeurs peuvent explicitement fixer
l'objectif d'éviter ce piratage particulier, mais il y a d'autres piratages que
les programmeurs n'anticiperont pas. La leçon du génie est qu'il y aura
toujours des piratages que les programmeurs n'anticiperont pas.
L'inquiétude ne se limite pas aux piratages évidents. Si votre système de

navigation de voiture sans conducteur répond à l'objectif de maintenir
une vitesse élevée en tournant en rond – un exemple réel79 – les
programmeurs remarqueront ce comportement et modifieront l'objectif
en conséquence. Le comportement peut apparaître lors des tests, mais
nous ne le verrons probablement jamais se produire sur la route. La plus
grande inquiétude réside dans la
Des hacks moins évidents, ceux que nous ne connaîtrons jamais parce que
leurs effets sont subtils.
Nous avons déjà vu la première génération de cela. On a beaucoup écrit

sur les moteurs de recommandation et sur la façon dont ils poussent les
gens vers les moteurs de recommandation.
79 @mat_kelcey (15 juil. 2017), Twitter, https://twitter.com/mat_kelcey/status/886101319559335936.

contenu extrême.Ils n'ont pas été programmés pour faire cela ; c'est une
propriété qui a naturellement émergé au fur et à mesure que les systèmes
essayaient continuellement des choses, voyaient les résultats, puis se
modifiaient pour faire plus de ce qui entraînait plus d'engagement de
l'utilisateur et moins de ce qui ne le faisait pas. Les algorithmes ont appris
à proposer des contenus plus extrêmes aux utilisateurs, car c'est ce qui
incite les gens à lire ou à regarder davantage. Il n'a pas fallu un mauvais
acteur pour créer ce piratage : un système automatisé assez basique l'a
trouvé tout seul. Et la plupart d'entre nous ne s'en rendaient pas compte (à
l'exception des gens de Facebook, qui ont ignoré leurs propres recherches
démontrant que cela se produisait). 81
De même, en 2015, une IA a appris à jouer au jeu vidéo des années 1970
Breakout. L'IA n'a rien appris sur les règles ou la stratégie du jeu. On lui
a juste donné les commandes et on l'a récompensé pour avoir maximisé
son score.
Qu'il ait appris à jouer n'est pas intéressant, tout le monde s'y attendait.
Mais il a découvert indépendamment, et optimisé à un degré jamais vu
chez les joueurs humains, la tactique consistant à « creuser un tunnel » à
travers une colonne de briques pour faire rebondir la balle sur le mur du
fond.82
Rien de ce que je dis ici ne sera nouveau pour les chercheurs en IA, et
beaucoup envisagent actuellement des moyens de se défendre contre le
piratage des objectifs et des récompenses. L'une des solutions consiste à
enseigner le contexte aux IA. Le terme général pour ce type de recherche
est « alignement des valeurs » : comment pouvons-nous créer des IA qui
reflètent nos valeurs ? Vous pouvez penser à des solutions en termes de
deux extrêmes. La première est que nous pouvons spécifier explicitement
ces valeurs. Cela peut être fait aujourd'hui, plus ou moins, mais c'est
vulnérable à tout le piratage que je viens de décrire. L'autre extrême, c'est
que nous pouvons créer des IA qui apprennent nos valeurs, peut-être en
observant les humains dans les
ou en ingérant tous les écrits de l'humanité : notre histoire, notre
littérature, notre philosophie, etc. C'est dans de nombreuses années (les
chercheurs en IA ne sont pas d'accord sur l'échelle de temps). La plupart
des recherches actuelles se situent à cheval entre ces deux extrêmes.83
80 Zeynep Tufekci (10 mars 2018), « YouTube, the great equalizer », New York Times, p.
https://www.nytimes. com/2018/03/10/opinion/sunday/youtube-politics-radical.html. Renee DiResta
(11 avril 2018), « À suivre : un meilleur système de recommandation », Wired,
https://www.wired.com/story/creating-ethical-recommenda-tion-engines/ .
81 Nick Statt (26 mai 2020), « Facebook aurait ignoré ses propres recherches montrant que les
algorithmes divisent les utilisateurs », Verge.
https://www.theverge.com/2020/5/26/21270659/facebook-division-news-feed-algorithms.
82 Jacob Aron (25 février 2015), « Google DeepMind AI surpasse les humains aux jeux vidéo », New
Scientist, https:// www.newscientist.com/article/dn27031-google-deepmind-ai-outplays-humans-at-
de Harvard
video-games/.
83 Iason Gabriel (1er octobre 2020), « Intelligence artificielle, valeurs et alignement », Minds and
Machines 30, https:// link.springer.com/article/10.1007%2Fs11023-020-09539-2 .

Bien sûr, vous pouvez facilement imaginer les problèmes qui pourraient
survenir si les IA s'alignaient sur des valeurs humaines historiques ou
observées. Quelles valeurs une IA doit-elle refléter ? Un Somalien ? Une
Singapourienne ? La moyenne des deux, qu'est-ce que cela signifie ?
Nous, les humains, avons des valeurs contradictoires.
Les valeurs d'une personne peuvent être irrationnelles, immorales ou
basées sur de fausses informations. Il y a beaucoup d'immoralité dans
notre histoire, notre littérature et notre philosophie. Nous, les humains, ne
sommes souvent pas de très bons exemples du genre d'humains que nous
devrions être.
De la science-fiction à la réalité
La faisabilité de tout cela dépend beaucoup du système spécifique
modélisé et piraté. Pour qu'une IA puisse même commencer à optimiser
une solution, sans parler du piratage d'une solution complètement
nouvelle, toutes les règles de l'environnement doivent être formalisées
de manière à ce que l'ordinateur puisse les comprendre.
Des objectifs, connus sous le nom de fonctions objectives dans le domaine
de l'IA, doivent être établis. L'IA a besoin d'une sorte de rétroaction sur
ses performances afin d'améliorer ses performances.
Parfois, il s'agit d'une question triviale. Pour un jeu comme Go, c'est
facile. Les règles, l'objectif et la rétroaction – avez-vous gagné ou perdu ?
– sont tous précisément spécifiés. Et il n'y a rien en dehors de ces choses
pour brouiller les pistes. L'IA d'apprentissage automatique GPT-3 peut
écrire des essais cohérents parce que son « monde » n'est que du texte.
C'est pourquoi la plupart des exemples actuels de piratage d'objectifs et
de récompenses proviennent d'environnements simulés. Celles-ci sont
artificielles et contraintes, avec toutes les règles spécifiées à l'IA.
Ce qui compte, c'est l'ambiguïté d'un système. Nous pouvons imaginer

intégrer les lois fiscales du monde entier dans une IA, car le code des
impôts se compose de formules qui déterminent le montant de l'impôt dû,
mais il existe une ambiguïté dans certaines de ces lois. Cette ambiguïté
est difficile à traduire en code, ce qui signifie qu'une IA aura du mal à la
gérer et qu'il y aura un emploi complet pour les avocats fiscalistes dans un
avenir prévisible.

de Harvard
La plupart des systèmes humains sont encore plus ambigus. Il est difficile
d'imaginer qu'une IA puisse inventer un hack sportif dans le monde réel,
comme courber un bâton de hockey. Une IA devrait comprendre non
seulement les règles du jeu, mais aussi la physiologie des joueurs,
l'aérodynamisme du bâton et de la rondelle, et ainsi de suite. Ce n'est pas
impossible, mais c'est quand même de la science-fiction.
Le premier endroit où rechercher les piratages générés par l'IA sont

probablement les systèmes financiers, car ces règles sont conçues pour
être algorithmiquement traitables. Nous pouvons imaginer équiper une
IA de toutes les informations financières du monde en temps réel, ainsi
que de toutes les lois et réglementations du monde, ainsi que des fils
d'actualité et de tout ce que nous pensons être pertinent ; et ensuite lui
donner l'objectif d'un « profit maximal légalement ». Je suppose que ce
n'est pas très loin, et que le résultat sera toutes sortes de nouveaux hacks.
Et il y aura probablement des piratages qui sont tout simplement au-delà
de la compréhension humaine, ce qui signifie que nous ne nous rendrons
jamais compte qu'ils se produisent.
Cette ambiguïté finit par être une défense de sécurité à court terme contre
le piratage de l'IA. Nous n'aurons pas de hacks sportifs générés par l'IA
tant que les androïdes ne joueront pas réellement au sport, ou jusqu'à ce
qu'une IA généralisée soit développée, capable de comprendre le monde
au sens large et avec des nuances éthiques. Il en va de même pour les
piratages de jeux de casino ou les piratages du processus législatif. (Une
IA pourrait-elle découvrir de manière indépendante le gerrymandering ?)
Il faudra beaucoup de temps avant que les IA
être capable de modéliser et de simuler la façon dont les gens travaillent,
individuellement et en groupe, et avant qu'ils ne soient capables de trouver
de nouvelles façons de pirater les processus législatifs.
Il y a un autre problème, que j'ai largement ignoré. Deux versions

différentes de l'IA ont émergé depuis les années 1950. Les premières
recherches sur l'IA portaient sur ce qu'on appelle « l'IA symbolique », et
elles se concentraient sur la simulation de la compréhension humaine par
une manipulation ciblée d'éléments, de symboles et de faits. Cela s'est
avéré incroyablement difficile, et peu de progrès pratiques ont été
réalisés au cours des dernières décennies. L'autre saveur est celle des «
réseaux neuronaux ». Et bien qu'il s'agisse également d'une vieille idée,
elle n'a vraiment
a décollé au cours de la dernière décennie en raison des pas de géant dans
le calcul et les données. Il s'agit de l'IA qui ingère les données
d'entraînement et s'améliore avec l'expérience qui se traduit par encore
plus de données. Ce sont des milliards de cycles de calcul et d'énormes
ensembles de données qui permettent aux réseaux neuronaux de faire plus
de choses, comme battre
champions du monde de jeu de go et s'engagent dans des conversations
textuelles plausibles. Cela dit, ils ne « comprennent » pas le langage, ni ne
« pensent » d'une manière réelle. Ils font essentiellement des prédictions
basées sur ce qu'ils ont « appris » du passé : une sorte de perroquet
statistique sophistiqué. Et bien qu'il soit surprenant de voir tout ce qu'un
modèle comme celui-ci peut accomplir, il y a beaucoup de choses qu'ils ne
peuvent pas faire. Et une grande partie de ce que j'écris ici pourrait
facilement tomber dans cette catégorie.
Mais voici le problème avec l'IA. Les progrès sont discontinus et contre-
intuitifs. Les choses qui semblent faciles s'avèrent être difficiles, et les
choses qui semblent difficiles s'avèrent faciles. Nous ne le savons pas
jusqu'à ce que la percée se produise. Quand j'étais étudiant au début des
années 1980, on nous a appris que le jeu de Go ne serait jamais maîtrisé par
un ordinateur en raison de l'énorme complexité du jeu : pas les règles, mais
le nombre de coups possibles.
Et maintenant, un ordinateur a battu un champion du monde humain. Cela
était dû en partie aux progrès de la science de l'IA, mais la plupart des
améliorations étaient simplement dues à l'augmentation de la puissance de
calcul du problème.
Ainsi, bien qu'un monde rempli de pirates informatiques soit toujours un

problème de science-fiction, ce n'est pas un problème stupide de science-
fiction dans une galaxie lointaine, très lointaine. C'est avant tout le
problème de demain, mais nous en voyons aujourd'hui des signes avant-
coureurs. Nous ferions mieux de commencer à réfléchir à des solutions
exécutoires, compréhensibles et éthiques.

de Harvard
Les implications des pirates de l'IA
Le piratage est aussi vieux que l'humanité. Nous sommes des résolveurs
de problèmes créatifs. Nous sommes des exploiteurs d'échappatoires.
Nous manipulons les systèmes pour servir nos intérêts. Nous aspirons à
plus d'influence, plus de pouvoir, plus de richesse. Le pouvoir sert le
pouvoir, et le piratage en fait toujours partie.
Pourtant, aucun humain ne maximise ses propres intérêts sans contrainte.

Même les sociopathes sont contraints par les complexités de la société et
leurs propres impulsions contradictoires. Ils sont préoccupés par leur
réputation, ou leur punition. Ils ont peu de temps. Ces qualités très
humaines limitent le piratage.
Dans son livre de 2005, The Corporation, Joel Baken a comparé les
entreprises à des sociopathes immortels.84 Parce qu'ils sont optimisés
pour la rentabilité
et tentent d'optimiser le bien-être de leurs gestionnaires, ils sont plus
susceptibles de pirater les systèmes pour leur propre bénéfice. Pourtant,
les entreprises sont constituées de personnes, et ce sont les personnes qui
prennent les décisions. Même dans un monde où les systèmes d'IA fixent
les prix de manière dynamique – les sièges d'avion en sont un bon
exemple – cela limite encore une fois le piratage.
Le piratage a changé au fur et à mesure que tout s'informatisait. En raison

de leur complexité, les ordinateurs sont piratables. Et aujourd'hui, tout est
un ordinateur. Les voitures, les appareils électroménagers, les téléphones :
ce sont tous des ordinateurs. Tous nos systèmes sociaux – finances,
fiscalité, conformité réglementaire, élections – sont complexes
84 Joel Bakan (2005), La société : la poursuite pathologique du profit et du pouvoir, Free Press.

systèmes socio-techniques impliquant des ordinateurs et des réseaux.
Cela rend tout plus vulnérable au piratage.
De même, les piratages cognitifs sont plus efficaces lorsqu'ils sont

perpétrés par un ordinateur. Ce n'est pas que les ordinateurs soient
intrinsèquement meilleurs pour créer des publicités persuasives, c'est
simplement qu'ils peuvent le faire plus rapidement et plus fréquemment, et
qu'ils peuvent personnaliser les publicités en fonction de l'individu.
Jusqu'à présent, le piratage était exclusivement une activité humaine. La

recherche de nouveaux hacks nécessite de l'expertise, du temps, de la
créativité et de la chance. Lorsque les IA commenceront à pirater, cela
changera. Les IA ne seront pas contraintes de la même manière, ni
n'auront les mêmes limites, que les humains. Ils penseront comme des
extraterrestres. Ils pirateront les systèmes d'une manière que nous ne
pouvons pas anticiper.
Les ordinateurs sont beaucoup plus rapides que les humains. Un processus
humain qui peut prendre des mois ou des années peut être comprimé en
jours, en heures ou même en secondes.
Que se passe-t-il lorsque vous fournissez à une IA l'ensemble du code
fiscal américain et que vous lui ordonnez de trouver toutes les façons de
minimiser le montant de l'impôt dû ? Ou, dans le cas d'une multinationale,
lui donner les codes fiscaux de la planète entière ? Découvrira-t-il, sans
qu'on le lui dise, qu'il est judicieux de s'incorporer au Delaware et
d'immatriculer son navire au Panama ? Combien de vulnérabilités –
d'échappatoires – trouvera-t-il que nous ne connaissons pas déjà ?
Dizaines? Centaines? Milliers? Nous n'en avons aucune idée, mais nous le
saurons probablement au cours de la prochaine décennie.
Nous avons des systèmes sociétaux qui traitent des piratages, mais ceux-ci
ont été développés lorsque les pirates étaient des humains et reflètent le
rythme des pirates humains. Nous n'avons pas de système de gouvernance
capable de faire face à des centaines, et encore moins à des milliers,
d'échappatoires fiscales récemment découvertes. Nous ne pouvons tout
simplement pas corriger le code fiscal aussi rapidement. Nous ne sommes
pas en mesure de faire face à des gens qui utilisent Facebook pour pirater
la démocratie, et encore moins à ce qui se passera lorsqu'une IA le fera.
Nous ne serons pas en mesure de nous remettre d'une IA qui découvre des
piratages imprévus mais légaux des systèmes financiers. À la vitesse de
l'ordinateur, le piratage devient un problème que nous, en tant que société,
ne pouvons plus gérer.
Nous le voyons déjà dans la finance assistée par ordinateur, avec le trading
à haute fréquence et d'autres piratages financiers à la vitesse de
l'ordinateur. Ce ne sont pas des systèmes d'IA ;
de Harvard
Ce sont des systèmes automatiques utilisant des règles et des stratégies
générées par l'homme. Mais ils sont capables d'exécuter à des vitesses
surhumaines, et cela fait toute la différence. C'est un précurseur de ce qui
est à venir. Au fur et à mesure que les systèmes commerciaux deviendront
plus autonomes, à mesure qu'ils s'orienteront vers un comportement
semblable à celui de l'IA consistant à découvrir de nouveaux piratages
plutôt que de se contenter d'exploiter ceux découverts par l'homme, ils
domineront de plus en plus l'économie.
Ce n'est pas seulement une question de vitesse, mais aussi d'échelle. Une
fois que les systèmes d'IA commenceront à découvrir des piratages, ils
seront en mesure de les exploiter à une échelle à laquelle nous ne sommes
pas prêts. Nous en voyons déjà des prémices. Un service gratuit basé sur
l'IA appelé Donotpay. com automatise le processus de contestation des
contraventions de stationnement. Il a contribué à annuler des centaines de
milliers de contraventions dans des villes comme Londres et New York.85
Le service s'est étendu à d'autres domaines, aidant les utilisateurs à
recevoir une indemnisation pour les vols aériens retardés et à annuler une
variété de services et d'abonnements.86
Les bots de persona IA évoqués précédemment seront répliqués par

millions sur les réseaux sociaux. Ils seront en mesure de s'engager sur les
questions 24 heures sur 24, en envoyant des milliards de messages, longs
et courts. Déchaînés, ils submergeront tout débat en ligne. Ce que nous
verrons comme un débat politique tumultueux sera des bots qui se
disputeront avec d'autres bots.Ils influenceront artificiellement ce que
nous pensons être normal, ce que nous pensons que les autres pensent. Ce
n'est pas à ce genre de manipulation que nous pensons lorsque nous
faisons l'éloge du marché des idées, ou de tout processus politique
démocratique.
La portée croissante des systèmes d'IA rend également les piratages plus
dangereux. L'IA prend déjà des décisions importantes qui affectent nos
vies, des décisions que nous pensions auparavant être du ressort exclusif
des humains. Les systèmes d'IA prennent des décisions en matière de
mise en liberté sous caution et de libération conditionnelle.88 Ils aident à
décider qui reçoit des prêts bancaires.89
85 Samuel Gibbs (28 juin 2016), « Un avocat chatbot renverse 160 000 contraventions de stationnement à
Londres et à New York », Guardian, https://www.theguardian.com/technology/2016/jun/28/chatbot-ai-
lawyer-donotpay-parking-tickets-london-new-york .
86 Lisa M. Krieger (28 mars 2019), « La quête d'un étudiant de Stanford pour effacer les contraventions de stationnement mène à des « avocats robots »
»
Mercury News, https://www.mercurynews.com/2019/03/28/joshua-browder-22-builds-robot-lawyers/.
87 La Californie a une loi obligeant les bots à s'identifier. Renee RiResta (24 juillet 2019), « Une nouvelle loi
oblige les bots à s'identifier eux-mêmes – c'est le problème », Wired, https://www.wired.com/story/law-
makes-bots-iden-tify-yourself/.
88 Karen Hao (21 janvier 2019), « L'IA envoie des gens en prison et se trompe », MIT Technology

Review, https://www.technologyreview.com/2019/01/21/137783/algorithms-criminal-justice-ai/.
89 Sian Townson (6 novembre 2020), « L'IA peut rendre les prêts bancaires plus équitables », Harvard
Business Review, p. https://hbr. org/2020/11/ai-peut-faire-des-prêts-bancaires-plus-équitables.

de Harvard
Ils sélectionnent les candidats à l'emploi90, les candidats à l'admission à
l'université91 et les personnes qui postulent pour des services
gouvernementaux.92 Ils prennent des décisions concernant les nouvelles
que nous voyons sur les médias sociaux, les publicités des candidats que
nous voyons et les personnes et les sujets qui apparaissent en haut de
nos fils d'actualité. Ce sont eux qui prennent les décisions relatives à
l'obtention d'un ciblage militaire.
Au fur et à mesure que les systèmes d'IA deviendront plus performants, la

société leur cédera davantage de décisions – et plus importantes. Les IA
pourraient choisir les politiciens qu'un riche courtier en pouvoir financera.
Ils pourraient décider qui a le droit de voter. Ils peuvent traduire les
résultats sociaux souhaités en politiques fiscales ou modifier les détails des
programmes sociaux. Ils influencent déjà les résultats sociaux ; dans
l'avenir, ils pourraient explicitement les décider. Les piratages de ces
systèmes deviendront plus dommageables. (Nous en avons vu les
premiers exemples avec les « krachs éclairs » du marché.93)
Hacks et puissance de l'IA

Les piratages décrits dans cet essai seront perpétrés par les puissants
contre nous. Toutes les IA, qu'elles soient sur votre ordinateur portable, en
ligne ou incarnées dans un robot, sont programmées par d'autres
personnes, généralement dans leur intérêt et non dans le vôtre. Un appareil
connecté à Internet comme Alexa peut imiter le fait d'être un ami de
confiance pour vous. Mais n'oubliez jamais qu'il est conçu
pour vendre les produits d'Amazon. Et tout comme le site Web d'Amazon
vous incite à acheter ses marques maison au lieu de ce qui pourrait être des
produits de meilleure qualité, il n'agira pas toujours dans votre meilleur
intérêt. Il piratera votre confiance en lui pour les objectifs d'Amazon.
90 Andrea Murad (8 février 2021), « Les ordinateurs rejettent votre demande d'emploi », BBC News,
https://www.bbc. com/news/business-55932977.
91 DJ Pangburn (17 mai 2019), « Les écoles utilisent des logiciels pour aider à choisir qui peut entrer.
Qu'est-ce qui pourrait mal tourner ? Fast Company, https://www.fastcompany.com/90342596/schools-
are-quietly-turning-to-ai-to-help-pick-qui-entre-cette-ce-qui-pourrait-mal-tourner .
92 Tiffany Fishman, William D. Eggers et Pankaj Kamleshkumar Kishnani (18 octobre 2017), « Services
d'employés augmentés par l'IA : Utiliser les technologies cognitives pour transformer la prestation des
programmes », Deloitte, https://www2.deloitte. com/us/en/insights/industry/public-sector/artificial-
intelligence-technologies-human-services-programs. HTML.
93 Laim Vaughan (2020), Flash Crash : un savant du trading, une chasse à l'homme mondiale et le krach
boursier le plus mystérieux de l'histoire, Doubleday.

De même, tous ces piratages serviront les intérêts de ceux qui
contrôlent les logiciels d'IA, les systèmes d'IA et les robots. Ce ne sera
pas seulement que la publicité personnalisée persuadera avec plus de
succès, c'est que quelqu'un paiera pour ce peu de persuasion
supplémentaire parce que cela lui profite. Lorsque l'IA trouvera une
nouvelle échappatoire fiscale, elle le fera parce que
Une personne riche veut l'exploiter pour payer moins d'impôts. Le
piratage renforce largement les structures de pouvoir existantes, et les IA
renforceront encore cette dynamique.
Un exemple : AIBO est un chien robot commercialisé par Sony depuis

1999. La société a publié de nouveaux modèles améliorés chaque année
jusqu'en 2005, et au cours des années suivantes, elle a lentement cessé de
prendre en charge les anciens AIBO.
AIBO est assez primitif par rapport aux normes informatiques, mais cela
n'a pas empêché les gens de s'y attacher émotionnellement. Au Japon, les
gens ont organisé des funérailles pour leurs AIBO « morts ».94
En 2018, Sony a commencé à vendre une nouvelle génération d'AIBO. Ce

qui est intéressant ici, ce ne sont pas les avancées logicielles qui le rendent
plus semblable à un animal de compagnie, mais le fait qu'il nécessite
désormais un stockage de données dans le cloud pour fonctionner.95 Cela
signifie que, contrairement aux générations précédentes, Sony a la capacité
de modifier ou même de « tuer » à distance n'importe quel AIBO. Les trois
premières années de stockage en nuage sont gratuites, et Sony n'a pas
annoncé ce qu'il facturera aux propriétaires d'AIBO après cela. Trois ans
plus tard, lorsque les propriétaires d'AIBO se seront attachés
émotionnellement à leurs animaux de compagnie, ils seront probablement
en mesure de facturer beaucoup.
94 Shannon Connellan (2 mai 2018), « Un temple bouddhiste japonais accueille les funérailles de plus de
100 chiens robots Sony Aibo », Mashable, https://mashable.com/2018/05/02/sony-aibo-dog-funeral/.
95 Ry Crist (28 juin 2019). « Oui, le chien robot a mangé votre vie privée », CNET,
https://www.cnet.com/news/yes-the-robot-dog-ate-your-privacy/.

de Harvard
Se défendre contre les pirates de l'IA
Lorsque les IA seront capables de découvrir de nouvelles vulnérabilités
logicielles, ce sera une aubaine incroyable pour les gouvernements, les
criminels et les pirates amateurs du monde entier. Ils seront en mesure
d'utiliser ces vulnérabilités pour pirater des réseaux informatiques dans
le monde entier avec beaucoup d'effet. Cela nous mettra tous en danger.
Mais la même technologie sera utile pour la défense. Imaginez comment

un éditeur de logiciels pourrait déployer une IA de recherche de
vulnérabilité sur son propre code. Elle pourrait identifier, puis corriger,
toutes les vulnérabilités de ses produits avant de les publier, ou du moins
toutes les vulnérabilités détectables automatiquement. Cette fonctionnalité
peut se produire automatiquement dans le cadre du processus de
développement. Nous pourrions facilement imaginer un avenir où les
vulnérabilités logicielles appartiendront au passé. « Vous vous souvenez
des premières décennies de l'informatique, lorsque les pirates utilisaient
les vulnérabilités logicielles pour pirater les systèmes ? Wow, c'était une
période folle.
Bien sûr, la période de transition sera dangereuse. Le nouveau code peut

être sécurisé, mais le code hérité sera toujours vulnérable. Les outils d'IA
seront activés sur du code déjà publié et, dans de nombreux cas,
impossible à corriger.
Là, les attaquants utiliseront la recherche automatique de vulnérabilités à
leur avantage. Mais sur le long terme, une technologie d'IA qui détecte les
vulnérabilités logicielles favorise la défense.
C'est la même chose lorsque nous nous tournons vers le piratage de

systèmes sociaux plus larges.96 Bien sûr, les pirates informatiques de l'IA
pourraient trouver des milliers de vulnérabilités dans le code fiscal
existant. Mais la même technologie peut être utilisée pour évaluer les
vulnérabilités potentielles de tout projet de loi fiscale ou de rescrit fiscal.
Les implications changent la donne. Imaginez qu'une nouvelle loi fiscale
soit mise à l'essai de cette manière. Quelqu'un – il peut s'agir d'un
législateur, d'un organisme de surveillance, de la presse, de n'importe qui
– pourrait prendre le texte d'un projet de loi et trouver toutes les
vulnérabilités exploitables. Cela ne signifie pas que les vulnérabilités
seront corrigées, mais cela signifie qu'elles deviendront publiques et feront
partie du débat politique. Et ils peuvent en théorie être corrigés avant que
les riches et les puissants ne les trouvent et ne les exploitent. Ici aussi, la
période de transition sera dangereuse en raison de toutes nos lois et règles
héritées. Et encore une fois, la défense l'emportera à la fin.
96 Un exemple : Gregory Falco et al. (28 août 2018), « A master attack methodology for an AI-based

automat- ed attack planner for smart cities », IEEE Access,
https://ieeexplore.ieee.org/document/8449268.

de Harvard
En ce qui concerne l'IA en général, nous ne savons pas quel sera le rapport
de force entre l'attaque et la défense. Les IA seront capables de pirater les
réseaux informatiques à la vitesse d'un ordinateur, mais les IA défensives
seront-elles capables de détecter et de réagir efficacement ? Les IA
pirateront directement notre cognition, mais pouvons-nous déployer des
IA pour surveiller nos interactions et nous alerter que nous sommes
manipulés ? Nous n'en savons pas assez pour faire des prédictions
précises.
Pour s'assurer que la défense l'emporte dans ces cas plus généraux, il
faudra mettre en place des structures de gouvernance résilientes capables
de répondre rapidement et efficacement aux piratages. Cela ne servira à
rien s'il faut des années pour corriger le code des impôts, ou si un piratage
législatif devient si enraciné qu'il ne peut pas être corrigé politiquement.
Les logiciels modernes sont continuellement corrigés ; Vous savez à
quelle fréquence vous mettez à jour vos ordinateurs et vos téléphones.
Nous avons besoin que les règles et les lois de la société soient tout aussi
correctives.
Il s'agit là d'un problème difficile de gouvernance moderne, qui dépasse

largement le cadre du présent document. Il ne s'agit pas non plus d'un
problème substantiellement différent de celui de la mise en place de
structures gouvernementales capables de fonctionner à la vitesse et face à
la complexité de l'ère de l'information. Des juristes comme Gillian
Hadfield97, Julie Cohen98, Joshua Fairfield99 et Jamie Susskind100
écrivent à ce sujet, et il reste encore beaucoup de travail à faire.
La solution primordiale ici, ce sont les gens. Ce que j'ai décrit, c'est
l'interaction entre les systèmes humains et informatiques, et les risques
inhérents lorsque les ordinateurs commencent à jouer le rôle des humains.
Il s'agit là aussi d'un problème plus général que celui des pirates
informatiques. C'est aussi celui sur lequel les technologues et les
futurologues écrivent. Et bien qu'il soit facile de laisser la technologie
nous guider vers l'avenir, nous sommes bien mieux lotis si, en tant que
société, nous décidons du rôle que devrait jouer la technologie dans notre
avenir.
Tout cela est quelque chose que nous devons comprendre maintenant,
avant que ces IA ne se connectent et ne commencent à pirater notre
monde.
97 Gillian K. Hadfield (2016), Règles pour un monde plat : pourquoi les humains ont inventé le droit et
comment le réinventer pour une économie mondiale complexe, Oxford University Press.
98 Julie E. Cohen (2019), Entre vérité et pouvoir : les constructions juridiques du capitalisme informationnel,
Presses de l'Université d'Oxford.
99 Joshua A. T. Fairfield (2021), La technologie en fuite : le droit peut-il suivre le rythme ? Presses de l'Université de Cambridge.

100 Jamie Susskind (2021), The Digital Republic : How to Govern Technology, Pegasus Books, manuscrit
non publié.

de Harvard
Le projet Cyber
Conseil pour l'utilisation responsable de l'IA
Belfer Center for Science and International Affairs
Harvard Kennedy School
79, rue JFK
Cambridge, MA 02138, États-Unis
www.belfercenter.org/ Cyber
Copyright 2021, Président et Fellows du Harvard College

Imprimé aux États-Unis d'Amérique

Les Pirates IA À Venir

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Les Pirates IA À Venir

Transféré par

Droits d'auteur :

Formats disponibles

C YBER PRO JE CT × C CONSEIL D ' UTILISATION RESPONSABLE DE L'IA

Conception et mise en page par Andrew Facini

Copyright 2021, Président et Fellows du Harvard College

Je tiens également à remercier la conférence RSA, où j'ai prononcé un

Ii Les pirates IA à venir

Les IA qui nous piratent................................................................................... 10

Intelligence artificielle et robotique................................................................11

Des IA de type humain...................................................................................14

Des robots qui nous piratent..........................................................................18

Quand les IA deviennent des hackers..............................................................21

Les IA en tant que hackers naturels.................................................................31

Les implications des pirates de l'IA..................................................................36

Hacks et puissance de l'IA.............................................................................39

Se défendre contre les pirates de l'IA...............................................................41

Centre Belfer pour la Science et les Affaires Internationales | École v

Ce n'est pas une hyperbole. D'accord, c'est peut-être un peu une

Dans cet essai, je parlerai des implications des pirates

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 1

2 Les pirates IA à venir

Def : Hack /hak/ (nom) -

Les systèmes ont tendance à être optimisés pour des résultats

Le piratage est normalement considéré comme quelque chose que vous

Le code fiscal n'est pas un logiciel. Il ne fonctionne pas sur un

Tous les logiciels informatiques contiennent des défauts, communément

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 3

Certains de ces bogues introduisent des failles de sécurité. J'entends par là

C'est en exploitant une vulnérabilité que l'armée chinoise s'est introduite

Il s'agit d'un exemple de piratage. C'est un moyen d'exploiter le système

Le code des impôts comporte également des bugs. Il pourrait s'agir

4 Les pirates IA à venir

Ce n'est pas une vulnérabilité, cependant, car personne ne peut en profiter

Certaines vulnérabilités sont délibérément créées. Les lobbyistes essaient

6 Les pirates IA à venir

Parfois, ces vulnérabilités sont glissées dans la loi à l'insu du législateur

Au cours des dernières années, il y a eu beaucoup de presse sur la

Dans le monde de la fiscalité, les bogues et les vulnérabilités sont appelés

Les logiciels modernes sont incroyablement complexes. Microsoft

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 7

Nous savons comment corriger les vulnérabilités dans le code

8 Les pirates IA à venir

Les programmes de fidélisation des compagnies aériennes sont piratés.

L'histoire de la finance est une histoire de piratages. Encore et encore, les

Le piratage cognitif est puissant. Bon nombre des systèmes sociaux

La vitesse de l'ordinateur modifie la nature des piratages. Prenez un

10 Les pirates IA à venir

Tous les systèmes ne sont pas piratables de la même manière. Les

Malgré cela, les vulnérabilités subsisteront toujours, et les piratages seront

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 11

12 Les pirates IA à venir

Nous pourrions passer des pages à définir l'IA. En 1968, le pionnier de

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 13

Ce qui se passe réellement, c'est qu'il existe un continuum de technologies

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 15

La robotique a aussi une mythologie populaire et une réalité moins tape-

16 Les pirates IA à venir

De nombreuses expériences donnent des résultats similaires. Les sujets de

Lors des élections américaines de 2016, environ un cinquième de tous

Centre Belfer pour la Science et les Affaires Internationales | École Kennedy 17

18 Les pirates IA à venir

En 2017, la Federal Communications Commission (FCC) a organisé une

Des efforts comme ceux-ci ne feront que devenir plus sophistiqués.

Il ne faut pas beaucoup d'imagination pour voir comment l'IA va dégrader

25 Samantha Bradshaw et Philip N. Howard (2019), « L'ordre mondial de la désinformation : inventaire