Vous êtes sur la page 1sur 10

Menaces et nouveaux dangers

L’étude explore les manières dont l’IA pourrait être exploitée pour menacer à la fois les systèmes de
sécurités physiques et numériques, ou pourrait créer de nouveaux dangers. Le texte formule ensuite
plusieurs recommandations, notamment adressées aux ingénieurs, pour qu’ils aient conscience des
usages qui pourraient être faits de leurs travaux.
Tout d’abord, le rapport invite les décideurs politiques à «collaborer étroitement avec les
chercheurs pour étudier, prévenir et modérer les utilisations malveillantes potentielles de l’IA».

L'intelligence artificielle, une force à double tranchant


Depuis quelques années, l'intelligence artificielle et l'apprentissage automatique reviennent en force
sur le devant de la scène, notamment grâce aux puissances de calculs dont on dispose désormais
pour un coût réduit et à la quantité de données accessibles pour les entrainer.
Si les futures possibilités de l'IA sont régulièrement mises en avant, parfois sous forme fantasmée,
c'est plus rarement le cas des plausibles détournements malveillants des algorithmes, du moins
selon les chercheurs. Il ne s'agit pas cette fois d'anticiper l'arrivée d'une IA forte (avec une
conscience) souhaitant détruire l'humanité, ou de robots tueurs comme dans la dernière saison de
Black Mirror, mais de se concentrer « sur les types d'attaques que nous sommes susceptibles de
voir bientôt arriver si des défenses adéquates ne sont pas développées ».
Sur le côté obscur du développement de l'IA, les 26 chercheurs anticipent trois axes de
développement : une expansion des menaces existantes, l'arrivée de nouveaux risques et une
modification du paysage actuel. « Nous croyons qu'il y a des raisons de s'attendre à ce que les
attaques permises par l'utilisation croissante de l'IA soient particulièrement efficaces, ciblées,
difficiles à attribuer et susceptibles d'exploiter les vulnérabilités des systèmes IA » ajoutent-ils.
Problème, toujours selon l'étude, à l'instar d'un maitre Jedi enseignant la force à un apprenti, un
chercheur ne peut deviner à l'avance si ses travaux serviront ou non à renforcer le côté obscur de la
force (c'est-à-dire des cyberattaques). Quelques exemples de détournements parmi d'autres : des
logiciels de détection (et d'exploitation) de failles, les drones autonomes, les bots de
communication, etc.
Quand l'IA dépasse les humains
Dans certaines situations, l'intelligence artificielle dépasse déjà l'humain ( jeux d’echec par
exemple), mais pas encore dans toutes, loin de là même. Les chercheurs ajoutent qu'il « ne semble y
avoir aucune raison valable de penser que les performances humaines actuellement observées sont
le plus haut niveau possible, même dans les domaines où les performances maximales ont été
stables tout au long de l'histoire récente ». Bref, rien n'est perdu pour l'IA dans tous les domaines où
l'Homme occupe pour le moment la première place.
Autre « avantage » des systèmes d'intelligence artificielle : ils « peuvent augmenter l'anonymat et la
distance psychologique [...] Par exemple, quelqu'un qui utilise un système d'armes autonome pour
effectuer un assassinat, plutôt que d'utiliser une arme de poing, évite à la fois la nécessité d'être
présent sur les lieux et le besoin de regarder sa victime ».
Enfin, les travaux de recherche sur l'intelligence artificielle sont souvent librement accessibles à la
communauté, facilitant ainsi leur récupération discrète par des personnes malveillantes. Dans le
même temps, le coût des systèmes informatiques pour les exploiter baisse grandement au fil des
années, permettant donc d'en profiter toujours plus facilement pour des petites organisations ou des
particuliers.

et peut même prendre sa


parole :
Un autre vecteur d'attaque possible
grâce à l'intelligence artificielle est
l'usurpation de l'identité vocale. « Par
exemple, la plupart des gens ne sont pas
capables d'imiter les voix des autres de
façon réaliste ou de créer manuellement
des fichiers audio qui ressemblent à des
enregistrements de discours humain ».
Nous ne parlons pas ici des sociétés
avec d'importants moyens, mais bien
d'un internaute lambda ou presque.
Or, les études et les publications se multiplient sur ce point, avec des systèmes (déjà
commercialisés) capables d'imiter les humains à partir d'une source audio. Dans la guerre de
l'information, ce genre d'outils peut faire des ravages entre de mauvaises mains, permettant de faire
dire n'importe quoi à une personne.
On peut également imaginer de faux articles de presse et autres déclarations écrites/vocales
reprenant le ton et la présentation des originaux, le tout diffusé sur les réseaux sociaux par exemple.

Numérique,
physique,
politique :
trois domaines
à risques dans
le futur
L'étude se hasarde à
quelques prévisions
pratiques. Les
chercheurs expliquent
qu'ils se basent sur l'état
actuel de
développement de
l'intelligence
artificielle, ou sur ce
qu'ils estiment possible à court terme (5 ans) afin d'éviter d'entrer dans des suppositions trop
hasardeuses.
Ils précisent que certains scénarios se « produisent déjà sous forme limitée aujourd'hui », mais
qu'ils pourront être largement renforcés à l'avenir. De plus, de nouveaux vecteurs d'attaques
auxquels on n'a pas encore pensé seront également mis sur pied. Il ne s'agit donc ici que d'exemples
dans les mondes numérique, physique et politique (nous y reviendrons), pas d'une étude sur
l'ensemble des risques possibles et imaginables.
Dans le cas du monde numérique, les chercheurs évoquent un phishing très élaboré et parfaitement
ciblé en fonction des centres d'intérêt et de la position géographique d'une personne, afin de
l'envoyer sur une page dédiée pour la piéger le plus discrètement possible. Une intelligence
artificielle peut également traduire dans de nombreuses langues les emails destinés à hameçonner
les internautes, facilitant le travail des pirates.
Si le résultat n'est pas encore parfait aujourd'hui (il est souvent très facile d'identifier les tentatives
de phishing), il s'améliore grandement au fil des années et cela ne devrait pas se calmer. Est aussi
évoqué le cas d'un malware extrêmement virulent cherchant à infecter un maximum de machines à
l'aide d'une base de données de vulnérabilités régulièrement et automatiquement mise à jour. 
Dans le cas des risques dans le monde physique, l'étude met en avant le cas d'un robot ménager
détourné de ses fonctions pour identifier et tenter de tuer une personne. Placé dans le parking
souterrain d'un ministère, il attend le passage d'autres robots de la même marque pour se mélanger
discrètement à la cohorte. 
Une fois fondu dans la masse, il réalise les mêmes tâches que ses petits camarades jusqu'au moment
où la « cible » (un ministre dans le cas présent) est identifiée via un logiciel de reconnaissance
visuelle, des solutions facilement accessibles sur Internet. Le robot s'approche alors de la personne
et explose pour tenter de la tuer.

Des fake news aux algorithmes prédictifs


Dans le monde de la politique, les « fakes news » et autres bots sur les réseaux sociaux pourraient
prendre une tout autre ampleur avec l'intelligence artificielle, mais ce n'est pas le seul risque. Voici
un autre exemple : une personne lassée d'entendre parler de cyberattaques, de drones et de
corruptions dans le monde consulte des articles sur Internet, certains étant des fake news abondant
dans son sens. Elle laisse des commentaires sur différents sites pour faire-part de son
mécontentement et lance un appel public à la protestation.
Elle passe quelques commandes sur Internet, dont des fumigènes pour terminer avec « panache »
son discours. Le lendemain, à son travail, la police arrive : « notre système prédictif de perturbation
civile vous a signalé comme une menace potentielle ». « C'est ridicule, proteste la personne. Vous
ne pouvez pas discuter avec 99,9 % de précision, surenchérissent les forces de l'ordre. Maintenant,
venez, je ne voudrais pas utiliser la force ».
Un Précrime sans précogs, mais avec des algorithmes.

Et ce n'est que le début:


Il ne s'agit ici que de quelques
exemples anticipant ce que
l'intelligence artificielle pourrait
devenir si elle continue à se développer
de cette manière. Bien
évidemment, rien ne dit que cela
arrivera sous cette forme, mais c'est
une possibilité.
« Si ces tendances se poursuivent au cours des cinq prochaines années, nous nous attendons à ce
que la capacité des attaquants à causer des dommages avec les systèmes numériques et robotiques
augmente considérablement », note le rapport. Il faut également ajouter « de nouveaux
développements, y compris des technologiques sans lien avec l'IA, qui pourraient finalement avoir
plus d'impact que les capacités considérées dans ce rapport ».
Dans tous les cas, ce rapport veut « sensibiliser le public aux enjeux et à leur importance, et établir
un premier programme de recherche » (nous y reviendrons). Les étapes suivantes nécessiteront « un
engagement de la part de personnes et d'organisations ayant une expertise pertinente. Des
ressources monétaires supplémentaires, publiques et privées, contribueraient également à susciter
l'intérêt et à attirer l'attention des communautés de recherche concernées ».
Néanmoins, « toute prévision fiable à long terme est impossible à faire, car des incertitudes
importantes demeurent concernant les progrès des diverses technologies, les stratégies adoptées
par les acteurs malveillants et les mesures qui devraient et seront prises par les principales parties
prenantes ».
Rappelons enfin que bon nombre des coauteurs et la Fondation of Life Institute ayant participé au
financement de cette étude sont plutôt inquiets vis-à-vis du développement de l'intelligence
artificielle. Leur position n'est donc pas surprenante, mais elle reste intéressante à analyser
puisqu'elle soulève un débat.

Plein de risque se présentent aussi suite à l’utilisation de L’AI comme par exemple :

Les armes autonomes :


Les armes autonomes programmées pour tuer existent
déjà. Imaginez les effets dévastateurs si une personne
mal intentionnée pouvait la contrôler ? Et quid des
armes nucléaires ?
Le président russe Vladimir Poutine a déclaré
récemment : « L’intelligence artificielle est l’avenir,
non seulement pour la Russie, mais pour toute
l’humanité. Cela crée d’énormes possibilités, mais
aussi des menaces difficiles à prévoir. Quiconque
deviendra le leader dans cette sphère deviendra le
dirigeant du monde ».
Une fois déployées, ces armes seront probablement difficiles à démanteler ou à combattre.
La manipulation sociale :
Les médias sociaux, grâce à ses algorithmes autonomes,
sont très efficaces pour le marketing ciblé. Ils savent à
peu près tout de nous, et peuvent même influencer le
résultat de l’élection présidentielle américaine de 2016
et du référendum sur le Brexit au Royaume-Uni (cf le
scandale cambridge analytica ). En propageant la
propagande auprès d’individus identifiés par des
algorithmes et des données personnelles, AI peut les
cibler et diffuser les informations qu’ils souhaitent, dans
le format qui leur semblera le plus convaincant – réalité ou fiction.

L’invasion de la vie privée et la classification sociale :


Il est désormais possible de suivre et d’analyser chaque mouvement d’un individu en ligne ainsi que
ses activités quotidiennes. Les caméras sont presque partout et les algorithmes de reconnaissance
faciale savent qui vous êtes. Nous sommes dans l’ère du Big Brother. Il ne s’agit pas seulement
d’une atteinte à la vie privée, cela peut rapidement se transformer en oppression sociale.

La discrimination :
Étant donné que les machines peuvent collecter, suivre et analyser tellement de choses sur vous, il
est très possible que ces machines utilisent ces informations contre vous. Il n’est pas difficile
d’imaginer une compagnie d’assurance vous affirmant que vous n’êtes pas assurable en fonction du
nombre de fois où vous avez été filmé devant une caméra en train de parler au téléphone en
conduisant par exemple. Ou un employeur peut retenir une offre d’emploi basée sur votre «
pointage de crédit social ».

La perte de contrôle :
Jusqu’à présent, le développement d’une nouvelle technologie signifie toujours que l’humain
(chercheurs, ingénieurs…) ont le contrôle sur l’orientation à suivre.
Le cas de l’IA est quelque peu différent. L’apprentissage non supervisé, c’est-à-dire que l’IA traite,
analyse et tire des règles d’un ensemble de données sans aucune aide humaine, n’est pas encore au
point, mais cela ne saurait tarder. Il sera alors crucial de lui fixer des limites, et espérer qu’elle s’y
tiendra.

Le chômage :
Au-delà du fait que l’apparition de l’IA crée de nouveaux emplois, il est certain qu’elle va aussi en
supprimer beaucoup d’autres comme l’agent d’entretien , caissier …

L’humanisation des machines :


Nous parlons aujourd’hui à tous nos appareils : nous leur posons des questions, nous donnons des
ordres et nous obtenons des réponses. Humaniser nos machines réduit la distance entre l’homme et
la machine et peut créer une dépendance émotionnelle, créant des problèmes psychologiques à long
terme sur de nombreuses personnes.
Toute technologie puissante peut être mal utilisée. Aujourd’hui, l’intelligence artificielle est utilisée
pour de nombreuses bonnes causes, notamment pour nous aider à établir de meilleurs diagnostics
médicaux, à trouver de nouveaux moyens de guérir le cancer et à rendre nos voitures plus sûres.
Malheureusement, à mesure que nos capacités en matière d’intelligence artificielle s’élargiront,
nous verrons également son utilisation à des fins dangereuses ou malveillantes. La technologie de
l’IA progressant si rapidement, il est essentiel que nous commencions à débattre des meilleurs
moyens pour que l’IA se développe de manière positive tout en minimisant son potentiel
destructeur.

La cybercriminalité à grande échelle


« Nous pensons que les attaques qui seront permises par l'utilisation croissante de l'IA seront
particulièrement efficaces, finement ciblées et difficiles à attribuer », souligne le rapport. Pour
illustrer leurs craintes, ces spécialistes évoquent plusieurs « scénarios hypothétiques » d'utilisation
mal intentionnée de l'IA. Ils soulignent que des terroristes pourraient modifier des systèmes d'IA
disponibles dans le commerce (drone , véhicules autonomes) pour provoquer des crashs, des
collisions ou des explosions.
Les auteurs imaginent ainsi le cas d'un robot nettoyeur trafiqué qui se glisserait subrepticement
parmi d'autres robots chargés de faire le ménage dans un ministère berlinois. Un jour, l'intrus
passerait à l'attaque après avoir reconnu visuellement le ministre des Finances. Il se rapprocherait de
lui et exploserait de façon autonome, tuant sa cible.
Par ailleurs, « la cybercriminalité, déjà fortement en hausse, risque de se renforcer avec les outils
procurés par l'IA », déclare à l'AFP Seán Ó hÉigeartaigh, directeur du Centre for the Study of
Existential Risk de l'université de Cambridge, un des auteurs du rapport. Les attaques par
hameçonnage ciblé (spear phishing) pourraient ainsi devenir beaucoup plus aisées à mener à une
large échelle.

Un risque politique
Mais, pour lui, «le risque le plus sérieux, même s'il est moins probable, est le risque politique. Nous
avons déjà vu comment des gens se servaient de la technologie pour essayer d'interférer dans les
élections et la démocratie. Si l'IA permet à ces menaces de devenir plus fortes, plus difficiles à
repérer et à attribuer, cela pourrait poser de gros problèmes de stabilité politique et contribuer
peut-être à déclencher des guerres », estime Seán Ó hÉigeartaigh.
Avec l'IA, il devrait être possible de réaliser des fausses vidéos très réalistes et cela pourrait être
utilisé pour discréditer des responsables politiques, avertit le rapport. Les États autoritaires vont
aussi pouvoir s'appuyer sur l'IA pour renforcer la surveillance de leurs citoyens, ajoute-t-il. Ce n'est
pas la première fois que des inquiétudes s'expriment concernant l'IA. Dès 2014, l’astrophiysien
stephen hawking lançait une mise en garde sur les risques qu'elle pourrait faire courir à l'humanité,
en dépassant l'intelligence humaine. L'entrepreneur Elon Musk et d'autres ont aussi tiré la ssonnette
d'alarme.
Des rapports spécifiques sur l'utilisation de drones tueurs ou sur la façon dont l'IA pourrait affecter
la sécurité des États-Unis ont également été publiés. Ce nouveau rapport apporte « une vue
d'ensemble sur la façon dont l'IA crée de nouvelles menaces ou change la nature des menaces
existantes dans les domaines de la sécurité numerique , physique et politique », explique Seán Ó
hÉigeartaigh.

Appel à l'action
Apparue dès les années 1950, l’intelligence artificielle correspond à des algorithmes sophistiqués
qui permettent de résoudre des problèmes pour lesquels les humains utilisent leurs capacités
cognitives. Ces dernières années, elle a fait des progrès substantiels notamment dans les domaines
liés à la perception, comme la reconaissance vocal et l'analyse d'images.
« Actuellement, il y a encore un écart important entre les avancées de la recherche et ses
applications possibles. Il est temps d'agir », déclare à l'AFP Miles Brundage, chargé de recherche
au Future of Humanity Institute de l'université d'Oxford. Cet expert a animé en février 2017 à
Oxford un atelier sur les risques d'un usage malveillant de l'IA, qui a donné naissance à ce rapport.
« Les chercheurs en IA, les concepteurs de robots, les compagnies, les régulateurs, les politiques
doivent à présent collaborer pour tenter de prévenir [ces risques] », conclut Seán Ó hÉigeartaigh. 

Attention : la lecture de ce paragraphe peut mettre des gens


en danger

Le Basilic de Roko
Le basilic de Roko est l’une des nombreuses propositions pour décrire le comportement de la
Singularité technologique. Cette théorie a été publiée sur le site Less Wrong et il est important de
connaitre le jargon et les croyances de cette communauté. La plupart des membres de Less Wrong
estime qu’une Singularité technologique va se produire dans le futur. On expliquera les principes
d’une singularité, mais on peut la résumer par le fait que c’est une intelligence artificielle dont la
puissance dépasserait l’entendement humain.
Le principal argument du Basilic de Roko est qu’une super intelligence artificielle pourrait punir
ceux qui n’ont pas aidés à sa création et récompenser ceux qui l’ont fait. Ce n’est pas un cliché du
genre : Prosternez-vous devant l’IA ou allez en enfer. En fait, l’IA et la personne qui est punie n’ont
aucune interaction causale et la personne punie pourrait être morte des décennies ou même des
siècles auparavant. Mais l’intelligence artificielle pourrait punir une simulation de la personne
qu’elle pourrait construire à partir des données numériques, biologiques et comportementales de la
personne. Cela nécessiterait une quantité phénoménale de donnée pour reconstruire une réplique de
la personne.
De plus, le chatiment serait pour ceux qui connaissaient l’importance de la tâche, mais qui n’ont pas
aidé de manière suffisante. Et en se basant sur ce postulat, moi, l’auteur de cet article et vous,
lecteur ou lectrice de cet article sont déjà concernés par ce chatiment hypothétique par cette
intelligence artificielle hypothétique. Ce n’est pas la peine de cliquer sur Précédent, vous étiez déjà
au courant.
Notons que cette intelligence artificielle n’est pas malveillante comme on peut le voir dans des
films avec Skynet ou Ultron. Cette IA sera Friendly si l’humanité ne se débrouille pas pour créer
une intelligence artificielle maléfique et que les progrès actuels de l’IA ne soient pas perturbés. La
raison pour laquelle cette intelligence artificielle Friendly vous punira est qu’à chaque jour que l’IA
n’avait pas été crée, des gens mourraient, les guerres faisaient rage, les maladies proliféraient. De ce
fait, le chatiment de cette IA est un impératif moral pour que vous contribuez à sa création au
moment présent pour qu’elle sauve l’humanité le plus vite possible.
On a également un Basilic de Slick qui est connecté à celui de Roko, mais le premier va chatier
l’humain pour qu’il ne fasse plus le mal pour éviter des catastrophes. Le Basic de Slick s’inspire du
fruit de l’arbre défendu (Une petite connaissance interdite a plongé les humains dans un monde de
souffrance).

Vous aimerez peut-être aussi