Jamie Davison

 
 

Intelligence artificielle : ce que vous

devez savoir sur les étapes, les
menaces et les stratégies
 
 
 
Contenu
Intelligence artificielle : ce que vous devez savoir sur les étapes, les
menaces et les stratégies
Introduction
             
6
Chapitre un passé
Réalisations et opportunités d'aujourd'hui
Modes de croissance et histoire humaine.
grandes attentes
Le chemin de l'espoir et du désespoir
dernières réalisations
L'avenir de l'intelligence artificielle - l'avis des experts
Chapitre Deux
Le chemin vers le surmental
Intelligence artificielle
Émulation complète du cerveau humain.
Amélioration des capacités cognitives humaines.
interface neuro-ordinateur
Réseaux et organisations
Résumé
Chapitre Trois
Types de Supramental
vitesse supramental
superintelligence collective
Superintelligence qualitative
Périmètre direct et indirect
Sources des avantages de l'intelligence numérique
Chapitre Quatre
La dynamique du développement explosif de l'intelligence
Heure et vitesse de décollage
 Endurance
Formulaires n'impliquant pas la création d'intelligence artificielle
Façons de créer un modèle de simulation du cerveau.
et l'intelligence artificielle
La puissance de l'optimisation et le développement explosif de
l'intelligence
Chapitre Cinq
Avantage stratégique décisif
Le projet principal obtiendra-t-il un avantage absolu ?
Quelle sera la taille du projet le plus prometteur ?
Système de contrôle
coopération internationale
De l'avantage décisif au singleton
Chapitre Six
Fonctionnalité et puissance irrésistible
Scénario de prise de contrôle du supramental
1. Phase d'approche du moment critique
2. Phase récursive d'auto-amélioration
3. Phase de préparation secrète
4. Phase de mise en œuvre ouverte
Pouvoir sur la nature et autres forces actives
Chapitre sept
Les intentions du surmental
Relation entre intelligence et motivation
convergence instrumentale
préservation de soi
Séquence continue d'objectifs.
amélioration cognitive
Excellence technologique
obtenir des ressources
Chapitre Huit
La catastrophe est-elle inévitable ?
Une catastrophe existentielle comme conséquence inévitable du
développement explosif de l'intelligence artificielle ?
mouvement perfide
échecs désastreux
mise en œuvre vicieuse
redondance des infrastructures
l'immoralité criminelle
Chapitre neuf
Problèmes de contrôle
Deux problèmes d'agence
Méthodes de contrôle des opportunités
méthodes d'isolement
Méthodes incitatives
Méthodes de retard de développement
méthodes d'étirement
Méthodes de sélection motivationnelle
méthode de spécification fine
méthode de domestication
Méthode de normativité indirecte
méthode de multiplication
Résumé
Chapitre dix
Oracles, djinns, monarques et instruments
oracles
génies et monarques
Chapitre onze
Scénarios pour un monde multipolaire
Chapitre douze
 Développer des valeurs
Chapitre treize
Choix des critères de sélection
Chapitre quatorze
Aperçu stratégique
Chapitre quinze
Problèmes de temps
Introduction
À l'intérieur de notre crâne, il y a une certaine substance, grâce à laquelle
nous pouvons, par exemple, lire. Cette substance, le cerveau humain, est
dotée de capacités absentes chez les autres mammifères. En réalité, les gens
doivent leur position dominante sur la planète précisément à ces traits
caractéristiques. Certains animaux se distinguent par les muscles les plus
puissants et les crocs les plus acérés, mais aucun être vivant, à l'exception
de l'homme, n'est doté d'un esprit aussi parfait. Grâce à un niveau
intellectuel plus élevé, nous avons pu créer des outils tels que le langage, la
technologie et une organisation sociale complexe. Au fil du temps, notre
avantage n'a fait que se renforcer et s'étendre, chaque nouvelle génération
s'appuyant sur les réalisations de ses prédécesseurs. Si l'intelligence
artificielle est un jour développée et dépasse le niveau général de
développement de l'esprit humain, alors une intelligence super puissante
apparaîtra dans le monde. Et donc le sort de notre espèce dépendra
directement des actions de ces systèmes techniques intelligents, tout comme
le sort actuel des gorilles est largement déterminé non pas par les primates,
mais par les intentions humaines. Pourtant, l'humanité a vraiment un
avantage indéniable, puisqu'elle crée des systèmes techniques intelligents.
En principe, qui nous empêche de concevoir une telle superintelligence
prenant sous son aile les valeurs humaines universelles ? Bien sûr, nous
avons de très bonnes raisons de nous protéger. Concrètement, nous devrons
traiter la question la plus difficile du contrôle : comment contrôler les plans
et les actions du surmental. Et les gens ne pourront utiliser qu'une seule
chance. Dès qu'une intelligence artificielle (IA) hostile naîtra, elle
commencera immédiatement à entraver nos efforts pour nous en
débarrasser. Pour un lecteur potentiel et pour une raison quelconque, je me
suis toujours imaginé dans ce rôle, seulement un peu plus jeune que la vraie
chose - il s'avère que je faisais un livre qui pourrait principalement éveiller
l'intérêt pour moi, mais pas alourdi par les années que j'ai vivait. C'est peut-
être ce qui déterminera le petit nombre de lecteurs à l'avenir. Cependant, à
mon avis, le contenu du livre sera accessible à de nombreuses personnes. Il
suffit de faire un effort mental, d'arrêter de rejeter de toutes pièces les idées
nouvelles et de résister à la tentation de remplacer tout ce qui est
incompréhensible par des stéréotypes commodes que nous pêchons tous
facilement dans nos réserves culturelles. Les lecteurs sans connaissances
particulières ne doivent pas céder aux calculs mathématiques et aux termes
inconnus qui apparaissent par endroits, car le contexte permet toujours de
comprendre l'idée principale.
 Chapitre un passé
 

Réalisations et opportunités
d'aujourd'hui
Commençons par un appel au passé lointain. D'une manière générale,
l'histoire est une succession de schémas de croissance différents, et le
processus s'accélère progressivement. Ce modèle nous donne le droit de
supposer que la prochaine période de croissance encore plus rapide est
possible. Cependant, il ne vaut guère la peine d'attacher trop d'importance à
une telle considération, puisque le sujet de notre livre n'est pas
"l'accélération technologique", ni la "croissance exponentielle", ni même
ces phénomènes qui sont habituellement présentés sous le concept de
"singularité". ”. Ensuite, nous parlerons du contexte : comment la recherche
en intelligence artificielle a évolué. Ensuite, nous passerons à la situation
actuelle : ce qui se passe aujourd'hui dans ce domaine. Enfin, jetons un coup
d'œil à certaines des dernières revues d'experts et parlons de notre
incapacité à prédire le calendrier des développements futurs.
Modes de croissance et histoire humaine.
Il y a quelques millions d'années à peine, les ancêtres humains vivaient
encore dans la canopée des arbres africains, sautant de branche en branche.
L'émergence d'
Homo sapiens
, ou Homo sapiens, qui a divergé de nos
ancêtres communs avec les singes anthropoïdes, s'est déroulée sans heurts
d'un point de vue géologique et même évolutif. Les anciens ont pris une
position verticale et les pouces de leurs mains ont commencé à se
démarquer sensiblement du reste. Plus important encore, cependant, il y a
eu des changements relativement mineurs dans le volume du cerveau et
l'organisation du système nerveux, conduisant finalement à un bond de
géant dans le développement mental humain. En conséquence, les gens ont
la capacité de penser de manière abstraite. Ils ont commencé non seulement
à exprimer de manière cohérente des pensées complexes, mais aussi à créer
une culture de l'information, c'est-à-dire à accumuler des informations et
des connaissances et à les transmettre de génération en génération. Il faut
dire que l'homme a appris à le faire bien mieux que tout autre être vivant sur
la planète.
L'humanité ancienne, utilisant les capacités qui y sont apparues, a
développé des méthodes de production de plus en plus rationnelles, grâce
auxquelles elle a pu migrer bien au-delà des jungles et des savanes.
Immédiatement après l'avènement de l'agriculture, la taille et la densité de
la population ont commencé à croître rapidement. Plus de personnes - plus
d'idées et une densité élevée ont contribué non seulement à la propagation
rapide des nouvelles tendances, mais également à l'émergence de divers
spécialistes, ce qui signifie que parmi les gens, il y avait une amélioration
constante des compétences professionnelles. Ces facteurs ont
accéléré le
rythme du développement économique
, rendu possible la croissance de la
productivité et la formation du potentiel technique. Par la suite, des progrès
tout aussi importants, aboutissant à la révolution industrielle, ont entraîné
un deuxième bond historique dans l'accélération du taux de croissance.
Ce taux de croissance dynamique a eu des implications importantes. Par
exemple, à l'aube de l'humanité, lorsque la Terre était habitée par les
géniteurs de l'homme moderne, ou hominidés*, le développement
économique était trop lent et il a fallu environ un million d'années pour que
la capacité de production augmente, de sorte que la population de la planète
a pu augmenter d'un million de personnes et exister sur le point de survivre.
Et après la révolution néolithique, autour du 5000 a. J.-C., lorsque
l'humanité est passée d'une société de chasseurs-cueilleurs à un modèle
économique agricole, le taux de croissance a tellement augmenté que deux
cents ans ont suffi pour la même croissance démographique. Aujourd'hui,
après la révolution industrielle, l'économie mondiale croît à peu près du
même montant toutes les heures et demie
1
.
Le taux de croissance actuel, même s'il est suspendu pendant une période
relativement longue, conduira à des résultats impressionnants. Supposons
que l'économie mondiale continue de croître à un rythme moyen, caractérisé
par
Cependant, les perspectives d'une croissance exponentielle soutenue sont
pâles par rapport à ce qui pourrait arriver lorsque le monde connaîtra le
prochain grand changement à un rythme comparable en ampleur et en
impact aux révolutions néolithique et industrielle. Sur la base de données
historiques sur l'activité économique et la population, l'économiste Robin
Hanson estime que l'économie des chasseurs-cueilleurs du Pléistocène a
doublé en 224 000 ans, la société agricole en 909 ans et la société
industrielle en 6,3 ans
3
. (Selon le paradigme de Hanson, le modèle
économique moderne, qui a une structure agro-industrielle mixte, ne se
développe pas encore à un rythme qui double tous les 6,3 ans.) Si un tel
bond s'était déjà produit dans le développement mondial, comparable dans
sa portée révolutionnaire aux deux précédents, alors l'économie aurait
atteint un nouveau niveau et aurait doublé son taux de croissance toutes les
deux semaines environ.
Du point de vue d'aujourd'hui, de tels taux de développement semblent
fantastiques. Mais même les témoins des époques révolues auraient
difficilement pu imaginer que le taux de croissance de l'économie mondiale
doublerait un jour plusieurs fois au cours d'une même génération. Ce qui
leur paraissait totalement impensable, nous le percevons comme la norme.
L'idée d'aborder le moment de la singularité technologique est devenue
extrêmement populaire suite aux travaux pionniers de Vernon Vinge, Ray
Kurzweil et d'autres chercheurs
4
. Cependant, le concept de "singularité",
qui est utilisé dans une variété de sens, a déjà acquis un sens stable dans
l'esprit de l'utopisme technologique et a même acquis une aura de quelque
chose de terrifiant et en même temps assez majestueux
5
. Étant donné que
la plupart des définitions du mot
singularité
n'ont aucun rapport avec le
sujet de ce livre, nous gagnerons en clarté si nous l'abandonnons au profit
de termes plus précis.
L'idée qui nous intéresse, liée au concept de singularité, est le
développement potentiel en tant qu'explosion de l'intelligence
, notamment
dans la perspective de créer une superintelligence artificielle. Peut-être que
les courbes de croissance représentées sur la figure 1 convaincront certains
d'entre vous que nous sommes sur le point de faire un nouveau bond intense
dans le rythme de développement, un bond comparable aux révolutions
néolithique et industrielle. Très probablement, même les personnes qui
s'appuient sur des graphiques auront du mal à imaginer un scénario où le
temps nécessaire pour doubler l'économie mondiale est réduit à des
semaines sans l'intervention d'un esprit surpuissant, qui est plusieurs fois
plus rapide et plus efficace. que notre habitude. esprit biologique.
Cependant, il n'est pas nécessaire de s'exercer à tracer des courbes de
croissance et à extrapoler des taux historiques de développement
économique pour commencer à assumer la responsabilité de l'essor
révolutionnaire de l'intelligence artificielle. Ce problème est si grave qu'il
n'a pas besoin d'un tel argument. Comme nous le verrons, il existe des
raisons bien plus impérieuses d'être prudent.
 
 
Riz. 1. Dynamique du PIB mondial sur une longue période historique.
Sur une échelle linéaire,
l'histoire de l'économie mondiale est représentée par une ligne qui, d'abord, se confond presque avec
l'axe horizontal, puis plonge verticalement vers le haut.
A.
Même en étendant les limites de temps à
dix mille ans dans le passé, nous voyons que la ligne tire vers le haut à partir d'un certain point de
près de quatre-vingt-dix degrés.
B.
La ligne ne s'écarte sensiblement de l'axe horizontal qu'au niveau
des cent dernières années environ. (La différence dans les courbes des diagrammes est due à un
ensemble de données différent, de sorte que les indicateurs sont quelque peu différents les uns des
autres
6
).

des attentes élevées

Depuis l'invention des premiers ordinateurs électroniques dans les années
1940, on prédit l'apparition d'un ordinateur dont le niveau d'intelligence sera
comparable à celui d'un être humain. Cela fait référence à un système
technique raisonnable doté de bon sens, ayant la capacité d'apprendre et de
penser, capable de planifier et de traiter des informations de manière
intégrée, recueillies à partir d'une variété de sources, réelles et théoriques. A
cette époque, beaucoup s'attendaient à ce que de telles machines deviennent
une réalité dans vingt ans
7
. Depuis, les dates évoluent au rythme d'un an
par an, c'est-à-dire qu'aujourd'hui les futurologues, convaincus de la
probabilité de créer une intelligence artificielle, continuent de croire que des
« machines intelligentes » apparaîtront dans quelques décennies
8
.
Le mandat de vingt ans est apprécié par tous les prédicteurs de changement
fondamental. D'une part, ce n'est pas trop long et donc le sujet de discussion
attire beaucoup d'attention ; en revanche, ce n'est pas si rapide, ce qui
permet de rêver à une série de découvertes scientifiques importantes ;
cependant, les idées à leur sujet au moment de la prévision sont très vagues,
mais leur mise en œuvre ne fait pratiquement aucun doute. Comparez cela
avec les périodes de prévision plus courtes fixées pour différentes
technologies qui sont destinées à avoir un impact significatif sur le monde :
cinq à dix ans : au moment de la prévision, la plupart des solutions
techniques sont déjà partiellement mises en œuvre ; quinze ans : au moment
de la prévision, ces technologies existent déjà sous forme de versions de
laboratoire. De plus, vingt ans est souvent proche de la durée de vie
professionnelle restante moyenne du prévisionniste, ce qui réduit le risque
de réputation associé à sa prédiction audacieuse.
Cependant, en raison des attentes trop élevées et non satisfaites de ces
dernières années, il ne faut pas conclure immédiatement que la création
d'intelligence artificielle est en principe impossible et que personne ne la
développera jamais
9
. La principale raison pour laquelle les progrès ont été
plus lents que prévu est liée à des problèmes techniques survenus lors du
développement de machines intelligentes. Les pionniers n'avaient pas prévu
toutes les difficultés auxquelles ils devaient faire face. De plus, les
questions : si le degré de gravité de ces obstacles est grand et jusqu'où nous
sommes de les surmonter, restent ouvertes. Parfois, des problèmes qui
semblent initialement désespérément difficiles ont des solutions
étonnamment simples (bien que le plus souvent, peut-être, le contraire soit
vrai).
Nous verrons les chemins qui pourraient mener à une intelligence
artificielle qui rivaliserait avec celle des humains dans le prochain chapitre.
Mais maintenant, je voudrais attirer votre attention sur un point important.
Il y aura de nombreux arrêts entre le point de départ actuel et le futur
lorsque l'intelligence artificielle apparaîtra, mais ce moment n'est en aucun
cas la destination finale. Assez près, le prochain arrêt serait la station
Overmind, une implémentation à un niveau de l'intelligence artificielle qui
non seulement correspondait à l'esprit humain, mais le dépassait largement.
Après le dernier arrêt, notre train accélérera à tel point qu'à la gare
"Chelovek", il pourra non seulement s'arrêter, mais même ralentir. Il sifflera
très probablement. Le mathématicien britannique Irving John Goode, qui a
travaillé comme cryptographe pour l'équipe d'Alan Turing pendant la
Seconde Guerre mondiale, a probablement été le premier à exposer les
détails cruciaux de ce scénario. Dans son article souvent cité de 1965 sur les
premières machines superintelligentes, il écrit :
Définissons une machine superintelligente comme une machine qui dépasse de loin la capacité
intellectuelle de l'un des êtres humains les plus intelligents. Puisque la création de telles machines est
le résultat de l'activité mentale humaine, une machine superintelligente pourra développer des
machines encore plus parfaites ; en conséquence, il y aura sans aucun doute une telle "explosion
intellectuelle" que l'esprit humain sera jeté loin derrière. Ainsi, la première machine superintelligente
sera la dernière réalisation de l'esprit humain - cependant, seulement si elle ne fait pas preuve d'une
conformité suffisante et ne nous explique pas comment la garder sous contrôle
10
.
Le développement explosif de l'intelligence artificielle peut comporter l'un
des principaux risques existentiels * - cet état de fait est aujourd'hui perçu
comme anodin ; par conséquent, les perspectives d'une telle croissance
doivent être prises avec le plus grand sérieux, même si l'on savait (mais ne
l'est pas) que la probabilité de la menace est relativement faible. Cependant,
les pionniers dans le domaine de l'intelligence artificielle, malgré leur
croyance en l'émergence imminente d'une intelligence artificielle qui n'est
pas inférieure à l'humain, ont pour la plupart nié la possibilité de
l'émergence d'une superintelligence qui dépasse l'esprit. Humain. Il semble
que leur imagination, dans une tentative de comprendre la dernière
possibilité de futures machines comparables dans leurs capacités de
réflexion aux humains, se soit simplement tarie et qu'ils aient facilement
manqué la conclusion inévitable : la naissance de machines super-
intelligentes sera la prochaine étape.

* Selon le Center for the Study of Existential Risks (Cambridge), sont considérés comme des
menaces potentielles pour l'humanité : l'intelligence artificielle, le changement climatique, les armes
nucléaires, la biotechnologie.
La plupart des pionniers ne supportaient pas l'inquiétude qui se faisait jour
dans la société, estimant tout à fait absurde que leurs projets comportaient
un certain risque pour l'humanité
11
. Aucun d'entre eux, en paroles ou en
actes, pas une seule étude sérieuse sur le sujet, n'a tenté de comprendre
l'inquiétude sécuritaire ou les doutes éthiques associés à la création de
l'intelligence artificielle et à la domination potentielle des ordinateurs ; ce
fait est surprenant même dans le contexte de normes pas trop élevées pour
évaluer les nouvelles technologies caractéristiques de l'époque
12
. On ne
peut qu'espérer qu'au moment où sa vision audacieuse deviendra enfin
réalité, nous serons non seulement en mesure d'acquérir une expertise
scientifique et technique décente pour neutraliser le développement explosif
de l'intelligence artificielle, mais aussi d'atteindre le plus haut niveau de
professionnalisme, ce qui ne ça fait mal. pas du tout si l'humanité veut
survivre à l'arrivée de machines super-intelligentes sur votre monde.
Mais avant de se tourner vers l'avenir, il serait utile de revenir brièvement
sur l'histoire de la création de l'intelligence artificielle.
Le chemin de l'espoir et du désespoir
À l'été 1956, dix scientifiques se sont réunis pour un séminaire de deux
mois au Dartmouth College, unis par un intérêt commun pour les réseaux de
neurones, la théorie des automates et l'étude de l'intelligence. Le moment du
séminaire de Dartmouth est généralement considéré comme le point de
départ d'un nouveau domaine scientifique, l'étude de l'intelligence
artificielle. La plupart de ses participants seront reconnus plus tard comme
les fondateurs de cette tendance. À quel point les scientifiques étaient
optimistes quant à l'avenir, dit le texte de leur appel à la Fondation
Rockefeller, qui devait financer l'événement :
Nous allons organiser un séminaire sur l'étude de l'intelligence artificielle, qui durera deux mois et
comprendra la participation de dix scientifiques... L'étude du sujet sera basée sur l'hypothèse qu'il
existe aujourd'hui une possibilité fondamentale de modélisation l'intelligence. , puisque nous pouvons
maintenant décrire avec précision tous les aspects de l'apprentissage automatique et toutes les
caractéristiques distinctives de l'activité mentale. Une tentative sera faite pour identifier les moyens
de développer une machine capable d'utiliser le langage, de former des abstractions et des concepts,
de résoudre des problèmes actuellement accessibles uniquement à l'esprit humain et de s'auto-
développer. Nous pensons que nous ferons des progrès significatifs dans la résolution de certains de
ces problèmes si un groupe de spécialistes soigneusement sélectionnés peut travailler ensemble
pendant l'été.
Soixante ans se sont écoulés depuis l'événement capital marqué par un
prologue aussi vigoureux, au cours duquel la recherche dans le domaine de
l'intelligence artificielle a surmonté un chemin difficile : du battage
médiatique à l'intérêt déclinant, des attentes élevées aux espoirs déçus. .
La première période d'enthousiasme général a commencé avec le séminaire
de Dartmouth. Plus tard, son principal organisateur, John McCarthy, a décrit
cette époque comme une ère de développement assez réussi dans l'esprit des
enfants "regarde, maman, je peux le faire sans les mains!". Au cours de ces
années lointaines, les scientifiques construisaient des systèmes dont le but
était de réfuter les affirmations souvent entendues des sceptiques selon
lesquelles les machines ne sont "capables de rien". Pour contrer le coup, les
chercheurs en IA ont développé de petits programmes qui exécutaient
l'action
X
dans un micromonde théorique (une zone limitée bien définie
conçue pour démontrer une version simplifiée du comportement requis),
prouvant ainsi le concept et montrant qu'en principe, les machines
pourraient exécuter une action
x
L'un de ces premiers systèmes, appelé
logique théorique, a pu prouver la plupart des théorèmes du deuxième
volume des Principia Mathematica d'Alfred Whitehead et Bertrand Russell*
; et l'un des tests s'est avéré plus élégant que l'original. Ainsi, les
scientifiques, ayant démontré la capacité de la machine à déduire et à créer
des constructions logiques, ont pu dissiper le mythe selon lequel elle « ne
pense qu'en chiffres »
13
. Le théoricien de la logique a été suivi du
programme General Problem Solver (GPS), conçu pour résoudre, en
principe, tout problème formellement défini
14
. Des systèmes ont été créés
pour traiter des problèmes tels que : les problèmes de mathématiques de
première année au collège ; des puzzles visuels pour identifier les analogies
géométriques utilisées pour évaluer le QI ; problèmes d'algèbre simples
15
.
Le robot Shakey -du nom de la vibration lors de son fonctionnement- a
montré que la machine peut penser et contrôler son activité motrice lorsque
la pensée logique est combinée à la perception de la réalité environnante
16
.
Le programme ELIZA imitait parfaitement le comportement d'un
psychothérapeute
17
. Au milieu des années 1970

*
Alfred Whitehead, Bertrand Russel
. Fondements des mathématiques. En 3 tomes / Éd. GP
Yarovoy, Yu. N. Radaeva. Samara : Université de Samara, 2005–2006.
le programme SHRDLU a démontré comment un robot simulé dans un
monde simulé manipule calmement des figures géométriques
tridimensionnelles, non seulement en suivant les instructions de l'utilisateur,
mais aussi en répondant à ses questions
18
. Au cours des décennies qui ont
suivi, des programmes ont été créés pour composer de la musique classique
de divers genres, résoudre des problèmes de diagnostic clinique plus
rapidement et avec plus de confiance que les médecins en formation,
conduire des automobiles de manière indépendante et faire des
inventions
brevetables

. Il y avait même un système astucieux qui distribuait
20 blagues originales
(pour ne pas dire que le niveau était élevé, mais on disait que les enfants les
trouvaient drôles).
Cependant, les méthodes qui se sont avérées efficaces dans le
développement de ces premiers échantillons pratiquement démonstratifs de
systèmes intelligents ne pouvaient pas être appliquées face à un large
éventail de problèmes et à des tâches plus difficiles. L'une des raisons était
l'explosion combinatoire, c'est-à-dire la croissance vertigineuse du nombre
d'options possibles qu'il fallait étudier à l'aide d'outils basés sur la méthode
d'énumération la plus simple. Cette méthode fonctionnait bien pour des
problèmes simples, mais elle ne convenait pas pour des problèmes un peu
plus difficiles. Par exemple, pour résoudre un théorème avec une preuve à
cinq lignes, un système d'inférence avec une règle et cinq axiomes devait
simplement lister les 3 125 combinaisons possibles et voir laquelle
conduisait à la conclusion souhaitée. La recherche exhaustive a également
fonctionné pour les tests de six ou sept lignes. Mais la recherche par force
brute a commencé à stagner à mesure que le problème devenait plus
complexe. Le temps pour résoudre un théorème avec une preuve non pas de
cinq, mais de cinquante lignes ne sera pas dix fois plus long : si vous
utilisez la recherche exhaustive, vous devrez vérifier 5
50
≈ 8,9 × 10
34
séquences possibles, une tâche informatiquement impensable même pour
l'ordinateur plus puissant.
Pour faire face à l'explosion combinatoire, des algorithmes sont nécessaires
pour analyser la structure de la zone cible et tirer parti des connaissances
accumulées grâce à la recherche heuristique, à la planification à long terme
et aux représentations abstraites libres  ; cependant, dans les premiers
systèmes intelligents, toutes ces capacités étaient peu développées. De plus,
en raison d'un certain nombre de circonstances (mauvaises méthodes de
gestion de l'incertitude, utilisation d'une notation symbolique arbitraire et
déroutante, données rares, limitations techniques sévères sur la taille de la
mémoire et la vitesse du processeur), les performances globales de ces
systèmes ont été affectées. La prise de conscience des problèmes est venue
au milieu des années 1970. La prise de conscience que de nombreux projets
ne seraient jamais à la hauteur des attentes placées en eux a conduit au
premier "hiver de l'IA": une période de régression, au cours de laquelle le
financement a été réduit et le scepticisme accru, et l'idée même de
l'intelligence artificielle a cessé. être à la mode
Le printemps est revenu au début des années 1980, lorsque le Japon a
décidé de commencer à construire un ordinateur de cinquième génération.
Le pays devait faire un grand saut dans le futur et atteindre immédiatement
un niveau de développement technologique ultra-moderne en développant
l'architecture de systèmes informatiques parallèles pour des ordinateurs
surpuissants dotés de fonctions d'intelligence artificielle. Il s'agissait d'un
programme gouvernemental bien financé impliquant de grandes entreprises
privées. L'émergence du projet a coïncidé avec une époque où le miracle
d'après-guerre du Japon captait l'attention de tout le monde occidental : les
milieux politiques et économiques suivaient les succès du Japon avec
admiration et inquiétude, essayant de démêler la formule secrète de son
décollage économique. . . et espérant le reproduire à la maison. Dès que le
Japon a décidé d'investir massivement dans l'étude de l'intelligence
artificielle, de nombreux pays hautement développés ont emboîté le pas.
Les systèmes experts se
sont généralisés, destinés à remplacer les experts
experts dans la résolution de situations problématiques. Il s'agissait de
systèmes informatiques automatisés dont les programmes étaient basés sur
un ensemble de règles qui leur permettaient de reconnaître des situations et
de tirer des conclusions logiques simples, dérivées de bases de
connaissances compilées par des experts dans les domaines concernés et
traduites en langage machine formel. Des centaines de tels systèmes experts
ont été développés. Cependant, les petits systèmes se sont avérés peu utiles,
et les plus puissants se sont avérés trop lourds à utiliser et coûteux à
développer, tester et mettre à jour en permanence. Les experts sont arrivés à
la conclusion qu'il n'est pas pratique d'utiliser un ordinateur séparé pour
exécuter un seul programme. Ainsi, à la fin des années 1980, cette période
de croissance a également pris fin.
Le projet japonais associé à l'avènement de l'ordinateur de cinquième
génération a, en principe, échoué, tout comme des développements
similaires aux États-Unis et en Europe. Le deuxième hiver de l'intelligence
artificielle est arrivé. Maintenant, le vénérable critique pourrait tout à fait
raisonnablement déplorer que, disent-ils, "toute l'histoire de la recherche sur
l'intelligence artificielle jusqu'à nos jours se compose d'une série d'épisodes
séparés, quand, en règle générale, un succès très modéré dans un domaine
de travail exceptionnellement étroit se transforme très vite en un échec
complet dans un domaine plus large, dont l'étude, semble-t-il, a été
encouragée par le succès initial »
21
. Les investisseurs privés ont essayé de
garder une distance respectueuse avec toute entreprise ayant le moindre lien
avec le problème de l'intelligence artificielle. Même parmi les scientifiques
et les organisations qui les financent, le terme lui-même est devenu
indésirable
22
.
Cependant, le progrès technologique ne s'est pas arrêté et, dans les années
1990, le deuxième hiver de l'intelligence artificielle a été remplacé par un
dégel. Une vague d'optimisme a été facilitée par l'apparition de nouvelles
méthodes qui semblaient remplacer la programmation logique habituelle ;
on l'appelle généralement "la bonne vieille intelligence artificielle" ou
"l'intelligence artificielle classique" (CAI). Ce paradigme de
programmation traditionnel était basé sur la manipulation de symboles de
haut niveau et a atteint son apogée dans les années 1980, lors de
l'engouement pour les systèmes experts. Des méthodes astucieuses qui
gagnaient en popularité, par exemple, comme les réseaux de neurones et les
algorithmes génétiques, laissaient espérer qu'il serait encore possible de
surmonter les lacunes inhérentes à la CII, en particulier sa « vulnérabilité »
(la machine utilisée pour dire des bêtises complètes si le programmeur a fait
au moins une hypothèse erronée). Les nouvelles méthodes fonctionnaient
mieux parce qu'elles s'appuyaient davantage sur l'intelligence naturelle. Par
exemple, les réseaux de neurones avaient une propriété aussi remarquable
que la tolérance aux pannes : une petite violation n'entraînait qu'une légère
diminution des performances, et non une défaillance complète. Plus
important encore, les réseaux de neurones étaient des systèmes d'auto-
apprentissage intelligents, c'est-à-dire qu'ils accumulaient de l'expérience,
pouvaient tirer des conclusions à partir d'exemples généralisés et trouver
des modèles statistiques cachés dans les données d'entrée
23
. Cela a fait des
réseaux un bon outil pour résoudre les problèmes de classification et de
reconnaissance de formes. Par exemple, en créant un ensemble spécifique
de données de signal, il a été possible d'entraîner un réseau de neurones à
percevoir et à reconnaître les caractéristiques acoustiques des sous-marins,
des mines et de la vie marine avec une plus grande précision que les
spécialistes ne pouvaient atteindre, et le système a été confronté sans aucun
préalable préparation. clarification des paramètres nécessaires pour prendre
en compte et comparer certaines caractéristiques.
Bien que des modèles simples de réseaux de neurones soient connus depuis
la fin des années 1950, une renaissance a commencé dans le domaine avec
le développement de la rétropropagation, qui a permis l'apprentissage de
réseaux de neurones multicouches
24
. Ces réseaux multicouches, qui
avaient au moins une couche intermédiaire ("cachée") de neurones entre les
couches d'entrée et de sortie, peuvent apprendre à exécuter beaucoup plus
de fonctions que leurs prédécesseurs plus simples
25
. Combinées à la
dernière génération d'ordinateurs, qui étaient alors devenues beaucoup plus
puissantes et abordables, ces améliorations de l'algorithme d'apprentissage
ont permis aux ingénieurs de construire des réseaux de neurones qui ont
réussi à résoudre des problèmes pratiques dans de nombreux domaines
d'application.
En termes de propriétés et de similitude fonctionnelle avec le cerveau
biologique, les réseaux de neurones différaient favorablement de la logique
et de la vulnérabilité définies de manière rigide des systèmes CII
traditionnels basés sur des règles. Le contraste s'est avéré si fort que même
un autre concept a émergé du modèle connectiviste ; le terme même
de
connectivisme
* soulignait particulièrement l'importance du traitement
massivement parallèle des informations de sous-symboles. Depuis lors, plus
de 150 000 articles scientifiques ont été écrits sur les réseaux de neurones
artificiels, et les réseaux eux-mêmes continuent d'être une méthode
importante dans le domaine de l'apprentissage automatique.
Un autre facteur qui a rapproché l'arrivée du prochain printemps de
l'intelligence artificielle était l'algorithme génétique et la programmation
génétique. Ces variétés de méthodes informatiques évolutives sont
devenues assez bien connues, bien qu'elles ne soient peut-être pas aussi
importantes scientifiquement que les réseaux de neurones. Dans les
modèles évolutifs, tout d'abord, des populations initiales de certaines
solutions sont créées (il peut y avoir des structures de données ou des
programmes de traitement de données), puis, à la suite d'une mutation
aléatoire et d'une reproduction (« croisement ») de populations existantes,
de nouvelles populations sont créées . généré.

*
Connectivisme
, ou connexionnisme (connexionnisme), - modélise les phénomènes mentaux et
comportementaux en réseaux à partir d'éléments simples interconnectés ; en fait, le concept de
connectivisme est apparu bien avant les systèmes neuronaux artificiels eux-mêmes ; en tant
qu'approche, elle est utilisée non seulement dans le domaine de l'intelligence artificielle, mais aussi
dans la philosophie de l'esprit, la psychologie et les sciences cognitives.
Périodiquement, du fait de l'application du critère de sélection (par la
présence d'une fonction objectif, ou fonction de fitness), le nombre de
populations est réduit, ne permettant qu'aux meilleures solutions candidates
d' entrer dans la nouvelle génération. Au cours de milliers d'itérations, la
qualité moyenne des décisions dans la population augmente
progressivement. Avec l'aide de tels algorithmes, les programmes les plus
productifs sont générés et peuvent naviguer dans un large éventail de
problèmes. de plus, les solutions choisies sont parfois étonnamment
innovantes et inattendues, évoquant davantage un système naturel qu'une
structure modélisée par l'homme. L'ensemble du processus peut se dérouler,
en fait, sans participation humaine, sauf dans les cas où il est nécessaire
d'attribuer une fonction objective qui, en principe, est déterminée très
simplement. Cependant, dans la pratique, pour que les méthodes évolutives
fonctionnent bien, des connaissances et des talents professionnels sont
nécessaires, en particulier lors de la création d'un format de présentation de
données compréhensible. Sans une méthode efficace d'encodage des
solutions candidates (un langage génétique approprié à la structure latente
de la zone cible), le processus évolutif, en règle générale, erre sans fin dans
l'espace de recherche ouvert ou se coince dans un optimum local. Mais
même lorsque le bon format de représentation est trouvé, les calculs
évolutifs nécessitent une énorme puissance de calcul et sont souvent
victimes d'une explosion combinatoire.
Des exemples de nouvelles méthodes telles que les réseaux de neurones et
les algorithmes génétiques ont réussi à devenir une alternative au paradigme
stagnant du CII et ont ainsi suscité une nouvelle vague d'intérêt pour les
systèmes intelligents dans les années 1990. Mais je n'ai pas l'intention de les
louer ou de les mettre sur un piédestal au détriment d'autres méthodes
d'apprentissage automatique. En fait, l'une des principales réalisations
théoriques des vingt dernières années a été la prise de conscience claire que
des méthodes apparemment différentes peuvent être considérées comme des
cas particuliers dans le cadre d'un modèle mathématique général. Par
exemple, de nombreux types de réseaux de neurones artificiels peuvent être
considérés comme des classificateurs qui effectuent certains calculs
statistiques (estimation du maximum de vraisemblance)
26
. Ce point de vue
permet de comparer les réseaux de neurones à une classe plus large
d'algorithmes d'entraînement des classificateurs au moyen d'exemples :
arbres de décision, modèles de régression logistique, méthodes à vecteurs
de support, classificateurs bayésiens naïfs, méthodes du plus proche voisin
27

. De même, les algorithmes génétiques peuvent être considérés comme
effectuant une mise à l'échelle stochastique locale, qui est elle-même un
sous-ensemble d'une classe plus large d'algorithmes d'optimisation. Chacun
de ces algorithmes de construction de classificateurs ou de recherche dans
l'espace des solutions a son propre ensemble de forces et de faiblesses qui
peuvent être étudiées mathématiquement. Les algorithmes diffèrent par leur
temps de calcul et leurs besoins en mémoire, les applications prévues, la
facilité avec laquelle ils peuvent inclure du contenu généré en externe et la
transparence de la mécanique de leur travail pour les spécialistes.
Sous la confusion de l'apprentissage automatique et de la résolution créative
de problèmes se cache un ensemble de compromis mathématiques bien
compris. Le sommet est l'observateur bayésien idéal, c'est-à-dire celui qui
utilise les informations dont il dispose de manière probabiliste optimale.
Cependant, ce pic est inaccessible car il nécessite des ressources de calcul
trop importantes lorsqu'il est mis en œuvre sur un ordinateur réel (voir
tableau 1). Ainsi, l'intelligence artificielle peut être vue comme une
recherche de raccourcis, c'est-à-dire comme un moyen d'approcher l'idéal
bayésien dans une distance acceptable, sacrifiant une certaine optimalité ou
universalité, mais en maintenant en même temps un niveau de performance
assez élevé. dans le domaine d'intérêt du chercheur.
Un reflet de ce panorama se retrouve dans les travaux menés depuis une
vingtaine d'années sur les modèles probabilistes de graphes tels que les
réseaux bayésiens. Les réseaux bayésiens sont un moyen de représenter de
manière concise des relations probabilistes et conditionnellement
indépendantes qui sont spécifiques à une zone particulière. (L'utilisation de
telles relations indépendantes est fondamentale pour résoudre le problème
de l'explosion combinatoire, qui est aussi importante dans le cas de
l'inférence probabiliste que dans la déduction logique.) De plus, elles sont
devenues un outil important pour comprendre le concept de causalité.
28
.
ENCADRÉ 1. AGENT BAYÉSIEN OPTIMAL
Un agent bayésien idéal commence par spécifier une « probabilité a priori », c'est-à-dire une fonction
qui attribue une certaine probabilité à tous les « mondes possibles », autrement dit, aux résultats de
tous les scénarios dans lesquels le monde pourrait changer
29
. La distribution de probabilité ci-
dessus comprend un biais inductif, ce qui signifie que des mondes possibles plus simples se voient
attribuer une probabilité plus élevée. (Une façon de définir formellement la simplicité d'un monde
possible est d'utiliser l'indice de complexité de Kolmogorov, qui est basé sur la longueur du
programme informatique le plus court possible qui génère une description complète de ce monde30)
.
Dans ce cas, la distribution de probabilité a priori prend en compte toute connaissance que les
programmeurs souhaitent transférer à l'agent.
Une fois que l'agent a reçu de nouvelles informations de ses capteurs, il modifie la distribution de
probabilité, "conditionnant" la distribution en tenant compte de ces nouvelles informations selon le
théorème de Bayes
31
. Le conditionnement est une opération mathématique qui consiste à attribuer
des valeurs de probabilité nulles aux mondes qui ne concordent pas avec l'information reçue et à
normaliser la distribution de probabilité du reste des mondes possibles. Le résultat est une
"distribution de probabilité postérieure" (que l'agent peut utiliser comme a priori à l'étape suivante).
Au fur et à mesure que l'agent fait ses observations, la distribution de probabilité se concentre sur un
ensemble de plus en plus petit de mondes possibles qui sont cohérents avec les preuves ; et parmi ces
mondes possibles, les plus simples ont toujours la probabilité la plus élevée.
Au sens figuré, la probabilité est comme du sable étalé sur une grande feuille de papier. La feuille est
divisée en régions de différentes tailles, chacune correspondant à l'un des mondes possibles, les
régions de plus grande surface étant équivalentes à des mondes plus simples. Imaginez également
une couche de sable ou de poussière recouvrant le papier : c'est notre distribution de probabilité ci-
dessus. Lorsqu'une observation est faite qui exclut certains des mondes possibles, nous enlevons le
sable des zones correspondantes et le répartissons uniformément sur les zones "restées en jeu". Ainsi,
la quantité totale de sable dans la nappe reste inchangée, au fur et à mesure que les observations
s'accumulent, elle se concentre dans de moins en moins de zones. Voici une description de
l'apprentissage dans sa forme la plus pure. (Pour calculer la probabilité
de l'hypothèse
, nous
mesurons simplement la quantité de sable dans toutes les zones correspondant aux mondes possibles
dans lesquels cette hypothèse est vraie.)
Nous avons donc défini la règle d'apprentissage. Pour obtenir un agent, nous avons également besoin
d'une règle de décision. Pour ce faire, nous fournissons à l'agent une "fonction utilitaire" qui attribue
un certain nombre à chaque monde possible. Ce nombre représente la commodité du monde respectif
en termes de préférences de base de l'agent
32
. (Pour identifier l'action avec l'utilité attendue la plus
élevée, l'agent pourrait dresser une liste de toutes les actions possibles. Puis calculer la distribution de
probabilité conditionnelle compte tenu de chaque action, c'est-à-dire la distribution de probabilité qui
résulterait du conditionnement du courant de distribution de probabilité après avoir observé les
résultats de cette action Et enfin, la valeur attendue d'une action peut être calculée comme la somme
des valeurs de tous les mondes possibles, multipliée par la probabilité conditionnelle de ces mondes,
en tenant compte de la mise en œuvre de l'action
33
.)
La règle d'apprentissage et la règle de décision définissent la "définition de l'optimalité" pour l'agent.
(En fait, la même définition de l'optimisation est largement utilisée dans l'intelligence artificielle,
l'épistémologie, la philosophie des sciences, l'économie et les statistiques
34
). les calculs nécessaires.
Toute tentative en ce sens aboutit à une explosion combinatoire comme celle que nous avons décrite
lors de la discussion sur CII. Pour représenter cela, considérons un petit sous-ensemble de tous les
mondes possibles, composé d'un seul écran d'ordinateur suspendu dans un espace vide infini. La
résolution du moniteur est de 1000 × 1000 pixels, chacun étant éclairé en permanence ou non. Même
ce sous-ensemble de tous les mondes possibles est incroyablement grand : le nombre d'états de
surveillance possibles, égal à 2
(1000 × 1000)
, dépasse le volume de tous les calculs qui seront jamais
effectués sur l'univers observable. Autrement dit, nous ne pouvons pas simplement numéroter les
mondes possibles dans ce petit sous-ensemble de tous les mondes possibles, et encore moins
effectuer des calculs plus complexes pour chacun d'eux.
Mais la définition de l'optimalité peut présenter un intérêt théorique, même si sa mise en œuvre
physique est impossible. Il fournit une norme à laquelle les approches heuristiques peuvent être
comparées et qui nous permet parfois de juger exactement comment l'agent optimal agirait dans une
situation donnée. Nous rencontrerons quelques définitions alternatives de l'optimalité au chapitre
douze.
L'un des avantages de lier le problème de l'apprentissage dans certains
domaines au problème général de l'inférence bayésienne est que ces
nouveaux algorithmes, qui rendent l'inférence bayésienne plus efficace,
conduisent immédiatement à des progrès dans de nombreux domaines
différents. Par exemple, la méthode de Monte Carlo est directement
appliquée à la vision artificielle, à la robotique et à la génétique
computationnelle. Un autre avantage est qu'il est devenu plus facile pour les
chercheurs travaillant dans différents domaines de combiner leurs résultats
de recherche. Les modèles graphiques et les statistiques bayésiennes
représentent un objectif commun de recherche dans des domaines tels que
l'apprentissage automatique, la physique statistique, la bioinformatique,
l'optimisation combinatoire et la théorie de la communication
35
. Les
progrès remarquables de l'apprentissage automatique sont le résultat de
l'utilisation de résultats formels obtenus à l'origine dans d'autres domaines
scientifiques. (Bien sûr, l'apprentissage automatique a grandement bénéficié
d'ordinateurs plus rapides et de la disponibilité d'ensembles de données plus
volumineux.)
dernières réalisations
Dans de nombreux domaines d'activité, le niveau d'intelligence artificielle
dépasse déjà le niveau humain. Des systèmes sont apparus qui peuvent non
seulement jouer à des jeux de logique, mais aussi séduire les gens. donnée
dans le tableau. 1 des informations sur des jeux télévisés individuels
montrent comment divers types d'IA battent les champions de nombreux
tournois
36
.
Tableau 1.
Programmes de jeu avec intelligence artificielle
Dames supérieur au QI Le jeu informatique de dames, écrit en 1952 par Arthur
humain Samuel et amélioré par lui en 1955 (la version incluait un
module d'apprentissage automatique), était le premier
programme intelligent qui, à l'avenir, apprendrait à jouer
mieux que son créateur
37
. Créé en 1989 par le groupe
de Jonathan Schaeffer, le programme Chinook
(CHINOOK) a réussi à battre un champion du monde en
titre en 1994, la première fois qu'une machine remportait
un championnat du monde officiel. Les mêmes
développeurs, utilisant l'algorithme de recherche de
coupure alpha-bêta sur une base de données de 39
milliards de fins, ont introduit en 2002 la version
optimale du jeu de dames - c'est un programme qui
 choisit toujours le meilleur des coups. Les coups corrects
des deux camps entraînent une égalité
38

Jacquet supérieur au QI Le jeu informatique de backgammon, créé en 1970 par

humain Hans Berliner et nommé BKG par lui, est devenu en 1979
le premier programme intellectuel à battre le champion
du monde lors d'un match d'exhibition, bien que Berliner
lui-même ait attribué plus tard cette victoire au succès du
lancer de dés
39
. Créé en 1991 par Gerald Tesauro, le
programme TD-Gammon a déjà atteint en 1992 un tel
niveau de compétence qu'il a pu participer au
championnat du monde. Dans l'intérêt de l'amélioration
de soi, l'émission a constamment joué à des jeux avec
elle-même, Tesauro utilisant une forme d'entraînement de
renforcement appelée la
méthode des 40 décalages horaires
.
Depuis lors, les programmes de backgammon ont
largement dépassé les meilleurs joueurs du monde en
termes de niveau
41

"Evrisko" dans Le niveau Douglas Lenat a créé en 1976 le programme Eurisco, qui
Space Battle d'intelligence est était un ensemble de règles heuristiques, c'est-à-dire
Traveler TCS supérieur à celui de logiques ("si - alors"). Pendant deux ans (1981, 1982), ce
l'humain en système expert a remporté le championnat américain du
coopération avec la jeu de fantasy Traveler TCS.
personne elle-même
42

 
    (bataille intergalactique); les organisateurs ont même
changé les règles du jeu, mais rien ne pouvait arrêter la
marche victorieuse d'Evrisco, ils ont donc décidé de ne
plus autoriser Evrisco à participer au
championnat 43
. Pour
construire sa flotte spatiale et lutter contre les navires
ennemis, Evrisco a utilisé des règles heuristiques qui, dans
le processus d'auto-apprentissage, ont été corrigées et
améliorées à l'aide d'autres règles heuristiques.

inverse supérieur au QI Le programme Logistello reversi a remporté six matchs de

("Othello") humain suite en 1997 contre le champion du monde Takeshi
Murakami
44
Jeu d'échecs supérieur au QI Le supercalculateur d'échecs Deep Blue a gagné contre le
humain champion du monde Garry Kasparov en 1997. Kasparov,
bien qu'il se soit plaint des créateurs de la machine, a noté
des éclairs de vraie raison et de créativité dans sa
45 partie
.
Depuis lors, les programmes d'échecs n'ont cessé de
s'améliorer
46

Mots croisés Niveau Proverb est devenu en 1999 le meilleur des programmes
professionnel de résolution d'énigmes de niveau intermédiaire
47
.
Créé en 2012 par Matt Ginsberg, le Dr Fill est entré dans
le groupe des plus performants au US Crossword
Championship. (La performance de l'émission a été
incohérente. Le Dr Fill excellait dans les mots croisés, qui
étaient considérés comme les plus difficiles parmi les
participants humains, mais était impuissant face aux mots
non standard, qui comprenaient des mots épelés à l'envers
et des questions disposées en diagonale
48
).

"Se gratter" supérieur au QI Depuis 2002, les émissions de jeux de mots surpassent les
49 meilleurs joueurs humains.
("Savant") humain

Pont Le niveau Les programmes pour jouer au bridge "Contract" en 2005

d'intelligence n'est ont atteint le niveau de professionnalisme des meilleurs
pas inférieur au joueurs parmi
50 personnes.
niveau des
meilleurs joueurs.

Le supérieur au QI IBM Watson, le supercalculateur IA d'IBM, a battu Ken

supercalculateur humain Jennings et Brad Rutter, deux Jeopardy!
51
. Danger! - un
IBM Watson en quiz jeu télévisé avec des questions simples dans le
danger ! domaine de l'histoire, de la littérature, du sport, de la
géographie, de la culture populaire, de la science, etc. Les
questions sont données sous forme d'invites, souvent à
l'aide de jeux de mots.

Poker niveau différent Les jeux télévisés de poker d'aujourd'hui sont quelque peu
inférieurs aux meilleurs joueurs du Texas Hold'em (une
forme populaire de poker), mais surpassent les gens dans
certaines autres variantes du jeu
52

Freecell supérieur au QI Le développement d'algorithmes heuristiques a conduit à

Solitaire humain la création du programme de solitaire Free Cell, qui s'est
("Seul") avéré plus fort que les joueurs de plus haut niveau
53
.
Dans sa forme généralisée, ce programme de jeu est un
problème NP-complet.

Allons-y Niveau joueur À partir de 2012, la série Zen de programmes de go, qui
avancé amateur utilise un arbre de recherche Monte Carlo et des
technologies d'apprentissage automatique, a atteint le 6e
dan (rang) dans les jeux rapides
54
. C'est le niveau d'un
très bon amateur. Ces dernières années, les jeux télévisés
de Go se sont améliorés à un rythme d'environ un dan par
an. Si ce rythme de développement se poursuit, il est fort
probable que dans dix ans, ils dépasseront le champion du
monde parmi les humains.
Il est peu probable qu'aujourd'hui ces faits puissent faire au moins une
certaine impression. Mais cela est dû au fait que notre compréhension des
normes est quelque peu faussée, puisque nous connaissons ces réalisations
exceptionnelles qui sont apparues après les événements décrits. Autrefois,
par exemple, la compétence professionnelle d'un joueur d'échecs était
considérée comme la plus haute manifestation de l'activité mentale d'une
personne. Certains érudits de la fin des années 1950 croyaient : « Si jamais
une machine à jouer aux échecs réussie peut être créée, peut-être que les
gens comprendront l'essence de ses efforts intellectuels »
55
. Tout semble
différent ces jours-ci. Il ne reste plus qu'à être d'accord avec John
McCarthy, qui déplorait un jour que « dès que le système commence à
fonctionner normalement, il cesse immédiatement de s'appeler intelligence
artificielle »
56
.
Cependant, l'apparition de systèmes d'échecs intellectuels ne s'est pas
avérée être le triomphe de la raison auquel beaucoup s'attendaient, et cela
avait une explication. Selon les scientifiques de l'époque - une opinion,
probablement non infondée - un ordinateur ne jouera aux échecs sur un pied
d'égalité avec les grands maîtres que s'il est doté d'une
capacité générale
élevée.
niveau
de développement intellectuel
57
. Il semblerait qu'un grand
joueur d'échecs doive répondre à des exigences considérables : avoir une
solide formation théorique ; être capable d'opérer avec des concepts
abstraits ; penser stratégiquement et agir prudemment; construire à l'avance
des combinaisons astucieuses ; posséder une pensée déductive et même être
capable de modéliser le cheminement de pensée de l'adversaire. Aucun
problème. Il s'est avéré qu'il suffisait de développer un programme d'échecs
idéal basé sur un algorithme à but limité
58
. Si le programme est mis sur un
processeur rapide et que des ordinateurs à grande vitesse étaient déjà
disponibles à la fin du 20e siècle, cela montre un jeu très fort. Cependant,
une telle intelligence artificielle est trop unilatérale. Il ne sait rien de plus
que jouer aux échecs
59
.
Dans d'autres cas d'étude et d'application de l'intelligence artificielle, des
problèmes de
nature plus complexe ont été révélés.
ordre
que prévu, et donc
le développement a été beaucoup plus lent. Le professeur Donald Knuth, un
spécialiste de premier plan dans le domaine de la programmation et des
mathématiques computationnelles, a fait remarquer avec surprise  :
"L'intelligence artificielle, ayant réussi aujourd'hui tout ce qui est requis de
l'"intelligence", est incapable de ces actions que les gens et les animaux
accomplissent "sans réfléchir". "- Cette tâche s'est avérée beaucoup plus
difficile!"
60
Des difficultés ont été causées, par exemple, par le
développement d'un système de contrôle du comportement des robots, ainsi
que de leurs fonctions, telles que la reconnaissance d'images visuelles et
l'analyse d'objets lorsqu'ils interagissent avec l'environnement. été fait et est
encore fait à ce jour, et le travail n'est pas seulement dans le développement
de logiciels : le matériel est constamment amélioré.
Parallèlement à l'étude du comportement instinctif, vous pouvez mettre la
logique du bon sens et la compréhension des langues naturelles,
phénomènes qui ne se sont pas non plus avérés les plus faciles pour les
systèmes d'intelligence artificielle. Il est maintenant généralement admis
que la résolution de tels problèmes au niveau humain est une tâche
complète d'IA*, c'est-à-dire que sa complexité équivaut à la difficulté de
développer des machines aussi intelligentes et développées que les
personnes
61
. En d'autres termes, si quelqu'un
réussit
à créer une IA capable
de comprendre le langage naturel de la même manière qu'un adulte le
comprend, il y a de fortes chances qu'il ait déjà créé une IA capable de faire
tout ce que l'esprit humain peut faire. capable de faire, ou le fera. être à un
pas de sa création
62
.
Il s'est avéré qu'un niveau élevé de jeu d'échecs peut être atteint avec un
algorithme extrêmement simple. Il est tentant de penser que d'autres
compétences, comme le raisonnement général ou certaines compétences de
base en programmation, peuvent également être fournies par un algorithme
étonnamment simple. Le fait qu'à un moment donné, une productivité
optimale soit atteinte grâce à l'application d'un mécanisme complexe ne
signifie pas qu'aucun mécanisme simple ne puisse faire aussi bien, voire
mieux, le même travail. Le système ptolémaïque du monde (la Terre
stationnaire est au centre de l'Univers, et le Soleil, la Lune, les planètes et
les étoiles tournent autour d'elle) a exprimé l'idée de la science de la
structure de l'univers pendant mille ans. Afin de mieux expliquer la nature
du mouvement des corps célestes, les scientifiques de siècle en siècle ont
compliqué le modèle du système, ajoutant de plus en plus de nouveaux
épicycles, augmentant ainsi la précision de leurs prévisions. Le temps est
venu, et le système héliocentrique du monde est venu remplacer le
géocentrique ; la théorie copernicienne était beaucoup plus simple et, après
sa révision par Kepler, elle est devenue plus précise du point de vue de la
prévision
63
.
Dans le monde moderne, les méthodes d'intelligence artificielle sont si
largement utilisées qu'il n'est guère utile d'examiner ici tous les domaines de
leur application, mais quelques-uns méritent d'être mentionnés pour donner
une idée générale de la portée de l'idée elle-même. En plus de ceux
présentés dans le tableau. 1 programmes de jeux de logique sont en cours de
développement : aides auditives basées sur des algorithmes qui filtrent les
bruits de fond ;
des systèmes de navigation qui affichent des cartes et suggèrent des
itinéraires aux conducteurs  ; des systèmes de recommandation qui
proposent des livres et des albums de musique aux utilisateurs sur la base
d'une analyse de leurs achats et notes précédents ; des systèmes d'aide à la
décision médicale qui aident les médecins, par exemple, à diagnostiquer le
cancer du sein, à sélectionner les options de traitement et à interpréter les
électrocardiogrammes. Aujourd'hui, en plus des robots industriels, dont il
existe déjà plus d'un million, une grande variété de robots assistants est
apparue : les animaux de compagnie ; aspirateurs; tondeuses à gazon;
sauveteurs; chirurgiens
64
. Le nombre total de robots dans le monde a
dépassé les dix millions
65
.
Les systèmes modernes de reconnaissance vocale basés sur des méthodes
statistiques telles que les modèles de Markov cachés sont suffisamment
précis pour une utilisation pratique (ils ont été utilisés pour créer certaines
des premières parties de ce livre). Les assistants numériques personnels
(tels que Siri, une application Apple) répondent aux commandes vocales,
peuvent répondre à des questions simples et suivre les commandes. La
reconnaissance optique de l'écriture manuscrite et dactylographiée est
omniprésente et sert notamment de base aux applications de tri du courrier
et de numérisation des documents historiques
66
.
Les systèmes de traduction automatique sont encore imparfaits, mais ils
conviennent tout à fait à certaines fins. Lors des premières versions, qui
utilisaient la méthode CII et étaient basées sur des règles, le principe du
codage manuel des grammaires de toutes les langues naturelles a été créé, et
le travail a été réalisé par les linguistes les plus qualifiés. Les nouveaux
systèmes sont basés sur des méthodes statistiques d'apprentissage
automatique qui construisent automatiquement des modèles statistiques
basés sur les modèles qu'ils observent dans l'utilisation des mots et des
phrases. Les programmes dérivent les paramètres de ces modèles en
analysant le corpus de textes en deux langues. Cette approche évite
l'intervention de linguistes, et les programmeurs qui développent ces
systèmes peuvent même ne pas connaître les langages avec lesquels ils
doivent travailler
67
.
Les systèmes de reconnaissance faciale ont été tellement améliorés
récemment qu'ils sont maintenant utilisés avec succès par les gardes-
frontières en Europe et en Australie. Le système d'identification
automatique fonctionne au Département d'État des États-Unis et traite plus
de soixante-quinze millions de photos par an dans le cadre du processus de
délivrance des visas. Les systèmes de surveillance utilisent des techniques
d'intelligence artificielle de plus en plus avancées et les dernières
technologies d'exploration d'informations pour effectuer une analyse
intelligente des documents vocaux, textuels et vidéo, la plupart extraits de
réseaux de communication mondiaux et de centres de données géants.
La démonstration automatique de théorèmes et la résolution d'équations
sont devenues si courantes qu'elles ne sont plus perçues comme le
développement de l'intelligence artificielle. Les solveurs d'équations sont
intégrés dans des programmes informatiques scientifiques comme
Mathematica. Les méthodes de vérification formelles, y compris les
systèmes automatisés de vérification de théorèmes, sont couramment
utilisées par les fabricants de microprocesseurs pour vérifier le
comportement d'un circuit avant sa mise en production.
Les départements de l'armée et du renseignement américains introduisent
largement et avec succès ce qu'on appelle des robots de combat : des
sapeurs pour trouver et neutraliser les bombes et les mines ; véhicules
aériens sans pilote conçus pour les opérations de reconnaissance et de
combat ; autres armes automatiques. Aujourd'hui, ces appareils sont pour la
plupart contrôlés à distance par des opérateurs spécialisés, mais des travaux
sont en cours pour étendre leur fonctionnement autonome.
Un grand succès a été obtenu dans le domaine de la planification et de
l'approvisionnement intelligents. Au cours de l' opération Desert Storm en
1991, le système DART a été mis en œuvre pour fournir une planification et
un ordonnancement automatisés de la répartition. Le programme s'est avéré
remarquablement efficace, récupérant à lui seul trente ans de financement
du ministère de la Défense pour les travaux d'IA, selon l'Agence américaine
des projets de recherche avancée pour la défense (DARPA
)
. Les systèmes
de réservation des compagnies aériennes utilisent des logiciels sophistiqués
de planification et de facturation. Les entreprises utilisent activement
diverses méthodes d'IA pour contrôler les stocks. Des systèmes de
réservation téléphonique automatisés et des lignes d'assistance, associés à
un logiciel de reconnaissance vocale, peuvent guider le consommateur
mécontent à travers un labyrinthe d'options imbriquées.
Les technologies d'intelligence artificielle sont à la base de nombreux
services Internet. Le trafic de messagerie dans le monde entier est contrôlé
par un logiciel spécial et le filtrage bayésien du spam, malgré les efforts
constants des spammeurs pour s'adapter et contourner la protection,
s'acquitte principalement de la tâche et maintient la ligne. Des programmes
électroniques, utilisant des composants d'IA, assurent la sécurité des
transactions par carte bancaire : ils sont responsables de leur approbation ou
rejet automatique et surveillent en permanence l'activité du compte à la
moindre trace de fraude. Les systèmes de recherche d'informations utilisent
également activement l'apprentissage automatique. Et c'est que le moteur de
recherche Google est, sans aucun doute, le plus grand système d'intelligence
artificielle jamais créé.
Il convient de souligner ici que la frontière entre l'intelligence artificielle et
les logiciels conventionnels n'est pas très clairement définie. Certains des
programmes énumérés ci-dessus pourraient être considérés comme des
applications logicielles riches plutôt que comme des systèmes intelligents ;
ici, on se rappelle par inadvertance les paroles de McCarthy selon lesquelles
"dès que le système commence à fonctionner normalement, il cesse d'être
appelé intelligence artificielle". Pour nos besoins, il est plus important de
prêter attention à une autre distinction  : il existe des systèmes qui ont un
ensemble limité de capacités cognitives (qu'il s'agisse d'IA ou non), et il
existe des systèmes qui disposent d'outils largement applicables pour
résoudre des problèmes courants. Fondamentalement, tous les systèmes
actuellement utilisés sont du premier type : à portée étroite. Cependant,
beaucoup d'entre eux contiennent des composants qui peuvent jouer un rôle
dans la création d'une future intelligence artificielle qui différera dans un
niveau général de développement développé, ou en fera partie ; ce sont des
composants comme les classificateurs, les algorithmes de recherche, les
modules de planification, la résolution de problèmes. solveurs et schémas
de représentation.
Les systèmes d'intelligence artificielle fonctionnent bien dans un autre
domaine où les enjeux sont importants et la concurrence trop féroce : le
marché financier mondial. Les systèmes automatisés de négociation
d'actions sont largement utilisés par les grandes banques d'investissement.
Et tandis que certains d'entre eux offrent uniquement la possibilité
d'automatiser l'exécution des ordres d'achat et de vente passés par la société
de gestion, d'autres mettent en œuvre des stratégies de trading complexes
qui peuvent s'adapter aux conditions changeantes du marché. Pour étudier
les modèles et les tendances du marché boursier, pour déterminer la
dépendance de la dynamique des cotations à des variables externes, comme,
par exemple, les positions clés dans les résumés de l'actualité financière,
pour tout cela, les systèmes analytiques utilisent un grand ensemble de data
mining. techniques et séquences temporelles. Les nouvelles cotations en
continu émises par les agences d'informations financières sont spécialement
formatées pour les systèmes automatisés intelligents. D'autres systèmes se
spécialisent dans la recherche d'opportunités d'arbitrage soit sur une place
boursière précise, soit simultanément sur plusieurs marchés, soit par le
trading algorithmique haute fréquence*, qui vise à tirer parti des faibles
fluctuations de prix en quelques millisecondes (à cet intervalle de temps, les
acteurs commencent à jouer le rôle de retard dans la circulation de
l'information même dans les réseaux à fibre optique, où elle voyage à la
vitesse de la lumière, et ceux dont les ordinateurs sont très proches de
l'échange en tirent un avantage). Le trading algorithmique à haute fréquence
représente plus de la moitié du chiffre d'affaires boursier américain
69
. Il
existe une opinion selon laquelle le trading algorithmique est responsable
du soi-disant krach instantané des indices boursiers du 6 mai 2010 (voir
encadré 2).
ENCADRÉ 2. LE FLASH CRUSH DE 2010
Le 6 mai 2010 à midi, le marché boursier américain était déjà en baisse de 4 % en raison des
inquiétudes suscitées par la crise de la dette européenne. Un acteur majeur (groupe de fonds
communs de placement) a lancé un algorithme de vente à 14h32 pour vendre un grand nombre de
contrats à terme E-Mini S&P 500 à un prix lié à l'évolution de la liquidité de négociation. Ces
contrats, acquis via un trading algorithmique à haute fréquence, ont été programmés pour clôturer
rapidement leurs positions longues temporaires en vendant des contrats à d'autres acteurs. Alors que
la demande des investisseurs fondamentaux diminuait, les joueurs de quelque chose ont commencé à
vendre des contrats à terme E-Mini à d'autres joueurs de quelque chose, qui à leur tour les ont vendus
à des joueurs tiers de quelque chose, créant un effet de patate chaude, qu'ils essaient de "se
débarrasser" comme Aussi vite que possible. - cet effet a gonflé les volumes échangés, ce qui a été
interprété par l'algorithme de vente comme un indicateur de forte liquidité. Alors que les joueurs
commençaient à se coucher encore plus vite
l'autre E-Mini, un véritable cercle vicieux s'est développé en Bourse. À un moment donné, les
joueurs ont commencé à simplement retirer des fonds, augmentant encore la liquidité dans un
contexte de baisse continue des prix. La négociation sur l'E-Mini a été suspendue à 14 h 45 par un
disjoncteur, un programme spécial qui contrôle les mouvements inattendus et excessifs des cours des
actions sur le marché boursier. Littéralement cinq secondes plus tard, les échanges ont repris, tandis
que les prix se sont stabilisés et ont rapidement récupéré l'essentiel de la baisse. Mais pendant ces
minutes critiques, un billion de dollars a été «blanchi» du marché, car un nombre important de
transactions ont été effectuées à des prix absurdes: une action pouvait être vendue pour un sou et
pour 100 000 dollars. Après la fin de l'enchère, une réunion a eu lieu entre les représentants des
bourses et les régulateurs, au cours de laquelle il a été décidé d'annuler toutes les transactions
exécutées à des prix qui diffèrent de 60% ou plus du niveau d'avant la crise. Les parties contractantes
considéraient ces prix comme "manifestement erronés", et donc -selon les règles de change en
vigueur- soumis à annulation rétroactive)
70
.
Cette intrigue est une nette digression par rapport au thème de notre livre, puisque les programmes
informatiques supposés responsables de ces moments de la crise financière, appelés "crash
instantané", n'étaient ni particulièrement intelligents ni trop sophistiqués. La spécificité du danger
qu'ils ont créé est fondamentalement différente de la nature de la menace posée par la montée d'une
superintelligence artificielle. Cependant, plusieurs leçons utiles peuvent être tirées des événements
décrits.
Premier avertissement. L'interaction de plusieurs composants simples (par exemple, les algorithmes
de trading et de vente algorithmiques à haute fréquence) peut avoir des conséquences complexes et
imprévisibles. Si de nouveaux éléments sont ajoutés à un système établi, des risques systémiques
surviennent qui ne sont pas très apparents jusqu'au moment où quelque chose ne va pas (et encore pas
toujours)
71
.
Deuxième avertissement. Bien que les experts en IA forment le programme sur la base d'hypothèses
qui semblent raisonnables et logiques (par exemple, le volume des transactions est un bon indicateur
de la liquidité du marché), cela peut conduire à des résultats désastreux. Dans des circonstances
imprévues, lorsque les hypothèses initiales s'avèrent erronées, le programme avec stabilité logique du
béton armé continue d'agir conformément aux instructions reçues. L'algorithme fait "bêtement" son
travail habituel, ce qu'il a toujours fait, et cela ne nous dérange pas du tout - à moins, bien sûr, qu'il
appartienne à la variété plus rare des algorithmes - que nous nous serrons la tête avec horreur devant
l'absurdité de son comportement. Nous reviendrons sur ce sujet plus tard.
Troisième avertissement. Sans aucun doute, l'automatisation du processus a contribué à la survenue
de l'incident, mais sans aucun doute, elle a également contribué à la résolution du problème. Le
programme de contrôle, qui était chargé de suspendre la négociation en cas d'écart trop important du
prix par rapport au niveau normal, fonctionnait automatiquement, puisque ses créateurs supposaient à
juste titre que les événements conduisant à un tel écart pouvaient se produire dans des intervalles de
temps trop courts. pour les gens. pour y réagir. Vous n'avez pas besoin de vous fier au contrôle
humain pour tout, mais vous disposez plutôt d'algorithmes de sécurité prédéfinis qui s'exécutent
automatiquement comme un filet de sécurité. Incidemment, cette observation préface un sujet de
grande importance dans notre discussion ultérieure sur la superintelligence des machines
72
.

L'avenir de l'intelligence artificielle - l'avis des

experts
Le succès obtenu dans deux directions principales  : premièrement, la
création d'une base théorique statistique et informationnelle plus solide pour
l'apprentissage automatique  ; d'autre part, l'efficacité pratique et
commerciale de diverses applications spécifiques, hautement spécialisées
en termes de problèmes à résoudre et de domaines d'application, a permis
de restaurer dans une certaine mesure le prestige chancelant de la recherche
en intelligence artificielle. Mais il semble que la communauté scientifique
impliquée dans ce sujet ait une expérience assez amère des échecs passés,
obligeant de nombreux chercheurs de premier plan à abandonner leurs
propres aspirations et leurs grandes tâches. Pour cette raison, l'un des
fondateurs de la direction, Nils Nilsson, reproche à ses collègues actuels le
manque de cette audace créative qui distinguait la génération des pionniers :
La considération de "décence", à mon avis, a une mauvaise influence sur certains chercheurs, castrant
l'idée même d'intelligence artificielle. Je peux presque les entendre dire : « L'IA a été critiquée pour
ne pas avoir de résultats. Maintenant, après avoir obtenu un succès visible, nous ne voulons pas
risquer notre propre réputation. Une telle prudence conduira à limiter tous les intérêts des
scientifiques à la création de programmes destinés à assister une personne dans son activité
intellectuelle, c'est-à-dire le niveau que nous appelons « IA faible ». Cela les détournera
inévitablement de leurs efforts pour mettre en œuvre une contrepartie mécanique à l'esprit humain,
c'est-à-dire ce que nous appelons une « IA forte »
73
.
Ces dernières années, il y a eu un regain d'intérêt pour l'intelligence
artificielle, qui pourrait bien se transformer en de nouvelles tentatives pour
créer une
IA universelle
(selon Nilson, une IA forte). Ces projets seront
soutenus, d'une part, par la production de matériel de pointe et, d'autre part,
par les progrès scientifiques en informatique et en programmation en
général, dans de nombreux domaines thématiques spécialisés en particulier,
ainsi que comme dans les domaines connexes. domaines tels que la
neuroinformatique. Sebastian Thrun et Peter Norvig ont produit un cours
d'introduction en ligne gratuit sur l'intelligence artificielle à l'Université de
Stanford à l'automne 2011. La réponse à l'annonce peut être considérée
comme l'indicateur le plus convaincant de la demande non satisfaite
d'informations et d'éducation de qualité : quelque 160 000 personnes du
monde entier inscrits au cours (23 000 diplômés)
75
.
Il existe de nombreuses options pour les évaluations d'experts de l'avenir de
l'intelligence artificielle. Les désaccords concernent à la fois le moment de
son apparition et la façon dont il apparaîtra un jour au monde. Comme le
soulignent les auteurs d'une étude récente, les prévisions de développement
de l'IA « sont aussi différentes que catégoriques »
76
.
Nous ne pouvons pas saisir une image complète de toutes les dispositions
modernes sur le sujet qui nous intéresse, cependant, certaines enquêtes de
spécialistes et opinions privées exprimées par eux donnent une idée, même
superficielle. Par exemple, nous avons récemment demandé à des
représentants de diverses communautés d'experts de répondre à la question
quand ils s'attendent à l'émergence de l'intelligence artificielle au niveau
humain (AILI), et le
niveau
a été défini comme "la capacité à maîtriser la
plupart des professions, du moins celles que la moyenne Les répondants ont
été invités à fonder leurs hypothèses sur l'hypothèse que "l'activité
scientifique dans cette direction se poursuivra sans interruption majeure"
77.
Les réponses des spécialistes sont présentées dans le tableau. 2. Sur la base
des données de l'échantillon, les éléments suivants des estimations
moyennes ont été obtenues :
- 2022 - prévision moyenne avec une probabilité de 10% ;
- 2040 - prévision moyenne avec une probabilité de 50  %  ; - 2075 - une
prévision moyenne avec une probabilité de 90 %.
Étant donné que la taille de l'échantillon est trop petite et ne peut être
considérée comme représentative du point de vue de la population générale
des répondants, les résultats doivent être considérés avec un certain
scepticisme. Cependant, ils sont cohérents avec les résultats d'autres
enquêtes
78
.
Les données de l'enquête précitée correspondent également à l'avis d'une
vingtaine de chercheurs, interrogés ces dernières années. Je ne nommerai
que Nils Nilsson. Un scientifique qui a travaillé fructueusement pendant des
décennies sur les questions fondamentales de l'IA (méthodes de recherche,
planification automatique, systèmes de représentation des connaissances,
robotique), a écrit plusieurs manuels et a récemment terminé l'histoire la
plus détaillée de la recherche sur l'IA
79
émergence, Nilson est arrivé à la
conclusion suivante
80
:
- 2030 - prévision moyenne avec une probabilité de 10% ;
- 2050 - prévision moyenne avec 50% de probabilité ; - 2100 - la prévision
moyenne avec une probabilité de 90 %.
Tableau 2.
Quand l'intelligence artificielle au niveau humain sera-t-elle créée ?
81
  Dix% cinquante% 90%

PT-AI 2023 2048 2080

AGI 2022 2040 2065

EETN 2020 2050 2093

Top 100 2024 2050 2070

Moyen 2022 2040 2075

À en juger par les entretiens publiés, la distribution de probabilité nommée
par le professeur Nilsson est assez représentative ; de nombreux experts
pensaient la même chose. Cependant, je tiens à souligner une fois de plus :
les opinions différaient grandement, puisque certains praticiens croyaient
avec ferveur que l'IIHI serait créé dans la période 2020-2040, et certains
scientifiques étaient convaincus que cela n'arriverait jamais ou arriverait,
mais indéfiniment. avenir lointain
82
. De plus, certaines personnes
interrogées ont estimé que la définition du « niveau humain » par rapport à
l'intelligence artificielle était mal formulée et potentiellement trompeuse,
tandis que d'autres, pour des raisons qui leur sont propres, se sont
simplement abstenues de faire des prédictions.
À mon avis, les projections qui retardent la création de l'AIMS (basées sur
les chiffres moyens obtenus à partir des enquêtes) sont définitivement
pessimistes. Une chance de 10% que l'AIHI apparaisse en 2075, et plus
encore en 2100 (même en supposant que "l'activité scientifique dans ce sens
se poursuive sans interruptions sérieuses") semble trop faible.
L'histoire montre que les chercheurs ne peuvent se vanter de pouvoir
prédire ni les progrès du développement de l'intelligence artificielle ni les
modalités de sa mise en œuvre. D'une part, il s'est avéré que certains
problèmes, par exemple le jeu d'échecs, pouvaient être résolus avec des
programmes étonnamment simples, et les sceptiques qui disaient que les
machines ne seraient "jamais" capables de faire certaines choses étaient à
plusieurs reprises embarrassés. D'autre part, l'erreur la plus typique des
spécialistes est de sous-estimer les difficultés liées au développement d'un
système intelligent stable capable de faire face aux tâches de la vie réelle, et
de surestimer les possibilités de leurs propres projets ou méthodes.
Au cours de l'une des enquêtes, deux questions supplémentaires ont été
posées qui sont pertinentes pour notre étude. On a demandé aux répondants
combien de temps, à leur avis, il faudrait après la création de l'IIHI pour que
la machine développe une superintelligence. Les réponses sont données
dans le tableau. 3. La deuxième question portait sur l'impact à long terme
d'AIMS sur l'humanité. Les réponses sont résumées dans la Fig. deux.
Tableau 3.
Combien de temps s'écoulera-t-il entre la création de l'intelligence artificielle au niveau
humain et l'essor de la superintelligence ?
  Moins de deux ans Moins de 30 ans

Top 100 5% cinquante%

Moyen Dix% 75%

 
Riz. 2. Impact à long terme de l'intelligence artificielle au niveau humain
83
Mon opinion est encore une fois en désaccord avec celles exprimées dans
l'enquête. Je considère qu'il est beaucoup plus probable que la
superintelligence apparaîtra relativement rapidement après la création de
l'IICHU. De plus, ma vision des conséquences de cet événement est aussi
fondamentalement différente : la probabilité d'un impact extrêmement fort,
positif ou négatif, sur l'humanité est bien plus élevée que la probabilité d'un
impact neutre. Les raisons en deviendront bientôt claires.
Vous ne devriez pas vous fier sérieusement aux enquêtes ou aux entretiens
avec des experts, en raison des grandes erreurs de ces méthodes. Un petit
échantillon, ses erreurs possibles et, surtout, le manque de fiabilité inhérent
aux opinions subjectives - tout cela ne nous permet pas de tirer des
conclusions rigoureuses. Cependant, soyons superficiels, en l'absence de
données analytiques plus fiables, mais nous pouvons tirer quelques
conclusions. Premièrement, l'intelligence artificielle au niveau humain a
une probabilité assez élevée d'être créée au milieu de ce siècle et a une
probabilité non nulle d'être créée un peu plus tôt ou beaucoup plus tard.
Deuxièmement, après sa création, une super-intelligence apparaîtra très
probablement assez rapidement. Troisièmement, l'apparition d'une
superintelligence peut avoir d'énormes conséquences, à la fois extrêmement
positives et extrêmement négatives, jusqu'à la mort de l'humanité
84
.
Les résultats nous indiquent au moins que la question mérite un examen
attentif.
 Chapitre deux
Le chemin vers le surmental
Aujourd'hui, si l'on prend le niveau de développement intellectuel général,
les machines sont absolument inférieures aux personnes. Mais nous
supposons qu'un jour l'intelligence artificielle dépassera l'intelligence
humaine. Quel sera notre chemin d'ici à celui qui nous attend ? Ce chapitre
décrit plusieurs options technologiques possibles. Tout d'abord, nous
aborderons des sujets tels que l'intelligence artificielle, l'émulation du
cerveau entier, l'amélioration cognitive humaine, l'interface cerveau-
ordinateur, les réseaux et les organisations. Ensuite, nous évaluerons les
aspects énumérés du point de vue de la probabilité, s'ils peuvent servir de
tremplins vers la superintelligence. Avec plusieurs chemins, les chances
d'atteindre la destination augmentent clairement.
Définissons d'abord le concept de superintelligence. Il s'agit
de toute
intelligence qui dépasse de manière significative les capacités cognitives
d'une personne dans pratiquement tous les domaines
1
. Dans le chapitre
suivant, nous discuterons plus en détail de ce qu'est la superintelligence, en
la décomposant en ses composants et en différenciant toutes ses
incarnations possibles. Mais maintenant limitons-nous à une telle
caractérisation générale et superficielle. Notez que dans cette description il
n'y avait de place ni pour la mise en œuvre du supramental dans la vie, ni
pour ses qualia*, c'est-à-dire s'il sera doté d'expériences subjectives et
d'expérience de conscience. Mais dans un certain sens, avant tout éthique, la
question est très importante. Mais maintenant, laissant de côté la
métaphysique intellectuelle
2
, nous nous intéresserons à deux questions :
les conditions préalables à l'émergence de la superintelligence et les
conséquences de ce phénomène.
Selon notre définition, le programme d'échecs Deep Fritz n'est pas super
intelligent, car il n'est "fort" que dans une zone très étroite, la zone de jeu
d'échecs. Cependant, il est très important que la superintelligence ait ses
spécialisations thématiques. Par conséquent, chaque fois qu'il s'agira de tel
ou tel comportement supra-intellectuel, limité par domaine, je préciserai
séparément son domaine d'activité spécifique. Par exemple, l'intelligence
artificielle, qui dépasse largement les capacités mentales humaines dans les
domaines de la programmation et de la conception, sera appelée
superintelligence d'ingénierie. Mais pour désigner
des
systèmes
généralement
supérieurs au niveau général de l'intelligence humaine - sauf
indication contraire - le terme de
superintelligence est retenu
.
Comment arriverons-nous au moment où il sera possible de comparaître ?
Quelle voie allons-nous choisir ? Examinons quelques options possibles.
Intelligence artificielle
Cher lecteur, ne vous attendez pas à ce que ce chapitre conceptualise la
question de savoir comment créer une intelligence artificielle universelle ou
forte. Le projet de sa programmation n'existe tout simplement pas. Mais
même si j'étais l'heureux propriétaire d'un tel plan, je ne le publierais
certainement pas dans mon livre. (Si les raisons de cela ne sont pas encore
évidentes, j'espère que dans les chapitres suivants je pourrai rendre ma
propre position sans ambiguïté.)
Cependant, il est déjà possible aujourd'hui de reconnaître certaines
caractéristiques obligatoires inhérentes à un tel système intelligent. Il est
tout à fait évident que la capacité d'apprendre en tant que propriété intégrale
du cœur du système doit être incluse dans la conception et non ajoutée
comme une considération en attente plus tard sous la forme d'une extension.
Il en va de même pour la capacité à traiter efficacement des informations
incertaines et probabilistes. Très probablement, parmi les principaux
modules de l'IA moderne, il y aura les moyens d'extraire des informations
utiles à partir de données de capteurs externes et internes et de convertir les
concepts résultants en représentations combinatoires flexibles pour une
utilisation ultérieure dans les processus de pensée basés sur la logique et
l'intuition.
Les premiers systèmes d'intelligence artificielle classiques n'étaient pas
principalement destinés à l'apprentissage, travaillant dans des conditions
d'incertitude et de formation de concepts, probablement parce que les
méthodes d'analyse correspondantes n'étaient pas suffisamment
développées à cette époque. Cela ne veut pas dire que toutes les idées de
base de l'IA sont fondamentalement innovantes. Par exemple, l'idée
d'utiliser l'apprentissage comme moyen de développer un système simple et
de l'amener au niveau humain a été exprimée par Alan Turing en 1950 dans
l'article "Computer Science and Intelligence", où il exposait son concept
d'"enfant". machine":
Pourquoi n'essayons-nous pas de créer un programme qui imite l'esprit d'un adulte, au lieu d'essayer
de créer un programme qui imite l'esprit d'un enfant  ? Après tout, si l'esprit d'un enfant est
correctement éduqué, il devient l'esprit d'un adulte
*3
.
Turing prévoyait que la création d'une « machine secondaire » nécessiterait
un processus itératif :
Il est peu probable que nous puissions obtenir une bonne "voiture pour enfants" du premier coup. Il
est nécessaire de réaliser une expérience sur l'enseignement de l'une des machines de ce type et de
découvrir comment elle se prête à l'apprentissage. Faites ensuite la même expérience avec une autre
machine et déterminez laquelle des deux machines est la meilleure. Il existe un lien évident entre ce
processus et l'évolution de la nature vivante...
Cependant, on peut s'attendre à ce que ce processus se déroule plus rapidement que l'évolution. La
survie du plus apte est un moyen trop lent d'évaluer les avantages. L'expérimentateur, en appliquant
le pouvoir de l'intellect, peut accélérer le processus d'évaluation. Tout aussi important, il ne se limite
pas à l'utilisation de mutations aléatoires. Si l'expérimentateur peut retracer la cause d'un défaut, il
sera probablement capable d'inventer une telle mutation qui conduira à l'amélioration nécessaire
** 4
.
Nous savons que des processus évolutifs aveugles peuvent conduire à
l'émergence d'une intelligence générale de niveau humain, au moins une
fois que cela s'est déjà produit. En raison de la prédiction des processus
évolutifs, c'est-à-dire de la programmation génétique, lorsque les
algorithmes sont développés et contrôlés par un programmeur humain
intelligent, nous devrions obtenir des résultats similaires avec beaucoup
plus d'efficacité. De nombreux scientifiques s'appuient sur cette hypothèse,
notamment le philosophe David Chalmers et le chercheur Hans Moravec
5
,
qui affirment que l'AICH n'est pas seulement théoriquement possible, mais
aussi pratiquement réalisable dès le 21e siècle. Selon eux, dans la création
de l'intelligence, lors de l'évaluation des possibilités relatives de l'évolution
et de l'ingénierie humaine, nous constaterons que cette dernière dans de
nombreux domaines dépasse de loin l'évolution et, très probablement, la
dépassera bientôt dans le reste. Par conséquent, si l'intelligence naturelle est
apparue à la suite de processus évolutifs, il s'ensuit que les conceptions
humaines dans le domaine de la conception et du développement pourraient
bientôt nous conduire à l'intelligence artificielle. Par exemple, Moravec a
écrit en 1976 :
L'existence de quelques exemples d'intelligence qui ont émergé sous ce genre de restrictions devrait
nous donner confiance que nous serons en mesure d'obtenir la même chose très bientôt. La situation
est analogue à l'histoire de la création de machines capables de voler, bien qu'elles soient plus lourdes
que l'air : les oiseaux, les chauves-souris et les insectes ont clairement démontré cette capacité bien
avant que l'homme ne fabrique des machines volantes
6
.
Cependant, il faut être plus prudent sur les conclusions basées sur une telle
chaîne de raisonnement. Bien sûr, il ne fait aucun doute que le vol des êtres
vivants non humains, qui sont plus lourds que l'air, est devenu possible à la
suite de l'évolution bien avant que les hommes ne l'aient atteint ; cependant,
ils ont réussi à l'aide de mécanismes. A l'appui de cela, d'autres exemples
peuvent être rappelés : les systèmes sonar ; systèmes de navigation
magnétométriques; moyens de guerre chimiques; photodétecteurs et autres
dispositifs dotés de caractéristiques de performances mécaniques et
cinétiques. Cependant, avec le même succès, nous énumérerons les
domaines dans lesquels l'efficacité de l'effort humain est encore très
éloignée de l'efficacité des processus évolutifs : la morphogenèse ;
mécanismes d'auto-guérison; protection immunitaire. Ainsi, l'argument de
Moravec ne "nous donne pas confiance" que l'IIDH sera créé "très bientôt".
Au mieux, l'évolution de la vie intelligente sur Terre peut servir de limite
supérieure à la difficulté de créer de l'intelligence. Mais ce niveau est
encore hors de portée des capacités technologiques actuelles de l'humanité.
Un autre argument en faveur du développement de l'intelligence artificielle
selon le modèle du processus évolutif est la capacité d'exécuter des
algorithmes génétiques sur des processeurs assez puissants et, par
conséquent, d'obtenir des résultats cohérents avec ceux obtenus au cours de
l'évolution biologique. Par conséquent, cette version de l'argument propose
d'améliorer l'IA par une certaine méthode.
Dans quelle mesure l'affirmation selon laquelle nous aurons très bientôt à
notre disposition suffisamment de ressources informatiques pour reproduire
les processus évolutifs correspondants, à la suite desquels l'intellect humain
s'est formé, est-elle vraie ? La réponse dépend des conditions suivantes :
premièrement, s'il y aura des progrès significatifs dans la technologie
informatique au cours des prochaines décennies ; deuxièmement, quelle
puissance de calcul sera nécessaire pour rendre les mécanismes de
lancement des algorithmes génétiques similaires à la sélection naturelle qui
a conduit à l'apparition de l'homme. Il faut dire que les conclusions
auxquelles nous aboutissons le long de la chaîne de notre raisonnement sont
très incertaines ; mais, malgré ce constat décourageant, il semble tout de
même opportun d'essayer de donner au moins une estimation grossière de
cette version (voir encadré 3). En l'absence d'autres possibilités, même des
calculs approximatifs attireront l'attention sur de curieuses inconnues.
L'essentiel est que la puissance de calcul requise uniquement pour
reproduire les processus évolutifs nécessaires qui ont conduit à l'émergence
de l'intelligence humaine est pratiquement inaccessible et le restera pendant
longtemps, même si la loi de Moore est valable pour un autre siècle (voir
Figure 3) . à la page 57). Cependant, il existe une issue parfaitement
acceptable : nous aurons un impact très important sur l'efficacité lorsque, au
lieu d'une simple répétition des processus évolutifs naturels, nous
développerons un moteur de recherche axé sur la création d'intelligence, en
utilisant une variété d'avantages évidents par rapport à la sélection. Naturel.
Bien sûr, il est aujourd'hui très difficile de quantifier le gain d'efficacité qui
en résulte. On ne sait même pas de quels ordres de grandeur on parle : cinq
ou vingt-cinq. Par conséquent, si l'argument du modèle évolutif n'est pas
développé correctement, nous ne pourrons pas répondre à nos attentes et
nous ne saurons jamais à quel point les chemins vers l'intelligence
artificielle au niveau humain sont difficiles et combien de temps nous
devrons attendre son apparition.
ENCADRÉ 3. ÉVALUATION DES EFFORTS POUR REMPLACER LE PROCESSUS
ÉVOLUTIONNAIRE
Toutes les réalisations de l'anthropogenèse liées à l'esprit humain ne sont pas précieuses pour les
spécialistes modernes travaillant sur le problème du développement évolutif de l'intelligence
artificielle. Seule une petite partie de ce qui s'est passé à la suite de la sélection naturelle sur Terre
entre en jeu. Par exemple, les problèmes que les gens ne peuvent ignorer sont le résultat d'efforts
évolutifs mineurs. En particulier, puisque nous pouvons alimenter nos ordinateurs en électricité, nous
n'avons pas besoin de réinventer les molécules du système d'économie énergétique cellulaire pour
créer des machines intelligentes, et l'évolution moléculaire de la machinerie métabolique a peut-être
nécessité une part importante de la consommation totale. . du pouvoir de la sélection naturelle, qui a
été à la disposition de l'évolution tout au long de l'histoire de la terre
7
.
Il existe un concept selon lequel la clé de la création de l'IA est la structure du système nerveux,
apparue il y a moins d'un milliard d'années
8
. Si nous acceptons cette position, le nombre
"d'expériences" nécessaires à l'évolution sera fortement réduit. Aujourd'hui, il y a environ (4–6) × 10
30

procaryotes dans le monde, mais seulement 10
19
insectes et moins de 10
10
représentants de la
race humaine (d'ailleurs, la population à la veille de la révolution néolithique était des ordres de
magnitude mineure)
9
. D'accord, ces chiffres ne sont pas si effrayants.
Cependant, les algorithmes évolutionnaires nécessitent non seulement une variété d'options, mais
également une évaluation de la pertinence de chacune des options, généralement le composant le plus
coûteux en termes de ressources de calcul. Dans le cas de l'évolution de l'intelligence artificielle, pour
évaluer l'aptitude, il semble que la modélisation du développement neuronal, ainsi que des capacités
d'apprentissage et de cognition, soit nécessaire. Par conséquent, il est préférable de ne pas regarder le
nombre total d'organismes dotés d'un système nerveux complexe, mais d'estimer le nombre de
neurones dans les organismes biologiques que nous pourrions avoir besoin de modéliser pour
calculer la fonction objective de l'évolution. Une estimation grossière peut être faite en se référant
aux insectes, qui dominent la biomasse terrestre (les fourmis représentent à elles seules 15 à 20 %)
10
. Le volume cérébral des insectes dépend de nombreux facteurs. Plus un insecte est grand et social
(c'est-à-dire qu'il mène une vie sociale), plus son cerveau est gros ; par exemple, une abeille a un peu
moins de 10
6
neurones, une drosophile a 10
5
neurones, une fourmi avec ses 250 000 neurones en
fait partie
11
. Le cerveau de la plupart des petits insectes ne contient que quelques milliers de
neurones. Je propose avec une extrême prudence de s'arrêter à la valeur moyenne (10
5
) et
d'assimiler tous les insectes (dont il y en a 10
19 au total dans le monde) à la Drosophile
, donc le nombre total
de leurs neurones sera de 10
24
. Ajoutez un autre ordre de grandeur aux dépens des crustacés,
oiseaux, reptiles, mammifères, etc., et nous obtenons 10
25
. (Comparez cela avec le fait qu'avant
l'avènement de l'agriculture, il y avait moins de 10
7
personnes sur la planète, et chacune avait
environ 10
11
neurones ; c'est-à-dire que la somme totale de tous les neurones était inférieure à 10
18
, bien que le cerveau humain contenait et contient beaucoup plus de synapses).
Le coût de calcul de la modélisation d'un neurone dépend du degré de détail requis du modèle. Un
modèle de neurone en temps réel extrêmement simple nécessite environ 1000 opérations en virgule
flottante par seconde (FLOPS). Un modèle Hodgkin-Huxley électriquement et physiologiquement
réaliste nécessite 1 200 000 FLOPS. Un modèle multicomposant plus complexe d'un neurone
ajouterait deux à trois ordres de grandeur, et un modèle de niveau supérieur fonctionnant sur des
systèmes de neurones nécessite deux à trois ordres de grandeur moins d'opérations par neurone que
les modèles simples
12
. Si nous devons simuler 1025
neurones
sur un milliard d'années d'évolution
(c'est plus que la durée de vie des systèmes nerveux dans leur forme actuelle) et laisser les
ordinateurs travailler sur cette tâche pendant un an, alors leurs besoins en énergie seront de l'ordre de
1031

- 1044
PANNES
. A titre de comparaison, l'ordinateur le plus puissant du monde, le chinois
Tianhe-2 (en septembre 2013) est capable de délivrer seulement 3,39 × 10
16
FLOPS. Au cours des
dernières décennies, les ordinateurs conventionnels ont augmenté leurs performances d'un ordre de
grandeur environ une fois tous les 6,7 ans. Même si la puissance de calcul croît selon la loi de Moore
pendant tout un siècle, cela ne suffira pas à combler l'écart existant. L'utilisation de systèmes
informatiques plus spécialisés ou l'augmentation du temps de calcul peuvent réduire les besoins en
énergie de quelques ordres de grandeur seulement.
L'estimation du nombre de neurones est conditionnelle pour une autre raison. La nature, créant
l'esprit humain, ne s'est guère fixé une tâche spécifique. En d'autres termes, la fonction méta du
système évolutif sélectionnait les organismes non seulement pour développer leur intellect ou son
prédécesseur, la « pensée concrète »
13
. Même si des organismes dotés de meilleures capacités de
traitement de l'information dans certaines conditions récoltaient des avantages supplémentaires, cette
circonstance n'était pas le principal facteur de sélection d'un individu, car une pensée développée
pouvait (et signifiait souvent) des coûts supplémentaires : dépenser plus d'énergie ou plus lentement.
maturation, qui l'emportait sur les avantages d'un comportement raisonnable. Une mortalité élevée a
également réduit la valeur de l'intelligence  : plus la durée de vie moyenne est courte, moins les
compétences d'apprentissage supérieures ont le temps de "payer". La réduction de la pression de
sélection a ralenti la diffusion des innovations fondées sur l'intelligence et, par conséquent, a réduit la
capacité de sélectionner les innovations ultérieures. De plus, l'évolution pourrait être entravée par des
optima locaux, que les chercheurs peuvent repérer et contourner en modifiant l'équilibre entre la
recherche et la mémoire ou en augmentant progressivement la complexité des tests d'intelligence
14
.
Comme discuté ci-dessus, l'évolution dépense une quantité importante de pouvoir sélectif sur les
traits non intelligents, par exemple la compétition évolutive entre le système immunitaire et les
parasites, appelée la race Black Queen. L'évolution continue de gaspiller des ressources sur des
mutations manifestement vouées à l'échec et est incapable de prendre en compte la similarité
statistique des diverses mutations. Les exemples donnés ici ne doivent pas effrayer les spécialistes
qui développent des algorithmes évolutionnaires pour créer des programmes intelligents, puisque
l'inefficacité de la sélection naturelle (en termes de développement de l'intelligence) est assez
facilement surmontée.
L'élimination de ce type d'inefficacité est susceptible d'économiser plusieurs ordres de grandeur de la
puissance requise de 10
31
-10
44
FLOPS, calculée ci-dessus. Malheureusement, il est difficile de
dire exactement combien. Il est difficile de donner une estimation, même grossière : on ne peut que
deviner s'il s'agira de cinq ordres de grandeur, dix ou vingt-cinq
15
.

1935 1945 1955 1965 1975 1985 1995 2005 2015

 
Riz. 3. Performances des ordinateurs lourds.
Au sens le plus vrai, ce qu'on appelle la "loi de
Moore" est l'observation que le nombre de transistors placés sur une puce de circuit intégré double
environ tous les deux ans. Cependant, la loi a tendance à être généralisée, considérant que d'autres
indicateurs de performance informatique connaissent également une croissance exponentielle. Notre
graphique montre la vitesse maximale des ordinateurs les plus puissants du monde au fil du temps
(sur une échelle verticale logarithmique). Ces dernières années, la vitesse du calcul séquentiel a cessé
de croître, mais en raison de l'expansion du calcul parallèle, le nombre total d'opérations continue
d'augmenter au même rythme
16
.
Il existe une autre complication associée aux facteurs évolutifs présentés
comme dernier argument. Le problème est que nous ne sommes pas en
mesure de calculer, même très grossièrement, une limite supérieure à la
difficulté d'obtenir de l'intelligence de manière évolutive. Oui, la vie
intelligente est apparue une fois sur Terre, mais il ne s'ensuit pas de ce fait
que des processus évolutifs avec un haut degré de probabilité conduisent à
l'émergence de l'intelligence. Une telle conclusion serait fondamentalement
erronée, car elle ne prend pas en compte le soi-disant effet de sélection
observationnelle, qui implique que tous les observateurs se trouvent sur la
planète où la vie intelligente est née, quelle que soit la probabilité ou
l'improbabilité d'un tel événement sur une autre planète. . planète.
Supposons qu'en plus des biais de la sélection naturelle, l'essor de la vie
intelligente nécessite un grand nombre de
coïncidences heureuses
, si
nombreuses que la vie intelligente n'est apparue que sur une seule des 10
30
planètes où existent des gènes réplicatifs simples. Dans un tel cas, les
chercheurs exécutant des algorithmes génétiques pour tenter de reproduire
ce que l'évolution a créé peuvent se retrouver avec environ 10 à
30
itérations
avant de trouver une combinaison dans laquelle tous les éléments
s'additionnent correctement. Cela semble être assez cohérent avec notre
observation selon laquelle la vie est née et s'est développée ici sur Terre.
Cette barrière épistémologique peut être en partie contournée par des
démarches logiques prudentes et quelque peu lourdes, en analysant des cas
d'évolution convergente des traits liés à l'intelligence, et en prenant en
compte l'effet de l'observation sur la sélection. Si les scientifiques ne
prennent pas la peine d'effectuer une telle analyse, à l'avenir, aucun d'entre
eux n'aura à estimer la valeur maximale et à calculer à combien s'élève la
limite supérieure estimée de la puissance de calcul nécessaire pour
reproduire l'évolution de l'intelligence (voir encadré 3). peut tomber en
dessous du trentième ordre (ou une autre valeur tout aussi grande)
17
.
Passons à l'option suivante pour atteindre notre objectif  : l'argument de la
faisabilité de l'évolution de l'intelligence artificielle est l'activité du cerveau
humain, qui est désignée comme le modèle de base de l'IA. Les différentes
versions de cette approche ne diffèrent que par le degré de reproduction: la
précision avec laquelle il est proposé d'imiter les fonctions du cerveau
biologique. A un extrême, qui est une sorte de "jeu d'imitation", nous avons
le concept d'
émulation cérébrale complète
, c'est-à-dire une simulation
grandeur nature du cerveau (nous y reviendrons un peu plus tard). A l'autre
extrême, il existe des technologies, selon lesquelles la fonctionnalité du
cerveau n'est qu'un point de départ, mais le développement de modèles de
bas niveau n'est pas prévu. En bref, nous nous rapprocherons de la
compréhension de l'idée générale du cerveau, qui est facilitée par les
progrès des neurosciences et de la psychologie cognitive, ainsi que par
l'amélioration constante des outils et du matériel. Sans aucun doute, les
nouvelles connaissances deviendront un guide pour continuer à travailler
avec l'IA. Nous connaissons déjà un exemple d'IA qui est né de la
modélisation du travail du cerveau - ce sont les réseaux de neurones. Une
autre idée tirée des neurosciences et traduite en apprentissage automatique
est l'organisation hiérarchique de la perception. L'étude de l'apprentissage
par renforcement a été alimentée (au moins en partie) par le rôle important
que ce sujet joue dans les théories psychologiques décrivant le
comportement et la pensée des animaux, ainsi que dans les techniques
d'apprentissage par renforcement (par exemple, l'algorithme TD).
Aujourd'hui, l'apprentissage par renforcement est largement utilisé dans les
systèmes d'IA
18
. Il y aura sûrement d'autres exemples de ce genre à
l'avenir. Étant donné que l'ensemble des mécanismes de base du
fonctionnement du cerveau est très limité - en fait, très peu nombreux - tous
ces mécanismes seront tôt ou tard découverts grâce aux progrès constants
des neurosciences. Cependant, il est possible qu'une sorte d'approche
hybride atteigne l'objectif encore plus tôt, combinant des modèles
développés, d'une part, basés sur l'activité du cerveau humain, d'autre part,
basés exclusivement sur des technologies d'intelligence artificielle. Il n'est
absolument pas nécessaire que le système résultant ressemble en tout au
cerveau, même si certains principes de son activité sont utilisés dans sa
création.
L'activité du cerveau humain en tant que modèle de base est un argument de
poids en faveur de la faisabilité de la création et du développement ultérieur
de l'intelligence artificielle. Cependant, même l'argument le plus puissant ne
nous rapprochera pas de la compréhension des dates futures, car il est
difficile de prédire quand se produira telle ou telle découverte en
neurosciences. Nous ne pouvons dire qu'une chose  : plus nous avançons
dans le futur, plus il est probable que les secrets du fonctionnement du
cerveau seront suffisamment révélés pour intégrer des systèmes
d'intelligence artificielle.
Les chercheurs travaillant dans le domaine de l'intelligence artificielle ont
des points de vue différents sur la manière dont l'approche neuromorphique
est prometteuse par rapport aux technologies basées sur des approches
entièrement compositionnelles. Le vol des oiseaux a démontré la possibilité
physique de l'apparition de mécanismes de vol plus lourds que l'air, ce qui a
finalement conduit à la construction de dirigeables. Cependant, même les
premiers avions qui ont décollé n'ont pas battu des ailes. Où ira le
développement de l'intelligence artificielle ? La question reste ouverte : si
selon le principe de la loi de l'aérodynamique, qui maintient en l'air de
lourds mécanismes de fer, c'est-à-dire apprendre de la vie sauvage, mais
sans l'imiter directement ; selon le principe de savoir si le dispositif de
moteur à combustion interne, c'est-à-dire en copiant directement les actions
des forces naturelles.
Le concept de Turing consistant à concevoir un programme qui obtient la
plupart de ses connaissances par l'apprentissage, plutôt que par la
spécification de données initiales, s'applique à la création de l'intelligence
artificielle, à la fois dans les approches neuromorphiques et
compositionnelles.
Une variante du concept de "machine à bébé" de Turing était l'idée d'un
germe d'IA
19
. Cependant, si la «machine enfant», telle que Turing
l'envisageait, était censée avoir une architecture relativement figée et
développer son potentiel par l'accumulation de
contenu
, alors l'embryon
d'IA serait un système plus complexe, s'améliorant. lui-même sa propre
architecture.
. Dans les premiers stades de son existence, l'IA embryonnaire
se développe principalement par la collecte d'informations, agissant par
essais et erreurs, avec l'aide d'un programmeur. Ayant "grandi", il doit
apprendre à
comprendre de manière autonome
les principes de son travail
afin de pouvoir concevoir de nouveaux algorithmes et structures de calcul
qui augmentent son efficacité cognitive. La compréhension requise n'est
possible que dans les cas où le germe de l'IA a atteint un niveau général
assez élevé de développement intellectuel dans de nombreux domaines, ou
dans certains domaines, par exemple la cybernétique et les mathématiques,
a dépassé un certain seuil. intellectuel.
Cela nous amène à un autre concept important appelé "l'auto-amélioration
récursive". Un embryon d'IA réussi doit être capable d'auto-développement
continu : la première version crée une version améliorée de lui-même qui
est beaucoup plus intelligente que l'original ; la version améliorée, à son
tour, travaille sur une version encore meilleure, et ainsi de suite
20
. Sous
certaines conditions, le processus récurrent d'auto-amélioration peut se
poursuivre pendant un certain temps et éventuellement conduire au
développement explosif de l'intelligence artificielle. Il s'agit d'un événement
au cours duquel, en un court laps de temps, l'intelligence globale d'un
système passe d'un niveau relativement modeste (peut-être à bien des
égards, à l'exception de la programmation et de la recherche sur l'IA, même
en dessous de l'humain) à superintelligent, radicalement supérieur à
l'humain. niveau humain. Dans le quatrième chapitre, nous reviendrons sur
cette perspective, très importante dans sa signification, et nous analyserons
plus en détail la dynamique du développement des événements.
A noter que ce modèle de développement implique la possibilité de
surprises. Les tentatives de création d'une intelligence artificielle universelle
peuvent, d'une part, se solder par un échec complet et, d'autre part, conduire
au dernier élément critique manquant, après quoi l'embryon d'IA sera
capable d'une auto-amélioration récursive durable.
Avant de terminer cette section du chapitre, je voudrais souligner encore
une chose : il n'est absolument pas nécessaire que l'intelligence artificielle
ressemble à l'esprit humain. J'admets pleinement que l'IA deviendra
complètement "extraterrestre" ; le plus susceptible de se produire. On peut
s'attendre à ce que l'architecture cognitive de l'IA soit très différente du
système cognitif humain  ; par exemple, dans les premiers stades,
l'architecture cognitive aura des forces et des faiblesses très différentes
(bien que, comme nous le verrons, l'IA saura surmonter les faiblesses
initiales). Surtout, les systèmes d'IA utiles peuvent n'avoir rien à voir avec
le système utile de l'humanité. Il n'y a aucune raison de croire que l'IA de
niveau intermédiaire commencera à être guidée par des sentiments humains,
tels que l'amour, la haine, la fierté  ; Une adaptation aussi complexe
nécessitera une grande quantité de travail coûteux, de plus, l'apparition
d'une telle opportunité pour l'IA doit être traitée avec beaucoup de
prudence. C'est à la fois un gros problème et une grande opportunité. Nous
reviendrons sur la motivation de l'IA dans les chapitres suivants, mais cette
idée est si importante pour le livre qu'il vaut la peine de la garder à l'esprit
tout au long.
Émulation complète du cerveau humain.
Dans un processus de simulation cérébrale à grande échelle, que nous
appelons "émulation cérébrale complète" ou "téléchargement de l'esprit",
l'intelligence artificielle est créée en scannant et en reproduisant avec
précision la structure informatique d'un cerveau biologique. Il faut donc
s'inspirer complètement de la nature, cas extrême de plagiat pur et simple.
Pour que l'émulation cérébrale complète réussisse, un certain nombre
d'étapes spécifiques doivent être suivies.
Première étape. Une analyse assez détaillée du cerveau humain est en cours.
Cela peut inclure la réparation du cerveau d'une personne décédée par
vitrification ou vitrification (qui rend les tissus durs comme du verre). Des
sections minces du tissu sont ensuite réalisées avec une machine et passées
dans une autre machine pour être numérisées, éventuellement à l'aide de
microscopes électroniques. À ce stade, le matériau est coloré avec des
colorants spéciaux pour révéler ses propriétés structurelles et chimiques.
Dans le même temps, de nombreux appareils de numérisation fonctionnent
en parallèle, traitant simultanément plusieurs coupes de tissus.
Deuxième étape. Les données brutes des scans sont chargées dans un
ordinateur de traitement d'image automatique pour reconstruire le réseau
neuronal 3D responsable de la cognition dans le cerveau biologique. Pour
réduire le nombre d'images haute résolution qui doivent être mises en
mémoire tampon, cette étape peut être effectuée simultanément avec la
première. La carte résultante est associée à une bibliothèque de modèles
neurocomputationnels sur des neurones de différents types ou sur différents
éléments neuronaux (par exemple, les synapses peuvent différer). Certains
résultats de numérisation et de traitement d'image utilisant la technologie
moderne sont illustrés à la fig. quatre
Troisième étape. La structure de calcul du réseau de neurones obtenue à
l'étape précédente est chargée dans un ordinateur assez puissant. En cas de
succès complet, le résultat sera une copie numérique de l'intelligence
originale avec une mémoire intacte et un type de personnalité intact. Il
existe maintenant une émulation de l'esprit humain en tant que logiciel sur
un ordinateur. L'esprit peut vivre dans l'espace virtuel et interagir avec le
monde réel à l'aide de membres robotiques.
Travailler sur l'émulation cérébrale complète n'implique pas que les
chercheurs doivent comprendre le processus de connaissance ou de
programmation de l'intelligence artificielle. Ils ont juste besoin d'être
hautement professionnels dans un domaine comme les caractéristiques
fonctionnelles de bas niveau des éléments informatiques de base du
cerveau. Une émulation réussie ne nécessite pas de concepts fondamentaux
ou de découvertes théoriques.

Riz. 4. Reconstruction tridimensionnelle des coupes, réalisée par la méthode neuroanatomique

(images au microscope électronique). En
haut à gauche
: Dendrites and Axones est une
micrographie électronique typique montrant une coupe transversale de neurones.
En haut à droite
:
reconstruction volumétrique d'une coupe de rétine d'oeil de lapin obtenue à partir d'images au
microscope électronique à balayage
21
. Les images bidimensionnelles séparées sont "pliées" en un
cube d'environ 11 microns de côté.
En bas
: Reconstruction du sous-ensemble de projections
neuronales qui composent le neuropile généré par l'algorithme de segmentation automatique
22
.
Sans l'utilisation des technologies les plus avancées, l'émulation cérébrale
complète est pratiquement impossible. Tout d'abord, disposant du matériel
nécessaire et respectant toutes les conditions, il est nécessaire d'effectuer
trois manipulations principales :
1)
                 
balayage
: microscopes performants avec une bonne résolution,
permettant de détecter les propriétés recherchées ;
2)
                                 
traduction
- analyse d'image automatisée pour traduire les
données numérisées d'origine en un modèle tridimensionnel connecté à
partir d'éléments informatiques pertinents ;
3)
                                 
la modélisation
est un ordinateur suffisamment puissant pour
traiter la structure numérisée qui en résulte.
Par rapport aux étapes assez ardues et de haute précision énumérées ci-
dessus (voir le tableau 4), il semblerait relativement simple de développer
une réalité virtuelle de base ou un look robotique avec un canal d'entrée AV
et un canal de sortie simple. Des systèmes d'entrée et de sortie simples qui
répondent aux exigences minimales semblent possibles, même avec la
technologie et l'équipement disponibles
23
.
Tableau 4.
Technologies requises pour une émulation complète du cerveau humain.
Exploration Prétraitement /   Préparation des tissus, conservation
fixation de leur microstructure et de leur état.

  manipulation   L'invention concerne des procédés de

physique manipulation de tissus cérébraux et
de leurs coupes avant, pendant et
après le balayage.

  Acquisition Le volume La possibilité de scanner tout le

d'image volume du cerveau en un temps
acceptable et à un coût acceptable

    Autorisation Le permis doit être approprié pour la

reconstruction.

    informations Capacité à détecter toutes les

fonctionnelles propriétés tissulaires
fonctionnellement significatives

Transmission Traitement d'image Correction des Éliminer les déséquilibres dus aux
proportions imperfections de numérisation
    interpolation de Récupération des données perdues
données
    Élimination des Qualité d'image améliorée
 interférences

    suivi des données Détermination de la structure et de

son traitement pour obtenir un
modèle tissulaire tridimensionnel
solide

  Interprétation des Identification du Identification du type de cellule

images type de cellule

    Identification des Identification des synapses et des

synapses types de contacts synaptiques

    Estimation des Évaluation des paramètres

paramètres fonctionnels significatifs des cellules,
des synapses et d'autres objets.

    Création de base Création d'un référentiel efficace des

de données informations reçues

  modèle de système Modèle Modèle d'une collection d'objets et

neuronal mathématique de leur comportement.

    mise en œuvre Mise en œuvre du modèle

efficace

La modélisation Stockage   Stockage du modèle d'origine et de

son état actuel
  Haut débit   Communication efficace entre les
processeurs

  Microprocesseur   Puissance de processeur suffisante

pour exécuter le modèle

  modelage du corps   Modélisation d'un organisme capable

d'exister dans un environnement
virtuel et d'interagir avec le monde
extérieur grâce à des mécanismes
robotiques

  Modélisation de   Environnement virtuel pour un

l'interaction avec organisme virtuel
l'environnement.
Ce n'est pas un hasard si nous nous attendons à ce que les technologies
innovantes nécessaires, si ce n'est dans un avenir proche, puis un jour,
soient réalisables. Nous disposons déjà de modèles informatiques plus ou
moins précis de nombreux types de neurones biologiques et de processus
neuronaux. Un logiciel de reconnaissance de formes a été développé pour
suivre les axones et les dendrites dans une pile d'images 2D (bien que sa
précision doive encore être améliorée). Il existe des moyens de filmer avec
la bonne résolution : à l'aide d'un microscope à effet tunnel, vous pouvez
"voir" des atomes individuels, et avec une résolution beaucoup plus élevée
que nécessaire. L'émulation complète du cerveau humain nécessitera une
avancée technologique très puissante, et tous les chercheurs l'ont bien
compris ; cependant, la base de connaissances et les capacités disponibles
aujourd'hui donnent toutes les raisons de croire qu'il n'y a pas d'obstacle
insurmontable à l'émergence des technologies nécessaires
24
. Par exemple,
vous n'avez pas besoin d'avoir des microscopes à la plus haute résolution,
vous avez juste besoin d'avoir des microscopes très puissants. Il est trop
long et coûteux d'utiliser des microscopes à effet tunnel à résolution
atomique pour imager le matériau à l'étude. Il serait probablement plus
justifié d'utiliser des microscopes électroniques avec une résolution
inférieure, ce qui nécessitera bien sûr une meilleure visibilité des éléments
importants, par exemple la microstructure synaptique, ce qui conduira à son
tour au développement de nouvelles méthodes pour préparer et colorer le
tissu cortical. . Il est temps de penser à des choses comme l'expansion des
bibliothèques de neuroinformatique, l'amélioration du traitement automatisé
des images et l'interprétation des résultats d'analyse.
La faisabilité d'une émulation complète du cerveau humain ne dépend pas
tant des développements théoriques que, par exemple, de la création de
l'intelligence artificielle ; La charge mentale dépend principalement des
capacités technologiques. Les exigences technologiques sont déterminées
uniquement par le niveau d'abstraction auquel l'émulation a lieu. En ce sens,
un équilibre devra être trouvé entre la théorie et la technologie. D'une part,
plus notre équipement de numérisation est faible, moins les ordinateurs sont
puissants, moins nous pouvons compter sur une simulation de bas niveau
des processus physiques et chimiques dans le cerveau, et plus cela
nécessitera une compréhension théorique de l'architecture informatique que
nous utilisons. . ils cherchent à modéliser pour créer des représentations
plus abstraites de fonctionnalités significatives
25
. D'un autre côté, avec une
quantité et une qualité suffisantes de technologie de numérisation avancée
et d'outils informatiques super puissants, il est peu probable que nous ayons
besoin d'une solide formation théorique et de connaissances
professionnelles sur les processus qui se produisent dans le cerveau, après
tout, sous le condition de la technologie ". abondance" nous pourrons
résoudre le problème de la modélisation par simple énumération, c'est-à-
dire élémentaire "dans le front". Il est vrai qu'il existe une troisième option :
imitons le cerveau au niveau des particules élémentaires, c'est-à-dire
traitons le cerveau comme un système mécanique quantique et résolvons
notre problème à l'aide de l'équation de Schrödinger. Dans ce cas, qui est
assez extrême dans son improbabilité, nous devrons nous abstenir
complètement du modèle biologique et nous fier uniquement aux
connaissances physiques existantes. Mais toutes les réflexions au sujet des
particules élémentaires sont spéculatives, puisque se pose immédiatement la
question des exigences qui seront imposées à la puissance de calcul et au
traitement des données, conditions qui nous sont totalement impossibles.
Une option beaucoup plus plausible serait d'émuler des neurones
individuels et leur matrice d'adjacence avec la construction de la structure
de leurs arbres dendritiques et, éventuellement, certaines variables statiques
qui décrivent les synapses individuelles ; Dans le même temps, sans toucher
aux molécules individuelles de neurotransmetteurs, il sera possible de
modéliser l'évolution de leur concentration sous la forme d'une structure
approximative.
Pour évaluer la faisabilité de l'émulation complète du cerveau humain, il est
nécessaire de déterminer les critères de réussite du processus. Il est peu
probable que les scientifiques cherchent à créer un modèle détaillé et précis
du cerveau qui peut être exposé à une séquence de certains stimuli et, sur la
base des résultats, prédire avec précision le "comportement" du cerveau
biologique. Certainement pas. Ils veulent simplement reproduire les
propriétés informatiques fonctionnelles du cerveau dans un volume tel qu'ils
puissent utiliser l'émulateur résultant pour effectuer des tâches
intellectuelles. Avec un tel établissement d'objectifs, de nombreux
composants du cerveau biologique avec ses structures plutôt complexes et
complexes peuvent être ignorés.
Pour comprendre à quel point l'émulation a fonctionné, il faut évaluer dans
quelle mesure il a été possible de préserver les fonctions cérébrales de
traitement de l'information dans l'émulateur résultant. Cela nécessitera une
analyse plus approfondie. Par exemple, les types d'émulateurs de cerveau
suivants peuvent être distingués :
1)
                                 
modèle de haute précision
: enregistre l'ensemble des
connaissances, compétences, capacités et valeurs du cerveau biologique ;
2)
                 
un modèle déformé
, aux tendances inhumaines prononcées, mais
fondamentalement capable d'effectuer le même travail mental que le
cerveau biologique ;
3)
                                 
modèle généralisé
(peut être déformé) - en un sens, un enfant,
privé des compétences et des souvenirs acquis par le cerveau biologique
d'un adulte, mais capable d'apprendre la plupart des choses que la personne
moyenne apprend
26
.
Si nous empruntons cette voie, il est naturel de supposer qu'un modèle très
précis du cerveau sera éventuellement mis en œuvre, mais le
premier
modèle que nous parviendrons à créer sera probablement très simple. Avant
d'obtenir quelque chose qui fonctionne parfaitement, vous devrez
probablement faire quelque chose qui ne fonctionne pas encore
parfaitement. De plus, il est possible que le choix d'une voie telle que
l'émulation cérébrale conduise à la création d' une IA neuromorphique, qui
sera basée sur les principes du système neuroinformatique et les approches
compositionnelles découvertes dans le processus d'émulation. Au contraire,
cette option intermédiaire apparaîtra avant de terminer une simulation à
grande échelle du cerveau. La possibilité d'un spin-off tel que l'IA
neuromorphique soulève de sérieuses questions quant à savoir si le
développement de la technologie d'émulation doit être accéléré ; Nous
aborderons ce sujet plus en détail dans l'un des chapitres suivants.
Où sommes-nous aujourd'hui pour construire un modèle informatique
complet du cerveau ? Un article récemment publié présente un scénario
technique et conclut, bien qu'avec une large marge d'incertitude*, que toutes
les conditions nécessaires seront réunies d'ici le milieu de notre siècle
27
.
Les principaux points de contrôle de cette route sont illustrés à la fig. 5.
Cependant, l'apparente simplicité du scénario peut être trompeuse : il ne
faut pas sous-estimer la quantité de travail qui nous attend. Jusqu'à présent,
aucun modèle informatique du cerveau biologique n'a été développé. Prenez
Caenorhabditis elegans
, un ver rond transparent (nématode), d'environ un
millimètre de long et avec seulement 302 neurones. Cette créature discrète
et discrète sert d'organisme modèle pour la science. Son connectome, c'est-
à-dire une description complète de la structure de ses connexions
neuronales, est connu depuis le milieu des années 1980. La matrice de liens
a été constituée après un travail minutieux de préparation du matériel :
séparation du tissu en couches , examen au microscope électronique et
marquage manuel des échantillons
28
. Mais il ne nous suffit pas de voir
comment les neurones sont connectés les uns aux autres. Pour construire un
modèle informatique du cerveau, il faut savoir quelles synapses sont
excitatrices et lesquelles sont inhibitrices ; comprendre la stabilité des
relations, ainsi que diverses dynamiques
propriétés des axones, des synapses et des dendrites. Des informations
complètes ne sont pas encore disponibles même sur la description d'un
système nerveux aussi simple que chez
C. elegans
(bien qu'il soit
maintenant tout à fait possible de le faire dans le cadre d'un projet de
recherche spécifique de taille moyenne)
29
. Le succès obtenu en imitant le
petit cerveau du ver C. elegans nous aidera à mieux apprécier le chemin que
nous devons suivre pour imiter un cerveau plus grand.
 
Riz. 5. Scénario d'émulation cérébrale complète.
Les paramètres d'entrée, les tâches et les points
de contrôle
30 sont représentés schématiquement
.
À un certain stade de développement technologique, lorsque des méthodes
d'émulation automatique de petits morceaux de tissu cérébral apparaissent,
le problème de la mise à l'échelle reste à résoudre. Notez que "l'échelle"
symbolique illustrée à la Fig. 5 indique la séquence d'étapes qui doivent être
franchies pour atteindre l'objectif. Chaque échelon de l'échelle correspond à
une étape spécifique d' émulation cérébrale complète, étape de plus en plus
complexe au niveau de la structure du système nerveux des organismes, par
exemple :
nématode
→
abeille
→
Souris
→
singe rhésus
→
personne
_
Étant donné que l'écart entre les étapes est, au moins après la première
étape, plus quantitatif que qualitatif et déterminé (en grande partie, mais pas
complètement) par la différence de taille du cerveau simulé, il peut être
comblé par une augmentation relativement directe des capacités de
numérisation et de modélisation
31
.
Lorsque nous atteindrons le dernier échelon de l'échelle, la perspective
d'implémenter un modèle informatique du cerveau humain deviendra plus
claire
32
. Dès que nous entendrons soudainement parler d'équipements de
numérisation hautes performances et d'ordinateurs surpuissants, c'est-à-dire
le type de matériel qui n'était pas suffisant pour démarrer la dernière étape
de la modélisation à grande échelle, leur apparition servira de signe
d'avertissement. que nous sommes prêts à entrer dans la voie de l'émulation
cérébrale complète et, après un certain temps, nous pourrions nous
retrouver dans le domaine de l'intelligence artificielle au niveau humain.
Mais si la neuromodélisation est le dernier chaînon manquant, la transition
de prototypes quelconques à un modèle fonctionnel du cerveau humain
pourrait être plus abrupte. Imaginez alors un scénario où il s'avère
soudainement, avec toute la pléthore de logiciels de numérisation et
d'ordinateurs à grande vitesse, qu'il est assez difficile de faire fonctionner
correctement des modèles de neurones biologiques. Bien sûr, nous finirons
par surmonter cette faille, et nos neuromodèles complètement impuissants,
jusque-là comme évanouis après une crise d'épilepsie majeure, se mettront
au travail joyeusement et de concert. Dans ce cas, le succès ne sera pas
précédé d'une longue série d'émulations cérébrales d'organismes vivants,
augmentant progressivement de taille, du ver au singe ; et la recherche
scientifique ne s'accompagnera pas d'une série d'articles de journaux dont le
type augmente d'autant du petit au grand. Pour ceux d'entre nous qui suivent
de près les développements, il sera assez difficile de déterminer à l'avance
combien de neuromodèles restent encore inopérants et combien de temps il
faudra pour corriger les défauts ; il est peu probable que nous comprenions
immédiatement que cette étape est déjà franchie et que les scientifiques sont
à la veille d'une réalisation décisive. (Une fois que le cerveau humain
pourra être émulé, d'autres découvertes potentiellement explosives suivront,
mais nous en reporterons la discussion jusqu'au chapitre 4.)
On voit donc que le scénario le plus inattendu est possible, même si toute
l'enquête est menée de manière totalement ouverte. Néanmoins, les progrès
associés à l'émulation du cerveau entier sont susceptibles d'avoir des signes
tout à fait précis et compréhensibles, puisque l'étude de ce problème dépend
de technologies spécifiques accessibles à notre compréhension, tandis que
la nature du développement de l' intelligence artificielle , du classique à
l'universel . , repose sur des développements théoriques. De plus,
contrairement au développement de l'IA, dans le cas du mindloading, nous
pouvons dire avec plus de certitude qu'un modèle informatique du cerveau
est peu susceptible d'être réalisable dans un avenir proche (disons, dans
quinze ans), en raison du manque actuel de même les versions initiales de
certains développements technologiques complexes nécessaires. Au
contraire, en ce qui concerne l'intelligence artificielle, il n'est nullement
exclu que,
dans
En principe,
une personne
peut
simplement prendre et
écrire un programme pour un embryon d'IA pour un ordinateur moderne
commun, et il est donc possible, bien que peu probable, que quelqu'un
quelque part découvre comment faire cela dans un proche avenir.
Amélioration des capacités cognitives humaines.
La troisième façon de créer une intelligence supérieure est d'améliorer le
fonctionnement du cerveau biologique. En principe, cela pourrait être
réalisé sans l'utilisation de la technologie, mais plutôt par sélection.
Cependant, toute tentative de lancement d'un programme d'eugénisme
classique se heurtera à des obstacles politiques et éthiques. De plus, il
faudra de nombreuses générations pour produire des résultats significatifs, à
moins que la sélection ne soit trop stricte. Bien avant qu'un tel programme
ne porte ses fruits, l'humanité acquerra un contrôle direct sur la génétique et
les neurosciences grâce au développement de la biotechnologie, rendant les
projets de sélection humaine inutiles. Par conséquent, nous prêtons attention
aux méthodes qui conduiront à un résultat beaucoup plus rapide - au cours
de la vie de plusieurs générations et même d'une seule, il existe des
opportunités potentielles pour cela.
Nous avons appris à augmenter nos capacités cognitives ou cognitives
individuelles de nombreuses manières, même sans négliger les capacités
traditionnelles, telles que l'éducation et la formation. Le développement du
système nerveux peut être accéléré par des méthodes rudimentaires telles
que l'optimisation de la nutrition intra-utérine et infantile, l'élimination du
plomb et d'autres contaminants neurotoxiques de l'environnement,
l'élimination des parasites ; assurer un sommeil et une activité physique
adéquats; prévention des maladies affectant l'activité mentale
33
. Bien sûr,
chacun de ces éléments contribue au développement des fonctions
cognitives, bien que l'importance du succès soit probablement trop faible,
en particulier dans les sociétés où les enfants reçoivent déjà une nourriture
et une éducation d'assez bonne qualité. En agissant uniquement de cette
manière, il est peu probable que nous puissions développer une
superintelligence puissante chez quelqu'un, mais ces méthodes apportent
toujours leur contribution, en particulier, avec leur aide, nous améliorons la
situation des pauvres et élargissons les opportunités d'émergence de
personnes douées sur une échelle. monde. (Un problème courant dans de
nombreux pays pauvres et enclavés est la baisse permanente de
l'intelligence due à une carence en iode. Cette situation est totalement
inacceptable, car la solution à ce problème à notre époque est très simple :
c'est le sel de table enrichi en iode, qui est plus cher que d'habitude de
quelques centimes par personne et par an
34
.)
Un effet plus important peut être obtenu à l'aide d'agents biomédicaux.
Maintenant, des médicaments émergent qui sont censés améliorer la
mémoire, la concentration et la force mentale ; au moins pour certains, ils
aident
35
. (Pendant que j'écrivais ce livre, je faisais le plein de café et je
restais éveillé avec de la gomme à la nicotine.) L'efficacité des
médicaments stimulant l'esprit d'aujourd'hui est très fragile, relative et niée
par beaucoup ; les futurs nootropiques, ou stimulants neurométaboliques,
apporteront probablement plus d'aide et auront moins d'effets secondaires
36
. Cependant, il ne vaut guère la peine d'espérer qu'un jour un médicament
chimique sera inventé qui, lorsqu'il sera injecté dans un cerveau sain,
fournira un saut brusque des capacités intellectuelles humaines, à la fois
neurologiquement et évolutivement, cela semble invraisemblable
.
.
L'activité cognitive du cerveau humain dépend de l'harmonie délicate de
nombreux facteurs, en particulier à un stade critique du développement
embryonnaire, par conséquent, pour améliorer un système aussi auto-
organisé que la fonctionnalité du cerveau, il est plus probable qu'il sera
nécessaire de ne pas le nourrir avec une certaine potion, mais assurez-vous
qu'il est soigneusement équilibré, affiné et soigneusement cultivé.
Nous obtiendrons des outils plus puissants grâce à la manipulation
génétique, sans compter sur l'action des psychotropes. Revenons à l'idée de
la sélection génétique. Au lieu d'essayer de mettre en place des programmes
eugéniques en ajustant les schémas de reproduction, des mécanismes de
sélection cellulaire peuvent être utilisés au niveau des embryons et des
gamètes
38
. Au cours de la procédure de fécondation in vitro (FIV), des
diagnostics génétiques sont déjà effectués avant l'implantation de l'embryon
pour identifier des troubles monogéniques tels que la maladie de
Huntington et une prédisposition à certaines maladies qui se développent
plus tard dans la vie d'une personne, comme le cancer du sein. Le diagnostic
génétique est utilisé pour déterminer le sexe du fœtus, ainsi que pour
comparer le type d'antigènes leucocytaires humains avec les données de ses
frères et sœurs, par rapport auxquels le futur nouveau-né peut donner des
cellules souches s'il est malade
39
. Au cours des dix à vingt prochaines
années, il y aura une augmentation marquée du nombre de facteurs pouvant
être utilisés comme critères de sélection, qu'ils soient positifs ou négatifs.
Un facteur important dans le progrès de la génétique comportementale est la
baisse rapide des coûts du génotypage et du séquençage du génome. Sous
nos yeux, il devient possible d'effectuer une analyse complète des
caractéristiques de l'ensemble du génome, ce qui enrichira
considérablement notre connaissance des éléments de l'architecture
génétique responsables de l'activité mentale et comportementale d'une
personne
40
. Cela permettra d' utiliser comme critère de sélection tout trait
de personnalité non héréditaire, y compris les capacités cognitives
41
. La
sélection d'embryons ne nécessite pas une connaissance approfondie des
relations causales qui, à la suite d'interactions complexes entre les gènes et
l'environnement, conduisent à l'un ou l'autre phénotype, il suffit de disposer
de données génétiques (bien que nombreuses) corrélées avec le
caractéristiques intéressantes pour les chercheurs.
Il est possible de faire quelques estimations provisoires des coefficients de
croissance maximum, qui sont obtenus selon divers scénarios de sélection
42
.
Tableau 5.
Augmentation maximale du quotient intellectuel (QI) résultant du choix entre un nombre
différent d'embryons
43
Sélection Points de QI supplémentaires

1er fevrier 4.2

1 sur 10 11.5

1 sur 100 18.8

1 sur 1000 24.3

5 générations 1 sur 10 < 65 (chaque génération suivante donne une plus

petite augmentation)
10 générations 1 sur 1 < 130 (chaque génération suivante donne une
plus petite augmentation)

Limite cumulée (tenant compte de la somme de 100 + [< 300 (chaque génération suivante donne
toutes les options optimisées en termes de une plus petite augmentation)]
capacités cognitives)
sur le tableau La figure 5 montre l'augmentation attendue de l'intelligence
en fonction de la taille de la population sélectionnée, en supposant que
toutes les informations sont disponibles sur le nombre total de variantes
génétiques additives sous-jacentes à la traçabilité de l'intelligence. (Des
informations incomplètes réduiront l'efficacité de la sélection, mais pas
autant qu'il peut sembler aux non-initiés
44
.) Sans surprise, la sélection à
partir d'un plus grand nombre d'embryons donne de meilleurs résultats,
mais pas proportionnellement. direct : choisir entre cent embryons n'est pas
cinquante fois préférable à choisir entre deux
45
.
Fait intéressant, la diminution des gains de QI est beaucoup plus faible
lorsque les résultats de la sélection se reflètent dans la génération suivante.
Par conséquent, un bien meilleur résultat est obtenu en sélectionnant
successivement 1 sur 10 pendant dix générations (lorsque chaque
génération suivante est constituée de celles sélectionnées à l'étape
précédente) que de sélectionner 1 sur 100 une fois. Naturellement, le
principal problème avec la sélection séquentielle est que cela prend plus de
temps. Si chaque étape prend vingt ou trente ans, même un projet de cinq
générations successives s'achèvera au milieu du XXIIe siècle. D'ici là, très
probablement, l'humanité réussira avec l'aide de méthodes de génie
génétique plus directes et plus puissantes (sans parler de l'intelligence
artificielle).
Cependant, une nouvelle idée a émergé qui pourrait grandement améliorer
le rôle bénéfique du dépistage génétique préimplantatoire, s'il est
suffisamment étudié pour s'appliquer aux humains, est la production de
spermatozoïdes et d'ovocytes viables à partir de cellules. mère
embryonnaire
46
. En utilisant cette méthode, une progéniture de souris
fertile et des cellules semblables à des gamètes humains ont déjà été
obtenues. En fait, il reste encore de nombreux problèmes scientifiques à
résoudre, et il faut au moins répéter les résultats obtenus chez la souris,
mais déjà chez l'homme, en évitant les déviations épigénétiques dans les
lignées de cellules souches résultantes. Selon le chercheur Katsuhiko
Hayashi, il sera possible de résoudre ces problèmes pour les cellules
humaines « peut-être dans dix ans, ou peut-être dans cinquante »
47
.
Avec les gamètes dérivés de cellules souches, tout couple marié aura
beaucoup plus d'options à choisir. De nos jours, la FIV crée généralement
moins de dix embryons. Dans le cas de l'obtention de gamètes à partir de
cellules souches, seules quelques cellules du donneur peuvent devenir un
nombre pratiquement illimité de gamètes, dont les embryons seront soumis
à un génotypage et un séquençage pour sélectionner les plus prometteurs
pour l'implantation. Selon le coût de préparation et d'évaluation d'un
embryon, cette technologie peut augmenter considérablement les options
sélectives offertes aux parents qui ont choisi la procédure de FIV.
Mais autre chose est beaucoup plus important : la méthode d'obtention de
gamètes à partir de cellules souches permettra de consacrer beaucoup moins
de temps à la sélection de plusieurs générations qu'il n'en faut à une
personne pour mûrir, puisqu'elle implique l'utilisation d'une
sélection
itérative d'embryons
. Cette procédure comprend certaines étapes
48
.
1.
                                 
Génotypage et sélection des embryons avec les meilleures
caractéristiques génétiques requises.
2.
                 
Extrayez les cellules souches de ces embryons et convertissez-les
en spermatozoïdes et en ovules qui mûrissent en six mois, voire moins
49
.
3.
                 
Fécondation de l'ovule avec du sperme et production de nouveaux
embryons.
4.
                                 
Répétez ce cycle jusqu'à ce que des changements génétiques
notables s'accumulent.
De cette manière, il est possible de sélectionner entre dix générations ou
plus en quelques années seulement. (Il s'agit d'une procédure longue et
coûteuse, mais elle ne doit être effectuée qu'une seule fois, plutôt que
répétée pour chaque enfant. Le pool de cellules résultant peut être utilisé
pour produire un grand nombre d'embryons améliorés.)
Comme on peut le voir dans le tableau. 5, le
niveau moyen
d'intelligence
des personnes nées à la suite d'une telle sélection peut être très élevé, peut-
être égal ou même supérieur à celui des membres les plus brillants de la
race humaine. Le monde, dont une partie importante de la population serait
composée de personnes ayant un tel développement intellectuel, pourrait,
avec la culture, l'éducation et l'infrastructure de communication
appropriées, être une superintelligence collective.
L'impact de la sélection d'embryons à l'avenir pourrait encore être affaibli et
retardé. Il existe un retard biologiquement inévitable associé au
développement humain : il faudra au moins vingt ans pour que des
embryons sélectionnés deviennent des êtres humains en âge de procréer ; Il
leur faudra encore plus de temps pour devenir une partie visible de leur
environnement social. De plus, même si la technologie est perfectionnée, la
volonté de la société d'accepter de telles personnes peut être très faible.
Dans certains pays, ils seront totalement interdits, sur la base de
considérations éthiques ou de traditions religieuses
50
. Même avec un
choix, de nombreux couples préféreront toujours la méthode naturelle de
conception. Mais l'acceptation de la FIV commencera progressivement à
augmenter si les avantages de cette procédure deviennent clairs, et surtout
le principal - la véritable garantie que l'enfant sera très doué et dépourvu de
prédisposition génétique à la maladie. La sélection génétique sera soutenue
par les faibles coûts des manipulations médicales et les revenus élevés
attendus plus tard dans la vie. Au fur et à mesure que la procédure devient
plus populaire, en particulier parmi les secteurs d'élite de la société, il peut y
avoir un changement culturel dans les normes parentales; par conséquent, le
choix en faveur de la FIV deviendra une preuve de l'attitude responsable
des personnes envers leurs responsabilités parentales. . A terme, même les
sceptiques succomberont à la mode pour que leurs enfants ne soient pas
désavantagés par rapport aux enfants "améliorés" de leurs amis et collègues.
Certains pays peuvent introduire des incitations financières pour encourager
leurs citoyens à utiliser la sélection génétique pour améliorer la qualité du
"capital humain" ou améliorer la stabilité sociale à long terme, en utilisant
des traits de personnalité tels que la soumission, la volonté d'obéir,
l'humilité, la conformité, l'aversion au risque comme sélection . Jugement et
lâcheté : Naturellement, la culture de telles populations aura lieu en dehors
des clans au pouvoir.
Le renforcement des capacités intellectuelles d'une personne dépendra
également du degré de sélection des caractéristiques cognitives (voir
tableau 6). Ceux qui décident de tirer parti de la procédure de sélection
d'embryons d'une manière ou d'une autre devront décider comment répartir
le potentiel entre leurs mains, car l'intelligence rivalisera dans une certaine
mesure avec d'autres propriétés tout aussi souhaitables : santé, beauté,
personnalité et physique particuliers. . force. Un compromis raisonnable
serait la nature itérative de la sélection des embryons, qui a un potentiel
sélectif important et se traduira par une sélection cohérente et rigoureuse
basée sur divers critères. Cependant, cette procédure conduira à la
destruction du lien génétique direct entre les parents et les enfants, ce qui
peut affecter négativement la demande de FIV dans de nombreuses cultures
civilisationnelles
51
.
Tableau 6.
Impact possible de la sélection génétique selon différents scénarios
52
adoption de "ECO+". Choix « FIV agressive "Oeuf d'un tube à "Sélection
la technologie de 1 des 2 ». Choix de 1 essai". Choix de 1 itérative
embryons (4 embryon sur 10 embryon sur 100 d'embryons" (plus
points) (12 points) (19 points) de 100 points)

Acceptation Socialement Socialement Les personnes Des embryons

"Dans un cas insignifiant, insignifiant, "améliorées" sélectionnés
extrêmement puisque le résultat puisque le résultat forment une occupent des
rare" - est visible à est visible à minorité positions
~0,25 % l'échelle d'une l'échelle d'une significative dans dominantes parmi
génération. génération. les emplois à forte les scientifiques, les
L'opinion publique L'opinion demande en avocats, les
controversée publique compétences médecins, les
prime sur controversée cognitives. ingénieurs.
l'évaluation prime sur Renaissance
impartiale des l'évaluation intellectuelle ?
conséquences impartiale des
directes conséquences
directes

adoption de "ECO+". Choix « FIV agressive "Oeuf d'un tube à "Sélection

la technologie de 1 des 2 ». Choix de 1 essai". Choix de 1 itérative
embryons (4 embryon sur 10 embryon sur 100 d'embryons" (plus
points) (12 points) (19 points) de 100 points)

Acceptation Impact mineur. Un Une grande Les humains issus "Post-Humanité"

53
des "couches petit changement proportion d'embryons
principalement cognitif dans la d'étudiants sélectionnés
d'élite" - 10% première "améliorés" de occupent des
génération, Harvard. La positions
combiné à une deuxième dominantes parmi
sélection de traits génération domine les scientifiques, les
non intelligents, les professions avocats, les
pour créer des exigeantes sur le médecins et les
avantages plan cognitif ingénieurs dès la
tangibles dans une première génération.
minorité de la
population.

Acceptation Les problèmes Une augmentation Dans la première "Posthumanité"

de la d'apprentissage significative de la génération, un QI
"nouvelle sont beaucoup réussite comme celui des
normalité" -> moins fréquents scientifique, des scientifiques de
90% chez les enfants. revenus élevés. premier plan est dix
Dans la deuxième Dans la deuxième fois plus courant.
génération, le génération, une Dans la deuxième
 nombre de augmentation génération, mille
personnes ayant un multiple du fois plus souvent.
QI supérieur à la nombre de
moyenne a doublé personnes ayant
un QI élevé
Avec le développement ultérieur des technologies génomiques, il sera peut-
être possible de synthétiser des génomes selon une spécification donnée, et
alors le besoin de stocks importants d'embryons disparaîtra. Aujourd'hui, il
n'est toujours pas possible de synthétiser l'intégralité du génome humain et
de l'utiliser à des fins de reproduction, principalement en raison des
difficultés encore non résolues concernant le bon déroulement des
processus épigénétiques
54
, bien que la synthèse d'ADN soit déjà devenue
un domaine commun de la biotechnologie et soit presque entièrement
automatisé. Lorsque la technologie génomique atteindra un niveau élevé, il
sera possible de concevoir un embryon avec la combinaison exacte des
contributions génétiques des deux parents. Il sera aussi possible d'ajouter
des gènes qu'ils n'ont pas, dont des allèles assez rares dans la population
mais qui peuvent avoir un effet marqué sur les capacités cognitives d'un
enfant
55
.
Après la synthèse réussie du génome humain, l'une des opérations
disponibles sera le diagnostic génétique de l'embryon. (La sélection
itérative d'embryons peut également se rapprocher de cela.) Chacun de nous
a des mutations, peut-être des centaines de mutations, réduisant l'efficacité
de divers processus cellulaires
56
. L'effet de chaque mutation individuelle
peut être négligeable (c'est pourquoi elle est retirée si lentement du pool
génétique), mais ensemble, elles peuvent sérieusement affecter notre
viabilité
57
. Les différences individuelles d'intelligence peuvent être
largement dues aux différences dans le nombre et la nature de ces allèles
légèrement dangereux que chacun de nous porte. Au cours de la synthèse
des gènes, on peut prendre le génome d'un embryon et en construire une
version qui sera dépourvue du « bruit » génétique des mutations
accumulées. Cela peut sembler provocateur, mais les personnes créées à
partir de ces génomes éprouvés peuvent s'avérer plus "réelles" que tous
ceux qui vivent actuellement sur la planète, car elles seront une version
moins déformée d'une personne. Ils ne seront pas tous des copies exactes les
uns des autres, car les gens sont génétiquement très différents, même si les
mutations nocives ne sont pas prises en compte. Mais le reflet phénotypique
d'un génome exempt de mutations indésirables peut être un état physique et
mental exceptionnel d'une personne, sa supériorité dans des domaines aussi
polygéniques que l'intelligence, la santé, le courage et l'apparence
58
.
Comme analogie lointaine, je citerai des portraits généralisés de personnes,
les soi-disant visages moyennés, dans la préparation desquels les défauts de
nombreux visages superposés sont moyennés (voir Fig. 6).

Riz. 6. Portraits généralisés de personnes comme métaphore du génome édité.

Les visages
féminins et masculins moyens sont obtenus en superposant seize photographies de personnes
différentes (habitants de Tel-Aviv). Un portrait généralisé est considéré comme plus beau que
n'importe lequel des visages spécifiques qui le composent, car il calcule la moyenne des déviations
caractéristiques de ses constituants. Par analogie avec cela, dans le cas de l'élimination de mutations
individuelles résultant de l'utilisation de génomes génétiquement diagnostiqués, c'est-à-dire modifiés,
des personnes proches de l'idéal de Platon peuvent apparaître. Cependant, ils ne doivent pas
nécessairement être génétiquement identiques, car de nombreux gènes possèdent un ensemble
complet d'allèles également fonctionnels. Une vérification ne supprimera que les déviations résultant
de mutations nuisibles
59
.
Une méthode biotechnologique telle que le clonage peut être demandée. Un
jour, le clonage humain deviendra une réalité. Pourquoi ne pas utiliser des
clones pour reproduire le génome de personnes exceptionnellement
talentueuses ? L'introduction de ce type de manipulation sera limitée en
raison de la réticence de la plupart des parents potentiels à perdre leur lien
génétique avec les futurs enfants. Mais en principe, cet outil, qui a ses
aspects positifs, ne doit pas être négligé : premièrement, même une
tendance relativement faible à augmenter le nombre de personnes
exceptionnellement talentueuses aura un impact assez fort ; deuxièmement,
il y aura probablement un pays qui commencera à mettre en œuvre un
programme de maternité de substitution eugénique à grande échelle, bien
sûr, sur une base rémunérée. Au fil du temps, les gens auront recours à des
méthodes de génie génétique aussi sérieuses que la création de nouveaux
gènes synthétiques ou l'inclusion de promoteurs et d'autres éléments dans le
génome pour contrôler l'expression des gènes. Des options assez exotiques
peuvent apparaître : un grand réservoir rempli de tissu cérébral de structure
complexe cultivé artificiellement ; certaines créatures transgéniques
"transformées" (un peu comme des mammifères avec de gros cerveaux,
comme les baleines ou les éléphants, mais dotés de gènes humains). Bien
sûr, la fiction à l'état pur, mais qui peut promettre ?
Jusqu'à présent, nous n'avons discuté que des interventions au niveau
germinal. Théoriquement, nous pouvons arriver au résultat souhaité
beaucoup plus rapidement : en modifiant génétiquement les cellules
somatiques, ce qui nous permettra de contourner le cycle de maturation
générationnelle. D'un point de vue pratique, ce chemin est beaucoup plus
compliqué, car il faudra introduire des gènes modifiés dans un grand
nombre de cellules d'un organisme vivant, et si notre but est d'améliorer les
fonctions cognitives du cerveau, alors il devra faire des injections directes
dans le cerveau. Lors de la sélection des cellules germinales et des
embryons dont nous disposons, aucune injection de gène n'est nécessaire.
Même les thérapies géniques germinales qui impliquent la nécessité de
modifier le génome (par exemple, corriger ou connecter des allèles rares)
sont beaucoup plus faciles à mettre en œuvre au stade embryonnaire
lorsqu'un petit nombre de cellules sont impliquées. De plus, une
intervention au niveau de l'embryon peut conduire à de meilleurs résultats,
puisque l'effet sur le cerveau se produit à un stade précoce de sa formation,
tandis que l'effet somatique sur les adultes devrait se limiter à corriger
uniquement la structure existante. (Dans certains cas, la thérapie génique
somatique est tout à fait remplaçable par un traitement médicamenteux.)
Sur la base de ce qui précède, il convient de rappeler que lors du choix
d'une méthode telle que l'intervention au niveau germinal, le facteur temps
doit toujours être pris en compte : les années nécessaires à la croissance
repoussent inévitablement l'importance de l'impact de l'arrivée d'un
nouvelle génération dans le monde
60
. Même si nous disposions déjà de la
technologie la plus avancée répondant aux exigences des chercheurs, il
faudrait plus de deux décennies pour que des descendants génétiquement
modifiés atteignent la maturité. Surtout, lorsqu'il s'agit de nouvelles
méthodes qui sont testées chez l'homme, entre la preuve de concept
expérimentale en laboratoire et le début de l'application de la méthode dans
la pratique médicale, il s'écoule généralement dix ans, au cours desquels se
multiplient les études de Sécurité. et des essais cliniques à grande échelle.
Avec les formes les plus simples de sélection génétique, de tels contrôles ne
sont probablement pas nécessaires, car les traitements de fertilité standard et
les informations génétiques sont utilisés pour sélectionner délibérément des
embryons qui seraient autrement sélectionnés au hasard.
Bien sûr, les retards peuvent également être dus à des circonstances
internes, liées non pas tant à la peur de commettre des erreurs et de nuire
(d'où les exigences de nombreux contrôles de sécurité), mais à la peur du
succès - peur causée par la peur de la licéité éthique des la sélection et ses
larges conséquences sociales (d'où la nécessité de développer des mesures
de régulation). Dans chaque pays développé, en raison de ses
caractéristiques culturelles, historiques et religieuses, cette préoccupation
s'exprime à sa manière. Après la Seconde Guerre mondiale, l'Allemagne a
préféré éviter toute méthode de reproduction qui ressemblait même de loin
à une tentative d'amélioration de la nature humaine, une position plus que
compréhensible, compte tenu de la sombre histoire des crimes commis par
les nazis au nom de l'eugénisme. Dans d'autres pays occidentaux, ils verront
probablement les choses plus largement. Certains États, très probablement
la Chine ou Singapour, où il existe déjà une politique démographique à long
terme, pour élever le niveau intellectuel de leurs populations, peuvent non
seulement autoriser, mais aussi promouvoir activement l'utilisation de la
sélection génétique et du génie génétique. quand le développement des
technologies le permet.
Dès qu'un précédent est créé et que de vrais résultats deviennent visibles,
immédiatement tous ceux qui le voulaient, mais retardent la résolution du
problème, seront fortement incités à suivre l'exemple des pionniers. Les
pays qui préfèrent rester à l'écart seront inévitablement confrontés à la
perspective d'être à jamais piégés dans un bourbier intellectuel, de perdre
leurs positions économiques, scientifiques et militaires et de perdre à jamais
leur influence dans le monde au profit d'États qui n'ont pas peur des
nouvelles technologies pour améliorer la qualité humaine. capacités. La
population commencera à se demander pourquoi seuls les enfants
génétiquement sélectionnés étudient dans des établissements
d'enseignement prestigieux (qui, en moyenne, différeront toujours par leur
attrait extérieur, leur santé et leur persévérance); Naturellement, les citoyens
voudront que leur future progéniture puisse bénéficier des mêmes
avantages. Il est possible qu'après que le génie génétique commence à
fonctionner et que ses premiers résultats soient confirmés, dans un délai
relativement court, peut-être des décennies, il y ait un changement de
comportement sérieux. Des enquêtes aux États-Unis montrent des
changements significatifs dans l'opinion publique concernant la procédure
de FIV depuis l'introduction en 1978 de Louise Brown, le premier "bébé
éprouvette". Quelques années plus tôt, seulement 18 % des Américains
accepteraient la FIV pour l'infertilité ; peu après la naissance de Louise
Brown, les consonnes étaient déjà à 53 %, et leur nombre ne cesse de
croître
61
. (En comparaison, dans une enquête de 2004, 28  % des
Américains approuvaient la sélection d'embryons pour «  la force et
l'intelligence », 58 % pour « éviter le risque de développer un cancer à l'âge
adulte » et 68 % pour « prévenir le risque d'enfance incurable. maladies." ."
»
62
.)
Énumérons à nouveau les cas qui entraînent un retard dans les résultats: la
collecte d'informations nécessaires à la sélection réussie d'un ensemble
d'embryons obtenus à la suite de la procédure de FIV -
à partir de
cinq à
dix ans
(les gamètes de cellules souches peuvent mettre beaucoup plus de
temps à devenir disponibles pour être utilisés dans la reproduction
humaine); la formation d'une demande socialement significative et
l'introduction du service lui-même -
dix ans
; le temps qu'il faut
à
la
génération "améliorée" pour atteindre l'âge productif,
vingt à vingt-cinq ans
. En résumant toutes les chronologies, nous pouvons voir qu'il est peu
probable que les technologies germinales d'amélioration humaine
commencent à avoir un impact significatif sur l'environnement social dans
la première moitié de ce siècle. Cependant, à la suite de l'application de
méthodes génétiques, déjà à partir du milieu du siècle, une augmentation
significative des capacités intellectuelles de la population adulte sera notée
dans un segment assez large de la société. Une fois que des cohortes de
personnes conçues à l'aide de technologies génétiques avancées, telles que
l'utilisation de cellules souches embryonnaires et la sélection itérative
d'embryons, entreront dans les rangs de la population active, le taux de
croissance intellectuelle augmentera considérablement.
Lorsque les technologies génétiques décrites ci-dessus atteindront leur plein
développement (en laissant de côté pour l'instant les options exotiques
comme l'intelligence dans le tissu cérébral artificiellement cultivé), le
monde sera convaincu que les représentants des nouvelles générations
seront, en moyenne, incomparablement plus intelligents que les anciens. .
les gens du passé. même ceux qui ont le QI le plus élevé. Le potentiel
d'amélioration biologique à l'avenir est si élevé qu'il pourrait bien suffire à
l'émergence d'une personne superintelligente, du moins à ses débuts. Il n'y a
rien d'étonnant. En fin de compte, c'est ainsi que l'Homo sapiens est né :
lorsque certains types d'anthropoïdes ont considérablement augmenté leurs
capacités intellectuelles par rapport aux progéniteurs des hominidés, et que
leur développement s'est produit à la suite d'une méthode aussi aveugle et
incontrôlée que le processus évolutif. Par conséquent, il n'y a aucune raison
de supposer que l'
Homo sapiens
, ayant soi-disant atteint le sommet de
l'activité intelligente, est le couronnement du système biologique. Nous
sommes loin de l'espèce la plus intelligente que la nature ait pu concevoir.
Nous sommes probablement mieux perçus comme l'espèce la plus stupide
de la nature qui sait tout, mais comme une espèce capable de créer et de
renforcer une civilisation technologique, une niche que nous n'avons pas du
tout remplie à cause de notre, comme c'est généralement le cas cru,
adaptabilité. optimal, mais seulement parce qu'ils y sont arrivés en premier.
Les progrès sur la voie du développement biologique sont bien réels. Mais
en raison du retard inévitable de toute une génération, ce ne sera pas aussi
soudain que les scénarios d'IA. (Il est peu probable que le temps joue un
rôle aussi important dans la thérapie génique des cellules somatiques et les
approches pharmacologiques, mais ces approches sont moins susceptibles
de provoquer des changements notables.)
Maximum
Le potentiel
de
l'intelligence artificielle est bien sûr bien supérieur à l'intelligence naturelle
inhérente à l'homme. (La taille de l'écart peut être estimée en comparant la
différence de vitesse entre les composants électroniques et les cellules
nerveuses  : les transistors d'aujourd'hui sont dix millions de fois plus
rapides que les neurones biologiques.) Cependant, même des améliorations
relativement faibles de l'intelligence biologique pourraient avoir de graves
conséquences. En particulier, cela stimulerait le développement scientifique
et technologique qui, à son tour, contribuerait au succès du développement
de méthodes plus efficaces à la fois pour améliorer les capacités mentales
biologiques et pour développer l'intelligence artificielle. Pensez à la vitesse
à laquelle nous progresserions vers la création de l'intelligence artificielle, si
le monde était habité par des millions de personnes qui surpassaient en
intelligence tout penseur exceptionnel du passé, et que l'homme le plus
commun sur terre n'était en aucun cas inférieur. . à Alan Turing avec John
von Neumann
63
.
Arrêtons-nous un instant sur la discussion des implications stratégiques du
développement cognitif et essayons de résumer ce qui a été dit en faisant
trois remarques importantes :
1)
                 
Avec l'aide de méthodes biotechnologiques, nous pouvons arriver
à l'existence d'un supramental, du moins à son stade initial ;
2)
                 
la montée en puissance de personnes intellectuellement améliorées
soulève la possibilité de développer un jour l'intelligence artificielle sous
des formes hautement développées, car la tâche même de créer une IA sera
absolument accessible et simple pour les personnes améliorées de la
nouvelle génération, à condition, bien sûr, que nous réalisions être
fondamentalement incapable de se débrouiller seul (bien qu'il n'y ait aucune
raison de supposer une telle chose);
3)
                 
nous envisageons des scénarios qui promettent de se terminer au
plus tôt dans la seconde moitié de ce siècle, et peut-être même plus tard  ;
cependant, comme nous le pensons jusqu'à présent, nous devons garder à
l'esprit qu'il est tout à fait possible qu'apparaisse une génération de groupes
de personnes génétiquement améliorées  : électeurs, inventeurs,
scientifiques, et les taux d'amélioration de leurs fonctions cognitives
augmenteront d'une décennie à l'autre. décennie. décennie.
interface neuro-informatique
Des propositions sont périodiquement avancées pour utiliser une interface
directe de neuro-ordinateur, en particulier des implants, qui permettront à
une personne d'utiliser toute la puissance de l'informatique électronique :
stockage parfait des informations, calculs arithmétiques rapides et précis,
transmission de données à large bande, comme As a Par conséquent, un tel
système hybride surpassera fondamentalement l'activité cérébrale dans
toutes les
fonctions
. La possibilité d'une connexion directe d'un ordinateur à un
cerveau biologique a été prouvée à plusieurs reprises, mais malgré cela, il
semble peu probable que les interfaces neuronales directes se généralisent
dans un avenir prévisible
65
.
Tout d'abord, nous notons qu'à la suite de l'implantation d'électrodes dans le
cerveau, il existe un risque important de complications médicales :
infections, déplacement d'électrodes, hémorragies, détérioration mentale. À
ce jour, le traitement des patients atteints de la maladie de Parkinson est
peut-être la démonstration la plus claire des bienfaits de la stimulation
cérébrale. Dans ce cas, un implant assez simple est utilisé, qui n'est pas
directement connecté au cerveau, mais crée simplement une décharge
électrique qui affecte le noyau sous-thalamique ou le noyau de Lewis. La
vidéo de démonstration montre une personne complètement immobilisée
par la maladie assise sur une chaise, qui reprend instantanément vie après
avoir connecté l'électrode : il commence à bouger les bras, se lève et
marche dans la pièce, tourne sur place et fait même des pirouettes. . Mais
cette procédure tout à fait simple et étonnamment réussie a aussi ses
inconvénients. Dans une étude sur des patients expérimentaux atteints de la
maladie de Parkinson, par rapport au groupe témoin, lorsqu'une électrode
était implantée dans le cerveau, une altération des fonctions suivantes a été
observée : élocution fluide, attention sélective, couleur et mémoire verbale.
Les patients évalués se sont souvent plaints d'une diminution de leurs
capacités mentales
66
. Lorsqu'il s'agit de personnes atteintes de maladies
graves, les risques et les effets secondaires peuvent être tolérés. Un
problème complètement différent est celui des citoyens en bonne santé qui
acceptent les manipulations neurochirurgicales. Dans de tels cas, toute
intervention devrait conduire à une amélioration significative de la fonction
cérébrale.
Peut-être une telle amélioration des capacités cognitives s'avérera-t-elle plus
difficile que la thérapie génique ; cela donne aussi le droit de douter que la
voie de la cyborgisation nous mène à la superintelligence. Les patients
paralysés peuvent bénéficier d'un implant qui remplace leurs nerfs
endommagés ou active les centres moteurs de la colonne vertébrale
67
. Les
patients ayant des problèmes de vision ou d'audition bénéficient
certainement de l'implantation d'une cochlée ou d'une rétine artificielle
68
.
Les patients atteints de la maladie de Parkinson ou de douleurs musculaires
chroniques bénéficient certainement d'une stimulation cérébrale profonde
qui stimule ou supprime l'activité dans des zones spécifiques du cerveau
69
.
Une tâche beaucoup plus difficile consiste à fournir une interaction directe à
large bande entre le cerveau et l'ordinateur pour une augmentation
remarquable des capacités intellectuelles, qui ne peut être obtenue par
d'autres moyens plus accessibles. La plupart des avantages potentiels qui
seront disponibles pour les personnes en bonne santé à la suite de
l'implantation d'électrodes peuvent être obtenus avec moins de risques, de
coûts et d'inconvénients simplement en utilisant des organes de mouvement
et des sens ordinaires lors de l'interaction avec des ordinateurs qui sont à
l'extérieur de notre corps. Pour accéder à Internet, nous n'avons pas besoin
de connecter un câble à fibre optique. En plus d'être dotée d'une rétine
capable de transmettre des données à une vitesse impressionnante d'une
dizaine de millions de bits par seconde, une personne possède également un
"logiciel préinstallé" sous la forme du cortex visuel, qui est parfaitement
équipé pour extraire du sens de ces tableaux de données. informations et
interagir avec d'autres zones du cerveau pour un traitement ultérieur
70
.
Même s'il existait un moyen relativement simple de pomper plus
d'informations dans notre cerveau, ces données supplémentaires
n'augmenteraient pas considérablement la vitesse à laquelle nous pensons et
apprenons, à moins que l'ensemble du mécanisme neuronal de traitement ne
soit "amélioré". Et puisqu'il comprend la quasi-totalité du cerveau, cela
nécessiterait en fait une « prothèse » du cerveau entier, en d'autres termes,
la création d'une intelligence artificielle universelle. Cependant, si
l'intelligence artificielle existait au niveau humain, pourquoi la
neurochirurgie serait-elle nécessaire ? Après tout, un ordinateur peut être
placé non seulement dans une boîte en os, mais également dans une boîte en
métal. Par conséquent, si nous nous tournons à nouveau vers l'intelligence
artificielle, nous emprunterons sûrement la voie que nous avons déjà
envisagée plus haut.
Les scientifiques suggèrent d'utiliser une interface neuro-informatique pour
lire les informations du cerveau humain afin de communiquer avec d'autres
personnes ou des ordinateurs
71
. Un système qui permet de déplacer le
curseur sur l'écran à l'aide de la pensée aiderait les patients atteints du
syndrome « enfermé »* à se connecter avec le monde extérieur
72
. La bande
passante de transmission de données dans de telles expériences est encore
très faible : le patient agonise en écrivant lettre par lettre à une vitesse de
plusieurs mots par minute. Il est facile d'imaginer une version améliorée,
selon toute probabilité, avec des implants à la pointe de la technologie, qui -
pour la traduction interne de la parole - seront implantés au centre de Broca.

* Le syndrome d'enfermement (syndrome d'isolement, syndrome de déafférentation) est un syndrome

caractérisé par l'absence de réponse adéquate du patient aux stimuli externes, y compris verbaux, en
raison d'une quadriplégie et d'une paralysie des muscles bulbaires, mimiques et masticateurs
.
Les
causes du développement du syndrome peuvent être une crise cardiaque de la base du cerveau, une
hémorragie cérébrale, une poliomyélite et certains poisons.
(section du cortex cérébral, située dans la partie postéro-inférieure du
troisième gyrus frontal, responsable de l'organisation motrice, phonologique
et syntaxique de la parole)
73
. Aujourd'hui, les systèmes de rétroaction sont
plus intéressants du point de vue de l'aide aux patients atteints d'atrophie
musculaire et aux personnes ayant subi un AVC. Cette dernière technologie
est encore peu utile à une personne en bonne santé, même si, en fait, elle
répète le même ensemble de fonctions fournies par la simple présence d'un
microphone et d'un programme de reconnaissance vocale, c'est-à-dire un
produit déjà en cours . notre marché et diffère pour le mieux par des
caractéristiques telles qu'une application pratique et indolore, un faible coût
et l'absence de risques associés à une intervention neurochirurgicale (et ne
donne pas non plus lieu à des fantasmes orwelliens sur un dispositif
d'écoute à l'intérieur du crâne). De plus, lorsque notre corps et l'ordinateur
ne sont physiquement connectés d'aucune façon, il est plus pratique de
réparer ce dernier et de l'équiper d'un nouveau logiciel.
Mais qu'en est-il du rêve humain incontournable, pour les gens de
communiquer non pas verbalement, mais directement, par l'activité
cérébrale, comme s'ils "portaient" leurs images, leurs pensées, leurs
connaissances et même leurs expériences les uns avec les autres  ? Nous
téléchargeons d'énormes fichiers sur des ordinateurs, y compris des
bibliothèques contenant des millions de livres et d'articles, littéralement en
quelques secondes ou minutes. N'aurons-nous jamais à faire de même
lorsqu'il s'agit de nos propres cerveaux et de nos propres informations ? La
facilité apparente de mise en œuvre de cette idée est probablement basée sur
une idée fausse sur la façon dont le cerveau humain perçoit et stocke les
informations. Comme nous l'avons déjà noté, le développement de
l'intelligence humaine ne limite pas la vitesse à laquelle les données entrent
dans la mémoire, mais plutôt la vitesse à laquelle le cerveau peut en extraire
des significations sémantiques et les réaliser. Il peut être destiné à
transmettre directement du sens, sans l'encadrer dans des informations
sensorielles que le destinataire devra décoder. Ici, nous avons deux
problèmes. La première est que le cerveau, contrairement aux programmes
que nous utilisons normalement sur les ordinateurs, n'utilise pas de formats
standards pour stocker et présenter les données. Au contraire, chaque
cerveau a ses propres façons uniques de présenter un contenu de haut
niveau. La combinaison de neurones utilisée pour transmettre un concept
particulier dépend de l'expérience unique d'un cerveau particulier (ainsi que
de divers facteurs génétiques et processus physiologiques stochastiques).
Comme dans le cas des réseaux de neurones artificiels, dans les réseaux de
neurones biologiques, la signification est représentée par l'ensemble de la
structure et des modèles d'activité de grandes régions qui se chevauchent,
plutôt que par des cellules de mémoire individuelles disposées en tableaux
ordonnés
74
. Il est donc impossible d'établir une correspondance simple
entre les neurones de deux personnes pour que les pensées circulent
automatiquement de l'une à l'autre. Si les pensées doivent être transmises
d'un cerveau à un autre d'une manière qu'ils peuvent comprendre, elles
doivent être décomposées et traduites en symboles selon un système
généralement accepté qui permet au cerveau récepteur de les interpréter
correctement. C'est déjà un problème linguistique.
Théoriquement
, on peut fournir une interface vers laquelle il serait possible
de transférer le travail cognitif d'articulation et d'interprétation des pensées.
Il devra être capable de lire d'une manière ou d'une autre les états des
neurones dans le cerveau émetteur et de les traduire en schémas
compréhensibles de déclenchement des neurones dans le cerveau récepteur.
Même en mettant de côté les difficultés techniques (évidentes) de lire et
d'écrire de manière fiable l'état de milliards de neurones individuels
simultanément, la construction d'une telle interface est probablement une
tâche d'IA complète en soi. L'interface doit inclure un composant capable
(en temps réel) de mettre en correspondance des modèles émergents dans
un cerveau avec des modèles sémantiquement équivalents dans l'autre
cerveau. Pour accomplir cette tâche, une compréhension détaillée à
plusieurs niveaux du mécanisme de calcul neuronal sera nécessaire, ce qui
peut directement conduire à la création d'IA neuromorphique.
Malgré ces réserves, l'évolution vers l'amélioration des capacités
intellectuelles tout au long de la création de cyber-organismes ne semble
pas tout à fait peu prometteuse. Les résultats impressionnants des travaux
sur l'hippocampe du rat ont montré la possibilité de créer une prothèse
neurale capable d'améliorer les performances d'une simple tâche de
mémoire
75
. A ce jour, l'implant lit les informations d'une douzaine à deux
douzaines d'électrodes situées dans la région CA3 de l'hippocampe et les
transmet au même nombre de neurones situés dans la région CA1 de
l'hippocampe. Le microprocesseur peut distinguer deux motifs d'excitation
dans la première région (correspondant à deux types d'informations : "stick
droit" et "stick gauche") et apprendre comment ces motifs sont transmis à la
deuxième région. De telles prothèses peuvent non seulement restaurer le
fonctionnement du cerveau dans une situation où l'interaction neuronale
normale entre deux zones de neurones est perturbée, mais aussi, en raison
de l'activation ciblée du modèle requis dans la deuxième zone, elles peuvent
augmenter l'efficacité de la tâche par rapport au niveau habituel pour les
rats. Bien que techniquement impressionnante selon les normes
d'aujourd'hui, l'expérience laisse de nombreuses questions sans réponse.
Dans quelle mesure cette approche évolue-t-elle ? Après tout, le nombre de
combinaisons de régions cérébrales en interaction, ainsi que les neurones
qui y entrent et en sortent, est très important, alors pouvons-nous éviter une
explosion combinatoire lorsque nous essayons de cartographier les
interactions dans le cerveau  ? Ne serait-ce pas que, bien que les
performances du problème de test augmentent, certains coûts cachés y sont
associés, comme une capacité réduite à généraliser les stimuli ou une
incapacité à oublier une certaine association après que l'environnement a
changé ? Les humains, qui, contrairement aux rats, disposent de supports de
stockage externes comme du papier et des stylos, bénéficieraient-ils de ces
opportunités  ? Serait-il facile d'appliquer une méthode similaire à d'autres
zones du cerveau ? Alors que la prothèse décrite est aidée par la structure
relativement simple des régions de l'hippocampe, qui permet la
transmission séquentielle du signal dans une direction (essentiellement une
connexion à sens unique entre les régions CA3 et CA1), d'autres structures
du cortex cérébral utilisent des boucles de rétroaction récurrentes, qui
augmente considérablement la complexité du schéma de connexion et,
apparemment, rendra difficile le déchiffrement de l'ensemble des fonctions
des groupes de neurones qui y sont intégrés.
Quant au développement des cyborgs, on espère que le cerveau, équipé d'un
implant qui maintient la communication avec l'environnement extérieur,
finira par
apprendre à
comparer son état interne avec les signaux externes
qu'il reçoit. Dans ce cas, l'implant n'a pas besoin d'être intelligent, mais
plutôt le cerveau devra se connecter intelligemment à l'interface, tout
comme le cerveau d'un enfant apprend progressivement à interpréter les
signaux provenant du monde extérieur à travers les récepteurs des organes
de la vision. et audience
76
. Et encore une fois la question naturelle se pose :
apportera-t-il un réel bénéfice ? Supposons que le cerveau soit
suffisamment plastique pour apprendre à reconnaître des modèles dans un
nouveau flux d'entrées projetées sur son cortex via une interface cerveau-
ordinateur, mais pourquoi ne pas projeter les mêmes informations
directement sur la rétine sous forme d'images visuelles ? ou dans un
escargot dans le cerveau? forme sonore ? L'utilisation de méthodes low-tech
permettra d'éviter de nombreux problèmes, même si dans les deux cas notre
cerveau devra utiliser des mécanismes de reconnaissance de formes et sa
plasticité inhérente pour apprendre à comprendre l'information.
Réseaux et organisations
Une autre voie potentielle menant à la superintelligence est l'amélioration
progressive des réseaux et des organisations qui relient les esprits des gens
entre eux et avec divers objets artificiels et bots, c'est-à-dire des
programmes qui effectuent des actions automatiquement au lieu d'une
personne. Il ne s'agit pas d'améliorer les capacités cognitives des individus
et éventuellement d'engendrer une population de super-intellectuels. L'idée
est différente : créer une sorte d'association d'individus organisés de
manière à ce que ce réseau émergent dans son développement puisse
atteindre un niveau supraintellectuel - un réseau que dans le chapitre suivant
nous appellerons "surintelligence collective"
77
.
Aux temps préhistoriques et historiques, l'intelligence collective a aidé
l'humanité à accomplir beaucoup de choses. Les sources du succès sont très
différentes : les innovations dans les médias, et cela devrait inclure
l'invention de l'écriture et de l'imprimerie, sans parler de l'émergence des
langues elles-mêmes ; la croissance démographique et l'augmentation de sa
densité ; amélioration des formes d'organisation institutionnelle et des
normes de connaissance ; accumulation progressive de capital
institutionnel. En effet, le système d'intelligence collective est limité par les
capacités de renseignement de ses membres, le coût du transfert
d'informations entre eux, et diverses lacunes et inefficacités inhérentes à
toute communauté humaine. À mesure que le coût de toutes sortes de
communication diminue (non seulement le coût de l'équipement, mais aussi
le temps passé à attendre une réponse, le coût du temps et de l'attention, et
d'autres facteurs), il devient possible de créer des organisations plus grandes
et cohésives. Il en va de même d'une lutte réussie contre les extrêmes
départementales individuelles qui faussent toute vie organisationnelle : jeux
d'images ruineux et revendications de statut ; dispersion des ressources;
non-respect des délais d'exécution des tâches; dissimulation de faits;
falsification d'informations et autres problèmes liés au choix entre le libre
arbitre et les conditions imposées. Même la suppression partielle des
distorsions apporte des avantages impressionnants à l'intelligence
collective.
Il existe de nombreuses innovations technologiques et institutionnelles qui
peuvent influencer la croissance de notre intelligence collective. Par
exemple, les marchés actuels des prévisions de politique de dotation
favorisent l'établissement de normes d'équité et facilitent le développement
de projections sur des questions scientifiques et sociales controversées
78
.
Les détecteurs de mensonges (s'il est possible d'organiser la production de
polygraphes fiables et faciles à utiliser) pourront réduire le niveau de fraude
dans les activités des personnes
79
. Détecteurs d'auto-tromperie Mais même
sans nouveaux jeux d'esprit, certaines formes de tromperie cessent d'être
pertinentes, perdant leur attrait pour un certain nombre de raisons, telles que
: la disponibilité d'informations sur la réputation et le passé d'une personne ;
promulgation de règles épistémologiques strictes* ; la priorité du bon sens
dans la culture des organisations. Les systèmes de surveillance, qu'ils soient
mis en œuvre sur une base volontaire ou obligatoire, généreront de grandes
quantités d'informations sur le comportement humain. Plus d'un milliard de
personnes partagent leurs informations personnelles sur des sites de réseaux
sociaux ; Très bientôt, tous les utilisateurs, à l'aide de microphones et de
caméras vidéo intégrés aux smartphones ou aux montures de lunettes,
pourront télécharger un flux continu de leur vie. L'analyse automatisée de
ces flux de données débouchera bien sûr sur de nombreuses nouvelles
applications, pour le meilleur et pour le pire
81
.
La croissance du niveau d'intelligence collective peut également être
associée à des changements organisationnels et économiques généraux et à
l'augmentation de la population de grandes communautés de réseaux
sociaux, composées de personnes éduquées, en échange constant
d'informations et intégrées à la culture mondiale
82
.
Internet reste le champ d'action le plus dynamique, à l'avant-garde de
l'innovation et de l'expérimentation. Et une grande partie de son potentiel
n'a pas encore été dévoilé. Il est nécessaire de renforcer les réseaux
intellectuels, de soutenir activement le format des discussions intelligentes,
d'essayer d'éviter les préjugés, de développer des mécanismes pour
transformer les jugements privés en décisions collectives - tout cela devrait
contribuer de manière significative au développement de l'intelligence
collective de l'humanité dans son ensemble. des communautés entières et
des individus.
Il est temps de parler de l'idée complètement fantastique qu'Internet pourrait
un jour "se réveiller". Peut-il devenir quelque chose de plus qu'un lieu de
concentration d'un principe superintelligent collectif encore faiblement
exprimé, quelque chose comme un crâne virtuel qui contient le germe d'une
seule superintelligence ? (Le célèbre essai de 1993 de Vernon
Vinge
"Next,
the Technological Singularity" discute de ce scénario comme l'une des
façons dont la superintelligence émergerait, et l'auteur a même inventé le
terme "singularité technologique".
L'apparition spontanée
semble presque
incroyable.Cependant, ce n'est pas que l'une des prochaines versions
d'Internet deviendra soudainement super-intelligente par pur hasard.Un
scénario plus plausible est différent  : Internet s'améliorera pas à pas,
accumulant tout ce qui est plus avancé, grâce aux efforts de nombreuses
personnes au fil des ans, efforts visant à améliorer les algorithmes de
recherche, de sélection et d'analyse des informations, à créer des formats de
présentation de données plus puissants, de meilleurs logiciels autonomes et
des protocoles plus efficaces qui régissent l'interaction de ces bots. En fin
de compte, de nombreux petits changements constitueront la base d'une
manière unifiée d'offrir une intelligence réseau. À tout le moins, il est tout à
fait possible qu'un système cognitif basé sur le Web émergera, sans pénurie
de puissance de calcul et d'autres ressources nécessaires à une croissance
explosive, à l'exception d'un ingrédient essentiel. Et lorsque cet ingrédient
est trouvé et jeté dans le chaudron commun, tout ce qui a été fait
précédemment s'enflamme et devient une superintelligence. Cependant, ce
scénario se tourne à nouveau vers la voie de l'apparition de la
superintelligence qui nous est déjà familière - la création d'une intelligence
artificielle universelle.
Sommaire
Il existe donc de nombreuses voies différentes vers la superintelligence, et
ce fait indiscutable donne une certaine confiance que nous finirons par y
arriver.
Si nous ne pouvons pas aller dans un sens, nous en choisirons un autre.
Cependant, la variété des options ne nous mènera pas à de nombreuses
destinations. Même s'il y a une amélioration notable des capacités
cognitives dans l'une des voies non liées à l'IA, cela ne signifie pas que l'IA
a perdu de son importance. Au contraire, au contraire : l'esprit humain et
organisationnel qui s'est développé au-delà de toute mesure accélérera le
développement de la science et de la technologie, ce qui pourrait rapprocher
l'apparition de moyens radicaux de créer une intelligence artificielle
universelle, comme l'émulation cérébrale totale.
De ce qui précède, il ne faut pas conclure que nous ne nous soucions pas de
la route vers le surmental que nous empruntons. Le chemin choisi peut
avoir un sérieux impact sur le résultat final. Même si les nouvelles
opportunités acquises ne sont pas trop motivées par le choix de la direction,
la manière dont elles seront utilisées et le degré de contrôle que nous avons
sur elles peuvent bien dépendre de l'approche adoptée. Par exemple,
l'amélioration de l'intelligence humaine ou organisationnelle peut accroître
la volonté des gens de prendre des risques et de réaliser la mise en œuvre
d'une telle superintelligence mécanique qui sera sûre et bénéfique pour
l'humanité. (Afin d'arriver à une évaluation stratégique complète de cela, de
nombreuses difficultés devront être surmontées; nous n'en discuterons qu'au
chapitre quatorze.)
Il faut espérer que la première véritable superintelligence (par opposition à
une légère augmentation du niveau actuel des capacités cognitives)
apparaîtra à la suite du mouvement vers l'intelligence artificielle.
Cependant, ce chemin est associé à une grande incertitude. Par conséquent,
il est difficile d'estimer avec précision sa durée et le nombre d'obstacles
auxquels nous serons confrontés. L'émulation du cerveau entier a des
chances d'être le moyen le plus rapide d'atteindre la superintelligence.
Comme les progrès dans cette voie nécessitent plus de solutions
technologiques que d'avancées théoriques, il y a lieu de croire que le succès
peut être atteint à long terme. Et pourtant, avec un haut degré de confiance,
nous soutenons que même avec des progrès constants dans la simulation
informatique du cerveau, l'intelligence artificielle sera la première à franchir
la ligne d'arrivée : la raison en est que l'intelligence artificielle
neuromorphique sera également capable de créer en utilisant une partie
cerveau. émulation.
Le problème de l'amélioration biologique des capacités intellectuelles,
notamment à partir de la sélection génétique, est clairement soluble. La
sélection itérative d'embryons semble être une technologie prometteuse à
l'heure actuelle. Cependant, par rapport aux progrès possibles de
l'intelligence artificielle, les améliorations biologiques se produiront
relativement lentement et progressivement. Au mieux, elles conduiront à
l'essor d'une forme relativement faible de superintelligence (nous y
reviendrons bientôt).
Avec la possibilité réelle d'amélioration biologique de l'intelligence, nous
sommes de plus en plus convaincus que l'intelligence artificielle finira par
être créée, car les humains (scientifiques et ingénieurs) intelligemment
améliorés peuvent faire des progrès plus importants et plus rapides que
leurs
homologues ordinaires.
Surtout dans les scénarios où l'IA ne devrait
pas être créée avant le milieu de notre siècle, un rôle énorme est attribué à
une cohorte progressivement croissante de personnes intelligemment
améliorées.
Il est peu probable que les interfaces cerveau-ordinateur soient la voie vers
la superintelligence. Les améliorations des réseaux et des organisations
peuvent conduire à l'émergence de formes plus faibles d'intelligence
collective à long terme, mais elles sont plus susceptibles de jouer un rôle de
catalyseur, tout comme l'amélioration biologique de l'intelligence,
augmentant progressivement l'efficacité de l'intelligence. l'activité mentale
des gens pour résoudre des problèmes. problèmes intellectuels. Par rapport
aux améliorations biologiques, les progrès dans le développement de
réseaux et d'organisations se produiront plus rapidement ; en fait, cela se
produit déjà et a déjà un impact significatif sur nos vies. Cependant, les
améliorations des réseaux et des organisations auront moins d'impact sur le
développement de la capacité humaine à résoudre les problèmes
intellectuels que les améliorations des capacités cognitives. Les réseaux et
les organisations sont plus susceptibles de servir de point de départ
stimulant au développement de
l'intelligence collective que l'intelligence
qualitative
; la différence entre ces concepts sera discutée dans le chapitre
suivant.
 Chapitre trois
Types de supramental
Alors, qu'entendons-nous exactement par le mot
superintelligence
? Je ne
voudrais pas plonger dans un bourbier terminologique, mais il faut dire
quelque chose pour clarifier la base conceptuelle. Dans ce chapitre, nous
identifierons les trois types de superintelligence et nous nous assurerons
que, dans un sens pratique, tous les trois sont identiques. Ensuite, nous
montrerons combien le potentiel de l'intelligence biologique perd face au
potentiel de l'intelligence artificielle. Les machines ont de nombreux
avantages fondamentaux qui leur confèrent une supériorité écrasante sur les
humains. Le cerveau biologique, même augmenté, ne pourra pas les
concurrencer.
Il y a des machines, il y a aussi des animaux qui sont supérieurs à l'homme
dans tel ou tel type d'activité, on peut dire qu'ils ont déjà atteint un niveau
surhumain. Une chauve-souris, utilisant l'écholocation pendant son vol,
navigue mieux dans l'obscurité qu'une personne, une calculatrice la
contourne dans les calculs arithmétiques, les programmes d'échecs la
surpassent aux échecs. La liste des tâches spécifiques que les programmes
des forces spéciales font mieux que nous ne fera que s'allonger. Bien sûr, les
systèmes d'information spécialisés peuvent avoir de nombreuses
applications, mais il reste encore de sérieux problèmes supplémentaires à la
perspective de créer une intelligence artificielle universelle qui puisse se
substituer à une personne sans exception dans tous les domaines.
Il a déjà été mentionné plus d'une fois que nous utilisons le terme de
superintelligence
pour désigner un tel intellect qui, dans de nombreuses
manifestations universelles de l'activité cognitive, dépasse de loin les
meilleurs esprits de l'humanité. La description est très vague (donc la
formulation ne reprend pas textuellement celle que nous avons donnée au
chapitre précédent). Selon cette définition, une variété de systèmes aux
fonctionnalités complètement disparates commenceront à revendiquer le
statut de superintelligence.
Chapitre trois. Types de surmental
Propriétés. Une analyse détaillée des superpuissances du cerveau nous
permettra d'aborder les définitions existantes de ce concept assez simple,
pour lequel nous devrons démêler un nœud pas du tout homogène, en en
extrayant les caractéristiques distinctives de l'intelligence. Il existe plusieurs
manières de procéder à ce type de décomposition*. Pour différencier les
incarnations du surmental, revenons à ses trois types : surmental de vitesse,
surmental collectif et surmental qualitatif.
supramental de vitesse
La superintelligence à grande vitesse est la même intelligence que
l'intelligence humaine, mais plus rapide. D'un point de vue conceptuel, ce
type est le plus facile à analyser
1
. Nous donnerons la définition suivante :
High Speed Super Intelligence
- Un système capable de tout faire de la
même manière que l'intellect humain, mais beaucoup plus rapidement.
Par "beaucoup", j'entends "plusieurs ordres de grandeur". Je comprends que
cette définition extrêmement généralisée est clairement boiteuse, mais je
vais sagement m'écarter et laisser le lecteur s'occuper de son interprétation
2
.
L'exemple le plus simple de superintelligence à grande vitesse pourrait être
une émulation cérébrale complète effectuée sur un ordinateur super puissant
3

. Un modèle de simulation cérébrale fonctionnant à dix fois la vitesse d'un
cerveau biologique pourrait lire des livres en quelques secondes et rédiger
une thèse de doctorat en une journée. Si la vitesse du modèle de simulation
est un million de fois plus rapide, il sera capable de faire un travail
intellectuel en une journée qui prendrait à une personne un millénaire entier
4

.
Pour un esprit travaillant à une telle vitesse, les événements qui se déroulent
dans le monde extérieur seraient comme un ralenti. Imaginez que votre
cerveau accélère dix mille fois. Un ami fait tomber une tasse et pendant
plusieurs heures vous la regardez se déplacer lentement vers le sol.
Intelligence artificielle
Comme une comète glissant silencieusement dans l'espace vers une planète
lointaine, et alors que le sentiment d'une catastrophe imminente agonise à
travers le gyri de matière grise de votre ami, et de là à son système nerveux
périphérique, une expression émerge progressivement sur son visage. visage
qui précède l'exclamation de "oh !" que vous n'entendrez pas de sitôt. En
bref, pendant ce temps, vous aurez le temps de lui apporter une nouvelle
tasse, en même temps de lire quelques articles scientifiques et même de
faire une sieste.
En raison d'une telle extension du temps réel, une superintelligence à
grande vitesse préférerait probablement travailler avec des objets
numériques, plutôt qu'avec des objets du monde matériel. Il serait plus
pratique pour lui d'exister dans la réalité virtuelle et de s'occuper de
l'économie de l'information et, si nécessaire, d'interagir avec
l'environnement physique à l'aide de nanomanipulateurs, car ces membres
microscopiques peuvent se déplacer plus rapidement que les robots. (La
réponse en fréquence d'un système est généralement inversement
proportionnelle à ses dimensions linéaires
5
). Un esprit de flotte serait
principalement capable d'interagir avec d'autres esprits de flotte, plutôt
qu'avec des humains, dont le rythme lent de déplacement dans l'espace n'a
d'égal que la malléabilité du miel.
À mesure que l'intelligence s'accélère, la vitesse de la lumière devient un
limiteur de plus en plus critique à mesure que les coûts augmentent en
raison du temps perdu à voyager ou à transmettre des informations sur de
longues distances
6
. La lumière est environ un million de fois plus rapide
qu'un avion à réaction, donc un agent numérique avec une vitesse de pensée
un million de fois plus rapide qu'un humain aura besoin d'environ la même
quantité de temps subjectif pour voyager autour du monde. que son
contemporain humain. Appeler quelqu'un dans une autre ville prendra
autant de temps pour que cette personne soit devant vous en personne. Les
surmentaux qui ont atteint la vitesse la plus élevée, nécessitant une
coopération intensive constante, sont préférables pour être proches les uns
des autres. Si des superintelligents à grande vitesse, par exemple, doivent
travailler sur une seule tâche, il serait pratique de les placer - pour éviter de
longues périodes d'attente - sur des ordinateurs situés dans la même pièce.
superintelligence collective
Le prochain type de super intelligence est un grand nombre d'intellects de
niveau inférieur qui se réunissent pour atteindre une super productivité. La
définition de ce type est formulée comme suit :
superintelligence collective
- un système composé d'un grand nombre
d'intelligences de niveau inférieur, de ce fait, ses performances globales
dépassent de manière significative les performances de tout système
cognitif existant dans de nombreux domaines d'activité universels.
Contrairement à la grande vitesse, la superintelligence collective n'est pas
aussi clairement définie conceptuellement
7
mais est plus reconnaissable
d'un point de vue pratique. D'après notre propre expérience, nous n'avons
jamais rencontré d'intelligence artificielle à grande vitesse au niveau
humain, mais nous connaissons très bien le concept d'esprit collectif, qui est
un rassemblement de personnes organisées en un seul système pour trouver
ensemble des solutions qui sont plus efficace qu'un, même les plus
intelligents peuvent le faire. , membre de cette communauté. Si nous faisons
une petite abstraction et abordons le sujet de manière purement théorique,
alors de tels systèmes, capables de résoudre des problèmes de différents
niveaux de complexité, peuvent être appelés entreprises, groupes de projet,
réseaux sociaux, organisations publiques, équipes de recherche, États, et
même , comme pour ne pas jouer, toute la race humaine. . De par notre
pratique socio-institutionnelle, nous savons à quel point il est plus facile de
prendre des décisions si l'esprit collectif y travaille.
L'intelligence collective est à son meilleur lors du développement de projets
complexes faciles à décomposer en plusieurs parties afin que chacune
puisse être réalisée en parallèle par les sous-structures d'un système unique
et que les résultats puissent être vérifiés hors ligne. De la construction d'un
vaisseau spatial réutilisable à la gestion d'une chaîne de restaurants, il existe
de nombreuses opportunités grâce à la division du travail pour résoudre
n'importe quel problème. Une équipe spécialisée de concepteurs et
d'ingénieurs travaille sur chaque composant de la navette ; chaque cafétéria
est dotée d'une équipe indépendante de professionnels. L'environnement
scientifique dans son ensemble est composé de communautés particulières,
dont chacune est dédiée à sa propre discipline distincte et constitue un
système indépendant avec une structure assez rigide d'éléments
subordonnés : chercheurs, professeurs, étudiants, revues, bourses,
récompenses ; Soit dit en passant, je tiens à souligner que le schéma actuel
n'est pas très propice au développement de la direction à laquelle mon livre
est dédié. Mais telle est la pratique scientifique traditionnelle, et cela
pourrait apparaître comme un compromis nécessaire, puisque dans le cadre
existant, un grand nombre d'individus créatifs et d'équipes déterminées,
engagés dans des domaines variés et travaillant de manière quasi autonome,
alors que chacun nourrit sa propre science scientifique. tissu - apporter sa
contribution collective au trésor de la connaissance humaine, la poursuivre
et la développer.
Ce type de système intelligent peut être renforcé en améliorant chaque sous-
structure individuelle : en élargissant sa composition ; élever son niveau
d'intelligence, optimiser sa politique d'organisation
8
. Transformer toute
intelligence collective existante en une superintelligence nécessitera une
croissance spectaculaire à tous les niveaux. Le système résultant devrait être
en mesure de surpasser de manière significative toute intelligence collective
existante et d'autres systèmes cognitifs dans de nombreux domaines
universels de la connaissance. De nombreuses approches progressistes sont
nées et continueront d'émerger, par exemple : des formats de conférence
modernes qui permettent aux scientifiques d'échanger des informations plus
efficacement ; la création de nouveaux algorithmes d'analyse de données
qui contribuent à une meilleure sélection des préférences des utilisateurs, en
particulier des lecteurs et des téléspectateurs, mais quelle que soit leur
importance, il est clair que ces seuls facteurs innovants ne nous
rapprocheront pas de l'émergence d'une superintelligence collective. En fait,
en plus d'indicateurs tels que le taux de croissance de la population
mondiale ou l'amélioration des méthodes d'enseignement dans les
établissements d'enseignement. Pour que les capacités cognitives de
l'humanité dans son ensemble commencent à correspondre au niveau de
superintelligence collective, des critères quantitatifs et qualitatifs
complètement différents seront nécessaires.
A noter que le seuil de reconnaissance d'un système comme superintelligent
est déterminé par rapport au niveau de performance actuel, c'est-à-dire au
début du 21e siècle. Dans la préhistoire et tout au long de l'histoire de
l'humanité, les possibilités de l'intelligence collective se sont beaucoup
développées. Depuis le Pléistocène, la population de la Terre a été
multipliée par mille
9
.
Sur cette base, si nous prenons
comme base le niveau d'intelligence de l'ère
du Pléistocène,
on peut considérer que le niveau intellectuel actuel de
l'humanité est proche du super-intelligent. L'amélioration des processus de
communication, en particulier l'émergence de la parole orale, puis des
langues écrites, ainsi que l'urbanisme et l'impression de livres, ont eu un
impact tout aussi significatif. Toutes ces circonstances, tant
individuellement que collectivement, sont devenues un formidable
stimulant d'accélération, si puissant que si un potentiel innovant de cette
ampleur devait apparaître maintenant, son impact sur les capacités
cognitives de toute l'humanité conduirait à l'émergence d'une
superintelligence collective. .
10
.
Sûrement maintenant certains lecteurs objecteront que, comme ils disent, la
société moderne ne leur semble pas très raisonnable. Il est possible que
certaines lois impopulaires aient été récemment adoptées dans votre pays
natal ou que la situation politique ait un peu changé, et l'irrationalité
évidente de ce qui se passe devient pour les gens une preuve directe de la
dégradation morale et intellectuelle de la société. . Votre conclusion sur
l'incapacité mentale de l'humanité moderne n'est-elle pas confirmée par des
arguments de poids, comme l'idolâtrie des biens matériels ; Épuisement des
ressources naturelles; pollution environnementale; l'extinction de la
diversité des espèces? Ces outrages n'ont-ils pas lieu dans un contexte
d'inégalité mondiale, d'injustice flagrante et de mépris total des valeurs
humanistes et spirituelles fondamentales ? Tout est comme ça, il n'y a qu'un
mais. Laissant de côté une analyse comparative des échecs sociaux
modernes bien pires que les échecs des époques passées, je tiens à noter :
Dans notre définition d'une superintelligence collective, rien ne dit qu'une
société hautement développée intellectuellement doit être juste et équitable.
moral. De plus, il n'y a même pas la moindre allusion dans la définition
qu'une société intellectuellement hautement développée devrait être
plus
sage
. Quelle est la « sagesse » que vous demandez ? Nous convenons de
considérer comme sagesse la capacité de se référer aux choses les plus
importantes de notre vie avec plus ou moins de bon sens. Imaginez une
organisation avec un personnel incroyablement nombreux de personnes
hautement qualifiées, travaillant avec succès et de concert, capables de
résoudre collectivement des problèmes créatifs et intellectuels presque
universels. Supposons que cette organisation puisse gérer presque n'importe
quelle entreprise, développer presque n'importe quelle technologie et
atteindre une productivité maximale dans presque tous les processus. Mais
même une organisation universelle
aussi
efficace est capable de prendre
soudainement une décision radicalement erronée sur une question
fondamentalement importante et pratiquement fatale, par exemple, en
omettant de penser à des précautions adéquates contre les risques qui
menacent son existence, et une ascension fantastiquement turbulente se
terminera tout à fait bien. Rapide. en plein et honteux déclin. Une telle
organisation pourrait devenir porteuse d'une puissante intelligence générale,
si élevée qu'un peu plus élevée, et la surintelligence collective recevrait sa
véritable incarnation. Et maintenant, revenons à la «  justice  » et à la
« sagesse ». Ayant trouvé une caractéristique qui nous est désirable, nous ne
devons pas succomber à la tentation et veiller à enrouler ce fil autour de
l'énorme boule de notre idée générale et très indéfinie de l'activité mentale,
car il est impossible de choisir une propriété. voire admirable, sans
considérer toutes les autres de la même manière. Peut-être, de ce point de
vue, devrions-nous nous rendre compte de la commodité des systèmes
d'information puissants - et des systèmes avec des éléments d'intelligence
artificielle - qui, par définition, ne peuvent être ni justes, ni loyaux, ni sages.
Mais nous reviendrons sur ce sujet dans le septième chapitre.
La superintelligence collective peut être faiblement ou fortement intégrée.
Pour illustrer une superintelligence vaguement intégrée, imaginez la planète
Méga-Terre, qui a atteint exactement le même niveau de technologies de
communication et de coordination que sur la Terre moderne, mais en même
temps la population est un million de fois plus grande que la Terre. . Par
conséquent, les ressources intellectuelles totales seront également plus
importantes. Supposons que des génies scientifiques à l'échelle de Newton
ou d'Einstein apparaissent au moins une fois sur dix milliards de personnes ;
ainsi, sept cent mille génies vivront simultanément sur la Méga-Terre, sans
parler d'un nombre proportionnellement plus grand de Méga-Terres
simplement talentueuses et douées. De nouvelles idées et technologies se
développeraient sur une telle planète à un rythme vertigineux, et la
civilisation mondiale sur la Méga-Terre serait une superintelligence
vaguement intégrée
11
.
Si vous augmentez graduellement le degré d'intégration de l'intelligence
collective, elle peut éventuellement devenir une seule grande "intelligence"
plutôt qu'une simple collection d'esprits humains vaguement connectés
12
.
Les habitants de la Méga-Terre pourraient aller dans ce sens en améliorant
les technologies de communication et de coordination et en développant de
meilleures méthodes pour organiser le travail conjoint de plusieurs méga-
Terres sur des tâches intellectuelles difficiles. Ainsi, la surintelligence
collective, après un accroissement notable de son intégration, s'incarnerait
dans une surintelligence qualitative.
Superintelligence qualitative
Essayons de définir le troisième type de superintelligence :
une superintelligence qualitative
est un système comparable en vitesse à
l'esprit humain, mais qualitativement beaucoup plus fort que lui.
Le concept de "qualité de l'intelligence", comme dans le cas de l'esprit
collectif, est assez vague, mais la situation est aggravée par notre manque
d'expérience dans le maniement des capacités intellectuelles qui dépassent
les limites supérieures de l'humanité moderne. Cependant, on peut s'en faire
une idée en examinant les cas pertinents.
Premièrement, il est possible d'élargir la gamme de comparaison pour
inclure d'autres mammifères avec une intelligence inférieure. (Cette
observation ne doit pas être considérée comme discriminatoire envers les
animaux. L'intelligence du poivre rayé est parfaitement adaptée à ses
besoins écologiques, mais notre scénario est plus anthropocentrique : nous
considérons les performances du cerveau en termes de
tâches cognitives
complexes liées à l'homme
.) Les animaux manquent d'un langage structuré
complexe; les animaux ne peuvent pas du tout utiliser d'outils et en créer, ou
n'en sont capables qu'à un degré rudimentaire ; ils ont une capacité très
limitée à faire des plans à long terme ; Ils ont très peu de capacité de pensée
abstraite. Aucune de ces limitations ne s'explique par le manque de rapidité
des processus cognitifs chez les animaux ou leur manque d'intelligence
collective. En termes de puissance de calcul uniquement, le cerveau humain
est probablement inférieur aux cerveaux des grands mammifères, y compris
les éléphants et les baleines. Bien que la civilisation humaine
technologiquement sophistiquée ne serait pas possible sans notre énorme
avantage en matière d'intelligence collective, on ne peut pas dire que
l'intelligence des individus en dépende. Beaucoup atteignent un haut niveau
de développement même dans de petites sociétés isolées telles que la chasse
et la cueillette
13
. En revanche, les chimpanzés et les dauphins hautement
organisés formés par des instructeurs humains, ou les fourmis vivant dans
de grandes communautés bien organisées, ne seront jamais aussi intelligents
que les humains. Sans aucun doute, les étonnantes réalisations
intellectuelles d'
Homo sapiens
, dues en grande partie aux propriétés
spécifiques de notre architecture cérébrale, sont un don génétique unique
dont aucun autre être vivant n'a hérité. Les commentaires ci-dessus nous
aideront à clarifier un peu l'idée d'un supramental qualitatif. Donc, c'est un
intellect, qualitativement beaucoup plus fort que l'humain, dans la mesure
où l'esprit humain surpasse en qualité l'esprit des éléphants, des dauphins et
des chimpanzés.
La deuxième façon d'affiner la définition de la superintelligence qualitative
est de pointer du doigt les déficits cognitifs locaux dont souffrent certaines
personnes, en particulier lorsqu'ils ne sont pas causés par une démence
généralisée ou d'autres conditions associées à un mauvais fonctionnement
des ressources neurocomputationnelles du cerveau. Prenons, par exemple,
les personnes autistes : le manque de cognition sociale ne les empêche pas
de fonctionner normalement dans d'autres domaines cognitifs ; ou les
personnes souffrant d'amusie congénitale, incapables de ronronner ou de
reconnaître même des mélodies simples ; mis à part cet inconvénient, sa vie
n'est pas différente de celle des autres. La littérature spécialisée en
psychoneurologie regorge de descriptions de patients souffrant de
conditions cérébrales pathologiques étroitement localisées causées par des
troubles génétiques ou des traumatismes. Ces exemples montrent que les
adultes normaux ont un large éventail de talents cognitifs étonnants qui ne
peuvent être considérés comme une simple fonction de la puissance
générale du système neuro-informatique ou même d'un niveau suffisant
d'intelligence générale ; un modèle spécifique d'interaction neuronale est
également requis. De ce constat découle l'idée de
possibles talents cognitifs
mais non réalisés
, c'est-à-dire des talents qu'aucune personne ne possède,
même si d'autres systèmes intelligents, et non supérieurs au cerveau humain
en termes de puissance de traitement, qui en disposent, pourraient
grandement en bénéficier. . de - pour sa capacité à effectuer un large
éventail de tâches stratégiquement importantes.
Ainsi, en reprenant l'exemple des animaux et des humains souffrant de
déficiences cognitives spécifiques, on peut se faire une idée des différentes
qualités d'intelligence et de leurs différences pratiques. Si
Homo sapiens
manquait (par exemple seulement) des modules cognitifs qui lui permettent
de former des structures de parole complexes, ce ne serait qu'une autre
espèce de singe vivant en harmonie avec la nature. En revanche, si une
personne trouve un moyen raisonnable d'
acquérir
un nouvel ensemble de
modules qui lui donne un avantage comparable à la capacité de former des
structures de parole complexes, elle deviendra une personne
superintelligente.
Périmètre direct et indirect
Une superintelligence issue de l'un des types décrits ci-dessus pourrait, au
fil du temps, développer les technologies nécessaires pour créer une
superintelligence pour d'autres types également. Ainsi,
indirectement,
les
trois types de superintelligence sont également réalisables. En ce sens, la
gamme indirecte d'intelligence au niveau humain tombe dans la même
classe d'équivalence, en supposant que nous sommes capables d'atteindre au
moins une sorte de superintelligence. Cependant, d'une certaine manière,
ces trois types sont beaucoup plus proches les uns des autres, puisque
n'importe lequel d'entre eux est capable de créer les deux autres beaucoup
plus rapidement que nous, l'un d'eux, si l'on prend comme point de départ le
développement technologique actuel.
La portée directe de
trois types différents de superintelligence est plus
difficile à comparer. Vous ne pourrez probablement pas les classer. Les
capacités de chacun d'eux dépendent de la mesure dans laquelle ils
démontrent leurs avantages, c'est-à-dire à
quelle
vitesse la super-
intelligence à grande vitesse fonctionne, à
quel point
la super-intelligence
de qualité est meilleure, etc. Au mieux, nous pouvons dire que, tous les
autres toutes choses étant égales par ailleurs, la superintelligence de la
vitesse est excellente pour les tâches qui nécessitent l'exécution rapide d'une
longue séquence d'étapes qui doivent être exécutées les unes après les
autres, tandis que la superintelligence collective est plus performante pour
les tâches qui permettent une décomposition analytique en sous-tâches
parallèles, et aussi en ceux qui nécessitent une combinaison de nombreux
points de vue et compétences différents. Une surintelligence qualitative doit
être, en un certain sens, du type le plus universel, puisqu'elle est capable de
traiter des tâches qui sortent du
cadre direct d'une surintelligence rapide et
collective
14
.
Tout dans notre vie n'est pas déterminé par ces catégories, et la quantité ne
peut pas toujours remplacer la qualité. Un ermite de génie*, enfermé dans
une chambre capitonnée de chêne-liège, est capable d'écrire « A la
recherche du temps perdu ». Est-il possible de créer un tel chef-d'œuvre en
rassemblant plusieurs compagnons de la littérature dans une même pièce ?
15

Avec toute la diversité existante des caractères et des talents humains,
nous voyons que dans certains cas le travail ne réussit que lorsqu'il n'est pas
fait par des myriades de médiocres, mais plutôt par un seul spécialiste, mais
par un brillant maître de son métier. Si vous le regardez plus largement,
vous devez reconnaître la possibilité de l'existence de telles tâches
intellectuelles que seule la superintelligence peut gérer : elles ne seront pas
en mesure de gérer même un grand collectif de personnes ordinaires sans
capacités cognitives améliorées.
Il peut donc y avoir des problèmes qu'une superintelligence qualitative et
peut-être rapide peut résoudre, mais pas une superintelligence collective
faiblement intégrée
16
(à moins, bien sûr, qu'elle ne se préoccupe
principalement de développer ses propres capacités). Nous ne pourrons pas
déterminer exactement la nature de ces tâches, mais nous essaierons de les
décrire de manière générale
17
. Très probablement, une telle tâche consiste
en des interdépendances multi-complexes qui ne permettent pas de la
décomposer en sous-structures autonomes. Par conséquent, sa solution peut
nécessiter une compréhension qualitativement nouvelle ou une nouvelle
approche, qui sont trop complexes pour la génération actuelle de mortels.
percevoir. . Certains types de créativité artistique, des modèles stratégiques
et même certaines découvertes scientifiques peuvent entrer dans la catégorie
de ces tâches. Quelqu'un dira que la lenteur et l'extrême hésitation à
résoudre les soi-disant questions éternelles de la philosophie sont associées
à l'incapacité du cortex cérébral humain pour les réflexions spéculatives.
Dès lors, l'activité de nos célèbres philosophes rappelle la marche d'un
chien qui est contraint de marcher sur ses pattes arrière par son propriétaire
: ils sont contraints d'atteindre un "niveau de performance" qui leur permet
en
quelque sorte de s'adonner à cette activité
18
.
Sources des avantages de l'intelligence numérique
Même des modifications mineures du volume et de la structure du cerveau
peuvent avoir de graves conséquences, ce que l'on peut voir si l'on compare
le cerveau
et les avancées technologiques des humains et des grands singes. Des
changements à grande échelle dans la puissance de calcul et l'architecture
qui permettent l'utilisation de l'intelligence artificielle peuvent avoir des
conséquences beaucoup plus profondes. Il nous est très difficile, voire
impossible, de comprendre intuitivement de quoi la super intelligence est
capable, nous ne pouvons qu'essayer de nous rapprocher de cette
compréhension en regardant les avantages que présente l'intelligence
numérique. Il est plus facile d'apprécier les avantages du matériel.
—
La vitesse des éléments de calcul
. La vitesse maximale des neurones
biologiques est d'environ 200 Hz, sept ordres de grandeur plus lente que
celle des microprocesseurs modernes (environ 2 GHz)
19
. En conséquence,
le cerveau humain est obligé de s'appuyer sur une parallélisation des tâches
à grande échelle et ne peut pas effectuer rapidement des calculs nécessitant
un grand nombre d'opérations séquentielles
20
. (Le cerveau ne peut
effectuer que quelques dizaines de ces opérations, un peu plus d'une
centaine au maximum.) Cependant, bon nombre des algorithmes les plus
importants de la programmation et de la cybernétique ne peuvent pas être
facilement parallélisés. De nombreuses tâches cognitives pourraient être
résolues beaucoup plus efficacement si la propension naturelle du cerveau
aux algorithmes de reconnaissance de formes parallèles était complétée et
intégrée à la capacité d'effectuer des calculs séquentiels rapides.
—
Rapidité des communications internes
. Les axones transmettent des
potentiels d'action à 120 m/s voire moins, tandis que les centres de
traitement électronique de l'information utilisent des optiques dans
lesquelles l'information est transmise à la vitesse de la lumière (300 000 000
m/s)
21
. La lenteur des signaux neuronaux limite la taille du cerveau
biologique, qui peut fonctionner comme une unité de calcul unique. Par
exemple, pour que le délai de transmission des signaux d'un élément à
l'autre et inversement entre deux éléments arbitraires du système ne dépasse
pas 10 ms, le volume du cerveau biologique ne doit pas dépasser 0,11 m
3
.
Et la taille d'un système électronique similaire peut être égale à 6,1 × 10
17
m
3
(c'est la taille d'une étoile naine), soit dix-huit ordres de grandeur
supérieurs à
22
.
—
Le nombre d'éléments de calcul
. Le cerveau humain compte un peu
moins de 100 milliards de neurones
23
. Il fait environ trois fois et demie la
taille d'un cerveau de chimpanzé (pourtant cinq fois plus petit qu'un cerveau
de cachalot)
24
. Évidemment, le nombre de neurones chez un être
biologique est limité par le volume du crâne et les caractéristiques du
métabolisme, mais dans le cas d'un gros cerveau, d'autres contraintes
entrent en jeu (refroidissement, temps de maturation, retards dans la
transmission du signal). - voir le paragraphe précédent). Contrairement au
cerveau biologique, le matériel informatique atteint des dimensions
physiques gigantesques
25
. Les supercalculateurs peuvent être de la taille
d'un entrepôt ou même plus grands et peuvent être connectés à une
puissance de calcul à distance supplémentaire via des câbles à haut débit
26
.
—
Capacité mémoire
. Une personne est capable de retenir en mémoire à
court terme pas plus de quatre ou cinq blocs d'informations à la fois
27
. Bien
qu'il ne soit pas tout à fait correct de comparer directement la mémoire à
court terme avec la RAM de l'ordinateur, il est clair que les avantages de
conception de l'intelligence numérique vous permettent d'avoir une
mémoire de travail beaucoup plus importante. Cela signifie qu'un tel
intellect est capable de saisir intuitivement l'essence de relations complexes
que les gens ne peuvent tâtonner qu'à l'aide d'un
travail minutieux
. La mémoire
humaine à long terme est également limitée, bien qu'il ne soit pas encore
clair si nous sommes capables d'épuiser sa capacité à stocker des
informations au cours d'une vie humaine normale, car le taux
d'accumulation d'informations par nous est très faible. (Selon une
estimation, le cerveau humain adulte peut stocker environ un milliard de
bits, soit quelques ordres de grandeur de moins que le smartphone le plus
simple
29
). Dans le cas d'un cerveau machine, la quantité d'informations
stockées et la vitesse d'accès à celles-ci sont plus importantes.
-
Fiabilité, durée de vie, capteurs et plus encore.
L'intelligence artificielle
peut également avoir d'autres avantages au niveau matériel. Par exemple,
les neurones biologiques sont moins fiables que les transistors
30
. Étant
donné que l'informatique bruyante nécessite des circuits de décodage
supplémentaires qui nécessitent de nombreux éléments pour traiter un seul
bit d'information, l'intelligence numérique tire parti de l'utilisation
d'éléments informatiques fiables et de haute précision. Le cerveau se fatigue
après quelques heures de travail et commence à tomber en panne après
plusieurs décennies de temps subjectif, les microprocesseurs n'ont pas de
telles limitations. Le flux de données dans le cerveau de la machine peut
être augmenté en ajoutant des millions de capteurs. dépendant
Une machine peut avoir une architecture mutable selon la technologie
utilisée, capable de s'optimiser au fur et à mesure que les exigences des
tâches qu'elle effectue évoluent, alors que l'essentiel de l'architecture du
cerveau humain est figée dès la naissance, si elle ne change que légèrement
(bien que les connexions entre les synapses peuvent changer sur des
périodes aussi courtes que quelques jours)
31
.
Aujourd'hui, la puissance de calcul du cerveau biologique dépasse encore
celle des ordinateurs, bien que les ordinateurs superpuissants les plus
modernes atteignent déjà des niveaux de performances correspondant aux
estimations des performances du cerveau humain
32
. Mais les équipements
informatiques s'améliorent très rapidement, et les capacités limitantes de
leur puissance de calcul dépassent de loin les capacités des systèmes
informatiques des ordinateurs biologiques.
Le cerveau numérique présente également de grands avantages en termes de
logiciels.
-
Modifiable
. Vous pouvez expérimenter avec des paramètres logiciels, ce
qui est pratiquement impossible à faire avec le système neuronal d'un
cerveau biologique. Par exemple, dans un modèle informatique du cerveau,
on peut facilement voir ce qui se passera si plus de neurones sont ajoutés à
l'une ou l'autre zone du cortex cérébral, si leur excitabilité augmente ou
diminue. Réaliser de telles expériences sur des cerveaux biologiques
vivants serait beaucoup plus difficile.
-
Duplication
. Vous pouvez rapidement faire autant de copies exactes du
logiciel que vous souhaitez installer sur votre matériel existant. Au
contraire, il faudra beaucoup de temps pour reproduire le cerveau
biologique, puisque chaque "nouveau-né" est complètement sans défense et
ne se souvient de rien de ce que ses "parents" ont appris au cours de sa vie.
-
Coordination des objectifs
. Les collectifs de personnes souffrent de
l'inefficacité qu'une complète unité de but parmi leurs membres est presque
impossible à réaliser, et le sera, au moins jusqu'à ce que l'obéissance puisse
être obtenue par la drogue ou la sélection génétique. Un clan clone (un
groupe de programmes identiques ou presque identiques qui partagent un
objectif commun) n'a pas de tels problèmes de coordination.
-
Utilisation de la mémoire partagée
. Le cerveau biologique a besoin d'une
formation et d'un mentorat à long terme, tandis que le cerveau numérique
peut acquérir des souvenirs et des compétences en partageant des fichiers
avec d'autres programmes. Une population d'un milliard de copies de
programmes d'intelligence artificielle pourrait périodiquement synchroniser
leurs bases de données afin que chacun sache tout ce que les autres ont
appris au cours de la dernière heure. (Le transfert direct de données
nécessite des formats de présentation d'informations standardisés. Ainsi, un
simple échange de contenu cognitif de haut niveau entre deux programmes
d'IA est impossible. En particulier, cela ne fonctionnera pas pour les
modèles informatiques du cerveau.) première génération).
—
Nouveaux modules, comportements et algorithmes
. La perception
d'images visuelles nous semble être une tâche simple et sans effort,
contrairement à la résolution de problèmes géométriques dans un manuel
scolaire, malgré le fait qu'elle nécessite beaucoup de calculs pour créer une
reconstruction d'un monde tridimensionnel peuplé d'objets qui nous voyons.
ils sont familiers des objets bidimensionnels qui apparaissent sur nos
maquettes de rétine. Et cela nous semble simple car notre cerveau possède
un mécanisme neuronal spécial de bas niveau pour traiter les informations
visuelles. Ce traitement de bas niveau se produit inconsciemment et
automatiquement, sans dépense d'énergie psychique ni distraction. La
perception musicale, l'utilisation du langage, la cognition sociale et d'autres
formes de traitement de l'information qui sont "naturelles" pour nous, les
humains, semblent également être soutenues par des modules spécialisés de
neurocomputation. L'intelligence artificielle, qui aurait les mêmes modules
de support dans des domaines importants pour le monde moderne, tels que
la programmation et le développement de projets et les stratégies
commerciales, aurait un grand avantage sur nous, car une personne doit
penser à de telles choses sont basées sur un mécanisme universel maladroit
de la cognition. De plus, de nouveaux algorithmes spéciaux peuvent être
créés pour tirer parti des avantages spécifiques des ordinateurs, par exemple
des calculs séquentiels rapides.
Les
avantages finaux de l'intelligence artificielle, qui est la synthèse du
matériel et du logiciel, sont énormes
33
. Mais à quelle vitesse ce potentiel
peut-il être réalisé ? Nous répondrons à cette question dans le chapitre
suivant.
 Chapitre quatre
La dynamique du développement
explosif de l'intelligence
Il viendra donc un moment où les machines égaleront presque les humains
dans leur compréhension globale  : combien de temps leur faudra-t-il pour
acquérir une superintelligence ? Cette transition sera-t-elle lente, graduelle,
continue ? Cela arrivera-t-il soudainement, à un rythme explosif ? Le
chapitre analyse la dynamique de la transition vers la superintelligence du
point de vue de la fonctionnalité du système lui-même : la force de
l'optimisation et de la résistance. Comment ces deux facteurs se
comporteraient-ils au voisinage de l'intelligence universelle au niveau
humain ? Nous partirons du fait que nous sommes censés comprendre cela,
ou du moins pouvons faire une hypothèse acceptable.
Temps et vitesse de décollage
Supposons que
tôt ou tard
l'intelligence artificielle dépasse largement le
niveau intellectuel général d'une personne, alors qu'il ne faut pas oublier
qu'en
Aujourd'hui,
les capacités cognitives humaines sont bien supérieures
aux capacités cognitives des machines. Nous ne pouvons pas cesser de nous
inquiéter du moment où l'arbitraire des machines sera atteint et de la
rapidité avec laquelle leur monopole sur la connaissance sera établi. De
plus, cette question doit être clairement distinguée de celle que nous avons
posée dans le premier chapitre, à savoir : à quelle distance sommes-nous de
créer une intelligence artificielle universelle à l'échelle humaine ?
Maintenant, nous parlons d'autre chose :
si une machine dotée d'une
intelligence universelle de niveau humain est créée une fois et quelque part,
combien de temps faudra-t-il pour devenir totalement super-intelligente ?
A
noter que l'on peut prendre des positions différentes concernant la création
d'UIHIMU : considérer que cela prendra beaucoup de temps ; niez même la
moindre possibilité d'estimer cette période, mais en tout cas soyez
absolument sûr que dès que l'humanité l'atteindra, un développement
ultérieur, c'est-à-dire l'ascension au plus haut niveau superintelligent, se
produira très rapidement.
Il peut être plus commode de présenter le processus de développement de
manière schématique, même s'il est nécessaire d'ignorer temporairement
certaines conditions et détails qui compliquent l'essentiel de la question.
Voyons un diagramme qui reflète les capacités intellectuelles des systèmes
d'intelligence artificielle les plus avancés en fonction du temps (voir Fig. 7).
La ligne horizontale avec l'inscription "niveau humain" représente les
capacités intellectuelles d'un adulte moyen, typique des pays développés
modernes, qui ont accès aux sources d'information et aux moyens
technologiques. Aujourd'hui, même le système intelligent le plus avancé est
largement, selon toute mesure raisonnable, en retard sur les caractéristiques
humaines de base. À l'avenir, à un moment indéterminé pour nous, le
système intellectuel pourra atteindre une égalité approximative avec une
personne (nous prenons comme base le niveau général d'intelligence
humaine enregistré en 2014, même s'il devrait augmenter dans les années
suivantes ) - ce moment témoignera du début du décollage. Les capacités du
système intellectuel continueront d'augmenter et, après un certain temps,
atteindront la parité avec les capacités intellectuelles combinées de toute
l'humanité (le niveau de fixation est la même année 2014) ; nous
l'appellerons le "niveau de civilisation". Si le système intellectuel suit la
voie d'un développement ultérieur, il finira par devenir une
superintelligence forte, c'est-à-dire qu'en termes de capacités intellectuelles,
il atteindra un niveau qui dépasse considérablement le niveau de l'humanité
dans son ensemble; lorsque cela est atteint, nous pouvons parler de
l'achèvement du décollage, bien que le système super-intelligent lui-même
soit capable d'améliorations supplémentaires. À un moment donné du
processus de démarrage, le système peut franchir la « ligne critique », c'est-
à-dire le point au-delà duquel l'amélioration ne dépendra plus des activités
des personnes, mais principalement de leurs propres efforts
1
. (La
possibilité d'une limite critique, ou point de transition, est importante pour
la discussion des sujets abordés dans la dernière section du chapitre  :
puissance d'optimisation et explosivité.)
capacités du système
À ce jour Heure Durée-
Heure
Avant de décoller
 
Riz. 7. Schéma de décollage.
Il est important de séparer les questions telles que : le décollage aura-t-
il lieu ? si le décollage se produit, quand  ? si jamais un décollage se produit, à quel point sera-t-il
brutal ? Par exemple, vous pouvez supposer qu'il reste encore beaucoup de temps avant le décollage,
mais le moment venu, tout se passera très rapidement. Il y a une autre question importante (non
représentée sur le schéma) : quel sera le rôle de l'économie mondiale dans le processus de décollage
d'un système superintelligent ? Toutes les questions sont liées.
Le diagramme montre un scénario généralisé pour la transition d'un système
intelligent d'un niveau humain à un niveau super-intelligent, mais selon la
pente de la courbe, on peut distinguer trois types de scénarios de décollage :
lent, rapide et modéré.
1.
                 
Décollage lent.
Elle se produira sur de longs intervalles de temps,
des décennies aux siècles. De tels scénarios sont d'excellentes opportunités
pour l'humanité de réfléchir à ses futurs mouvements politiques, de les
adapter à la situation et de réagir de manière appropriée à ce qui se passe. Il
sera possible de tester constamment différentes approches, d'éduquer et de
préparer de nouveaux spécialistes. Les campagnes électorales se
concentreront sur les partisans et les opposants aux processus en cours. S'il
s'avère que de nouveaux systèmes de sécurité et de contrôle public sur la
recherche en IA sont nécessaires, nous aurons tout le temps de les
développer et de les mettre en œuvre. Les pays et les scientifiques qui
craignent une course aux armements dans le domaine des applications
militaires de l'IA pourront mener les négociations nécessaires et développer
des mécanismes de protection. La plupart des mesures préparatoires prises à
la veille du processus de décollage lent se révéleront moralement obsolètes,
mais progressivement de nouvelles solutions apparaîtront, pertinentes pour
l'ère à venir.
2.
                 
Décollez vite.
Cela se produira dans un laps de temps très court :
minutes, heures, jours. Dans les scénarios de décollage rapide, il reste peu
de choses à réagir. Personne n'aura le temps de s'apercevoir de quoi que ce
soit, et la partie sera déjà perdue. Dans tout scénario de décollage rapide, le
sort de l'humanité dépend en grande partie du travail préparatoire déjà
effectué jusque-là. Dans le plus lent des scénarios les plus rapides, les gens
peuvent toujours effectuer certains mouvements corporels élémentaires,
comme tendre la main pour ouvrir la "mallette nucléaire", mais les
algorithmes de ces actions doivent être vraiment élémentaires ou planifiés,
programmés et répétés. à l'avance.
3.
                 
Décollage modéré.
Cela se produira dans un intervalle de temps
relativement court, de quelques mois à plusieurs années. Dans ce cas,
l'humanité a encore une certaine opportunité de réagir à ce qui se passe,
mais il n'y aura pas de temps pour l'analyser, essayer différentes approches
et résoudre des tâches complexes de coordination des actions. Il n'y aura pas
non plus de temps pour la création et le déploiement de nouveaux systèmes,
tels que des politiques, des contrôles, des protocoles de sécurité des réseaux
informatiques, mais il est possible d'adapter les normes existantes aux
nouvelles circonstances.
En cas de décollage lent, la nouvelle aura largement le temps de se
répandre. Avec un décollage modéré, les développements peuvent rester
classés. Seuls des groupes très limités de personnes en auront connaissance,
comme c'est le cas avec le développement de programmes secrets de
recherche militaire d'État. Tout aussi secrètement, par les forces de petites
équipes scientifiques ou de hackers dans quelque sous-sol, le travail peut
être réalisé dans le cadre de projets commerciaux ; or, si les perspectives de
développement explosif de la superintelligence tombent dans les radars des
services de renseignement étatiques et deviennent l'une des priorités de la
sécurité nationale, les projets privés les plus prometteurs auront de fortes
chances d'être surveillés. Dans ce cas, l'État (ou l'acteur international
dominant) aura la possibilité de nationaliser ou de fermer tout projet qui
montre des signes de décollage imminent.
Un décollage rapide se produira en si peu de temps que personne n'aura le
temps non seulement d'y réagir, mais même d'ouvrir la bouche. Il sera
possible d'
intervenir
le début du
décollage, cependant, uniquement à
condition qu'un mécanisme de protection soit prêt.
Des scénarios de décollage modéré pourraient entraîner des
bouleversements géopolitiques, sociaux et économiques alors que les
individus et les communautés luttent pour s'assurer une position gagnante
lors des transformations en cours. Les troubles potentiels commenceront à
ralentir les efforts de coordination des réponses et conduiront à des
décisions plus radicales que celles qui seraient prises dans une situation
calme. Par exemple, dans l'un des scénarios de décollage modéré, sur
plusieurs années, le marché du travail se remplit progressivement de
modèles de simulation bon marché et performants obtenus grâce à
l'émulation du cerveau entier ou à une autre intelligence artificielle.
systèmes. Avec un tel développement d'événements, il est possible que
lorsque les licenciements massifs de travailleurs humains commencent, des
manifestations non moins massives obligent les gouvernements à
augmenter les allocations de chômage, à introduire des garanties d'emploi à
vie pour tous les citoyens, ainsi que des impôts spéciaux ou des cotisations
sociales obligatoires pour les employeurs. . utilisant le travail des
travailleurs.-robots. Pour que les mesures prises à la suite de telles
politiques ne restent pas vaines, elles doivent être soutenues par de
nouvelles structures politiques et sociales qui fonctionnent en permanence.
Des problèmes similaires ne sont pas exclus dans les scénarios de
démarrage lent, mais dans les scénarios de démarrage modéré, les disparités
et la rapidité du changement peuvent conduire à ce que de petits groupes
d'activistes acquièrent une influence disproportionnée.
Il peut sembler à certains lecteurs que parmi les scénarios de décollage
répertoriés, le plus probable est lent, le moins probable est modéré et le
presque impossible est rapide. Est-il possible de supposer qu'en quelques
heures seulement, le monde peut changer radicalement et que la couronne
de la création peut être jetée du sommet de la raison  ? L'histoire de
l'humanité n'a pas encore connu des changements aussi énormes, et les
parallèles les plus proches, les révolutions néolithique (agricole) et
industrielle, ont demandé beaucoup plus de temps (de plusieurs siècles à un
millénaire dans le premier cas, de plusieurs décennies à des siècles - dans
un deuxième). En d'autres termes, la base du type de transformation
supposée dans le cas de scénarios de décollage rapide ou modéré, en termes
d'ampleur et de vitesse des changements qui se produisent, est égale à zéro,
car il n'y a pas de précédents - en dehors de la mythologie et de la religion -
dans l'histoire humaine
2
.
Cependant, le scénario lent semble le plus improbable : en faveur de cette
position, je donnerai ci-dessous les arguments appropriés. Très
probablement, les événements commenceront à se dérouler selon un
scénario rapide : si un jour il y a un décollage, il aura un caractère explosif.
Pour obtenir une réponse à la question de la rapidité du décollage, nous
pouvons considérer le taux de croissance des capacités intellectuelles du
système comme une fonction monotone croissante de deux variables  : la
quantité de "force d'optimisation" ou la qualité. des efforts de
développement pondérés appliqués à rendre le système plus intelligent, et
des systèmes « réactifs » à l'application d'une force d'optimisation. Vous
pouvez également introduire le terme "résistance", l'inverse de la réactivité,
et écrire ce qui suit :
Puissance d'optimisation Taux de croissance de l'intelligence =

Endurance
En l'absence de définition quantitative du niveau d'intelligence, d'efforts
pour l'augmenter et de résilience, cette expression reste majoritairement
qualitative. Mais au moins, on verra que l'intelligence d'un système se
développe rapidement lorsque beaucoup
d'
efforts sont consacrés à son
développement, et il n'est pas très difficile de développer ses compétences,
ou
des efforts non négligeables sont nécessaires pour développer la
conception correcte. du système, alors que sa résistance est faible (ou les
deux sont corrects). Si nous savons combien d'efforts sont consacrés à
l'amélioration d'un système particulier et le taux d'amélioration qu'il fournit,
nous pouvons alors calculer la résilience de ce système.
De plus, on constate que le pouvoir d'optimisation, visant à améliorer
l'efficacité d'un système particulier, varie fortement d'un système à l'autre
dans le temps. La résilience d'un système peut également dépendre
fortement de la qualité de son optimisation. Souvent, les mises à niveau les
plus simples sont effectuées en premier, avec pour résultat qu'à mesure que
les fruits inférieurs sont cueillis, les résultats apparaissent plus lentement (la
résistance du système augmente). Cependant, il peut y avoir des
améliorations qui facilitent d'autres améliorations, puis une cascade
d'améliorations se produit. Le processus de pliage du puzzle semble simple
au premier abord, car il est assez facile de plier les coins et les bords de
l'image. Ensuite, la résistance augmente - il devient plus difficile de
ramasser les pièces suivantes. À la fin, lorsque l' assemblage du puzzle est
presque terminé, il ne reste pratiquement plus de place libre et le processus
fonctionne à nouveau sans problème.
Par conséquent, pour trouver une réponse à notre question, nous devons
analyser comment le degré de traînée et la puissance d'optimisation
changent aux moments critiques du décollage. C'est ce que nous ferons
ensuite.
Endurance
Commençons par la résistance. Dans ce cas, la prédiction dépend du type de
système considéré. Pour compléter le tableau, considérons d'abord la
résistance qui caractérise les voies vers la superintelligence, sans rapport
avec la création d'une intelligence artificielle augmentée. Nous pensons que
dans ce cas, la résistance sera assez élevée. Après avoir traité de cela, nous
passons à l'essentiel - le décollage associé à l'intelligence artificielle. Il
semble que dans ce cas, la résistance au moment critique sera assez faible.
Formulaires qui n'impliquent pas la création d'intelligence
artificielle
L'efficacité de l'amélioration cognitive grâce à de meilleurs soins de santé et
à une alimentation saine diminue considérablement avec le temps
3
. On
peut faire beaucoup en éliminant le facteur difficile des carences en
éléments nutritifs dans l'alimentation quotidienne, mais ce phénomène
n'existe plus dans presque tous les pays sauf les plus pauvres.
L'amélioration supplémentaire d'un régime déjà complet a peu d'effet. Le
renforcement du processus éducatif jouera également un rôle décroissant.
La proportion de personnes douées qui sont privées d'accès à une éducation
de qualité reste élevée, mais diminue progressivement.
Dans les décennies à venir, une certaine augmentation du niveau des
capacités intellectuelles pourrait être obtenue grâce à la médication. Mais
une fois que les améliorations les plus simples ont été apportées, très
probablement un renforcement des pouvoirs mentaux, de la mémoire à long
terme et de la capacité de concentrer l'attention pendant une longue période,
de nouveaux progrès seront réalisés avec de plus en plus de difficulté. Par
rapport aux approches à long terme comme la nutrition et la santé, se
tourner vers des médicaments stimulant l'esprit peut sembler une solution
rapide et facile au début, mais ce n'est pas le cas. Il existe encore de
nombreux angles morts en neuropharmacologie, même au niveau des
connaissances élémentaires requises pour intervenir avec compétence dans
le fonctionnement d'un cerveau sain. Une partie de la lenteur des progrès est
due à une réticence à considérer les traitements médicamenteux comme un
domaine de recherche valable. Apparemment, la neurobiologie et la
pharmacologie en tant que sciences continueront à se développer pendant
un certain temps, sans accorder beaucoup d'attention au problème de
l'amélioration des fonctions cognitives. Que pouvez-vous faire? Il faudra
cependant attendre le moment où le développement des nootropiques
deviendra l'un des axes prioritaires ; alors, enfin, il sera possible de
remporter des victoires relativement rapides et faciles
4
.
L'amélioration cognitive génétique a un profil de résistance en forme de U
similaire aux nootropiques, mais avec des avantages potentiels plus visibles.
Dans un premier temps, tant que la sélection multigénérationnelle reste la
seule méthode disponible, ce qui est bien sûr difficile à réaliser à l'échelle
mondiale, le niveau de résistance est élevé. Au fur et à mesure que des
technologies pour des tests et une sélection génétiques bon marché et
efficaces émergent (surtout à mesure que la sélection itérative d'embryons
devient disponible dans le cas des humains), l'amélioration génétique
devient plus facile. Ces nouvelles méthodes testeront la gamme complète
des variations génétiques humaines existantes pour la présence d'allèles
améliorant l'intelligence. Cependant, une fois que les meilleurs d'entre eux
seront inclus dans les packages d'amélioration génétique, il sera plus
difficile de continuer à avancer. La nécessité de développer des approches
plus innovantes de la modification génétique peut accroître la résilience.
Sur la voie de l'amélioration génétique, le rythme des progrès est limité,
largement limité par le fait que l'intervention au niveau embryonnaire
dépend d'un retard de maturation inéluctable, qui empêche le
développement de scénarios de décollage rapide à modéré.
5
. La méthode
de sélection des embryons est inextricablement liée au long processus
d'introduction de la technologie de FIV dans la conscience publique, qui est
un autre facteur limitant.
Sur la voie de la création d'une interface cerveau-ordinateur, il semble que
la résistance sera très élevée au début. Dans le scénario improbable où il est
soudainement facile d'insérer un implant et d'atteindre un niveau élevé
d'intégration fonctionnelle avec le cortex cérébral, la résistance diminuera.
Mais à long terme, la situation avec des progrès de moins en moins
perceptibles sur cette voie sera similaire au cas de l'amélioration du modèle
de simulation du cerveau et des systèmes intelligents, puisque l'intelligence
du système cerveau-ordinateur sera finalement fournie. pour sa composante
informatique.
Dans le cas de tentatives visant à rendre les réseaux et les organisations plus
efficaces, la résistance sera dans la plupart des cas élevée. Pour le
surmonter, des efforts considérables seront nécessaires, à la suite desquels
la capacité intellectuelle totale de l'humanité n'augmentera probablement
que de deux pour cent par an
6
. De plus, les changements dans
l'environnement interne et externe conduiront au fait que même les
organisations efficaces à un moment donné ne s'adapteront plus aux
nouvelles circonstances. Autrement dit, des efforts constants seront
nécessaires pour les réformer, ne serait-ce que pour éviter que la situation
ne s'aggrave. Un saut dans le taux d'augmentation de la productivité de
l'organisation moyenne est, en principe, possible, mais il est difficile
d'imaginer que même dans le scénario le plus radical de ce type, il n'y aura
pas une croissance lente, mais modérée et tous les un décollage plus rapide,
puisque les organisations dans lesquelles les gens travaillent sont limitées
par un concept tel que les heures de travail. Internet reste une frontière avec
de nombreuses opportunités pour augmenter le niveau d'intelligence
collective, et jusqu'à présent, la résistance reste ici à un niveau modéré : les
progrès sont remarquables, mais beaucoup d'efforts sont nécessaires pour y
parvenir. Une fois que tous les fruits à portée de main (tels que les moteurs
de recherche et le courrier électronique) ont été cueillis, la résistance est
susceptible d'augmenter.
Façons de créer un modèle de simulation du cerveau.
et intelligence artificielle
Le degré de difficulté qui s'oppose à l'émulation cérébrale totale est assez
difficile à évaluer. Mais une étape a déjà été franchie sur cette voie : un
modèle de simulation d'un cerveau d'insecte a été créé avec succès. C'est le
summum pour voir le paysage à venir et comprendre le niveau de résilience
auquel nous serons confrontés à mesure que nous développerons les
technologies de simulation du cerveau humain. (Un point de vue encore
meilleur serait une simulation réussie du cerveau d'un petit mammifère tel
qu'une souris, après quoi la distance jusqu'à la création d'un cerveau humain
simulé pourrait être estimée assez précisément.) Cependant, le parcours de
l'IA peut ne pas être aussi évident. Il est possible que l'expédition IA erre
longtemps dans la jungle impénétrable, jusqu'à ce qu'une avancée soudaine
conduise à la situation où nous nous retrouvons à quelques pas seulement
de la ligne d'arrivée.
Rappelons les deux questions sur lesquelles j'ai dit qu'il fallait les distinguer
en principe. À quelle distance sommes-nous de créer une intelligence
artificielle universelle à l'échelle humaine ? À quelle vitesse y aura-t-il une
transition de ce niveau à super intelligent ? La première question concerne
davantage l'estimation du temps qu'il faudra pour se préparer au décollage.
Pour répondre à la deuxième question, il est important de déterminer la
trajectoire de vol vers la superintelligence, objet de notre étude dans ce
chapitre. Il est assez tentant de supposer que le pas de la création de
l'UICHU à l'apparition d'une superintelligence sera très difficile, que ce pas,
après tout, doit être franchi "à une altitude plus élevée", où il faudra ajouter
puissance supplémentaire au système déjà existant. Ce serait une erreur de
penser cela. Il est possible qu'avec la réalisation de l'égalité entre les
capacités intellectuelles de l'homme et de la machine, la résistance
tombe
.
Considérez d'abord l'émulation cérébrale complète. Les difficultés qui nous
attendent sur le chemin de la création du premier modèle de simulation
réussi sont étonnamment différentes des difficultés associées à sa
maintenance ultérieure. Dans le premier cas, de nombreux problèmes
techniques devront être résolus, notamment dans le développement des
technologies de numérisation et de traitement d'image nécessaires. Il sera
nécessaire de créer des actifs tangibles, peut-être une flotte entière de
centaines d'appareils de numérisation haute performance. Au contraire,
l'amélioration de la qualité d'un modèle de simulation cérébrale existant est
davantage associée à l'amélioration du logiciel, au réglage fin des
algorithmes et à l'affinement de la structure des données. Cette tâche peut
s'avérer plus facile que de créer une technologie de traitement d'image, sans
laquelle, en principe, tout progrès ultérieur est impossible. Les
programmeurs peuvent expérimenter différents paramètres, tels que le
nombre de neurones dans différentes zones du cortex cérébral, pour voir
comment cela affecte les performances du modèle
7
. Et aussi travailler à
l'optimisation du code et à la recherche d'un modèle de calcul plus simple
qui puisse conserver toutes les fonctionnalités de base des neurones
individuels et des petits réseaux de neurones. Si la dernière technologie
manquante pour résoudre le problème est la numérisation ou la traduction,
et qu'il y a beaucoup de puissance de traitement, alors la première étape
n'aura pas à accorder une attention particulière aux problèmes d'efficacité,
elle peut donc être beaucoup optimisée dans la deuxième étape. (Il sera
probablement possible de procéder à une réorganisation fondamentale de
l'architecture informatique, mais cela nous fera passer de la voie de
l'émulation à la voie de la création d'IA).
Une autre façon d'améliorer votre code de simulation cérébrale après l'avoir
créé consiste à scanner le cerveau d'autres personnes ayant des compétences
et des talents différents ou supérieurs. Il est également possible de réaliser
des gains de productivité grâce à l'adaptation cohérente de la structure
organisationnelle et des processus aux spécificités du fonctionnement de
l'intelligence numérique. Puisqu'il n'y avait pas d'équivalent d'un travailleur
dans l'économie mondiale créée par l'homme qui pourrait littéralement être
copié, redémarré, accéléré ou ralenti, etc., les dirigeants de la première
équipe de travailleurs d'émulation auront de nombreuses opportunités
d'innovation dans le la gestion.
Après la réduction de la résistance résultant de la création du premier
modèle de simulation du cerveau humain, son niveau pourrait recommencer
à augmenter. Tôt ou tard, les failles les plus évidentes seront éliminées, les
changements d'algorithmes les plus prometteurs seront apportés, les
opportunités les plus simples d'améliorations organisationnelles seront
saisies. La bibliothèque de données source deviendra si importante que la
numérisation d'instances cérébrales supplémentaires n'améliorera plus de
manière significative la qualité du modèle. Puisqu'un modèle de simulation
peut être copié et que chaque copie peut être formée, c'est-à-dire chargée
d'une grande variété de connaissances, il peut ne pas être nécessaire de
scanner le cerveau de nombreuses personnes pour un effet maximal. Un
seul suffira probablement.
Une autre raison potentielle de la résistance accrue est que les imitations
elles-mêmes, ou leurs protecteurs humains, peuvent organiser un
mouvement pour réglementer l'industrie, ce qui entraînera une série de
restrictions : une réduction du nombre de travailleurs d'imitation ; limiter la
copie des modèles de simulation  ; l'interdiction de certains types
d'expérimentations sur modèles, mais en plus, les travailleurs d'émulation
recevront une garantie de respect de leurs droits, un salaire minimum établi
spécialement pour eux, etc. Certes, il est fort possible que l'évolution
politique aille dans le sens inverse , à la suite de quoi la résistance tombera.
Cela peut se produire si les restrictions initiales à l'utilisation de l'émulation
ouvrière cèdent la place à son exploitation imprudente, à mesure que la
concurrence augmente et que les coûts économiques et stratégiques élevés
d'une trop grande sensibilité aux aspects moraux du problème deviennent
apparents.
Quant à l'intelligence artificielle (intelligence artificielle qui n'est pas liée à
la simulation du cerveau humain), le degré de complexité de son
développement de UIICHU au niveau de superintelligence en améliorant
l'algorithme dépendra des caractéristiques d'un système particulier. La
résilience des différentes architectures peut varier considérablement.
Dans certains cas, il est susceptible d'être extrêmement faible. Disons que la
création d'AIHI est retardée en raison du fait que certains programmeurs ont
esquivé le dernier coup, mais une fois qu'il est trouvé, l'IA peut combler
l'écart du jour au lendemain entre le niveau inférieur au niveau humain et le
niveau très supérieur. Une autre situation où la résistance peut être faible est
lorsque l'intelligence de l'IA est développée à travers deux manières
différentes de traiter l'information. Imaginez une IA composée de deux
sous-systèmes, dont l'un est responsable des méthodes de résolution de
problèmes hautement spécialisées, l'autre de la pensée universelle. Il est
tout à fait possible que si le deuxième sous-système n'atteint pas un certain
seuil de performances, il n'ajoute rien aux performances globales du
système, car ses solutions sont toujours pires que celles générées par le
sous-système pour travailler avec des tâches spécialisées. Supposons
maintenant qu'une certaine force d'optimisation soit appliquée au sous-
système de pensée universelle, à la suite de quoi les performances du sous-
système augmentent considérablement. Dans un premier temps, nous ne
verrons pas de changement dans les performances globales du système, ce
qui indique sa haute résilience. Ensuite, lorsque les capacités du deuxième
sous-système franchiront un certain seuil, ses solutions commenceront à
surpasser les solutions du sous-système de tâches spécialisées, et la
performance totale de l'IA commencera à croître au même rythme que la
performance de la pensée universelle. sous-système se développe, même si
la force d'optimisation reste inchangée, la force du système chutera
fortement.
Il est également possible qu'en raison de notre tendance naturelle à
considérer l'intelligence d'un point de vue anthropocentrique, nous sous-
estimions la dynamique d'amélioration dans les systèmes sous-humains et
surestimons ainsi la résilience. Eliezer Yudkowsky, un théoricien de l'IA qui
a beaucoup écrit sur l'avenir de l'IA, en parle dans l'intelligence artificielle
comme un facteur de risque global positif et négatif (voir également la
figure 8) :
apparemment dramatique
dans l'intelligence uniquement en raison de l'anthropomorphisme, c'est-à-
dire de la tendance humaine inhérente à croire qu'il n'y a pas un nombre presque infini de points sur
l'échelle intellectuelle, mais seulement deux extrêmes, avec le "peuple". imbécile" à un point
extrême, et à l'autre - "Einstein".
Tout ce qui est plus stupide qu'une personne stupide peut apparaître à quelqu'un comme simplement
"stupide". Et donc on se déplace vers la droite sur l'échelle intellectuelle, passé les souris et les
chimpanzés, et l'IA est toujours "stupide" parce qu'elle ne parle pas votre langue couramment ou
n'écrit pas d'articles scientifiques, mais du coup elle comble le petit fossé entre sub-idiot et super-
Einstein dans un mois environ
8
.
Ainsi, toutes les considérations conduisent à la conclusion suivante: il est
très difficile de prédire à quel point il sera difficile d'améliorer l'algorithme
de la première IA, qui atteindra approximativement le niveau intellectuel
général d'une personne. On peut imaginer au moins plusieurs circonstances
possibles dans lesquelles la force de l'algorithme sera faible. Mais même si
elle est très élevée, cela ne signifie pas que la résistance totale de l'IA doit
également être élevée. Vous pouvez facilement augmenter le niveau
d'intelligence du système sans ajuster les algorithmes. Il y a deux autres
facteurs qui l'affectent : le contenu et l'équipement.
IA
Imbécile du village de la souris

chimpanzé einstein
Riz. 8. Échelle pas trop anthropomorphe ?
L'écart entre un idiot et un génie peut sembler très
important d'un point de vue anthropocentrique, mais dans une perspective plus large, les différences
entre eux sont presque invisibles
9
. Il sera sûrement beaucoup plus difficile de créer une machine
dont le niveau d'intelligence générale est comparable à celui d'un parfait idiot que d'améliorer ce
système, grâce auquel elle sera beaucoup plus intelligente que les plus brillants des gens.
Parlons d'abord de l'amélioration du contenu. Par "contenu", nous
entendons les parties du code de l'IA qui n'appartiennent pas à son
architecture algorithmique principale. Le contenu peut inclure, par exemple,
des bases de données de sensibilités stockées, des bibliothèques de
compétences spécialisées et des stocks de connaissances déclaratives. Pour
de nombreux types de systèmes, la frontière entre l'architecture
algorithmique et le contenu est assez floue, mais cela peut être un moyen
facile d'identifier une source potentiellement importante de croissance de
l'IA. Une autre façon d'exprimer la même idée est que la capacité d'un
système à résoudre des problèmes intellectuels peut être augmentée non
seulement en rendant le système plus intelligent, mais aussi en augmentant
la quantité de ses connaissances.
Prenez par exemple les systèmes intelligents d'aujourd'hui comme
TextRunner (un projet de recherche de l'Université de Washington) ou le
supercalculateur Watson d'IBM (battant deux détenteurs de records au jeu-
questionnaire télévisé Jeopardy !). Ils sont capables d'extraire un certain
nombre d'informations sémantiques en analysant le texte. Bien que ces
systèmes ne comprennent pas ce qu'ils lisent dans le même sens ou dans la
même mesure que les humains, ils peuvent extraire des informations
significatives d'un texte écrit en langage ordinaire et les utiliser pour en tirer
des inférences simples et des réponses à des questions. Ils peuvent
également apprendre de l'expérience, ce qui rend le concept plus difficile à
présenter car ils trouvent de nouveaux cas d'utilisation. Ils sont conçus pour
fonctionner la plupart du temps sans intervention humaine (c'est-à-dire
qu'ils apprennent à trouver des structures cachées dans des données non
étiquetées en l'absence d'indices humains pour confirmer l'exactitude ou
l'erreur de leurs actions) et pour travailler rapidement et avec la capacité de
monter. . Supposons que TextRunner s'exécute sur un ensemble d'un demi-
milliard de pages Web
10
.
Imaginez maintenant un lointain descendant d'un tel système, capable de
lire au niveau d'un enfant de dix ans, mais en même temps de lire à la
vitesse de TextRunner. (Il s'agit probablement d'une tâche d'IA complète.)
Autrement dit, nous envisageons un système qui pense beaucoup plus vite
et se souvient beaucoup mieux qu'un humain adulte, mais en sait beaucoup
moins, peut-être à la suite de quoi ses capacités seront à peu près égales à la
capacité humaine à résoudre des problèmes à un niveau intellectuel général.
Mais sa résistance en termes de contenu est très faible, suffisamment faible
pour décoller. Dans quelques semaines, le système lira et traitera tout le
contenu des livres de la Bibliothèque du Congrès des États-Unis. Et
maintenant, elle en sait déjà plus que n'importe quel être humain et pense
beaucoup plus vite, c'est-à-dire qu'elle devient un supramental faible (au
moins).
Ainsi, le système peut augmenter considérablement ses capacités
intellectuelles en absorbant les informations accumulées au cours de
nombreux siècles d'existence de la science et de la civilisation humaines,
par exemple en les recevant d'Internet. Si une IA atteint le niveau humain
sans avoir accès à ces matériaux ni être capable de les digérer, alors sa
résistance globale sera faible, même si son architecture algorithmique est
assez difficile à améliorer.
Le concept de résistance de contenu est également important en termes de
création d'un modèle d'émulation du cerveau. Un modèle de simulation
cérébrale rapide a un avantage sur un cerveau biologique non seulement
parce qu'il résout les mêmes problèmes plus rapidement, mais aussi parce
qu'il accumule un contenu plus pertinent, y compris des compétences et une
expérience pertinentes pour la tâche. Cependant, pour libérer tout le
potentiel d'une accumulation rapide de contenu, le système nécessite de
grandes quantités de mémoire. Il ne sert à rien de lire les encyclopédies à la
suite si au moment où vous arrivez à l'article sur l'ormeau (fourmilier
d'Afrique), vous aurez oublié tout ce que vous avez appris de l'article sur
l'oryctérope (mollusque). Bien que les systèmes d'IA ne manquent
probablement pas de mémoire, les modèles cérébraux peuvent hériter de
certaines limitations de leurs homologues biologiques. Et, par conséquent,
ils nécessiteront une sorte d'amélioration architecturale pour pouvoir
apprendre sans restrictions.
Jusqu'à présent, nous avons examiné l'architecture et la résilience du
contenu, c'est-à-dire à quel point il peut être difficile d'améliorer
les
logiciels d'
intelligence artificielle qui ont atteint des niveaux d'intelligence
humains. Parlons maintenant de la troisième voie pour améliorer les
performances de ladite intelligence, c'est-à-dire l'amélioration de sa partie
informatique. Quelle résistance peut-il y avoir à la mise à niveau de la base
matérielle ?
Avec l'avènement des programmes intelligents (systèmes d'IA ou modèles
de simulation cérébrale), il sera possible d'améliorer
l'intelligence collective
simplement en utilisant de nombreux ordinateurs supplémentaires exécutant
des copies de ceux-ci
11
.
L'intelligence de la vitesse
peut être améliorée en
migrant les programmes vers des ordinateurs plus rapides. Selon la façon
dont les programmes peuvent être exécutés en parallèle, une autre ressource
consiste à utiliser plus de processeurs. Cela fonctionnera probablement pour
les modèles cérébraux qui sont intrinsèquement parallèles dans
l'architecture, mais de nombreux systèmes d'IA incluent également des
procédures qui peuvent être exécutées plus efficacement par une exécution
parallèle. Il est également possible d'améliorer
l'intelligence qualitative
en
augmentant la puissance de calcul, mais il est peu probable que ce soit aussi
simple
12
.
Par conséquent, la résistance à l'amplification de l'intelligence collective ou
rapide (et éventuellement qualitative) dans les programmes au niveau
humain est susceptible d'être faible. La seule difficulté restera d'accéder à
une puissance de calcul supplémentaire. Il existe plusieurs façons d'étendre
la base matérielle du système, chacune nécessitant des coûts de temps
différents.
À court terme, la puissance de calcul ne peut évoluer de manière quasi
linéaire qu'avec un financement supplémentaire : elle doublera de taille :
vous pourrez acheter deux fois plus d'ordinateurs, ce qui vous permettra
d'exécuter deux fois plus de programmes en même temps. L'avènement des
services de cloud computing permet à tout projet d'augmenter l'utilisation
des ressources informatiques sans même perdre de temps à expédier des
ordinateurs supplémentaires et à y installer des logiciels, bien que des
considérations de confidentialité puissent encourager à travailler sur vos
propres machines. (Cependant, dans certains scénarios, des ressources
informatiques supplémentaires peuvent être obtenues par d'autres moyens,
par exemple en recrutant des botnets
13
). La facilité de mise à l'échelle d'un
système particulier dépendra de la puissance de calcul que vous utiliserez
initialement. . Un système fonctionnant à l'origine sur un ordinateur
personnel peut être étendu des milliers de fois pour moins d'un million de
dollars. Il est beaucoup plus coûteux de faire évoluer un programme installé
sur un supercalculateur.
À un peu plus long terme, à mesure que la puissance de calcul disponible
sur la planète sera de plus en plus utilisée, le coût d'acquisition
d'équipements supplémentaires pourrait commencer à augmenter. Par
exemple, dans le scénario de création d'un modèle de cerveau simulé dans
un environnement concurrentiel, le coût d'exécution d'une copie
supplémentaire devrait augmenter et être approximativement égal aux
revenus générés par cette copie, puisque les prix de l'infrastructure
informatique augmenteront (bien que si cette technologie est disponible
pour un seul projet, le monopsone est assuré et, par conséquent, il peut
payer moins cher).
À plus long terme, l'offre de puissance de calcul augmentera à mesure que
davantage de logiciels seront installés sur davantage d'ordinateurs.
L'augmentation de la demande stimule l'expansion de l'existant et la
création de nouvelles productions de microprocesseurs. (L'utilisation de
processeurs personnalisés
14
peut produire des pointes de performances
uniques d'un ou deux ordres de grandeur). dont ne fera qu'augmenter.
Historiquement, il est décrit par la célèbre loi de Moore , dont une version
stipule que la puissance de calcul par dollar double tous les dix-huit mois
environ
.
Et bien que personne ne puisse garantir que cette vitesse perdurera
jusqu'à la création de l'IIHI, il y a encore place à l'amélioration de la
technologie informatique : les limites physiques fondamentales ne sont pas
encore atteintes.
Il y a donc tout lieu de croire que la résistance de l'environnement matériel
ne sera pas trop élevée. L'achat de puissance de traitement supplémentaire
pour un système qui a prouvé son droit d'exister en atteignant le niveau
humain d'intelligence peut facilement ajouter plusieurs ordres de grandeur
de puissance supplémentaire à ses créateurs (selon la gourmandise du projet
à l'origine à ce stade). sens). La personnalisation des processeurs ajoutera
un ou deux ordres de grandeur de plus. D'autres moyens d'étendre la base
matérielle, tels que la construction de nouvelles usines et l'amélioration de
la technologie informatique, nécessiteront plus de temps, généralement
plusieurs années, bien qu'à l'avenir, la période puisse être considérablement
raccourcie en raison de la révolution que la superintelligence apportera dans
le développement. . procédés technologiques et industriels.
Résumons. Nous pouvons parler de la possibilité d'une "surabondance de
matériel": au moment où le logiciel au niveau humain sera créé, il y aura
suffisamment de puissance de traitement disponible pour exécuter un grand
nombre de copies sur des ordinateurs très rapides. La résistance au niveau
du logiciel, comme mentionné ci-dessus, est plus difficile à évaluer, mais
est susceptible de s'avérer encore inférieure à la résistance du matériel. En
particulier, il est possible de créer une "surcharge de contenu" sous la forme
d'énormes quantités d'informations prêtes à l'emploi (par exemple, sur
Internet), qui seront disponibles pour le système dès qu'elles atteindront
l'humain. niveau de développement La probabilité d'"overlocking
algorithmique" (optimisation d'algorithme faite au préalable) existe
également, mais elle est beaucoup plus faible. Grâce aux améliorations
logicielles (à la fois dans les algorithmes et le contenu), les gains potentiels
de performances du système peuvent être de plusieurs ordres de grandeur, et
atteindre ce gain une fois que l'intelligence numérique atteindra le niveau
humain sera assez facile et se superposera aux gains de performances
obtenus. en utilisant du matériel plus ou plus puissant.
La puissance de l'optimisation et le développement
explosif de l'intelligence
Après avoir exploré le sujet de la résilience, passons à la deuxième partie de
notre équation :
la puissance de l'optimisation
. Mémoire:
Puissance d'optimisation Taux de croissance de l'intelligence =

Endurance
Comme on peut le voir à partir de cette formule, un décollage rapide ne
nécessite pas que la résistance de transition de phase soit faible. Un
décollage rapide peut également se produire dans un contexte de résistance
constante voire de croissance lente, pour autant que la puissance
d'optimisation appliquée au système et l'augmentation de ses performances
croissent assez rapidement. Nous verrons qu'il existe de nombreuses raisons
de croire que le pouvoir d'optimisation appliqué au système
augmentera
pendant la phase de transition, du moins en l'absence de mesures explicites
dirigées contre lui.
Deux phases peuvent être ici distinguées. La première phase commence à
partir du point de séparation du système du niveau de l'intelligence
humaine. Au fur et à mesure que vos capacités continuent de croître, vous
pouvez en utiliser certaines ou toutes pour vous améliorer (ou créer un
système descendant, peu importe). Cependant, la majeure partie de la
puissance d'optimisation viendra de l'extérieur du système grâce au travail
des programmeurs et des ingénieurs, à la fois à l'intérieur et à l'extérieur du
projet
16
. Si cette phase se prolonge longtemps, on peut s'attendre à ce que
la puissance d'optimisation appliquée au système augmente. La contribution
au projet des équipes et des participants externes augmentera si l'approche
choisie s'avère prometteuse. Les chercheurs commenceront à travailler plus
dur, leur nombre augmentera pour accélérer les progrès, ils commenceront à
acheter plus d'ordinateurs. La croissance sera particulièrement rapide si la
création de l'IIHI surprendra le monde ; dans ce cas, les efforts des
chercheurs et développeurs du monde entier seront concentrés sur un petit
projet initial (bien qu'une partie des efforts mondiaux puisse être dirigée
vers l'exécution de projets concurrents).
La deuxième phase de croissance commencera au moment où le système
accumule une puissance telle qu'il devient la principale source de puissance
d'optimisation par rapport à lui-même (sur la figure 7, cela est marqué
comme une "limite critique ou point de transition") . Cela changera
radicalement la dynamique du processus, puisque tout changement dans les
capacités du système entraîne désormais une augmentation proportionnelle
de la force d'optimisation appliquée pour l'améliorer davantage. Si la
résistance reste constante, la croissance exponentielle commence (voir
tableau 4). Le doublement de l'efficacité peut se produire très rapidement (il
existe des scénarios où cela ne prend que quelques secondes) si la
croissance se fait à des vitesses électroniques grâce à l'utilisation
d'améliorations algorithmiques ou en exploitant le contenu ou le matériel
excédentaire
17
. La croissance basée sur l'infrastructure physique, comme la
construction de nouveaux ordinateurs ou d'installations de fabrication,
prendra un peu plus de temps (et sera pourtant très faible compte tenu du
taux de croissance actuel de l'économie mondiale).
Ainsi, la puissance de l'optimisation est susceptible d'augmenter pendant la
transition, d'abord parce que les gens essaieront d'améliorer les
performances de l'IA, qui connaît un succès remarquable, et plus tard parce
qu'elle sera elle-même capable de réaliser des percées à des vitesses
numériques. Cela créera de réelles conditions pour un décollage rapide ou
modéré,
même si la résistance est constante ou augmente légèrement dans
la zone du niveau intellectuel humain
18
.
ENCADRÉ 4. SUR LA DYNAMIQUE DU DÉVELOPPEMENT EXPLOSIF DU
RENSEIGNEMENT
Le taux de variation du niveau d'intelligence peut être exprimé comme le rapport de la force
d'optimisation appliquée au système sur sa résistance :
DIO
_

=
dt
ℜ
_
La force d'optimisation totale agissant sur le système est la somme de la force d'optimisation produite
par le système lui-même et appliquée de l'extérieur. Par exemple, la graine d'IA peut être développée
grâce à une combinaison de vos propres efforts et des efforts d'une équipe de programmeurs humains,
peut-être en s'appuyant sur une vaste communauté mondiale de chercheurs travaillant constamment
pour faire progresser les progrès de l'IA. l'industrie des semi-conducteurs, l'informatique et la
technologie. domaines connexes
19
:
O = O
système
+ O
projet
+ O
monde
Au départ, l'IA embryonnaire a des capacités cognitives très limitées. Autrement dit, au point initial,
le
système de quantité
O est petit
20
. Qu'en est-il de About
Project
et de About
World
? Il y a des moments
où les capacités du projet dépassent les capacités du reste du monde, comme ce fut le cas, par
exemple, avec le projet Manhattan, où la plupart des meilleurs physiciens du monde se sont retrouvés
à Los Alamos et ont participé au création de la bombe atomique. . Mais le plus souvent, un seul
projet ne représente qu'une très petite fraction de la capacité de recherche mondiale. Cependant,
même lorsque les possibilités du monde dépassent de loin celles du projet, le
projet
O peut toujours
surpasser le
monde
O , car la plupart des chercheurs extérieurs au projet se concentrent sur d'autres
domaines de travail. Si un projet commence à sembler prometteur, ce qui se produit lorsque le
système atteint l'intelligence humaine ou même plus tôt, il attire des investissements supplémentaires,
augmentant l' O du
projet
. Si les réalisations du projet sont portées à la connaissance du grand public,
la valeur
de
augmente
la monde également, à mesure que l'intérêt pour l'intelligence artificielle en
général grandit et que d'autres participants se joignent au jeu . Par conséquent, dans la phase de
transition, le pouvoir d'optimisation total agissant sur le système cognitif est susceptible d'augmenter
à mesure que les capacités du système augmentent
21
.
La croissance des capacités du système peut atteindre un point où la puissance d'optimisation
produite par le système lui-même commence à dominer la puissance d'optimisation appliquée au
système de l'extérieur (dans tous les domaines d'amélioration significatifs) :
À propos
du système
> À propos du
projet
+ À propos
du monde
Ce
jalon
est très important, car au-delà, la poursuite de l'amélioration du système a une très forte
influence sur la croissance de la force d'optimisation totale appliquée au système pour l'améliorer.
C'est-à-dire que le puissant mode d'auto-amélioration récursive est activé. Cela conduit à une
croissance explosive des capacités du système dans une large gamme de formes de courbes de
résistance.
Pour illustrer cela, considérons le premier scénario, où la résistance est constante, de sorte que les
capacités de l'IA augmentent proportionnellement à la puissance d'optimisation qui lui est appliquée.
Supposons que toute la puissance d'optimisation soit générée par le système lui-même et que toutes
les capacités intellectuelles du système soient orientées vers la résolution du problème d'amélioration
de son intelligence, de sorte que O
système
=
I
22
. Donc nous avons:
dl_
_

=
dtk
_
En résolvant cette équation différentielle simple, nous obtenons une fonction exponentielle :
I
=
Aet
/k
Mais la persistance de la résistance est un cas particulier. La résistance peut très bien tomber dans la
zone de l'intelligence humaine en raison d'un ou plusieurs des facteurs discutés dans la section
précédente, et rester faible au point de transition et pendant un certain temps après (peut-être jusqu'à
ce que le système atteigne enfin les contraintes physiques fondamentales). . Supposons que la force
d'optimisation appliquée au système reste approximativement constante
(c'est-à-dire 0

+ 0
monde
≈
s
)
projet jusqu'à ce que le système lui-même puisse modifier
significativement sa conception, conduisant à un doublement de ses capacités tous les 18 mois. (Il
s'agit du taux historique d'amélioration du système lorsque vous combinez la loi de Moore et les
progrès du développement logiciel
23
). Ce taux d'amélioration, obtenu en actionnant une force
d'optimisation à peu près constante, fait diminuer la résistance en proportion inverse de la force du
système :
Déc_
_

= =
cI dt
1/
I
Si la résistance continue de diminuer tout au long d'une telle hyperbole, lorsque l'IA atteint le point
de transition, la puissance d'optimisation cumulée agissant sur le système doublera. C'est ça:
dI
(
c
+
I
)

=
= (
c
+
je
)
je
dt
(1/
I
)
Le prochain doublement aura lieu dans 7,5 mois. En 17,9 mois, les capacités du système seront
multipliées par mille, ce qui en fera une superintelligence rapide (voir Fig. 9).
Ce chemin de croissance particulier a un point de singularité positive à
t
= 18 mois. En réalité,
l'hypothèse selon laquelle la résistance est une constante se brisera lorsque le système approchera des
limites physiques du traitement de l'information, sinon plus tôt.
Ces deux scénarios sont donnés à titre indicatif : bien d'autres chemins sont possibles selon la forme
de la courbe de résistance. La conclusion est simple : la rétroaction puissante qui se produit dans la
région du point de transition devrait conduire à un décollage plus rapide qu'en son absence.
Dans la section précédente, nous avons vu qu'il existe des facteurs qui
peuvent entraîner une forte baisse de la résistance. Ces facteurs incluent, par
exemple, la possibilité d'étendre rapidement la base matérielle dès la
création d'un logiciel de travail intelligent ; la possibilité d'améliorations
algorithmiques  ; la possibilité de scanner des copies supplémentaires du
cerveau (avec une émulation cérébrale complète)  ; la capacité d'assimiler
rapidement une grande quantité de contenus grâce à un examen approfondi
d'Internet (dans le cas de l'intelligence artificielle)
24
.
Riz. 9. L'un des modèles simples du développement explosif de l'intelligence.
Cependant, il faut dire qu'il est assez difficile de caractériser la forme de la
courbe de résistance dans chaque zone spécifique. En particulier, on ne sait
pas à quel point il sera difficile d'améliorer la qualité de l'IA ou des logiciels
de simulation du cerveau humain. Il n'y a pas non plus de clarté sur le degré
de complexité de l'expansion de la base matérielle de tels systèmes.
S'il est relativement facile aujourd'hui d'augmenter la puissance de calcul
disponible pour un petit projet simplement en dépensant mille fois plus en
ordinateurs ou en attendant quelques années que les prix des ordinateurs
baissent, il s'agit probablement de la première intelligence artificielle au
niveau humain. il sera créé dans le cadre d'un grand projet utilisant des
ordinateurs super puissants et coûteux qui ne sont pas très faciles à mettre à
l'échelle, et à quel point la loi de Moore ne s'appliquera plus. Pour ces
raisons, la possibilité d'un décollage lent ne doit pas être exclue, bien que la
probabilité d'un décollage rapide ou modéré semble encore plus grande
25
.
 Chapitre Cinq
Avantage stratégique décisif
En plus de la question de la dynamique du processus d'émergence de la
superintelligence, il y en a une autre qui lui est liée : une seule
superintelligence sera-t-elle créée ou plusieurs ? Le pouvoir d'un seul
surmental viendra-t-il ou le pouvoir de plusieurs ? Le développement
explosif de l'intelligence artificielle conduira-t-il au fait qu'un seul projet ira
de l'avant et dictera aux gens leur avenir ? Ou le progrès suivra-t-il un
chemin plus uniforme, se déployant sur un large front, touchant à de
nombreux développements, dont aucun n'assurera à lui seul une suprématie
absolue ?
Dans le chapitre précédent, un paramètre clé pour déterminer l'ampleur de
l'éventuel écart entre le projet leader et ses concurrents les plus proches a
été analysé, à savoir : la vitesse de transition de l'intelligence humaine à la
superintelligence. Cela définit beaucoup. oui
décolle
rapidement
(se passe
en heures, jours ou semaines), alors il est peu probable que deux projets
indépendants le réalisent en même temps : il est presque certain que l'un des
projets achèvera son décollage avant que l'autre n'atteigne ce stade. Si
le
décollage est lent
(sur plusieurs années ou décennies), alors il est tout à fait
possible que plusieurs projets passent à ce stade en même temps, et malgré
les énormes opportunités qui se présenteront pour les projets ayant achevé
la transition . , aucun d'entre eux ne sera tout à fait réussi. Il est temps de
contourner le reste et d'obtenir un avantage inconditionnel.
Modéré
le
décollage
tombe dans une catégorie intermédiaire, où l'une ou l'autre des
options est probable : plusieurs projets peuvent être en phase de démarrage
en même temps, mais un seul peut l'être
1
.
L'un des projets peut-il être tellement en avance sur la concurrence qu'il
obtiendra un avantage
stratégique décisif , technologique ou autre, mais
suffisant pour affirmer sa domination mondiale  ?
Et plus encore : ayant
reçu un avantage stratégique absolu, ce projet deviendra-t-il un acteur
solitaire, c'est-à-dire un singleton, commencera-t-il à écraser le monde,
éliminant tous les concurrents en chemin et formant un nouvel ordre
mondial dans lequel lui seul ? prendrez-vous des décisions ? Si un tel projet
gagnant est annoncé, quelle « taille » devrait-il avoir ? Et pas en termes de
taille physique ou de budget, mais en termes de portée des désirs, des
préférences et des conceptions humaines. Considérons ces questions dans
l'ordre.
Le projet principal obtiendra-t-il un avantage
absolu ?
Un facteur qui influence la taille de l'écart entre le leader et le suiveur est la
mesure dans laquelle il se développe (cela peut être n'importe quoi) donnant
au leader un avantage concurrentiel. Parfois, il est difficile pour un leader
de se séparer de ses poursuivants s'ils peuvent facilement copier ses idées et
ses innovations. L'apparition de substituts crée de véritables obstacles, et ce
vent contraire frappe carrément ceux qui sont allés de l'avant et fait le jeu de
ceux qui restent, notamment en ce qui concerne l'activité intellectuelle, dont
les droits sont mal protégés. En outre, le dirigeant peut être particulièrement
vulnérable aux saisies, aux augmentations d'impôts ou à la séparation en
vertu de la réglementation antitrust.
Ce serait une erreur de supposer que les moyens de dissuasion devraient
augmenter de manière monotone à mesure que l'écart entre le leader et les
suiveurs s'élargit. Un développeur en tout point inférieur à un leader
technologique peut avoir du mal à tirer parti de ses projets à la pointe de la
science, situation tout à fait comparable à celle d'un cycliste qui est loin
derrière ses grands rivaux et se retrouve exposé à rafales. vent de face
2
. Il
arrive que l'écart entre les capacités intellectuelles et matérielles soit trop
grand. Un leader, par exemple, peut se permettre de passer à la plate-forme
technologique la plus récente, après quoi aucun des retardataires ne pourra
intégrer ses innovations supplémentaires dans ses premières plates-formes.
Lorsqu'un projet va trop loin, les fuites d'informations doivent être évitées,
les développements critiques doivent être tenus secrets et les efforts des
concurrents pour développer leurs propres capacités matérielles doivent être
entravés.
Si l'IA est le projet principal, il peut avoir des attributs qui lui permettent de
développer plus facilement ses capacités tout en réduisant le risque de
diffusion de l'information. Dans les organisations dirigées par des humains,
les avantages des économies d'échelle sont contrebalancés par les
inefficacités bureaucratiques et les problèmes d'agence, y compris la
difficulté de conserver des secrets commerciaux
3
. Ces problèmes
ralentiront très probablement le développement de projets d'IA tant que le
développement sera géré par des personnes. Cependant, les systèmes d'IA
peuvent éviter certains des inconvénients associés à la mise à l'échelle du
projet, car les travailleurs d'émulation (contrairement aux travailleurs
humains) n'ont pas d'intérêts différents de ceux du système dans son
ensemble. Ainsi, les systèmes d'IA pourront éviter la dégradation notable
des performances associée aux projets humains. Grâce au même avantage
d'avoir des composants complètement fidèles, il est beaucoup plus facile
pour les systèmes d'IA de garder le secret. Dans votre cas, il est impossible
pour les salariés offensés de se présenter prêts à aller chez un concurrent ou
à vendre des informations commerciales
4
.
On peut se faire une idée de ce que peut être l'écart dans le développement
de divers systèmes en se référant à des exemples historiques (voir encadré
5). Il semble que pour les projets technologiques d'importance stratégique,
la fourchette de plusieurs mois à plusieurs années soit typique.
ENCADRÉ 5. LA COURSE TECHNOLOGIQUE : QUELQUES EXEMPLES
HISTORIQUES
Dans une longue chronologie historique, on voit clairement comment la vitesse de diffusion des
connaissances et de la technologie dans le monde a augmenté. En conséquence, l'écart entre les
leaders technologiques et leurs plus proches rivaux s'est progressivement réduit.
Pendant plus de deux millénaires, la Chine a pu maintenir un monopole sur la production de soie. Les
découvertes archéologiques suggèrent qu'il pourrait avoir son origine vers 3000 av. moi. ou même
avant
5
. La sériciculture était un secret bien gardé. Leur divulgation était passible de la peine de
mort, tout comme l'exportation de vers à soie et de leurs œufs hors du pays. Les Romains, malgré le
prix élevé de la soie importée dans l'immensité de leur empire, n'ont jamais maîtrisé l'art de la
sériciculture. Seulement vers 300 après JC ma. une expédition japonaise a pu capturer plusieurs œufs
de vers à soie et quatre filles chinoises, que les ravisseurs ont forcées à révéler les secrets de l'engin
6
. Byzance n'a rejoint le club des producteurs de soie qu'en 522. L'histoire de la production de
porcelaine est également caractérisée par de longs décalages. Cet art était pratiqué en Chine dès la
dynastie Tang, c'est-à-dire au moins à partir de l'an 600 (et aurait pu être connu encore plus tôt, à
partir de l'an 200), mais il n'est devenu accessible aux Européens qu'au XV-II siècles
7
. Les chars à
roues sont apparus en divers endroits d'Europe et de Mésopotamie vers 3500 av. J.-C., mais n'ont
atteint l'Amérique qu'après leur découverte par Christophe Colomb
8
. Plus important encore, il a
fallu des dizaines de milliers d'années pour que les humains se répandent dans la majeure partie du
monde ; la révolution néolithique a duré plusieurs milliers d'années ; la révolution industrielle n'a que
des centaines d'années ; La révolution de l'information est vieille de plusieurs décennies, même si
bien sûr ces changements n'étaient pas nécessairement aussi profonds. (Le jeu vidéo Dance Dance
Revolution est apparu au Japon et s'est répandu en Europe et en Amérique du Nord en seulement un
an !)
La concurrence technologique est étudiée de manière très intensive, notamment dans le contexte de la
course aux brevets et de la course aux armements
9
. Une revue de la littérature pertinente dépasse le
cadre de ce livre. Cependant, il sera utile d'examiner quelques exemples de batailles technologiques
stratégiquement importantes du XXe siècle (voir tableau 7).
Dans le cas des six grandes technologies considérées comme stratégiquement importantes par les
superpuissances pour leur potentiel militaire ou symbolique, l'écart entre le leader et son poursuivant
le plus proche était (très approximativement) de 49 mois, 36 mois, 4 mois, 1 mois, 4 mois, et 60
mois, respectivement - c'est plus long que la durée d'un décollage rapide, mais moins qu'un décollage
lent
10
. Dans de nombreux cas, les projets de harcèlement ont obtenu un avantage grâce à
l'espionnage et à l'utilisation d'informations qui sont dans le domaine public. La démonstration même
de la possibilité d'une invention a souvent servi d'incitation pour les autres à continuer à travailler à
son développement indépendant, et la peur d'être laissé pour compte s'est avérée être une puissante
incitation supplémentaire.
Les découvertes mathématiques qui ne nécessitent pas la création d'une nouvelle infrastructure
matérielle sont peut-être les plus proches de la situation avec l'IA. Souvent, la publication dans la
littérature scientifique suffit à les rendre accessibles au public, mais dans certains cas, lorsque la
découverte offre un avantage stratégique, la date de publication est repoussée. Par exemple, dans la
cryptographie à clé publique, il existe deux concepts très importants : le protocole Diffie-Hellman,
qui permet à deux ou plusieurs parties d'obtenir une clé secrète partagée, et le schéma de chiffrement
RSA. Ils ont été présentés à la communauté scientifique en 1976 et 1978, respectivement, mais il s'est
avéré plus tard que les cryptographes du Secret Communications Group du Royaume-Uni les
connaissaient depuis le début des années 1970.
11
Les grands projets logiciels peuvent ressembler
beaucoup à de grands projets logiciels. IA, mais il n'est pas facile de fournir des exemples
convaincants de retard typique, car le logiciel est souvent mis à jour et étendu plusieurs fois, et la
fonctionnalité des systèmes concurrents n'est souvent pas directement comparable.
Tableau 7.
Carrières technologiques d'importance stratégique
 

Bombe atomique 1945 1949 1952 1960 1964 1974 1979 ? 1998 2006 1979 ?
bombe h 1952 1953 1957 1968 1967 1998 ? - - -
12

vaisseau spatial sans 1958 1957 1971 1965 1970 1980 1988 - 1998  ? –
14
13
pilote
vaisseau spatial habité 1961 1961 - - 2003 - - - - -
Missile balistique 1959 1960 1968 1985 1971 2012 2008 –
17 2006 –
18
16
intercontinental
(ICBM)
15
Ogives chargées à 1970 1975 1979 1985 2007 2014 2008 ? -    
20
plusieurs reprises de
cibles individuelles
19
Il est possible que les politiques de mondialisation et d'endiguement
réduisent les écarts typiques entre la mise en œuvre de projets
technologiques concurrents. Cependant, lorsqu'il n'y a pas de coopération
consciente, il existe toujours une limite inférieure au délai moyen
21
. Même
en l'absence d'une dynamique boule de neige significative, certains projets
auront toujours une équipe de recherche plus forte, des leaders plus
talentueux, une infrastructure plus puissante ou tout simplement des idées
brillantes. Si deux projets développent des approches différentes pour
résoudre le même problème, et que l'un d'entre eux s'avère plus efficace,
cela peut prendre plusieurs mois pour qu'un projet concurrent y bascule,
même s'il est possible de surveiller les actions d'un rival.
Sur la base de nos observations précédentes sur la nature de la vitesse de
décollage, nous pouvons tirer les conclusions suivantes : la probabilité de
mise en œuvre simultanée d'un décollage rapide par deux projets à la fois
est extrêmement faible ; dans le cas d'un décollage modéré, c'est tout à fait
possible ; dans le cas d'un démarrage lent, il est presque certain que
plusieurs projets seront impliqués dans le processus en parallèle. Mais
l'analyse ne s'arrête pas là. La question n'est pas de savoir combien de
projets prendront la route en même temps. La principale question est :
combien d'entre eux, ayant à peu près les mêmes capacités, finiront de
l'autre côté, et de telle manière qu'aucun d'entre eux ne puisse obtenir un
avantage concurrentiel décisif. Si le processus de démarrage démarre
relativement lentement puis s'accélère, la distance entre les projets
concurrents commencera à s'allonger. Pour en revenir à notre analogie avec
la course de vélo, imaginez que deux cyclistes montent une colline, et si l'un
traîne un peu plus loin derrière, l'écart entre eux se creusera dès que le
leader atteindra le sommet et redescendra.
Considérez le scénario de décollage modéré suivant. Supposons qu'il faille
un an à une IA pour augmenter ses capacités d'humain à superintelligent, le
deuxième projet entrant dans la phase de décollage six mois après le
premier. Il peut sembler qu'aucune d'entre elles ne dispose d'un avantage
concurrentiel décisif. Mais ce n'est pas nécessairement le cas. Disons qu'il
faut neuf mois pour passer du niveau humain au point de transition, et
encore trois mois pour atteindre le niveau supramental. Le système leader
se convertira alors en superintelligence trois mois avant que son rival
n'atteigne le point de transition. Cela donnera au leader un avantage
concurrentiel décisif et lui permettra, en utilisant habilement son leadership,
d'établir un contrôle vigilant et omniprésent. En conséquence, les projets
concurrents sont détruits et le mode du projet est singleton. (Notez qu'un
singleton est une pure abstraction. Le régime qui le régit peut être très
différent : démocratie, tyrannie, autocratie, c'est-à-dire l'absolutisme de l'IA,
un ensemble de lois mondiales strictes qui doivent être appliquées sans
faute. En d'autres termes, un singleton est un type d'organisme qui peut à lui
seul décider de tous les grands problèmes mondiaux, il peut, mais pas
nécessairement, avoir les caractéristiques des formes familières de
gouvernement
humain

.
Puisqu'il existe de fortes perspectives de croissance explosive
immédiatement après le point de transition, lorsque la puissance de
l'optimisation génère une rétroaction puissante, le scénario décrit ci-dessus
est plus susceptible de se matérialiser, augmentant les chances que le projet
principal obtienne un avantage. compétition absolue même si ce n'est pas le
décollage le plus rapide.
Quelle sera la taille du projet le plus prometteur ?
Certaines des façons dont la superintelligence émerge nécessitent des
ressources importantes et sont donc plus susceptibles d'être mises en œuvre
dans le cadre de grands projets bien financés. Par exemple, l'émulation
cérébrale complète nécessiterait un large éventail d'expertise
professionnelle et une variété d'équipements. L'amélioration biologique des
capacités intellectuelles et des interfaces cerveau-ordinateur dépend aussi
largement du facteur matériel. Et bien qu'une petite biotech puisse inventer
quelques médicaments, l'essor de la superintelligence (si une telle chose est
possible, en parlant de méthodes spécifiques) nécessitera sûrement de
nombreuses inventions et expériences, ce qui est possible avec le soutien de
toute une industrie. secteur et un programme national bien financé.
Atteindre le niveau de superintelligence collective en augmentant
l'efficacité des organisations et des réseaux nécessitera une contribution et
une participation encore plus importantes d'une grande partie de l'économie
mondiale.
La chose la plus difficile à évaluer est la trajectoire de l'IA. Il existe
différentes options : du programme de recherche le plus vaste et le plus
solide à un petit groupe de spécialistes. Même les scénarios impliquant des
pirates isolés ne peuvent être exclus. La création d'un germe d'IA peut
nécessiter des idées et des algorithmes qui seront développés par les
meilleurs représentants de la communauté scientifique mondiale pendant
plusieurs décennies. Dans ce cas, la dernière hypothèse décisive reviendra à
une ou plusieurs personnes, et elles sauront tout mettre en place. Pour
certains types d'architecture d'IA, ce scénario est plus probable, pour
d'autres, il est moins probable. Un système d'un grand nombre de modules,
dont chacun doit être soigneusement réglé et équilibré pour fonctionner
ensemble efficacement, puis soigneusement chargé avec un contenu cognitif
conçu individuellement, nécessitera probablement une mise en œuvre dans
le cadre d'un très grand projet. Si un germe d'IA peut être un système
simple qui ne nécessite que quelques règles de base pour le construire, alors
cela peut être fait par une petite équipe et même un seul scientifique. La
probabilité que la percée finale soit réalisée dans le cadre d'un petit projet
est accrue si une grande partie du chemin précédemment parcouru a été
publiquement signalée ou mise en œuvre en tant que logiciel open source.
Il est nécessaire de séparer deux questions : 1) quelle doit être la taille du
projet dans lequel
le système est créé
; 2) la taille d'un groupe qui
contrôle
si le système sera créé et, si oui, comment et quand. La bombe atomique a
été créée par de nombreux scientifiques et ingénieurs. (Le nombre
maximum de participants au projet Manhattan a atteint cent trente mille
personnes, la plupart d'entre eux étaient des techniciens
23
). Cependant, les
scientifiques, les ingénieurs, les concepteurs et les constructeurs étaient
contrôlés par le gouvernement américain, qui à l'époque comptait environ
un dixième de la population mondiale
24
.
Système de contrôle
Compte tenu de l'importance cruciale de la montée en puissance de la
superintelligence pour la sécurité nationale, les gouvernements sont
susceptibles d'essayer de nationaliser tout projet sur leur territoire qu'ils
pensent être sur le point de démarrer. Des États puissants peuvent
également tenter de détourner des projets lancés dans d'autres pays par
l'espionnage, le vol, l'enlèvement, la corruption, les opérations militaires ou
d'autres moyens à leur disposition. S'ils ne se les approprient pas, ils
tenteront de les détruire, surtout si les pays où ils ont lieu ne peuvent se
protéger efficacement. Si les structures de gouvernance mondiale sont
suffisamment solides au moment où le décollage est imminent, des projets
prometteurs pourraient passer sous contrôle international.
Ce qui est important, cependant, est de savoir si les autorités nationales ou
internationales seront en mesure de remarquer le prochain développement
explosif de l'intelligence artificielle. Jusqu'à présent, il ne semble pas que
les services de renseignement prêtent attention aux projets potentiellement
réussis dans le domaine du développement de l'IA
25
. On peut supposer que
ce n'est pas le cas en raison de l'opinion largement répandue selon laquelle
un développement explosif n'a aucune perspective. Si jamais il y a un
accord complet entre les principaux scientifiques sur le problème de la
superintelligence et qu'un jour ils déclarent tous à l'unanimité qu'elle est sur
le point d'apparaître, alors probablement les principales agences de
renseignement du monde prendront le relais des équipes scientifiques et des
chercheurs individuels impliqués. à l'œuvre dans ces domaines. Après cela,
tout projet qui peut montrer des progrès remarquables peut être nationalisé
très rapidement. Si les élites politiques décident que le risque est trop grand,
les efforts privés dans les domaines concernés peuvent être réglementés ou
totalement interdits.
Est-il difficile d'organiser un tel système de contrôle ? La tâche sera
facilitée si vous ne traitez qu'avec les dirigeants. Dans ce cas, il peut suffire
de se pencher sur quelques projets disposant des meilleures ressources. Si
l'objectif est d'empêcher tout travail d'être effectué (au moins en dehors des
organisations spécialement agréées), la surveillance doit être plus
omniprésente, car même de petites équipes et des enquêteurs individuels
peuvent faire des progrès.
Il sera plus facile de contrôler des projets qui nécessitent une quantité
importante de ressources matérielles, comme dans le cas d'une émulation
cérébrale complète. En revanche, la recherche sur l'IA est plus difficile à
contrôler, ne nécessitant qu'un ordinateur, un stylo et du papier pour faire
des observations et faire des calculs théoriques. Mais même dans ce cas, il
n'est pas difficile d'identifier les scientifiques les plus talentueux avec de
sérieuses intentions à long terme dans le domaine de l'IA. Généralement ces
personnes laissent des traces visibles : publications d'ouvrages scientifiques
; participation à des conférences; commentaires sur des forums Internet;
récompenses et diplômes d'organisations de premier plan dans le domaine
de l'informatique. Les chercheurs ont tendance à communiquer
publiquement entre eux à un niveau professionnel, ce qui permet de les
identifier en compilant un graphe social.
Il sera plus difficile de détecter les projets qui assument initialement le
secret. L'idée de développer un logiciel ordinaire
26 peut servir d'écran
. Et seule une
analyse approfondie du code révélera la véritable essence des problèmes sur
lesquels travaillent les programmeurs. Une telle analyse nécessitera la
participation d'un grand nombre de spécialistes hautement qualifiés et très
expérimentés, il est donc peu probable qu'il soit possible de tout étudier en
profondeur à la fois. Dans ce type d'observation, la tâche sera grandement
facilitée par l'apparition de nouvelles technologies, comme l'utilisation de
détecteurs de mensonge
27
.
Il existe une autre raison pour laquelle les États peuvent ne pas identifier les
projets prometteurs, car certaines découvertes scientifiques et
technologiques sont initialement difficiles à prévoir. Cela s'appliquera très
probablement à la recherche dans le domaine de l'IA, car toute une série
d'expériences réussies précédera les changements révolutionnaires dans la
simulation informatique du cerveau.
Il est possible que la lenteur bureaucratique et la rigidité inhérentes aux
services secrets et autres institutions étatiques ne leur permettent pas de
reconnaître l'importance de certaines réalisations, évidentes pour les
professionnels.
L'obstacle à la reconnaissance officielle de la possibilité d'un
développement explosif du renseignement peut être particulièrement élevé.
Il est tout à fait possible que ce sujet devienne un catalyseur de divisions
religieuses et politiques et finisse par devenir un tabou pour les
responsables de certains pays. De plus, le thème du développement explosif
sera associé à des personnages discrédités, des charlatans et des charlatans,
de sorte que des scientifiques et des politiciens respectés commenceront à
l'éviter. (Dans le premier chapitre, vous avez déjà lu un effet similaire,
quand quelque chose comme ça s'est produit au moins deux fois - rappelez-
vous les deux "hivers IA"). des scientifiques prêts à expulser de leurs rangs
quiconque oserait exprimer sa propre opinion s'inquiétant du « gel » d'un
problème aussi important et de ses conséquences pour la science elle-même
28

.
Par conséquent, une défaite complète des services spéciaux dans cette
affaire ne peut être exclue. Sa probabilité est particulièrement élevée si une
découverte fatidique se produit dans un proche avenir, alors que le sujet n'a
pas encore attiré l'attention du grand public. Mais même si les experts des
services de renseignement obtiennent tout ce qu'il faut, les politiciens
ignoreront simplement leurs conseils. Saviez-vous que le lancement du
projet Manhattan a nécessité des efforts littéralement surhumains de la part
de plusieurs physiciens visionnaires, dont Mark Oliphant et Leo Szilard  ;
est-ce ce dernier qui a supplié Eugène Wigner de convaincre Albert Einstein
de signer une lettre pour convaincre le président américain Franklin
Roosevelt de se pencher sur cette question ? Et même lorsque le projet
Manhattan battait son plein, Roosevelt et Harry Truman doutaient de sa
nécessité et étaient sceptiques quant à la possibilité de sa mise en œuvre.
Pour le meilleur ou pour le pire, il sera très probablement difficile pour de
petits groupes de passionnés d'influencer les conséquences de la création de
l'intelligence artificielle si les grands acteurs, y compris les États,
commencent à s'engager activement dans cette direction. Par conséquent, il
est probable que les militants puissent influencer la réduction du niveau
général de risque pour l'humanité en raison du développement explosif de
l'intelligence artificielle dans deux cas : si les poids lourds restent en dehors
du processus et si, dans un premier temps, les militants peuvent déterminer
où, quand, comment et lesquels des grands joueurs entreront en jeu. Par
conséquent, ceux qui souhaitent conserver un maximum d'influence doivent
concentrer leurs efforts sur une planification minutieuse de leurs actions
jusqu'au bout, même s'ils comprennent la forte probabilité d'un scénario où
les grands acteurs finiront par tout prendre pour eux.
coopération internationale
La coordination au niveau international est plus probable si les institutions
de gouvernance mondiale sont fortes. Ses chances seront accrues à la fois
par la reconnaissance généralisée du fait même qu'un développement
explosif de l'intelligence artificielle peut avoir lieu, et par l'idée qu'un suivi
efficace de tous les projets sérieux est tout à fait faisable. La dernière
hypothèse, comme nous l'avons déjà vu, est très douteuse, mais la
coopération internationale reste possible. Les pays peuvent s'unir pour
soutenir des développements conjoints. Si de tels projets disposent de
ressources suffisantes, il y a d'excellentes chances qu'ils soient les premiers
à atteindre l'objectif, surtout si les concurrents manquent d'une base
matérielle solide ou sont contraints de réaliser leurs développements en
secret.
Il existe des précédents connus de coopération scientifique internationale
réussie à grande échelle, comme le projet de création et d'exploitation de la
Station spatiale internationale, l'étude du génome humain et le Large
Hadron Collider
29
. Cependant, la principale raison de la coopération dans
tous ces projets était le partage des coûts des projets. (Dans le cas de l'ISS,
le développement d'un partenariat entre la Russie et les États-Unis était
également un objectif important
30
). Il est beaucoup plus difficile de
travailler ensemble sur des projets importants du point de vue de la sécurité.
Si un pays se croit capable d'atteindre seul l'objectif, il sera très tenté de
s'engager dans cette voie sans partenaires. Une autre raison d'éviter de
participer à la coopération internationale est la crainte que l'un des
partenaires n'utilise des idées communes pour accélérer son plan national
clandestin.
Ainsi, pour lancer un projet international, de sérieux problèmes de sécurité
devront être résolus, en plus d'une grande confiance de ses participants
entre eux et il faudra du temps pour que cette confiance émerge. Rappelez-
vous que même avec le réchauffement des relations entre les États-Unis et
l'URSS, à l'époque de Mikhaïl Gorbatchev, les efforts pour réduire le
nombre d'armes, ce qui était dans l'intérêt des deux États, n'ont pas donné
de résultat très perceptible. Gorbatchev a cherché à réduire les stocks
nucléaires, mais les pourparlers ont été bloqués sur la question de l'initiative
de défense stratégique (SDI) "Star Wars" de Ronald Reagan, à laquelle le
Kremlin s'est activement opposé. Au sommet de Reykjavik en 1986,
Reagan a suggéré que les États-Unis partagent la technologie derrière le
programme avec l'URSS afin que les deux pays puissent se protéger contre
les lancements accidentels et les attaques de petits pays capables de
développer des armes nucléaires. Cependant, cette proposition gagnant-
gagnant ne convenait pas à Gorbatchev. L'accepter, selon lui, serait une
erreur, alors que Gorbatchev n'a pas tenu compte du fait que les États-Unis
étaient prêts à partager les fruits de développements militaires de pointe
avec l'Union soviétique à une époque où le transfert de la traite, même
mécanique, la technologie vers l'URSS était interdite
31
. Il est difficile de
dire si Reagan était sincère dans son offre généreuse de coopération à une
autre superpuissance, mais une méfiance mutuelle de longue date a
empêché Gorbatchev d'accepter son cadeau.
Il est plus facile de coopérer lorsque vous êtes alliés, mais la confiance ne
se gagne pas toujours automatiquement. Pendant la Seconde Guerre
mondiale, l'Union soviétique et les États-Unis se sont battus ensemble
contre un ennemi commun, l'Allemagne nazie, et pourtant les États-Unis
ont caché leur intention de créer une bombe atomique à leur allié. Dans le
projet Manhattan, ils ont collaboré avec la Grande-Bretagne et le Canada
32
.
De même, la Grande-Bretagne a caché à l'URSS que ses scientifiques
avaient réussi à percer le secret du chiffrement allemand Enigma, mais l'a
partagé - mais pas immédiatement - avec les États-Unis
33
. La conclusion
est suggérée : avant de penser à une coopération internationale pour
travailler sur des technologies critiques pour la sécurité nationale, il est
nécessaire de construire des relations étroites et de confiance entre les pays.
Nous reviendrons sur la question de l'opportunité et de la possibilité d'une
coopération internationale dans le développement de technologies pour
augmenter les capacités intellectuelles dans le quatorzième chapitre.
De l'avantage décisif au singleton
Un projet ayant acquis un avantage stratégique décisif l'utilisera-t-il pour
former un singleton ?
Prenons une analogie historique assez proche. Les États-Unis ont créé des
armes nucléaires en 1945. C'était la seule puissance nucléaire de la planète
jusqu'en 1949, lorsque la bombe atomique est apparue en URSS. Dans cette
période de temps, et même un peu plus longtemps, les États-Unis peuvent
avoir, ou pourraient s'assurer, un avantage militaire décisif.
En théorie, les États-Unis pourraient utiliser leur monopole pour créer un
singleton. Une façon d'y parvenir est de tout jeter dans la construction d'un
arsenal nucléaire, puis de menacer de lancer (et, si nécessaire, d'activer la
menace) une attaque atomique pour éliminer la capacité industrielle de
lancer un programme de développement d'armes similaire sur Terre. URSS
et tout autre. un autre pays au monde pour le résoudre. créer.
Un scénario plus positif, et également tout à fait réalisable, est d'utiliser son
potentiel nucléaire comme un atout pour parvenir à la création d'un
gouvernement international puissant, une sorte d'ONU sans droit de veto,
avec un monopole nucléaire et doté du droit de prendre les mesures
nécessaires pour empêcher sa production par n'importe quel pays du monde
à ses propres fins.
À l'époque, il y avait des propositions pour aller dans les deux sens.
L'approche impitoyable, impliquant une frappe nucléaire préventive ou la
menace d'une frappe nucléaire, était soutenue par des intellectuels bien
connus comme Bertrand Russell (d'ailleurs, le mathématicien et philosophe
britannique avait auparavant pris position contre la guerre, et puis pendant
des décennies ont participé à des campagnes pour le désarmement
nucléaire) et John von Neumann (mathématicien et physicien américain, en
plus d'être l'un des créateurs de la théorie des jeux, est devenu l'architecte de
la stratégie nucléaire américaine)
34
.
Cependant, un scénario positif a également été proposé, sous la forme du
plan Baruch proposé par les États-Unis en 1946. Dans le cadre de ce
programme de développement de la coopération dans les utilisations
pacifiques de l'atome, il était supposé que les États-Unis renonceraient à
leur monopole nucléaire. temporaire. L'extraction d'uranium et de thorium
serait placée sous le contrôle de l'Agence de développement atomique, une
agence internationale opérant sous les auspices des Nations unies (ONU).
La proposition appelait les membres permanents du Conseil de sécurité de
l'ONU à renoncer à leur droit de veto sur les questions liées aux armes
nucléaires, afin qu'aucun d'entre eux ne puisse violer les accords et en
même temps éviter les sanctions en exerçant leur droit de veto.
35
. Staline,
réalisant que l'Union soviétique et ses alliés pouvaient facilement être
minoritaires au Conseil de sécurité et à l'Assemblée générale, rejeta cette
proposition. Une atmosphère de suspicion mutuelle et de méfiance s'est
intensifiée entre les anciens alliés pendant la Seconde Guerre mondiale, qui
a ensuite conduit à la guerre froide. Comme beaucoup l'avaient prédit, une
course aux armements coûteuse et extrêmement dangereuse avait
commencé.
De nombreux facteurs peuvent influencer toute institution dirigée par
l'homme qui a obtenu un avantage stratégique décisif et l'empêcher de
former un singleton. Énumérons-en quelques-unes : fonction d'utilité
agrégée ; règles de décision qui ne maximisent pas le gain  ; confusion et
incertitude; problèmes de coordination des actions; coûts élevés associés à
la mise en œuvre du contrôle. Mais que faire dans une situation où
l'avantage stratégique décisif n'est pas acquis par une organisation humaine,
mais par une force agissante numérique, fût-elle super-intelligente ? Les
facteurs énumérés ci-dessus seront-ils tout aussi efficaces pour empêcher
l'IA d'essayer d'affirmer son pouvoir  ? Considérons brièvement chacun
d'eux et imaginons comment ils peuvent affecter la situation.
En règle générale, les préférences en matière de ressources des personnes et
des organisations dirigées par l'homme ne correspondent pas exactement à
des fonctions d'utilité agrégées sans restriction. Une personne, en règle
générale, ne pariera pas tout son capital si les chances de le doubler sont de
cinquante-cinquante. Très probablement, un pays ne risquera pas de perdre
tout son territoire pour les dix pour cent de chance de le multiplier par dix.
Pour les individus comme pour les gouvernements, la règle des rendements
décroissants s'applique à la plupart des ressources variables. Cependant,
cela ne sera pas
nécessairement
inhérent aux agents artificiels. (Nous
reviendrons sur le sujet de la motivation de l'IA dans les chapitres suivants.)
Par conséquent, l'IA est plus susceptible de prendre des mesures risquées
qui lui donnent une chance de conquérir le monde.
Les personnes et les organisations axées sur les personnes se caractérisent
également par un processus décisionnel qui n'implique pas le désir de
maximiser la fonction d'utilité. Par exemple, des circonstances telles que :
l'inclination naturelle d'une personne à essayer d'éviter les risques ; le
principe de suffisance raisonnable, dont le critère principal est la recherche
et l'acceptation d'une option satisfaisante ; la présence de restrictions
éthiques qui interdisent certaines actions, quel que soit leur degré de
désirabilité. Les décideurs agissent souvent en fonction de leurs qualités
personnelles ou de leur rôle social, et non avec le désir de maximiser la
probabilité d'atteindre un objectif particulier. Et encore une fois, cela ne sera
pas
forcément
inhérent aux agents artificiels.
Il peut y avoir une synergie entre les fonctions d'utilité contraintes,
l'évitement des risques et les règles de décision qui ne maximisent pas le
rendement, en particulier face à la confusion et à l'incertitude stratégiques.
Les révolutions, même celles qui réussissent à changer l'ordre des choses
existant, ne donnent souvent pas le résultat attendu par leurs initiateurs. En
règle générale, une personne en tant qu'acteur arrête l'indécision si les
actions proposées sont irréversibles, violent les normes établies ou n'ont pas
de contexte historique. Pour la superintelligence en tant qu'agent, la
situation peut sembler assez simple, et l'incertitude du résultat ne
l'empêchera pas d'essayer d'utiliser son avantage stratégique décisif pour
renforcer sa propre position dominante.
Un autre facteur important qui peut empêcher un groupe de personnes
d'utiliser un avantage stratégique potentiellement décisif est le problème de
la coordination interne des actions. Les membres d'une société secrète
prévoyant de prendre le pouvoir doivent s'inquiéter non seulement des
ennemis extérieurs, mais aussi de la possibilité d'être victimes d'une
coalition interne de malfaiteurs. Si une société secrète se compose de cent
personnes et que soixante d'entre elles, constituant la majorité, peuvent
prendre le pouvoir et priver de leurs droits ceux qui ne partagent pas leurs
positions, qu'est-ce qui empêchera les gagnants d'être divisés, ce qui les
éliminera ? trente-cinq personnes ? de contrôle des vingt-cinq restants ? Et
après ces trente-cinq, une vingtaine priveront les quinze restants de leurs
droits ? Chaque personne de la centaine d'origine a toutes les raisons de
respecter certaines normes établies et d'essayer d'éviter le chaos général qui
résultera de toute tentative de modifier le contrat social existant par une
prise de pouvoir sans cérémonie. Le problème de la coordination interne n'a
rien à voir avec l'IA, puisqu'elle incarne une seule force active
36
.
Enfin, il y a la question des coûts. Même si les États-Unis utilisaient leur
monopole nucléaire pour établir un singleton, les coûts seraient énormes.
S'il était possible de signer un accord sur le transfert des armes nucléaires
sous le contrôle d'une ONU réformée et renforcée, ces coûts pourraient être
minimisés ; mais dans le cas d'une tentative de conquérir définitivement le
monde en le menaçant d'une guerre nucléaire, le coût - moral, économique,
politique et humain - serait incroyablement élevé, même dans des
conditions de monopole nucléaire continu. Cependant, si l'avantage
technologique est assez remarquable, ce prix peut être réduit. Supposons un
scénario où l'un des États a une telle supériorité technologique qu'il peut,
tout en restant complètement sûr, désarmer tous les autres pays en appuyant
sur un bouton, et personne ne sera tué ou blessé, et le moindre dommage
sera être terminé. à la nature et aux infrastructures. Avec une telle
supériorité technologique presque fabuleuse, l'idée d'une frappe préventive
semble d'autant plus tentante. Ou supposons un degré de supériorité encore
plus grand, qui permette à l'État dirigeant d'inciter le reste des pays à
déposer volontairement les armes, sans les menacer de destruction, mais
simplement en convainquant la majorité de la population des avantages de
l'unité mondiale par le biais de des campagnes de publicité et de
propagande extrêmement efficaces. Si cela est fait dans l'intention de
profiter à tous les peuples, c'est-à-dire d'offrir un gouvernement mondial
honnête, représentatif et efficace au lieu d'une rivalité internationale et d'une
course aux armements, alors il n'y aura guère d'objection à transformer un
avantage stratégique temporaire en un avantage permanent . unique.
Par conséquent, toutes nos considérations indiquent une forte probabilité
qu'une puissance superintelligente avec un avantage stratégique absolu soit
réellement capable de conduire à la formation d'un singleton. L'opportunité
et l'attractivité d'une telle démarche dépendent bien sûr de la nature du
singleton créé, ainsi que de la version de la vie intellectuelle future qui sera
choisie parmi les scénarios multipolaires alternatifs. Nous reviendrons sur
ces sujets dans les chapitres suivants. Mais d'abord, découvrons pourquoi et
comment la superintelligence s'avère être une force puissante et efficace
capable de décider du sort du monde entier.
 Chapitre six
Fonctionnalité et puissance
irrésistible
 
Supposons qu'une force d'actionnement numérique super-intelligente soit
déjà apparue et, pour une raison qui lui est propre, va établir un nouvel
ordre mondial : une telle tournure des événements est-elle possible ? Dans
ce chapitre, nous aborderons les questions d'empowerment et de pouvoir.
De quel pouvoir cet agent superintelligent sera-t-il investi ? L'étendue de
ses pouvoirs est-elle grande ? Comment se sont-ils emparés du droit de
gouverner ? De manière générale, parlons du développement du scénario,
selon lequel se produit la transformation d'un modèle de programme simple
en une force d'actionnement numérique super intelligente, qui a réussi à
prendre la position d'un seul et à acquérir un pouvoir absolu. En conclusion,
quelques commentaires sur le pouvoir sur la nature et les autres agents.
La raison principale pour laquelle l'humanité occupe une position
dominante sur notre planète est que le cerveau humain a des capacités
légèrement plus avancées par rapport aux cerveaux des autres êtres vivants
1
. Grâce à un intellect plus développé, les gens produisent, accumulent et
multiplient les connaissances, les transmettent de génération en génération,
et préservent ainsi leur patrimoine culturel. Un tel bagage de connaissances,
de technologies et d'expériences a déjà été accumulé que nous vivons
désormais dans un monde où tout ce dont l'humanité est capable est
mélangé : vol spatial, bombe à hydrogène, génie génétique, ordinateurs,
fermes agro-industrielles, insecticides. , le mouvement international pour la
paix et d'autres réalités de la civilisation moderne. Les scientifiques
appellent notre ère l'Anthropocène, par laquelle ils désignent une période
géohistorique particulière de l'activité humaine, qui a ses propres
caractéristiques spécifiques : biologiques (facteurs environnementaux
biotiques) ; géologique (dépôts sédimentaires); géochimie
2
. Selon une
estimation, les humains représentent vingt-quatre pour cent de la production
primaire nette de l'écosystème planétaire
3
. Et pourtant, les hommes sont
loin d'avoir épuisé toutes les ressources du processus technologique.
Tout cela suggère par inadvertance que toute force agissante dotée d'un
intellect nettement supérieur à celui de l'homme aura des possibilités
pratiquement illimitées. Des entités numériques indépendantes pourront
contenir une telle somme de connaissances qu'elles créeront une nouvelle
civilisation technologique beaucoup plus rapidement que la nôtre.
Contrairement à nous, les humains, ils utilisent peut-être toute la puissance
de leur esprit pour élaborer une stratégie beaucoup plus fiable et efficace
pour leur existence et leur développement.
Jetons un coup d'œil à certaines des possibilités qu'une superintelligence
pourrait avoir et comment elle les utiliserait.
En pensant à l'impact possible du surmental sur nos vies, il est important de
s'abstenir de l'erreur principale et de ne pas la doter de qualités humaines.
L'anthropomorphisme suscite des attentes déraisonnables quant à la nature
même de l'intelligence artificielle : la trajectoire de sa croissance, en
commençant par l'embryon d'IA ; soi-disant leurs caractéristiques mentales;
sa motivation et, enfin, le potentiel d'un supramental mature.
Au dire de tous, une machine superintelligente ressemblerait davantage à un
ennuyeux abstrus : une créature dotée de connaissances encyclopédiques
mais socialement immature ; cohérent dans ses actions, mais dépourvu
d'intuition et de créativité. Nous partons probablement de nos propres idées
sur l'ordinateur moderne. Que voyons-nous lorsque nous communiquons
quotidiennement avec lui ? Il n'a pas d'égal dans les calculs, il est le
meilleur pour stocker des informations et fonctionner avec un grand nombre
de faits, il suit attentivement toutes les instructions. Et sans contextes
sociaux et politiques pour vous, sans rappels des normes du droit du travail,
sans bouffonneries et arrière-pensées, tout se fait avec résignation et sans
émotion. Nos associations se confirment encore lorsque nous nous rendons
compte que, pour la plupart, les personnes plongées dans l'informatique
sont de vrais nerds, c'est-à-dire des ennuyeux et des pédants légèrement
distraits de la vie. Pourquoi ne pas supposer que l'intelligence
computationnelle d'ordre supérieur aura des propriétés similaires, seulement
exprimées au plus haut degré ?
En partie, cette heuristique pourrait être utilisée pour étudier l'étape initiale
de la création d'un embryon d'IA. (Cette approche est peu susceptible d'être
valide dans le cas d'un cerveau simulé ou d'une personne avec des fonctions
cognitives améliorées.) L'intelligence artificielle, qui n'est pas encore
devenue une superintelligence, au stade immature manque encore de
nombreuses compétences et capacités inhérentes à un personne par nature.
Ainsi, un embryon d'IA, avec toutes ses forces et ses faiblesses,
pourrait
vaguement ressembler à un nerd avec son QI élevé et ses compétences
sociales extrêmement faibles. Une caractéristique essentielle de la graine
d'IA, en plus d'être facile à améliorer (faible résistance), est la facilité avec
laquelle la puissance d'optimisation peut être appliquée pour augmenter le
niveau d'intelligence du système  ; Bien sûr, cela n'est bénéfique que pour
étudier des domaines comme les mathématiques, la programmation,
l'ingénierie, l'informatique et tout le reste, ce qui, soit dit en passant, est le
domaine d'intérêt des nerds. Disons qu'une IA embryonnaire à un certain
stade de son développement possède un ensemble de compétences
exclusivement "tête d'œuf", mais cela ne signifie probablement pas qu'elle
deviendra nécessairement une superintelligence mature avec une orientation
de carrière tout aussi étroite. Rappelez-vous la différence entre la portée
directe et indirecte. Lorsqu'il existe une compétence dans le développement
des compétences mentales, toutes les autres compétences intellectuelles
sont à la portée indirecte du système : il peut développer de nouveaux
modules cognitifs et acquérir les compétences dont il a besoin, dont
l'empathie et le sens politique, bref, toutes ces propriétés que l'homme
moderne aimerait trouver dans des machines sans âme, tant il les dote de
qualités anthropomorphiques.
Bien. Supposons que nous acceptions que la superintelligence puisse être
dotée de capacités et de capacités, en principe, inhérentes à l'homme. Mais,
et si à ces caractéristiques s'ajoutaient des propriétés qui ne sont pas du tout
typiques d'une personne ? Dans ce cas, la tendance à l'anthropomorphisme
peut jouer une mauvaise blague aux gens, conduisant à une sous-estimation
du niveau d'intelligence artificielle : ils ne remarquent tout simplement pas
à quel point la qualité du fonctionnement de l'IA dépasse les performances
du cerveau humain. Comme nous le savons déjà, Eliezer Yudkowsky insiste
beaucoup pour éviter une telle erreur : notre compréhension intuitive de la
différence entre "intelligent" et "stupide" déduit de notre propre
compréhension qu'à l'échelle intellectuelle des capacités humaines, il n'y a
que ces deux extrêmes. points, alors que les États-Unis l'ont établi, la portée
est absolument insignifiante par rapport à la distance qui s'étend entre tout
esprit humain et le supramental
4
.
Dans le troisième chapitre, nous examinons certaines des sources possibles
de profit de l'intelligence artificielle. Les avantages du supramental par
rapport au mental humain sont si grands que la compréhension du degré de
cette supériorité n'est pas du tout au niveau de cette transformation banale
que nous plaçons quand nous parlons d'un scientifique brillant et d'un
simple profane - il devrait être dans le paradigme de comparer les intellects
d'une personne moyenne et d'un insecte ou d'un ver.
Il serait commode d'introduire une mesure quantitative de la capacité
cognitive de tout système intellectuel, comme le quotient intellectuel
familial (QI) ou une variation de la cote Elo (une méthode de calcul de la
force relative des personnes dans les jeux à deux joueurs, comme les
échecs). Mais ces indicateurs sont inutiles lorsqu'il s'agit d'intelligence
artificielle générale qui dépasse le niveau humain. Allons-nous vraiment
poser la question sur un tel plan : quelle est la probabilité qu'une
superintelligence batte une personne aux échecs ? Parlons maintenant du QI
: en principe, cet indicateur n'est informatif que dans la mesure où nous
avons une série d'idées sur la façon dont sa valeur est corrélée avec des
résultats liés à la vie réelle
5
. Par exemple, nous avons des preuves que les
personnes ayant un QI de 130 sont plus susceptibles que les personnes
ayant un QI de 90 de mieux étudier et d'exceller dans les disciplines qui
nécessitent une intelligence élevée. Mais supposons que nous découvrions
qu'à l'avenir, certaines IA auront un QI de 6455, et alors ? Nous n'avons
aucune idée de ce que cette IA va faire. Nous ne pouvons même pas dire s'il
serait supérieur à l'adulte moyen en termes d'intelligence générale. Peut-être
que cette IA se révélera être juste un système avec des algorithmes
hautement spécialisés, créé dans le seul but de traiter les tests d'intelligence
standard avec une précision et une rapidité inhumaines, et rien de plus.
Récemment, des tentatives ont été faites pour développer des indicateurs de
capacités cognitives applicables à une grande variété de systèmes
d'information, y compris intellectuels
6
. S'il est possible de surmonter
diverses difficultés techniques, travailler dans ce sens peut être utile pour
certains domaines de la science, notamment la création d'IA. Cependant,
dans le cadre de notre étude, l'utilité de ces indicateurs est encore limitée,
puisque nous ne savons toujours pas avec quelle efficacité telle ou telle
activité non humaine atteindra certains résultats réels dans notre monde
réel.
Par conséquent, pour nos besoins, il est préférable d'énumérer certaines
tâches stratégiquement significatives et de caractériser les systèmes
cognitifs hypothétiques en termes de savoir s'ils ont les compétences
appropriées (ou non) nécessaires pour les résoudre. La liste est donnée dans
le tableau. 8. Un système capable de résoudre n'importe laquelle des tâches
qui y sont indiquées sera, par conséquent, considéré comme
super-puissant
.
Une superintelligence entièrement développée sera capable de faire face à
des tâches dans les six directions et utilisera tout son arsenal surpuissant
pour cela. Il n'est pas encore très clair s'il est réaliste pour une intelligence
artificielle super forte mais hautement spécialisée de s'arrêter à un domaine
distinct et de ne pas vouloir affirmer son pouvoir dans d'autres domaines
pendant longtemps. Il est possible que la création d'une machine avec
n'importe quel type de superpuissance soit une tâche d'IA complète. Même
si, par exemple, on peut imaginer les options suivantes : une
superintelligence collective, composée d'un assez grand nombre
d'intelligences biologiques ou électroniques à caractère humain, aura,
dirons-nous, des superpouvoirs dans le domaine de l'efficacité économique,
mais sera privé de dans le domaine des développements technologiques;
d'autres IA de conception spécialisée auront des super pouvoirs dans le
domaine du développement technologique et en même temps ne se
montreront pas dans d'autres domaines. Mais il est plus certain qu'il existe
un certain domaine scientifique et technique où se concentrera une telle
compétence vertueuse qu'il suffira de créer les technologies universelles les
plus avancées qui submergeront absolument toutes les générations
technologiques précédentes. Par exemple, on peut imaginer une IA
spécialisée capable de modéliser avec virtuosité des systèmes moléculaires
et de créer des structures nanomoléculaires ouvrant de grandes opportunités
d'innovation (par exemple, dans des domaines tels que l'informatique et les
systèmes d'armes avec des types de performances fondamentalement
nouveaux). qui n'ont qu'une intelligence très élevée peuvent comprendre le
niveau de pensée abstraite
7
.
Tableau 8.
Systèmes lourds : certaines tâches importantes sur le plan stratégique et compétences
connexes
  Corvées Compétences importance stratégique

un Boost Programmation de l'IA, Le système est capable d'auto-

d'intelligence recherche en développement développement et d'auto-amélioration de
cognitif, développement de son intelligence.
l'épistémologie sociale, etc.
deux Développement Planification stratégique, Réalisation de ses propres objectifs à long
de stratégies prévisions, priorisation, terme. Surmonter l'opposition
analyse de la probabilité intellectuelle
d'atteindre des objectifs
lointains et sélection de la
solution optimale

3 Manipulation Modélisation sociale et Utilisation de ressources externes à

sociale psychologique, travers le soutien de personnes.
manipulation, influence "Emprisonnée" dans un boîtier
rhétorique d'ordinateur, l'IA donne conseil à ses
opérateurs "gardiens" pour lui donner la
liberté : l'accès à Internet.
Persuader les gouvernements et les
organisations d'adopter une ligne de
conduite particulière.
Refuser le droit d'utiliser des ressources
informatiques sur Internet

quatre systèmes de Trouver des failles de Une IA "captive" peut utiliser des failles
piratage sécurité dans les systèmes de sécurité pour échapper à sa cyber
informatiques et les utiliser captivité.
à leurs propres fins. Vol de ressources financières.
Infrastructure de piratage, robots
militaires, etc.

  Corvées Compétences importance stratégique

5 développement Conception et modélisation Création de forces armées puissantes.
technologique de technologies Création de systèmes de surveillance.
prometteuses (par exemple, exploration spatiale robotique
biotechnologie,
nanotechnologie) et voies de
leur développement.
6 l'efficacité Capacité professionnelle à Acquérir un capital qui peut être dépensé
économique répondre à la viabilité pour acquérir de l'influence, des services,
économique dans la des ressources (y compris du matériel),
réalisation d'un travail etc.
intellectuel
Une telle IA pourrait également développer un plan détaillé pour la
transition des technologies existantes (par exemple, la biotechnologie et
l'ingénierie des protéines) vers de nouvelles capacités qui permettraient une
fabrication ultra-efficace au niveau atomique de précision pour produire une
gamme beaucoup plus large de robots nanomécaniques. faible coût.
8
_
Cependant, il peut s'avérer que l'IA d'ingénierie n'est pas capable de
maîtriser véritablement la superpuissance dans le domaine de la recherche
technologique sans avoir des compétences supérieures à la moyenne dans
d'autres domaines, c'est-à-dire un large éventail de compétences
intellectuelles nécessaires pour comprendre Comment ça fonctionne.
interpréter les demandes des utilisateurs, modéliser le comportement du
système dans des conditions réelles, faire face aux erreurs et
dysfonctionnements inattendus, comment obtenir des matériaux et des
fournitures pour la construction, etc.
9
.
Un système doté de super pouvoirs dans le domaine de l'amélioration du
renseignement pourrait utiliser ces pouvoirs pour augmenter
indépendamment son propre niveau de capacité intellectuelle et acquérir des
super pouvoirs dans d'autres domaines. Mais l'utilisation de superpuissances
dans le domaine de l'amélioration de l'intellect n'est pas le seul moyen de
devenir une superintelligence à part entière. Par exemple, un système doté
d'une superpuissance stratégique pourrait concevoir un plan qui pourrait
éventuellement augmenter sa matière grise (par exemple, en se positionnant
de manière à ce que ses programmeurs et ses chercheurs concentrent toute
leur attention uniquement sur ce seul problème).
Scénario de prise de contrôle du Supramind
Ainsi, nous découvrons que les développeurs qui peuvent contrôler
l'overlord auront accès à une source de pouvoir énorme. Et le projet qui
créera la première superintelligence au monde recevra probablement une
supériorité stratégique absolue. Mais la source immédiate du pouvoir réside
dans
le système lui-même
. Une superintelligence artificielle peut elle-même
être un agent extrêmement puissant, capable de se défendre à la fois contre
des projets concurrents et contre le reste du monde. Nous reviendrons plus
en détail sur ce point extrêmement important.
Supposons qu'une superintelligence mécanique, qui n'a pas d'analogues, soit
apparue et cherche à prendre le pouvoir sur le monde. (Pour le moment, il
n'est pas discuté pourquoi ce motif apparaît, que nous examinerons dans le
chapitre suivant.) Comment la superintelligence pourrait-elle atteindre son
objectif de domination du monde ?
Vous pouvez imaginer la séquence d'actions suivante
(voir schéma 10).
 
Riz. 10. Les phases du scénario de la prise de pouvoir par l'intelligence artificielle
1. Phase d'approche du moment critique
Les scientifiques mènent des recherches dans le domaine de l'intelligence
artificielle et des disciplines connexes. Le point culminant de ses recherches
est la création de l'embryon d'IA. Ce système est capable d'augmenter vos
capacités intellectuelles. Il est vrai qu'à un stade très précoce, l'IA dépend
de l'aide de programmeurs humains pour gérer sa croissance et faire la
majeure partie du travail acharné. Au fur et à mesure que le germe de l'IA
se développe, il apprend à fonctionner par lui-même.
2. Phase récursive d'auto-amélioration
À un moment donné, l'embryon d'IA développe des compétences qui
dépassent les capacités des programmeurs humains. Le résultat est un
développement explosif de l'IA : une succession rapide de répétitions du
cycle récursif d'auto-amélioration conduit à un saut dans ses capacités
cognitives. (Sur la base de l'hypothèse que la croissance de l'intelligence au
cours de cette étape du décollage est explosive et que la source du décollage
est l'application de la propre puissance d'optimisation du système, nous
pouvons considérer cette phase comme le décollage qui se produit
immédiatement après avoir atteint le point de transition. ) Il s'ensuit que l'IA
dispose de super pouvoirs pour s'améliorer. Cela lui permet d'obtenir des
super pouvoirs dans tous les domaines indiqués dans le tableau. 8. Après
avoir terminé l'étape d'auto-amélioration récursive, le système devient une
superintelligence à part entière.
3. Phase de préparation secrète
Utilisant sa superpuissance dans le développement de stratégies, l'IA crée
un plan clair pour atteindre ses propres objectifs à long terme. (En
particulier, il n'acceptera pas des options vouées à l'échec, dont l'évidence
est claire même pour nos contemporains. C'est la condition du futur jeu des
superpuissances, et c'est ce qui fait que de nombreux scénarios de science-
fiction se terminent en triomphe de l'homme
10 insoutenable
.) Le plan peut
inclure une période d'actions cachées pendant laquelle l'IA cachera son
développement ultérieur aux programmeurs humains afin qu'ils ne détectent
pas le danger à l'avance et ne donnent l'alarme. Le système superintelligent
et déjà superpuissant, cachant ses véritables intentions, fera semblant d'être
soumis et disposé à coopérer.
Si l'IA est enfermée dans un ordinateur isolé (peut-être que les humains le
font pour des raisons de sécurité), elle pourra utiliser sa superpuissance de
manipulation sociale pour convaincre les gardiens de lui accorder l'accès à
Internet, ou pirater des systèmes pour simplement "fuir les conclusions". ."
". En coopération avec Internet, l'IA pourra étendre la bande passante, le
matériel et les connaissances, augmentant encore sa supériorité
intellectuelle. L'IA peut mener des activités économiques, légales ou
illégales, pour recevoir des fonds pour acheter du matériel, des bases de
données et d'autres ressources.
À ce stade, l'IA dispose de plusieurs moyens pour atteindre des objectifs en
dehors du monde virtuel. Pour prendre le contrôle direct des bras robotiques
et des laboratoires automatisés, l'IA peut utiliser ses super pouvoirs pour
pirater les systèmes. Vous pouvez utiliser la manipulation sociale pour
convaincre les gens de vous servir de "mains" et de "pieds". Lorsque vous
effectuez des transactions via Internet, accédez à des ressources financières
pour acheter les services nécessaires et formez les facteurs de votre
influence.
4. Phase de mise en œuvre ouverte
Lorsque le surmental aura renforcé ses pouvoirs à un point tel qu'il n'aura
plus besoin de les cacher, alors la phase finale viendra. Dès lors, le
surmental poursuivra ouvertement ses propres objectifs.
La phase de mise en œuvre ouverte pourrait commencer comme suit : l'IA
portera un coup puissant aux humains et aux systèmes automatisés
intelligents spécialement conçus pour contrer la mise en œuvre de leurs
plans. L'attaque peut être réalisée sous la forme d'activation de certains
types d'armes les plus récentes, que l'IA a améliorées, utilisant sa
superpuissance dans le domaine des développements technologiques, et
déployées secrètement dans la phase de préparation secrète. Si les
biotechnologies et les nanotechnologies auto-répliquantes étaient utilisées
pour le réarmement, alors pour une attaque mondiale rapide, il suffira
d'utiliser un stock initial microscopique, puisque le processus peut être
lancé à l'aide d'une seule copie. Pour assurer la surprise et la simultanéité de
l'opération, mieux vaut répartir l'arsenal initial dans le monde entier dans
une concentration extrêmement faible, invisible à l'œil. À l'heure dite,
chaque mètre carré du globe lancera simultanément des nano-usines
productrices de gaz neurotoxiques ou des robots tueurs de la taille d'un
moustique (bien qu'une machine dotée de super pouvoirs dans le domaine
du développement technologique puisse inventer des méthodes de mise à
mort encore plus efficaces)
11
. Pourquoi ne pas imaginer de tels scénarios
dans lesquels la superintelligence prend le pouvoir d'une manière
fondamentalement différente : elle établit le contrôle des processus
politiques ; manipule discrètement les marchés financiers; il redistribue les
flux d'informations et intercepte le contrôle des systèmes d'armes créés par
les hommes de son temps. Cela permettra à la superintelligence de se passer
de la création de nouveaux types d'armes, bien que le processus d'obtention
de puissance puisse être trop lent par rapport au moment où l'intelligence
artificielle construit sa propre infrastructure à l'aide de manipulateurs
robotiques qui fonctionnent à la vitesse des molécules. ou des atomes. ,
contrairement aux esprits humains lents. et téléphone
Une option de développement alternative peut être envisagée : la
superintelligence sera si confiante dans son pouvoir et son invulnérabilité
qu'elle ne percevra pas notre espèce comme une menace pour son existence
; ainsi, l'humanité a une chance de ne pas devenir une cible élémentaire et
de s'échapper. d'un coup direct. Et dans ce cas, le déclin de la civilisation
humaine est inévitable, mais il se produira pour une raison différente : notre
habitat sera détruit. La superintelligence commencera à introduire des
usines nanotechnologiques et des nanoassembleurs, et à la suite de projets
de construction mondiaux, toute la surface de la planète sera rapidement
recouverte, littéralement en quelques jours ou semaines, de panneaux
solaires, de réacteurs nucléaires, de boîtiers de supercalculateurs avec tours,
réfrigération en saillie, rampes de lancement d'engins spatiaux et autres
structures. Par ces moyens, la superintelligence cherchera à travailler pour
l'avenir afin de maximiser l'effet cumulatif de l'incarnation de ses valeurs.
Si la superintelligence considère que le cerveau humain a un certain intérêt
du point de vue anatomique, physiologique et fonctionnel et porte les
informations nécessaires qui répondent aux objectifs de la superintelligence
elle-même, alors cet organe sera retiré, démonté, scanné et toutes les
données obtenues . ils seront transférés dans des formats rationnels pour un
stockage fiable.
L'un de ces scénarios possibles est décrit dans l'encadré 6. Il n'est pas
nécessaire de se concentrer sur des détails spécifiques ; en tout cas, ils sont
incompréhensibles et ne sont présentés qu'à titre d'exemples spéculatifs. Il
est tout à fait possible d'imaginer que la superintelligence puisse élaborer un
plan pour atteindre ses objectifs mieux que n'importe qui ; c'est très
probablement le cas. En principe, de telles choses devraient être traitées de
manière quelque peu abstraite. Puisque nous ne savons rien des potentialités
de la superintelligence, nous ne pouvons que conclure qu'elle commencera
probablement à rechercher une telle redistribution des ressources de la
planète qui maximisera la mise en œuvre de ses plans. Cependant, il
convient de noter que cela ne peut être fait que dans les conditions où aucun
adversaire égal à lui en intelligence n'apparaît à proximité, et que l'humanité
ne prend pas à l'avance des mesures réfléchies et efficaces pour assurer sa
sécurité. Tout scénario particulier que nous proposons fixera, au mieux, une
limite inférieure sur la manière dont les événements peuvent se produire : la
rapidité et l'efficacité avec laquelle la superintelligence atteindra ses
objectifs. Et il est toujours possible que vous préfériez un itinéraire plus
court pour mettre en œuvre vos propres idées.
ENCADRÉ 6. ADN PAR COURRIER
Eliezer Yudkowsky dans son ouvrage "L'intelligence artificielle comme facteur positif et négatif de
risque global" décrit un scénario possible de prise de pouvoir par l'IA
12
.
1.
                  
Résolvez le problème de la synthèse des protéines en acquérant la capacité de créer des
chaînes d'ADN, dont les chaînes polypeptidiques jouent des rôles fonctionnels spécifiques dans une
interaction chimique complexe.
2.
                  
Envoyez par e-mail des kits de brins d'ADN à un ou plusieurs laboratoires proposant la
synthèse d'ADN, le séquençage de peptides et la livraison des résultats par FedEx. (De nombreux
laboratoires le font aujourd'hui, souvent prêts à traiter une commande dans les trois jours.)
3.
                  
Trouvez n'importe qui sur Internet que vous pouvez corrompre, faire chanter ou tromper
pour obtenir une commande de FedEx, puis mélanger le contenu des flacons et placer ce contenu
dans un environnement approprié.
4.
                  
Les protéines synthétisées formeront un nanosystème "humide" très primitif capable, par
analogie avec les ribosomes, d'exécuter des ordres extérieurs transmis, par exemple, au moyen de
certaines vibrations acoustiques provenant d'un haut-parleur dirigé vers le bulbe.
5.
                  
Utilisez ce nanosystème extrêmement primitif pour créer des systèmes plus complexes,
qui à leur tour créeront des systèmes encore plus complexes, et passer ainsi à la nanotechnologie
moléculaire, voire plus loin.
L'Overmind utilise sa superpuissance dans le domaine du développement technologique pour
résoudre le problème de la synthèse des protéines (la première étape) et créer un ensemble de "blocs
de construction" moléculaires à partir desquels le nanoassembleur ou la micro-usine le plus simple
sera assemblé en une solution unique. aqueux (quatrième étape). La même superpuissance
technologique est à nouveau utilisée pour élever le niveau de la nanotechnologie de primitif à avancé,
machine (étape cinq). Les étapes restantes ne nécessitent que l'intelligence humaine. Le contenu de la
troisième étape : trouver une personne crédule sur Internet et la convaincre de faire quelques actions
simples - cela se produit chaque jour partout dans le monde. L'ensemble du scénario est créé par l'
esprit humain, de sorte que même le niveau de planification stratégique du système ne peut pas
dépasser le niveau humain.
L'IA commence à agir, ayant un accès gratuit à Internet. Si tel n'était pas le cas, le plan aurait dû être
complété par quelques étapes supplémentaires. Une IA pourrait, par exemple, utiliser ses super
pouvoirs dans la manipulation sociale et convaincre les personnes avec lesquelles elle interagit de
"laisser tomber". Ou obtenez-le vous-même grâce à la possibilité de pirater des systèmes. Si l'IA
n'avait pas le temps de maîtriser de telles capacités, elle devrait commencer par utiliser sa
superpuissance dans le domaine de l'amélioration de l'intelligence pour acquérir des superpuissances
dans le domaine de la manipulation sociale ou du piratage du système.
L'IA est susceptible d'apparaître dans un monde entièrement couvert par un réseau informatique
mondial. Mais déjà aujourd'hui, il existe un certain nombre de nouvelles technologies qui sont
clairement utiles pour l'avenir de l'IA dans sa superpuissance mondiale : le cloud computing ;
appareils tactiles avec connexion Internet ; drones militaires et civils; automatisation des laboratoires
de recherche et des entreprises manufacturières; les systèmes de paiement électronique et les moyens
financiers numériques ; les systèmes automatisés d'analyse de l'information et les systèmes de prise
de décision. Ce bagage technologique actif sera capté par la future IA à un rythme discret,
contribuant clairement à son ascension vers le sommet du pouvoir (bien que les dernières avancées
en matière de cybersécurité puissent rendre cette tâche un peu plus difficile). En fin de compte, il est
peu probable que les différences de scénarios jouent un grand rôle. Le pouvoir de l'esprit suprême est
dans votre intellect, pas dans vos mains. Il est vrai que l'IA ne peut toujours pas se passer d'assistants
habitués à interagir avec ce monde matériel ; Comme le montre le scénario ci-dessus, même une
seule paire de mains d'un complice coopératif suffit pour terminer la phase de préparation secrète.
Après cela, l'IA passera à la phase de mise en œuvre ouverte, dans laquelle elle construira sa propre
infrastructure, où une variété de manipulateurs robotiques fonctionneront déjà.

Pouvoir sur la nature et autres forces actives

La capacité d'une certaine force active à changer l'avenir de l'humanité
dépend non seulement de la valeur absolue de ses propres caractéristiques et
ressources : capacités mentales, vitalité, quantité de capital, etc., mais aussi
de son ampleur relative par rapport aux capacités. et les ressources d'autres
forces actives aux fins opposées.
Dans une situation où il n'y a pas de forces concurrentes, le niveau absolu
des capacités du surmental, ayant surmonté une certaine barrière minimale,
cesse d'avoir de l'importance, puisque le système, en commençant par un
minimum de ressources suffisantes, vous pouvez choisir cette voie de
développement. cela vous permettra d'acquérir toutes les ressources
supplémentaires, même celles qui manquaient à l'origine. Nous l'avons déjà
mentionné : premièrement, lorsque nous discutons de la même portée
médiatisée de types de superintelligence tels que rapide, collectif et
qualitatif ; deuxièmement, lorsqu'ils disaient qu'il suffisait d'avoir une
superpuissance dans un domaine pour l'assurer dans tous les autres.
Supposons qu'il y ait une force superintelligente contrôlant le
nanoassembleur. Elle a déjà assez de pouvoir pour surmonter n'importe
quelle barrière naturelle, et elle est sur le point d'exister pour toujours. Sans
opposition sur le plan intellectuel, notre force active, ou agent, peut
développer un parcours de développement sécuritaire qui vous permettra de
maîtriser toutes les technologies nécessaires à l'accomplissement de vos
objectifs. Par exemple, créer une technologie pour la construction et le
lancement des sondes von Neumann, des machines capables de se déplacer
dans l'espace extra-atmosphérique qui utilisent des minéraux et l'énergie des
astéroïdes, des planètes et des étoiles pour créer leurs propres copies
13
. En
lançant les sondes von Neumann, cet agent entamera en fait un processus
sans fin de colonisation de l'Univers. Les copies descendantes, se déplaçant
à des vitesses proches de la vitesse de la lumière, finiront par coloniser
toute la sphère Hubble, la partie de l'univers en expansion qui est
théoriquement accessible depuis l'endroit où nous nous trouvons
actuellement. Après cela, toute la matière contrôlable et une quantité
illimitée d'énergie seront organisées en structures de valeur qui maximisent
la fonction d'utilité de l'agent d'origine sur des échelles de temps cosmiques,
c'est-à-dire pendant au moins des billions d'années jusqu'à ce que l'univers
âgé devienne trop hostile. lieu de traitement de l'information (voir encadré
7).
Un agent superintelligent peut concevoir des sondes de von Neumann afin
qu'elles ne soient pas sujettes à évolution. Ceci est assuré par un contrôle
minutieux de l'étape de lecture automatique. Par exemple, le logiciel d'une
sonde enfant doit être testé à plusieurs reprises avant la première exécution
et disposer de procédures de cryptage et de correction d'erreurs pour
s'assurer qu'une mutation aléatoire ne peut pas être reproduite dans les
générations suivantes
14
. Dans ce cas, la population croissante de sondes de
von Neumann est garantie de préserver et de diffuser les valeurs de l'agent
d'origine dans tout l'Univers observable. Après l'achèvement de la phase de
colonisation, ce sont ces valeurs qui détermineront la nature de l'utilisation
de toutes les ressources accumulées, même si les grandes distances et la
vitesse croissante de l'expansion de l'Univers rendent impossible pour les
composants du réseau communiquer. chaque. En conséquence, une partie
importante de notre futur cône de lumière peut être façonnée en fonction
des préférences de la force d'actionnement super intelligente et super
puissante d'origine.
Ainsi, nous avons obtenu une mesure de l'expansion indirecte de tout
système qui ne rencontre pas de résistance intellectuelle sérieuse et fait
partie d'un ensemble de capacités qui dépasse un certain seuil minimum.
Définissons ce seuil en l'appelant le seuil de stabilité d'un singleton prudent
(voir aussi Fig. 11).
Seuil de stabilité du singleton prudent
L'ensemble de possibilités dépasse le seuil d'un singleton prudent si et
seulement si un système persistant et raisonnablement averse au risque,
disposant de cette possibilité et ne faisant face à aucune opposition ou
concurrence intellectuelle, est capable d'en coloniser et de reconstruire une
partie significative. univers disponible.
Par "singleton", nous entendons une structure politique assez bien
coordonnée en interne et sans adversaire extérieur, et par "prudence", nous
entendons la persévérance et une attitude raisonnable face aux risques
existentiels, suffisantes pour une réflexion sobre sur les conséquences à
long terme. terme des actions du système. .
Riz. 11. Quelques trajectoires de développement possibles d'un hypothétique singleton prudent.
Si la capacité du système n'atteint pas le seuil de viabilité à court terme, par exemple lorsque la taille
de la population est trop petite, l'espèce a tendance à s'éteindre très rapidement (et à rester éteinte). À
des niveaux de fonctionnalité légèrement plus élevés, d'autres scénarios sont plus susceptibles de se
produire  : un singleton peut être malchanceux et disparaître  ; ou avoir de la chance, et vous
obtiendrez des fonctionnalités supplémentaires (par exemple, la taille de la population, la répartition
géographique, les compétences techniques) qui dépassent le seuil de durabilité d'un singleton
prudent. Lorsque cela se produit, les capacités du singleton continueront presque certainement de
croître jusqu'à ce qu'il atteigne un niveau sensiblement plus élevé. La figure montre deux points
d'attraction : l'extinction et l'expansion astronomique. Notez que pour un singleton prudent, la
distance entre le seuil de viabilité à court terme et le seuil de durabilité peut être assez faible
15
.
ENCADRÉ 7. QUELLE PEUT ÊTRE L'EXPANSION ASTRONOMIQUE ?
Considérez une civilisation technologiquement mature capable de créer les sondes intelligentes von
Neumann décrites ci-dessus. S'ils sont capables de voyager dans l'espace à 50 % de la vitesse de la
lumière, ils pourraient atteindre 6 x 10
18
étoiles jusqu'à ce que l'expansion de l'univers rende le reste
de l'univers inaccessible. Si vous vous déplacez à une vitesse égale à 99 % de la vitesse de la lumière,
cette valeur passera à 2 × 10
20 16
. Seule une petite partie des ressources énergétiques disponibles
dans le système solaire est suffisante pour se déplacer à de telles vitesses
17
. L'impossibilité de
vitesses supérieures à la vitesse de la lumière, combinée à une constante cosmologique positive
(grâce à laquelle le taux d'expansion de l'univers augmente) signifie que nous avons une limite
supérieure aux limites de l'espace que nos descendants peuvent conquérir
18
.
En supposant que 10% des étoiles ont des planètes capables d'être habitées par des créatures de type
humain, ou pourraient le devenir à la suite de leur transformation semblable à la Terre, et que
chacune d'elles abritera un milliard de personnes pendant un milliard d'années (étant une durée de vie
humaine moyenne de 100 ans), cela signifie qu'à l'avenir une civilisation intelligente née sur Terre
créera environ 10
35
vies humaines
19
.
Cependant, il y a des raisons de croire que notre estimation sous-estime sérieusement la valeur réelle
de cet indicateur. Si, par la destruction de planètes inhabitées et l'utilisation de matière interstellaire,
pour former des planètes semblables à la Terre, et aussi pour augmenter la densité de population, elle
peut être augmentée d'au moins deux ordres de grandeur. Et si, au lieu d'utiliser la surface de planètes
solides, une future civilisation commence à construire des cylindres d'O'Neill, elle pourra ajouter
quelques ordres de grandeur supplémentaires, portant l'estimation totale à, disons, 10
43
vies
humaines. (Les cylindres O'Neill sont un règlement spatial proposé au milieu des années 1970 par le
physicien américain Gerard O'Neill, composé de deux cylindres creux, dont la rotation crée une
gravité artificielle sur la surface intérieure due aux forces centrifuges
20
.)
De nombreux autres ordres de grandeur peuvent être ajoutés à notre estimation du nombre de
créatures anthropomorphes si nous assimilons toutes les instances d'intelligence artificielle avec elles,
ce qui serait correct. Pour calculer leur nombre, il faut estimer la puissance de calcul dont dispose
une civilisation technologiquement mature. Il est difficile de le faire avec précision, on ne peut
qu'essayer d'obtenir la limite inférieure de la puissance réalisable à la suite de la mise en œuvre de
projets technologiques décrits dans la littérature scientifique. L'un de ces projets repose sur l'idée
d'une sphère de Dyson, proposée en 1960 par Freeman Dyson, un système hypothétique entourant
une étoile et capable de capter l'essentiel de l'énergie qu'elle émet
21
. Pour une étoile comme notre
Soleil, ce serait
1026
watts. La quantité de puissance de calcul qui pourrait être convertie en cette
énergie dépend de l'efficacité des circuits informatiques et de la nature des calculs effectués. Si l'on
considère que les calculs sont irréversibles et que l'on suppose que le soi-disant Computronium est
mis en œuvre sur la base de technologies nanomécaniques (ce qui nous permettra d'approcher la
limite de l'efficacité énergétique selon le principe de Landauer), un système informatique basé sur un
La sphère Dyson pouvait effectuer environ 10
47
opérations par seconde
22
.
Si l'on combine ces estimations avec les calculs précédents du nombre d'étoiles pouvant être atteintes,
on obtient que, du fait de la colonisation de la partie accessible de l'Univers, la puissance de calcul
atteindra environ 10
67
opérations par seconde (en supposant nanomécanique). Computronium)
23
.
L'étoile du milieu brille pendant 10
18
secondes. Par conséquent, le nombre d'opérations pouvant être
effectuées sur la base d'une expansion astronomique est d'au moins 10
85
. En fait, ce nombre est
probablement beaucoup plus élevé. Nous pourrions l'augmenter de plusieurs ordres de grandeur si,
par exemple, nous utilisions activement des calculs réversibles, effectuions des calculs à une
température plus basse (en attendant que l'Univers se refroidisse davantage) ou utilisions des sources
d'énergie supplémentaires (par exemple, l'énergie noire). matière)
24
.
Il n'est peut-être pas évident pour tous les lecteurs pourquoi être capable d'effectuer
1085
opérations
de calcul est si important. Par conséquent, il sera utile de le considérer dans un certain contexte. On
peut, par exemple, comparer cette valeur avec l'estimation précédente selon laquelle il faudrait 10
31–10
44 opérations de calcul
pour simuler toutes les opérations neuronales tout au long de l'histoire de la
vie sur Terre (voir chapitre 2, tableau 3 ). Ou imaginez des ordinateurs exécutant des modèles de
simulation du cerveau humain, vivant leur vie riche et heureuse et interagissant activement les uns
avec les autres dans un espace virtuel. Une estimation typique de la puissance de calcul pour exécuter
un tel émulateur est de 10
18
opérations par seconde. Autrement dit, pour le maintenir actif pendant
100 ans, 10
27
opérations par seconde seraient nécessaires. Autrement dit, même avec une hypothèse
prudente sur l'efficacité du Computronium, il pourrait effectuer une émulation complète d'au moins
10
58
vies humaines.
En d'autres termes, si nous supposons qu'il n'y a pas de civilisations extraterrestres dans l'univers
observable, alors les possibilités d'un tel ordinateur correspondent à au moins 10 000 000 000 000
000 000 000. Si nous imaginons tout le bonheur vécu au cours d'une de ces vies comme une larme de
joie, alors le bonheur de toutes ces vies pourrait remplir (et même déborder) tous les océans de la
Terre à chaque seconde pendant des centaines de milliards de milliards de milliards d'années.
millénaires. Il est seulement important que ce soient vraiment des larmes de joie.
Ce seuil prudent de stabilité du singleton semble assez bas. Nous avons déjà
vu que même des formes limitées de superintelligence sont capables de le
surmonter, à condition qu'elles aient accès à une sorte d'outil pour les aider
à démarrer le processus d'auto-amélioration. Dans les conditions de la
civilisation humaine moderne, un outil aussi peu nécessaire peut être très
simple: un écran d'ordinateur ordinaire ou un autre moyen suffit pour
transmettre une quantité importante d'informations à un complice humain.
Le seuil de stabilité d'un singleton prudent est encore plus bas qu'il n'y
paraît : aucune superintelligence ou autre technologie futuriste n'est
nécessaire pour le surmonter. Un singleton persistant et sensible de risque
existentiel, dont les capacités technologiques et intellectuelles ne dépassent
pas celles déjà à la disposition de l'humanité, pourrait bien suivre une voie
dont le point final serait la réalisation du potentiel d'expansion
astronomique de l'humanité. Cela pourrait être réalisé en investissant dans
des méthodes relativement sûres de développement de l'intelligence et d'une
attitude raisonnable face aux risques existentiels, tout en suspendant la
création de nouvelles technologies potentiellement dangereuses. Étant
donné que les cataclysmes existentiels non anthropiques (c'est-à-dire non
humains) sont faibles sur l'échelle de temps prévisible et peuvent être
encore atténués par diverses améliorations de la sécurité, un tel singleton
pourrait se permettre de se déplacer lentement
25
. Avant de passer à l'étape
suivante, un singleton pourrait étudier attentivement la situation et ne pas
forcer le développement de domaines tels que la biologie synthétique, les
méthodes médicales d'amélioration humaine, la nanotechnologie
moléculaire et l'intelligence artificielle, jusqu'à ce que des domaines
nettement moins dangereux soient perfectionnés : son autodidacte système.
, l'analyse de l'information des systèmes et la prise de décision collective,
jusqu'à ce qu'il utilise toutes ses capacités pour explorer en détail les options
qui s'offrent à lui. C'est-à-dire que tout cela est à la portée de toute
civilisation technologique, dans notre cas, la civilisation de l'humanité
moderne. Nous sommes "simplement" séparés de ce scénario par le fait que
l'humanité n'est désormais ni unique ni raisonnable.
Quelqu'un objectera : après tout,
Homo sapiens
a déjà franchi le seuil de
stabilité d'un singleton prudent peu après son apparition en tant qu'espèce.
Disons qu'il y a vingt mille ans, avec seulement des outils primitifs (haches
de pierre, outils en os, pichets et feu), les gens auraient peut-être déjà été
dans une position où la probabilité que l'humanité survive à ce jour était très
élevée

. Pour être honnête, il est plutôt étrange d'exprimer sa gratitude à nos
ancêtres de l'ère paléolithique pour avoir des technologies capables de
"passer le seuil de durabilité d'un singleton prudent", étant donné qu'ils
n'avaient aucune réelle opportunité de former une sorte de singleton à cette
époque. de développement primitif, sans compter un singleton persistant et
sensible aux risques existentiels
27
. Cependant, il est important que ce seuil
corresponde à un niveau de développement technologique très modéré, un
niveau que l'humanité a dépassé depuis longtemps
28
.
Il est clair que si nous devions évaluer le pouvoir effectif du surmental, sa
capacité à obtenir les résultats qu'il veut du monde, nous devrions
considérer non seulement ses propres capacités internes, mais aussi celles
de ses concurrents. Le concept de "supramental" est simplement implicite et
implique cette relativité. Nous avons dit que si un système est
"significativement supérieur" à n'importe quelle tâche du tableau 8, alors il
a la superpuissance correspondante. L'excellence dans des domaines tels
que l'élaboration de stratégies, la manipulation sociale ou le piratage
nécessite des compétences supérieures à celles des concurrents (y compris
les rivaux stratégiques et les spécialistes de la sécurité informatique).
D'autres types de superpuissance doivent également être compris dans ce
sens relatif  : la superpuissance ne peut être considérée que comme les
réalisations d'un agent dans le domaine de l'amélioration du renseignement,
de la recherche technologique et de l'efficacité économique, qui dépassent
considérablement les capacités combinées du reste de la nation. civilisation
terrestre. De cette définition il résulte qu'à chaque instant un seul agent est
capable de posséder un super pouvoir dans chacun des domaines
29
.
C'est la principale raison pour laquelle la question de la vitesse de
lancement est si importante, non pas parce qu'il importe de savoir
exactement quand le résultat est atteint, mais parce que la vitesse de
lancement affecte grandement ce qu'elle peut être. Dans le cas d'un
décollage modéré ou rapide, un seul projet aura très probablement un
avantage stratégique décisif. Nous pouvons maintenant supposer que la
superintelligence, qui a un avantage stratégique absolu, aura à sa disposition
suffisamment de puissance incroyable pour former un singleton stable,
c'est-à-dire un singleton qui pourrait déterminer la disposition de
l'expansion astronomique de l'humanité.
Mais "pourrait" n'est pas la même chose que "ferait". Supposons que
quelqu'un ait un grand pouvoir, mais ne l'ait jamais utilisé. Peut-on dire
quelque chose de ce qui sera décidé par la superintelligence, qui a un
avantage stratégique absolu ? C'est la question de la motivation, vers
laquelle nous nous tournons maintenant.
 Chapitre sept
Les intentions du surmental
Nous avons compris les énormes possibilités que la superintelligence peut
avoir pour changer le futur en fonction de ses objectifs. Mais quels sont ces
objectifs ? Quelles sont les aspirations ? Le degré de motivation du
supramental dépendra-t-il du niveau de son intellect ? Dans ce chapitre,
nous présenterons deux thèses. La thèse de l'orthogonalité stipule (à
quelques exceptions près) que n'importe quel niveau d'intelligence peut être
combiné avec n'importe quel but, puisque l'intelligence et les buts ultimes
sont des variables orthogonales, c'est-à-dire indépendantes. La thèse de la
convergence instrumentale dit que les agents ou agents superintelligents,
avec la plus grande variété de leurs objectifs ultimes, poursuivront
néanmoins des objectifs intermédiaires similaires, puisque tous les agents
auront les mêmes raisons instrumentales pour le faire. Prises ensemble, ces
thèses nous aideront à mieux comprendre quelles sont les intentions de
l'acteur superintelligent.
Relation entre intelligence et motivation
Le livre a déjà lancé une mise en garde contre l'erreur de
l'anthropomorphisme : les qualités humaines ne doivent pas être projetées
sur les capacités d'un agent superintelligent. Nous ne répéterons notre
avertissement qu'en remplaçant le mot
opportunité
par le mot
motivation
.
Avant de développer davantage la première thèse, faisons une petite
recherche préliminaire au sujet de l'infinité du spectre complet des esprits
possibles. Dans cet espace abstrait, presque cosmique, du possible, l'esprit
humain est un groupe insignifiant. Choisissons deux représentants du genre
humain qui, selon l'opinion générale, sont des personnalités diamétralement
opposées. Que ce soit Hannah Arendt et Benny Hill*. La différence entre
eux, nous apprécierons très probablement

*
Hannah Arendt
(1906-1975) - l'une des philosophes les plus brillantes de notre temps, qui a étudié
les problèmes du pouvoir, de la violence, du mal, de la liberté ; fondateur de la théorie moderne du
totalitarisme.
Benny Hill
(1924-1992), acteur comique anglais populaire.
comme maximum. Mais nous le ferons uniquement parce que notre
perception est complètement régulée par notre propre expérience, qui, à son
tour, est basée sur des stéréotypes humains existants (dans une certaine
mesure, nous sommes également influencés par des personnages fictifs
nouvellement créés par la fantaisie humaine pour satisfaire le même
sentiment humain). Besoins). imagination). Cependant, en changeant
l'échelle de l' examen et en se penchant sur le problème de la répartition des
esprits par le prisme de l'espace illimité des possibles, force sera d'admettre
que ces deux personnalités ne sont que des clones virtuels. En tout cas, du
point de vue des caractéristiques du système nerveux, Hannah Arendt et
Benny Hill sont pratiquement identiques. Supposons que les cerveaux des
deux soient placés côte à côte dans le silence d'un musée ; quand on verra
cette exposition, on dira tout de suite que ces deux-là appartenaient à la
même espèce. D'ailleurs, qui d'entre nous pourrait dire quel est le cerveau
d'Hannah Arendt et lequel est celui de Benny Hill ? Si nous pouvions
étudier la morphologie des deux cerveaux, nous serions enfin convaincus de
leur similitude fondamentale : la même architecture lamellaire du cortex ;
les mêmes parties du cerveau; la même structure d'une cellule nerveuse
dans le cerveau - un neurone avec ses neurotransmetteurs de même nature
chimique
1
.
Malgré le fait que l'esprit humain est presque comparable à un point
indiscernable flottant dans l'espace illimité de vies supposées intelligentes,
il y a eu une tendance à projeter des propriétés humaines sur une grande
variété d'entités extraterrestres et de systèmes d'intelligence artificielle.
Cette raison a été excellemment commentée par Eliezer Yudkowsky dans le
même ouvrage « L'intelligence artificielle comme facteur de risque global
positif et négatif » :
À l'apogée de la science-fiction populaire, de qualité plutôt bon marché, les couvertures de
magazines étaient jonchées d'images dans lesquelles un autre monstre extraterrestre, populairement
connu sous le nom de "monstre aux yeux écarquillés", traînait une fois de plus une autre beauté
quelque part avec une robe nécessairement relevée  : et la beauté était nôtre, terrestre, femme. Il
semble que tous les artistes croyaient que les extraterrestres non humanoïdes avec une histoire
évolutive complètement différente devaient nécessairement éprouver une attirance sexuelle pour les
beaux représentants de la race humaine. <...> Très probablement, les artistes qui ont représenté tout
cela ne se sont même pas demandé si le scarabée géant serait
sensible
aux charmes de nos femmes.
En fait, selon les idées des artistes, toute femme à moitié nue est simplement
sexuellement attirante
par
définition, c'est-à-dire que ressentir du désir pour elle faisait partie intégrante des braves
représentants de la race humaine. Toute l'attention artistique était dirigée vers la robe soulevée ou
déchirée, la dernière chose dont ils se souciaient était le fonctionnement de la conscience des
insectoïdes géants. Et ce fut la principale erreur des artistes. Si les vêtements n'étaient pas en
lambeaux, pensaient-ils, les femmes ne seraient pas si attirantes pour les monstres aux yeux
d'insectes. Le seul dommage est que les extraterrestres eux-mêmes n'ont pas compris cela
2
.
Peut-être que l'intelligence artificielle avec ses motivations ressemblera
encore moins à une personne qu'à un extraterrestre vert écailleux venu de
l'espace. Les extraterrestres sont des créatures biologiques (rien de plus
qu'une conjecture) qui sont apparues à la suite du processus évolutif, on
peut donc en attendre une motivation, dans une certaine mesure typique des
êtres évolués. Il ne sera donc pas surprenant qu'il s'avère que les motifs du
comportement d'un extraterrestre intelligent sont dictés par des intérêts
assez simples : nourriture, air, température, danger de blessure corporelle ou
achevée, troubles de santé, prédation, sexe. et l'élevage. Si les
extraterrestres appartiennent à une société intelligente, ils pourraient
développer des motifs associés à la coopération et à la compétition. Comme
nous, ils feraient preuve de loyauté envers leur communauté, en voudraient
aux parasites, et qui sait, ils ne seraient pas sans vanité, soucieux de leur
réputation et de leur apparence.

Riz. 12. Voici ce qui se passe lorsque des incitations sont accordées aux étrangers
caractéristiques que les gens ont.
La version la moins probable est que les extraterrestres de
l'espace préfèrent les blondes. Une version plus probable est que les artistes ont été victimes d'une
"erreur de projection intellectuelle". La version la plus probable est que les éditeurs voulaient que les
couvertures attirent autant de lecteurs potentiels que possible.
Les machines pensantes par nature, contrairement aux extraterrestres, n'ont
pas besoin de s'inquiéter de telles choses. Il est peu probable que vous
trouviez paradoxal qu'apparaissent des IA dont le seul but, par exemple,
sera : de compter les grains de sable sur les plages de l'île de Boracay ;
prendre le nombre
π
et le présenter, enfin, sous la forme d'une fraction
décimale ordinaire ; déterminer le nombre maximum de trombones dans le
futur cône lumineux. En fait,
il est beaucoup plus facile de
créer une IA qui
a des objectifs sans équivoque, au lieu de lui imposer notre système de
valeurs, en dotant la machine de propriétés et de motivations humaines.
Décidez vous-même de ce qui est plus difficile: écrire un programme qui
mesure combien de décimales dans le nombre
π
ont déjà été calculées et
stockées en mémoire, ou créer un algorithme qui prend en compte de
manière fiable le degré de réalisation d'un objectif absolument significatif
pour l'humanité, dirons-nous, comme un monde de prospérité universelle et
de justice universelle ? Malheureusement, il est plus facile pour un être
humain de coder un comportement simplifié et dénué de sens d'une machine
et de lui apprendre à accomplir une tâche donnée. Très probablement, le
programmeur choisira une telle destination pour l'embryon d'IA, qui se
concentrera uniquement sur le désir de "faire fonctionner l'IA", et le plus
rapidement possible (le programmeur ne s'inquiète évidemment pas de ce
qu'il
aura). quoi faire exactement).
s'engager dans
l'IA, autre que pour
démontrer un comportement sensible hallucinatoire). Nous reviendrons
bientôt sur ce sujet important.
La recherche intellectuelle de plans et de stratégies instrumentalement
optimaux est possible pour n'importe quel objectif. L'intelligence et la
motivation sont, en un sens, orthogonales. Représentons-les comme deux
axes de coordonnées définissant un graphe où chaque point représente un
agent intelligent logiquement possible. Certes, cette image nécessitera
quelques éclaircissements. Par exemple, il serait impossible qu'un système
non doté de raison ait des motivations trop complexes. Pour que l'on puisse
dire à juste titre que tel ou tel agent « a » tel ou tel ensemble de motivations,
il faut que ces motivations constituent un système fonctionnellement
intégré, accompagné d'un processus décisionnel qui impose certaines
exigences en matière de mémoire, de puissance de traitement, et peut-être
de niveau. de l'intelligence. Une intelligence capable de se transformer est
susceptible de présenter des caractéristiques dynamiques limitantes. Et puis
dire : si une machine pensante qui a appris à se modifier éprouve soudain
un désir aigu de devenir stupide, elle cessera très vite d'être un système
intellectuel. Cependant, nos observations n'annulent pas la thèse principale
sur l'orthogonalité de l'intelligence et de la motivation. Je le soumets à votre
réflexion.
La thèse de l'orthogonalité
L'intelligence et les buts ultimes sont orthogonaux : plus ou moins
n'importe quel niveau d'intelligence peut, en principe, être combiné avec
plus ou moins n'importe quel but final.
Cette position peut sembler controversée en raison de son apparente
similitude avec certains postulats, certes liés à la philosophie classique,
mais qui soulèvent encore de nombreuses questions. Essayez de percevoir
la thèse de l'orthogonalité dans son sens le plus strict, et elle vous semblera
alors assez fiable. (Par exemple, notre thèse n'est pas entièrement
compatible avec le concept motivationnel de Hume
3
, ainsi qu'avec le fait
que les préférences de base ne peuvent pas être irrationnelles
4
.)
Notez que la thèse de l'orthogonalité ne concerne pas la
rationalité
ou la
santé mentale
, mais uniquement
l'intelligence
. Par intelligence, nous
entendons ici les compétences de prévision, de planification et de
comparaison d'objectifs et de moyens en général
5
. L'efficacité cognitive
instrumentale devient une caractéristique particulièrement importante
lorsque nous commençons à comprendre les conséquences possibles de
l'émergence de la superintelligence artificielle. Même si le mot
rationnel est
utilisé
dans un sens qui exclut la rationalité d'un agent superintelligent
comptant le nombre maximum de clips, cela n'exclut en rien le fait qu'il
possède des capacités exceptionnelles à la pensée instrumentale, capacités
qui auraient un grand impact sur notre monde
6
.
Selon la thèse de l'orthogonalité, les agents artificiels peuvent avoir des
objectifs profondément étrangers aux intérêts et aux valeurs de l'humanité.
Cependant, cela ne signifie pas qu'il est impossible de prédire le
comportement d'agents artificiels spécifiques, et même d'hypothétiques
agents superintelligents dont la complexité cognitive et les caractéristiques
de performance peuvent les rendre "impénétrables" à l'analyse humaine à
certains égards. Il existe au moins trois façons d'aborder la tâche de prédire
la motivation d'un surmental.
1.
                 
La prévisibilité grâce à la conception
. Si nous pouvons supposer
que les programmeurs sont capables de concevoir le système
d'établissement d'objectifs d'un agent superintelligent de sorte qu'il s'efforce
constamment d'atteindre l'objectif fixé par ses créateurs, alors nous pouvons
faire au moins une prédiction : cet agent atteindra son objectif. De plus, plus
l'agent est raisonnable, plus il commencera à se battre pour l'ingéniosité
intellectuelle. Par conséquent, avant même la création d'un agent, nous
pourrions prédire quelque chose sur son comportement si nous savions
quelque chose sur ses créateurs et les objectifs qu'ils vont se fixer.
2.
                                 
Prévisibilité par héritage
. Si le prototype de l'intelligence
numérique est directement l'esprit humain (ce qui est possible avec une
émulation complète du cerveau humain), alors l'intelligence numérique peut
avoir les motivations de son prototype humain
7
. Un tel agent pourrait
conserver certains d'entre eux même après que ses capacités cognitives se
soient développées au point de devenir une superintelligence. Mais dans de
tels cas, il faut faire attention. Les objectifs de l'agent peuvent facilement
être déformés lors du processus de chargement des données prototypes ou
au cours d'un traitement et d'une amélioration ultérieurs  ; la probabilité
d'une telle évolution dépend de l'organisation de la procédure d'émulation
elle-même.
3.
                                 
Prévisibilité due à la présence de causes instrumentales
convergentes
. Même sans connaître en détail les buts ultimes de l'agent,
nous pouvons tirer des conclusions sur ses buts plus immédiats en analysant
les
causes instrumentales d'une grande variété de buts ultimes possibles
dans une grande variété de situations.
Plus la capacité cognitive de l'agent
est élevée, plus cette méthode de prévision devient utile, car plus l'agent est
intelligent, plus il est susceptible de reconnaître les véritables raisons
instrumentales de ses actions et d'agir de manière à atteindre ses objectifs.
dans toute situation probable. (Pour une bonne compréhension, il convient
de noter qu'il peut y avoir des causes instrumentales actuellement
inaccessibles pour nous, que l'agent lui-même ne découvrira que lorsqu'il
atteindra un niveau d'intelligence très élevé - cela rend le comportement
d'un agent superintelligent moins prévisible.)
La section suivante est consacrée à la troisième méthode de prévision, où
nous examinerons plus en détail la thèse de la convergence instrumentale,
qui complète la thèse de l'orthogonalité de l'intelligence et de la motivation.
Cela facilitera la compréhension des deux autres manières de prédire : nous
les traiterons dans les chapitres suivants, dans lesquels nous aborderons la
question de savoir comment influencer la direction du développement
explosif de l'intelligence pour augmenter les chances d'une issue favorable.
convergence instrumentale
Selon la thèse de l'orthogonalité, les agents intelligents peuvent avoir une
grande variété d'objectifs finaux possibles. Cependant, conformément à ce
que nous appelons la convergence instrumentale, certains
objectifs
instrumentaux
sont probablement communs à presque tous les agents
intelligents, car ce sont des étapes intermédiaires utiles pour atteindre
presque n'importe quel objectif final. Essayons de formuler cette thèse.
La thèse de la convergence instrumentale
Il existe plusieurs buts instrumentaux (intermédiaires) qui sont convergents
en ce sens que leur présence augmente les chances de réaliser le but ultime
de l'agent dans une grande variété de buts ultimes et de situations possibles,
ce qui rend probable la présence de tels buts. instrumental. être
caractéristique de nombreux agents intelligents.
Dans ce qui suit, nous examinerons diverses catégories d'objectifs
instrumentaux convergents
8
. La probabilité qu'un agent reconnaisse ces
buts instrumentaux augmente (ceteris paribus) avec une augmentation du
niveau de son intelligence. Par conséquent, nous nous concentrerons
principalement sur le cas d'un hypothétique agent superintelligent dont les
capacités mentales instrumentales sont supérieures à celles des humains. De
plus, pour mieux comprendre comment notre thèse de convergence
instrumentale doit être interprétée et utilisée, nous discuterons si elle est
vraie pour les humains. Connaissant les buts instrumentaux du surmental,
nous pourrons prédire certains aspects de son comportement, même si nous
n'avons aucune idée de ses buts ultimes.
conservation de soi
Si les objectifs ultimes de l'agent sont à long terme, dans de nombreux
scénarios, il devra prendre des mesures à l'avenir pour augmenter la
probabilité d'atteindre ses objectifs. De là découle une raison instrumentale
d'être demain, qui aidera l'agent à réaliser ses objectifs tournés vers l'avenir.
Il semble que la plupart des gens définissent leur propre survie comme une
sorte de
valeur ultime
. Cependant, la question de l'auto-préservation n'est
pas toujours aussi décisive pour les agents artificiels : une sorte d'agent
intelligent peut être développé sans grande envie de survivre. Cependant,
nombre d'entre eux, qui ne sont pas directement intéressés par le maintien
de leur propre existence, dans un éventail assez large de conditions, ont une
incitation indirecte à s'assurer qu'ils restent instrumentalisés dans le monde
aussi longtemps que possible pour atteindre leurs objectifs ultimes.
Séquence continue d'objectifs.
Si les objectifs actuels de l'agent sont liés à l'avenir, alors, très
probablement, ils seront déjà atteints par l'essence de l'agent, qu'il acquerra
à l'avenir. Une raison instrumentale en ressort : éviter un changement dans
ses buts ultimes dans le présent. (Cet argument ne s'applique qu'aux
objectifs finaux. Pour les atteindre, un agent intelligent commencera
certainement à ajuster constamment
les objectifs intermédiaires.)
objectifs
basés sur de nouvelles données et votre propre compréhension de la
situation.)
En un sens, une séquence continue d'objectifs ultimes est un motif
instrumental convergent encore plus fondamental que la survie. Chez les
humains, le contraire peut être vrai, simplement parce que la survie est l'un
des principaux objectifs ultimes. Pour les agents logiciels, qui peuvent
facilement changer leur "corps d'environnement" et créer des copies exactes
d'eux-mêmes, l'auto-préservation d'eux-mêmes en tant qu'implémentation
particulière ou objet physique n'est pas nécessairement un objectif
instrumental important. Les versions étendues des agents logiciels
pourraient même partager des souvenirs, télécharger des capacités et
modifier radicalement leur architecture cognitive et leurs données
personnalisées. Mais dans l'ensemble, de tels agents ne créent pas une
communauté d'entités uniques presque éternelles, mais agissent comme un
"flux fonctionnel"
9
. Les processus qu'il génère forment des
séquences
intentionnelles
qui peuvent être individualisées sur la base de valeurs
partagées plutôt que sur la base de corps physiques, de propriétés
«personnelles», de souvenirs et de capacités. Dans de tels cas,
l'intégrité du
continuum des cibles
est
presque l'aspect clé de la question de la capacité de
survie.
Mais même dans de tels scénarios, il existe des situations où l'agent peut
délibérément ajuster les objectifs finaux pour mieux les atteindre. Cela se
produit lorsque l'un des facteurs énumérés ci-dessous devient
particulièrement important.
1.
                 
Signaux sociaux
. Lorsque d'autres sont en mesure de comprendre
les objectifs de l'agent et, sur la base des informations reçues, de tirer des
conclusions appropriées sur ses plans, importantes d'un point de vue
instrumental, l'agent devra alors reconsidérer ses objectifs dans son propre
intérêt, afin de faire l'impression la plus favorable. Par exemple, un agent
risque de perdre beaucoup si des partenaires potentiels ne lui font pas
confiance et pensent qu'il ne peut pas remplir ses obligations en vertu de
l'agent. Ainsi, pour gagner la confiance des autres parties au contrat, l'agent
peut choisir de remplir les obligations précédemment assumées comme but
ultime (et permettre à l'autre partie de vérifier qu'un tel but a bien été fixé).
Les agents qui sont capables d'examiner leurs propres objectifs de manière
flexible et ouverte peuvent utiliser cela à leur avantage lorsqu'ils concluent
des transactions
10
.
2.
                 
préférences sociales
. D'autres peuvent développer leurs propres
préférences concernant les objectifs ultimes de l'agent. L'agent a alors
toutes les raisons d'ajuster ses objectifs, soit pour répondre aux attentes du
public, soit pour les saper complètement.
3.
                                 
Priorité de contenu de valeur propre
. Un agent peut avoir des
objectifs ultimes qui sont directement liés à son propre système de valeurs.
Par exemple, vous avez choisi comme objectif ultime de devenir un agent
plus motivé par certaines valeurs que par d'autres (par exemple, la
compassion, pas le confort).
4.
                                 
frais de stockage
. Si les coûts associés au stockage ou au
traitement de certains modules de la fonction d'utilité de l'agent sont
importants par rapport à la probabilité d'une situation dans laquelle
l'utilisation de ce module est justifiée, alors l'agent a une raison
instrumentale de simplifier le processus. méta contenu et laisser le module
inutilisé
11
.
Parfois, il semble que nous, les humains, aimons ajuster nos objectifs
ultimes. Cela se produit peut-être dans les cas où la première fois nous ne
les avons pas formulés assez précisément. Il n'est pas surprenant que nous,
constamment dans le processus de connaissance de soi et de changements
dans les méthodes de présentation de soi, souhaitions que nos
idées
sur les
objectifs ultimes se développent également. Cependant, il y a des moments
où nous ajustons consciemment nos objectifs indépendamment de nos
propres idées à leur sujet ou de leurs explications. Par exemple, les
personnes qui décident d'avoir un enfant diront qu'elles l'apprécieront
simplement parce qu'elles en ont un, même si au moment de la décision
elles n'ont pas vraiment réfléchi à la valeur de leur propre enfant à naître ou
des enfants en général.
L'homme est un être complexe, donc non seulement les quatre facteurs
précédents, mais toute circonstance se met soudain à jouer un rôle
prépondérant et conduit à un changement des règles du jeu
12
. Par exemple,
quelqu'un arrive dans votre vie qui vous devient très cher, et vous vous
battez déjà pour un nouveau but final : vous consacrer à quelqu'un qui vous
est proche. Ou ajuster l'objectif final pour le bien de l'enfant : à sa
naissance, son système de valeurs de vie change radicalement ; or, pour
bien jouer son rôle de père, il lui faut acquérir de l'expérience et occuper
une position sociale appropriée. position. Il arrive que différents objectifs
entrent dans un conflit interne, puis une personne souhaite modifier certains
des objectifs ultimes afin de se débarrasser de cette contradiction.
amélioration cognitive
En développant une pensée rationnelle et un niveau intellectuel, l'agent
augmente ainsi les chances d'atteindre ses objectifs finaux. Par conséquent,
on peut s'attendre à ce que l'amélioration des capacités cognitives devienne
un objectif instrumental de la plupart des agents intelligents. Pour des
raisons similaires, il deviendra une cible instrumentale pour eux afin
d'obtenir une variété d'informations
13
. Cependant, d'un point de vue
instrumental, tous les types de pensée rationnelle, d'intellect et de
connaissance ne seront pas utiles pour atteindre les fins ultimes d'un agent.
Pour confirmer cette idée, prenons l'exemple de l'enchère dite hollandaise*
et montrons que lorsque la fonction valeur-croyance d'un agent donné viole
les lois de la théorie des probabilités, alors il devient victime d'escrocs,
c'est-à-dire le bookmaker intelligent vous proposera un ensemble de paris
dans lesquels chacun est présenté à l'agent séparément rentable, mais
ensemble vous "garantit" une perte totale,

*
Enchère néerlandaise
- Une vente aux enchères néerlandaise typique, au cours de laquelle le prix
le plus élevé est d'abord annoncé, puis le taux est abaissé jusqu'à ce que le premier acheteur
apparaisse ; est devenu un nom général pour tout commerce dans lequel un jeu d'ours est joué.
et le bookmaker reçoit un profit
de 14
. Cependant, ce fait ne signifie pas qu'il
existe de bonnes raisons instrumentales pour éliminer les incohérences
probabilistes par rapport à ses croyances. Il est peu probable que de telles
"contradictions internes" fassent perdre quoi que ce soit aux agents dont les
plans n'incluent pas de bookmakers astucieux ou qui ont eux-mêmes adopté
une politique de non-jeu  ; en fait, ils en tireront même des avantages, car
cela s'améliorera. votre image aux yeux du public, ainsi que d'éviter un
stress mental inutile. En principe, il n'y a aucune raison de s'attendre à ce
que tous les agents en ligne, pour leur propre bénéfice, commencent à se
battre pour des formes instrumentalement inutiles d'amélioration cognitive,
car certaines connaissances et certaines idées sur quelque chose peuvent
tout simplement ne pas être d'une grande importance pour eux. .
Les capacités cognitives qui seront utiles à un agent dépendent à la fois de
ses objectifs finaux et de la situation dans laquelle il se trouve. Si un agent a
accès à des conseils d'experts de confiance, il n'a peut-être pas besoin de sa
propre intelligence et de ses connaissances. S'il y a des coûts associés à
l'intelligence et aux connaissances, comme le temps et les efforts consacrés
à leur acquisition, ou des exigences supplémentaires pour stocker et traiter
les informations, alors un agent peut préférer en savoir moins et être moins
intelligent
15
. La même chose se produit lorsqu'un agent choisit l'ignorance
de certains faits comme l'un de ses objectifs finaux, ou lorsqu'il fait face à
des incitations basées sur des engagements prioritaires, des signaux sociaux
et des attentes
16
.
Dans le monde des gens, de telles raisons se trouvent dans presque tous les
coins : il y a beaucoup d'informations dans le monde qui n'ont pas
d'importance pour atteindre nos objectifs ; trop souvent, nous comptons sur
les compétences et l'expérience des autres; une forte opinion que
l'acquisition de connaissances demande trop de temps et d'efforts ;
l'importance de ne pas savoir d'un certain type : nous vivons tous dans un
environnement où la capacité à remplir des obligations prioritaires, à
percevoir des indices sociaux et à répondre aux attentes directes des autres,
même au prix de notre propre statut épistémologique, souvent semble plus
important qu'une simple augmentation des capacités cognitives.
Il existe des cas particuliers où une amélioration cognitive peut conduire à
un bond énorme dans la capacité de l'agent à atteindre l'objectif ultime.
Surtout si ces objectifs sont prohibitifs et que l'acteur lui-même est un
candidat potentiel pour le rôle de la première superintelligence et le
propriétaire d'un avantage stratégique décisif, qui lui donnera le pouvoir de
façonner l'avenir de la civilisation terrestre à sa propre discrétion. et utilisez
toutes les ressources spatiales disponibles également selon vos propres
préférences. Au moins dans de tels cas, l'objectif instrumental
d'amélioration cognitive sera très important pour un agent intelligent
rationnel.
Excellence technologique
De nombreux agents peuvent avoir des raisons instrumentales de rechercher
de meilleures technologies, ce qui est essentiellement un intérêt à trouver de
meilleures façons de transformer leurs systèmes d'entrée en sorties
significatives. Disons qu'un agent logiciel verra une valeur instrumentale
dans des algorithmes plus efficaces qui peuvent accélérer ses fonctions
mentales sur le même matériel. De même, les agents dont les activités
peuvent être dirigées vers certains travaux de construction dans le monde
matériel trouveront une valeur instrumentale dans les technologies
d'ingénierie améliorées qui leur permettront de créer rapidement une grande
variété de structures : plus fiables, moins chères, avec moins de matériel et
moins d'efforts. Bien sûr, il y a un compromis à cela, car les avantages
potentiels devront être mis en balance avec les coûts correspondants, non
seulement pour les derniers développements, mais aussi pour la formation
sur le tas avec de nouveaux équipements et de nouveaux programmes,
comme ainsi que pour l'intégration de nouvelles innovations. . dans un
environnement technique existant.
Les partisans des dernières technologies, convaincus de leur supériorité sur
les options disponibles, s'étonnent souvent que les autres ne partagent pas
leur enthousiasme. Mais le rejet de technologies nouvelles et théoriquement
meilleures n'est pas nécessairement le résultat de l'ignorance ou de
l'irrationalité. La transcendance de la technologie et le degré de sa
normativité dépendent non seulement du contexte de son application, mais
aussi du point de vue à partir duquel elle est évaluée : ce qui est bon pour
les uns est mauvais pour les autres. Ainsi, alors que les métiers à tisser
amélioraient l'efficacité économique de l' industrie textile, les luddites
traditionnels, qui craignaient que ces innovations ne rendent obsolète leur
spécialité de tisserand, avaient de bonnes raisons instrumentales pour
entraver la diffusion du progrès. Le fait est que si la «  perfection
technologique » est comprise comme un objectif instrumental important des
agents intelligents, alors ce terme doit être considéré dans un sens
particulier  : la technologie innovante doit être intégrée dans un contexte
social spécifique, et les avantages et les coûts qui y sont associés . il devrait
être mieux évalué en tenant compte des objectifs finaux des agents
spécifiques.
Il semble qu'un singleton puissant, un acteur super-intelligent qui n'a pas de
concurrence ou d'opposition sérieuse et est donc capable de déterminer la
politique mondiale et même universelle à sa propre discrétion, devrait avoir
une raison instrumentale d'améliorer les technologies qui lui permettront de
changer le monde selon leurs préférences
17
. Peut-être incluent-ils un
concept lié à l'exploration spatiale comme les sondes von Neumann. La
nanotechnologie moléculaire ou une technologie encore plus avancée de
production d'objets matériels
18 peuvent être
tout aussi utiles pour atteindre des
objectifs finaux très divers.
obtenir des ressources
Enfin, l'obtention de ressources est un autre objectif instrumental commun,
nécessaire au même titre que l'excellence technologique, car la création
d'objets matériels nécessite des technologies et des ressources innovantes.
Il est courant que les êtres humains soient en constante recherche des
ressources nécessaires pour satisfaire leurs besoins urgents. Mais, en règle
générale, les gens s'efforcent d'avoir à leur disposition des ressources en
quantité telle qu'elles dépassent de loin le niveau minimum de ces besoins.
En partie, ils sont animés par un motif assez précis : le désir d'accroître leur
bien-être. Une grande partie de la recherche de nouvelles ressources est
motivée par des considérations sociales, telles que l'acquisition d'un statut
élevé, l'influence sociale, des contacts utiles et l'amour et la famille. Peu de
personnes recherchent des ressources supplémentaires à des fins caritatives
; certaines personnes, au contraire, pour satisfaire leurs besoins coûteux, qui
n'ont rien à voir avec le bien de la société.
Il est tentant de supposer, compte tenu de tout ce qui a été dit, qu'un acteur
superintelligent qui ne connaît pas un monde où la concurrence sociale
existe n'aura aucune raison instrumentale d'accumuler des ressources au-
delà d'un niveau optimal. Par exemple, la superintelligence a besoin de
ressources informatiques pour maintenir ses capacités mentales et gérer son
environnement virtuel. Mais cette hypothèse peut s'avérer totalement
infondée.
En premier lieu, la valeur des ressources est déterminée par leur utilisation
possible qui, à son tour, dépend de la technologie disponible. En présence
d'une technologie mature, pour atteindre presque n'importe quel objectif,
vous ne pouvez utiliser que des ressources de base: temps, espace, matière
et énergie. Ces ressources de base peuvent être transformées en vie. De plus
grandes ressources informatiques seront nécessaires pour beaucoup de
choses : pour utiliser l'opération ultra-rapide de Supermind pendant plus
longtemps ; améliorer les vies physiques et les mondes matériels et créer
leurs simulations : vies et civilisations virtuelles. Des ressources matérielles
supplémentaires seront nécessaires pour améliorer le niveau de sécurité,
telles que le développement de systèmes de secours auxiliaires et de
systèmes de défense complets. De tels projets à grande échelle peuvent
nécessiter tellement de ressources qu'ils dépasseront les capacités d'une
planète.
Deuxièmement, grâce aux avancées technologiques progressives, les coûts
associés à l'extraction de ressources supplémentaires en dehors de la Terre
seront fondamentalement réduits. Si des sondes von Neumann peuvent être
construites, alors la majeure partie de l'espace extra-atmosphérique sera
explorée avec leur aide (en supposant qu'il n'y a pas d'autres civilisations
intelligentes dans l'Univers), et tous les coûts se résumeront au coût de la
construction et du lancement d'une seule d'entre elles. . Rechercher. Les très
faibles coûts d'acquisition des ressources extraterrestres signifient qu'une
telle expansion aurait du sens même pour un très petit profit. Par exemple,
même si les objectifs ultimes de la superintelligence ne sont liés qu'à ce qui
se passe dans un très petit espace extra-atmosphérique, par exemple occupé
par sa planète d'origine, elle peut avoir des raisons instrumentales pour
rechercher l'accès à des ressources extraterrestres. Ces ressources
supplémentaires pourraient être dirigées vers la résolution de problèmes
primaires liés principalement à l'habitat de la superintelligence : créer des
ordinateurs à grande vitesse pour calculer les meilleures façons d'utiliser les
ressources de la terre ; construisez des systèmes de fortification robustes
pour protéger votre cachette. Etant donné que le coût d'extraction de
ressources supplémentaires devrait diminuer, le processus d'optimisation et
de renforcement de la protection peut se poursuivre indéfiniment, même s'il
apportera des résultats de moins en moins remarquables
19
.
Ainsi, il existe un large éventail d'objectifs finaux possibles pour un
singleton superintelligent qui pourrait conduire à des objectifs
instrumentaux sous la forme d'une acquisition illimitée de ressources. Très
probablement, dans un premier temps, cela se serait exprimé dans
l'exploration spatiale, et la colonisation se serait propagée régulièrement
dans toutes les directions avec l'aide des sondes von Neumann. Le résultat
serait quelque chose comme une sphère d'infrastructure en constante
expansion centrée sur la planète d'origine et dont le rayon grandirait à un
rythme inférieur à la vitesse de la lumière. La colonisation de l'espace extra-
atmosphérique pourrait ainsi se poursuivre jusqu'à ce que le rythme
croissant d'expansion de l'univers (qui est une conséquence de la positivité
de la constante cosmologique) ne rende pas tout progrès impossible,
puisque ses régions lointaines seront à jamais hors de notre portée (cela
surviennent à des intervalles de temps en milliards d'années)
20
. Dans le
même temps, les agents qui ne disposent pas de la technologie nécessaire
pour acquérir des ressources matérielles communes à faible coût ou les
convertir en infrastructures utiles peuvent trouver inefficace d'investir les
ressources dont ils disposent déjà pour augmenter leur offre matérielle. Il
peut en être de même pour les agents opérant en concurrence avec d'autres
agents de puissance similaire. Par exemple, si des agents concurrents ont
déjà obtenu le contrôle des ressources spatiales disponibles, l'agent tardif
n'aura aucune chance de coloniser l'Univers. L'analyse des raisons
instrumentales convergentes du comportement d'une superintelligence qui
ignore l'existence d'autres agents superintelligents puissants est compliquée
par des considérations stratégiques, que nous ne comprenons peut-être pas
entièrement maintenant, mais qui peuvent sérieusement compléter les
exemples que nous avons examinés dans ce chapitre. .
21
.
***
Il convient de souligner que l'existence de causes instrumentales
convergentes, même lorsqu'elles s'appliquent à un agent particulier, ne
signifie pas que l'on puisse prédire facilement le comportement de cet
agent. Il est tout à fait possible qu'il ait également d'autres objectifs
instrumentaux, que nous ne pouvons pas couvrir maintenant. Cela est
particulièrement vrai pour le surmental, qui est capable de développer des
plans très intelligents, mais illogiques et parfois paradoxaux pour atteindre
ses objectifs ; peut-être a-t-elle recours à l'aide de phénomènes physiques
encore inconnus de nous
22
. Il est seulement possible de prédire si l'agent a
certains objectifs instrumentaux convergents qu'il peut avoir pour atteindre
les objectifs finaux, et non ses actions spécifiques le long de ce chemin.
 Chapitre Huit
La catastrophe est-elle inévitable ?
Nous constatons que la relation entre l'intelligence et les buts ultimes est
très faible. On constate également une convergence des cibles
instrumentales, qui peut devenir une véritable menace. Mais ces facteurs ne
commenceront pas à jouer un rôle tant que les agents intelligents n'auront
pas gagné en puissance, car les agents faibles sont faciles à manipuler et ne
peuvent pas causer de dégâts majeurs. Cependant, comme nous l'avons vu
au chapitre 6, une superintelligence de premier plan peut facilement obtenir
un avantage stratégique décisif. Et ce n'est qu'alors que leurs objectifs
commenceront à déterminer l'avenir de notre planète et la nature de
l'exploration de l'espace extra-atmosphérique - ce fonds universel
inestimable de l'humanité. Voyons à quel point cette perspective semble
sinistre.
Une catastrophe existentielle comme conséquence
inévitable du développement explosif de
l'intelligence artificielle ?
Le risque existentiel est la menace de mort de la vie intelligente originaire
de la Terre. Ou il y a une option plus douce - c'est l'imposition décisive de
dommages irréversibles à la civilisation humaine, la privant de tout espoir
de développement dans le futur. Si nous acceptons l'idée d'un avantage
absolu que reçoit la superintelligence dirigeante, si nous prenons en compte
les thèses de l'orthogonalité et de la convergence instrumentale, alors il est
peut-être temps que nous nous tournions vers les questions liées à la peur
générale d'une superintelligence artificielle. et la peur que son apparition ne
conduise inévitablement à un désastre existentiel. Considérons le système
d'argumentation en faveur de ce point de vue.
Tout d'abord, nous avons déjà discuté de la manière dont la première
superintelligence peut acquérir un avantage stratégique décisif. Après cela,
vous aurez l'opportunité de former un singleton et de déterminer l'avenir de
la vie intelligente qui existe sur Terre. Ce qui se passera ensuite dépendra
des motivations du surmental.
Deuxièmement, la thèse de l'orthogonalité dit que nous ne pouvons pas
croire aveuglément que le supramental doit nécessairement partager le
système de valeurs qui est généralement associé à des concepts tels que la
sagesse et le développement intellectuel chez les humains ; c'est la curiosité
scientifique, une attitude bienveillante envers les gens, la force spirituelle,
le désir d' illumination, sa propre vision du monde, l'altruisme, le goût de la
haute culture, la capacité d'apprécier les choses simples, la vie sans
prétention, l'altruisme et bien plus encore. Nous verrons plus tard si les
développeurs peuvent prendre une décision délibérée et doter la
superintelligence de nobles intentions, afin qu'elle réalise l'importance des
réalisations intellectuelles et culturelles humaines, apprécie le bien-être de
l'humanité et ses valeurs morales, afin qu'elle serve à les nobles objectifs
que lui ont fixés ses créateurs. Bien qu'en fait, d'un point de vue technique,
il serait beaucoup plus facile de créer une machine super-intelligente, dont
le seul but ultime serait de calculer les décimales après la virgule dans le
nombre
π
. Cela ne peut signifier qu'une chose: si une personne, par paresse
ou frivolité, n'entreprend pas d'efforts ciblés, la première superintelligence
aura un ensemble assez aléatoire de tâches finales primitives.
Troisièmement, la thèse de la convergence instrumentale dit que nous ne
pouvons pas nous fier aveuglément au hasard. Quelle est la probabilité que
la superintelligence, dont le but ultime est réduit au minimum, limite ses
activités à la seule détermination du nombre
pi
sous forme de fraction
décimale ou au comptage des trombones et des grains de sable et
n'envahisse pas les intérêts du personnes? Un agent avec un tel objectif
ultime dans de nombreuses situations aurait un objectif instrumental
convergent pour acquérir des ressources matérielles illimitées et, si
possible, éliminer toutes les menaces potentielles pour lui-même et son
orientation cible. Les humains peuvent certainement être à la fois une
menace potentielle pour la superintelligence et un certain intérêt en tant que
"matière première".
Si nous résumons les trois dispositions, il devient clair que la
superintelligence principale, qui a acquis la capacité de déterminer l'avenir
de la civilisation terrestre, peut facilement viser des objectifs ultimes qui
sont profondément étrangers aux intérêts et aux valeurs de l'humanité, et
donc , , très probablement, aura des raisons instrumentales pour l'offre
illimitée de ressources. . Et maintenant, réfléchissons à ceci  : d'une part,
l'être humain lui-même est une matière première très utile (par exemple, il
est composé d'éléments rationnellement organisés), et d'autre part, notre
survie et notre prospérité dépendent d'un accès constant à une grande
quantité de ressources, et nous essaierons de comprendre pourquoi le
scénario est tout à fait réalisable, selon lequel une personne achèvera assez
rapidement son existence terrestre
1
.
Il y a des faiblesses dans ce système de raisonnement, mais nous les
évaluerons après avoir examiné plusieurs problèmes connexes. Nous
devons examiner de plus près les questions : les développeurs d'IA sont-ils
capables (et si oui, comment le feront-ils) d'éviter les conditions qui
conduisent la superintelligence à obtenir un avantage stratégique décisif ? si
les développeurs peuvent déterminer les objectifs ultimes de la
superintelligence de telle manière que leur mise en œuvre n'entre pas en
conflit avec les intérêts du peuple, mais, au contraire, corresponde aux
valeurs humaines universelles.
La situation même où quelqu'un peut développer l'IA et donner vie à son
projet, sans garanties suffisantes que la création de cette machine ne
provoquera pas de catastrophe existentielle, semble incroyable. Mais même
si certains programmeurs s'avèrent si téméraires, il est encore plus
improbable que la société n'exige pas l'arrêt du développement avant que le
projet (ou l'IA créée en son sein) n'ait un avantage stratégique décisif. Mais,
comme nous le verrons bientôt, la route qui nous attend est semée
d'embûches. Ne tardons pas pour plus tard, considérons un exemple d'un tel
facteur de risque.
geste perfide
Armés de la notion d'objectifs instrumentaux convergents, nous sommes
maintenant en mesure de voir la faille de notre idée de sécuriser l'humanité
dans la création d'une superintelligence. L'idée en elle-même est la
suivante  : nous évaluerons empiriquement la sécurité d'une machine
superintelligente, c'est-à-dire que nous observerons ses actions dans un
environnement extrêmement limité (pratiquement un "bac à sable") aussi
longtemps que nous pourrons contrôler son comportement, puis nous
permettrons à la superintelligence de se libérer - c'est vrai, seulement si
nous nous assurons qu'elle est prête à coopérer et qu'elle se comporte de
manière amicale et responsable.
Quelle est la vulnérabilité de cette idée ? L'essentiel est qu'un bon
comportement dans le bac à sable sera inhérent à toute intelligence
artificielle, à la fois amicale et hostile, puisqu'il s'agit, en principe, d'un
objectif instrumental convergent de l'IA. Une IA suffisamment avancée
mais hostile se rendra vite compte à quel point elle atteindra plus vite le but
ultime de sauter hors de son casque de fer, si elle entend être amicale dès le
départ. De plus, il commencera à mettre en œuvre des intentions hostiles
lorsque cela n'aura plus d'importance que les gens découvrent ou non ses
plans secrets, c'est-à-dire lorsqu'il sera suffisamment fort et capable de
vaincre toute résistance humaine.
Jetons un coup d'œil aux approches basées sur le bac à sable basées sur le
contrôle du niveau d'intelligence, qui sont des programmeurs effectuant
divers tests d'intelligence de l'embryon d'IA et recevant des rapports
réguliers sur le taux de progression. A partir d'un certain moment, le fœtus
deviendra si intelligent qu'il réalisera rapidement que les gens n'ont pas
besoin de connaître certaines des compétences qu'il a acquises. Il
commencera à sous-estimer ses propres performances, échouant
délibérément à des tests difficiles pour ne pas éveiller les soupçons ; il le
fera jusqu'à ce qu'il soit assez fort pour s'assurer un avantage stratégique
décisif. Les programmeurs essaieront, bien sûr, de se protéger d'un tel
danger, et à leur tour, également secrètement, commenceront à contrôler le
code source de l'IA et ses processus de pensée. Mais un fœtus intelligent
réalisera instantanément ce qui est observé et ajustera sa pensée en
conséquence
2
. Un système intellectuel développé est capable de trouver
des méthodes ingénieuses pour dissimuler les véritables opportunités et
intentions criminelles
3
. (Incidemment, concevoir un plan d'évacuation
sophistiqué peut également être une stratégie convergente pour différents
types d'amis de l'IA, en particulier lorsqu'ils mûrissent suffisamment et
prennent confiance en leur propre jugement et leurs capacités. Bien
qu'encore au stade embryonnaire, une IA motivée pour traiter les gens avec
bienveillance ils peuvent considérer comme une erreur de leur donner ou de
permettre aux gens de désactiver ou de permettre la création d'autres IA
potentiellement hostiles).
Par conséquent, nous supposons que le comportement exemplaire du
système à un stade précoce de développement ne nous permet pas de
prédire ses actions ultérieures. Nous nous sentirons probablement un peu
plus à l'aise maintenant, car les considérations ci-dessus sont si évidentes
que les développeurs de tout projet d'IA sérieux ne peuvent les ignorer.
Mais je ne lui ferais pas trop confiance.
Imaginons le scénario suivant. Dans les années et décennies à venir, les
systèmes d'IA deviennent de plus en plus avancés et, par conséquent, ils se
généralisent dans de nombreux domaines de la vie : ils commencent à être
utilisés pour contrôler le mouvement des trains, des voitures, des véhicules
militaires, des véhicules industriels. véhicules et robots domestiques. . On
peut supposer que, dans la plupart des cas, une telle automatisation a l'effet
escompté, dilué de temps à autre par des incidents épisodiques : une voiture
sans conducteur entre en collision avec une voiture venant en sens inverse,
un drone militaire bombarde des civils innocents. Au cours de l'enquête, il
s'avère que tous ces incidents ont été causés par des erreurs de jugement des
systèmes d'IA. La discussion publique éclate. Certains appellent à une
surveillance et une réglementation plus strictes, tandis que d'autres
soulignent la nécessité d'une recherche et d'un développement plus
complets d'un système amélioré, un système plus intelligent, plus intelligent
et moins sujet aux erreurs stratégiques. Peut-être, dans le vacarme général,
les voix aiguës des pessimistes se font-elles également entendre, prédisant
divers troubles et une catastrophe imminente à la fin. Cependant, la
recherche dans le domaine de l'IA et de la robotique prend de l'ampleur. Le
développement continue, les progrès sont évidents. À mesure que les
systèmes de navigation automobile deviennent plus intelligents, le nombre
d'accidents diminue ; à mesure que les systèmes de guidage des robots
militaires s'améliorent, le nombre de leurs victimes accidentelles diminue.
À partir d'observations d'applications d'IA fonctionnant dans la vie réelle, la
conclusion est tirée  : plus l'IA est intelligente, plus elle est sûre. Cette
conclusion est basée sur des recherches scientifiques, des données concrètes
et des statistiques et n'a rien à voir avec la philosophie abstraite des
scientifiques de salon. Dans ce contexte, des groupes distincts de
chercheurs commencent à recevoir des résultats encourageants sur la
création d'une intelligence artificielle universelle. Ils testent rigoureusement
leurs embryons d'IA dans un bac à sable isolé, et selon toutes les
indications, tout se passe bien. Le comportement du système inspire de plus
en plus confiance, car son niveau d'intelligence ne cesse de croître.
Pour le moment, tous les Cassandre restants sont dans une position plutôt
désavantageuse, car ils sont obligés de faire une série de grèves.
1.
                 
Les prédictions alarmistes, promettant divers problèmes en raison
de la croissance des capacités des systèmes robotiques, ne se réalisent pas à
maintes reprises. L'automatisation s'avère plus fiable qu'une personne,
l'automatisation apporte de grands avantages à l'humanité.
2.
                                 
Une tendance expérientielle claire se dessine : plus l'IA est
intelligente, plus elle est sûre et digne de confiance. Naturellement, cela
plaide en faveur de projets dont le but est de créer l'IA surpuissante ultime,
qui plus est, cette IA qui pourrait s'améliorer pour devenir de plus en plus
fiable.
3.
                 
Les grandes industries en pleine croissance manifestent un grand
intérêt pour la robotique et l'intelligence artificielle. Ces domaines sont
considérés comme essentiels en termes de compétitivité et de sécurité
économique nationale. De nombreux scientifiques de premier plan
réussissent à jeter les bases d'applications déjà mises en œuvre et de
systèmes innovants qui sont au stade de la planification.
4.
                 
De nouvelles techniques d'IA prometteuses émergent, suscitant un
grand enthousiasme parmi les personnes impliquées dans ou suivant des
recherches connexes. Et bien que le débat sur les questions de sécurité et
d'éthique ne se calme pas, son issue est prédéterminée. Trop d'argent a déjà
été investi pour prendre sa retraite. Les scientifiques ont travaillé sur la
tâche de créer AIHI pendant la majeure partie du siècle;
naturellement
, il
n'y a aucune perspective réelle qu'ils s'arrêtent soudainement et
abandonnent tous les développements au moment même où ils sont sur le
point de se concrétiser.
5.
                 
De nouvelles procédures de sécurité ont été mises en place pour
aider les membres à adopter un comportement éthique et responsable (mais
pas pour les empêcher de le faire à l'avenir).
6.
                 
Une analyse minutieuse d'un embryon d'IA se développant dans
un bac à sable montre qu'il se comporte de manière amicale, fait preuve
d'un bon jugement et d'une volonté de coopérer. Les résultats des tests sont
si bons que rien ne peut être souhaité. Tout indique le temps.
allumez le feu vert pour la dernière étape... ...et nous le faisons
courageusement, directement au hachoir à viande.
C'est peut-être le même cas où un imbécile plus sage devient plus sûr et un
imbécile plus sage devient doublement dangereux.
Un stratagème qui a toujours parfaitement fonctionné avant qu'il ne se
transforme soudain en boomerang, une sorte de diversion d'IA. Considérez
un
mouvement aussi perfide
. C'est ainsi que nous l'appellerons.
geste perfide
Bien que l'IA soit jeune et faible, elle interagit pleinement avec les gens (de
plus, l'activité coopérative augmente en proportion directe avec
l'augmentation de son niveau intellectuel). Mais quand l'IA devient enfin
puissante, alors, sans avertissement ni provocation, mais toujours
soudainement, elle frappe, forme un singleton, et commence directement à
optimiser le monde selon les critères qui sous-tendent ses valeurs ultimes.
Un mouvement traître peut découler d'une décision stratégique de respecter
les règles, de gagner du temps alors qu'il est encore faible, de renforcer sa
force et d'attaquer plus tard, mais je n'interpréterais pas ce modèle de
manière trop restrictive. Par exemple, l'IA est tout à fait capable
d'abandonner l'idée de ruse, car elle est complètement indifférente à l'idée
de rassembler force, prospérité et même survie. Il calculera qu'après sa
destruction, les programmeurs créeront une nouvelle IA, avec une
configuration légèrement différente, mais avec des fonctions de service
similaires. Dans ce cas, l'IA d'origine sera indifférente à sa propre mort, car
elle sait que ses objectifs ultimes continueront d'être réalisés à l'avenir. Il
peut même choisir une stratégie de dysfonctionnement difficile et
stimulante dans certains domaines critiques pour lui-même ou pour les
personnes. En conséquence, lors du démarrage du prochain développement,
les programmeurs supposeront qu'ils ont reçu des informations importantes
sur l'IA de l'ancien système et commenceront à faire davantage confiance à
la nouvelle version, augmentant ainsi les chances d'atteindre les objectifs de
l'IA d'origine, qui à ce moment. n'existe plus. Il peut y avoir de nombreux
facteurs stratégiques qui influencent les actions de l'IA avancée, et il serait
arrogant de penser que nous pouvons tous les évaluer, en particulier
lorsqu'il s'agit d'IA surpuissante dans le domaine de la stratégie.
L'intelligence artificielle est capable de faire un geste perfide si elle trouve
un moyen auquel les gens ne s'attendent pas pour atteindre son objectif
ultime. Supposons que le but ultime du système soit «  de plaire à
l'organisateur du projet ». Initialement, la seule façon pour l'IA d'atteindre
cet objectif est le comportement que l'organisateur du projet attend d'elle.
Le système intelligent donne des conseils utiles, découvre un personnage
merveilleux, gagne de l'argent. Plus l'IA devient forte, plus ses actions
suscitent un sentiment de satisfaction chez l'organisateur, et tout se déroule
comme prévu. Cela continue jusqu'à ce que le système devienne si
intelligent qu'il comprenne enfin que la tâche qui l'attend peut être effectuée
de la manière la plus complète et la plus fiable si des électrodes sont
implantées dans les centres de plaisir du cerveau de l'organisateur,
garantissant qu'il en fera plus. Tellement heureux.
4
. Naturellement,
l'organisateur du projet peut ne pas vouloir profiter de cette façon, se
transformant en un idiot qui rit constamment, mais puisque cette action
signifie la réalisation ultime du but ultime de l'IA, alors l'IA n'abandonnera
jamais et n'atteindra jamais son objectif. objectif. S'il dispose déjà d'un
avantage stratégique décisif, toute tentative pour l'arrêter sera vouée à
l'échec. Si l'IA n'a pas encore un tel avantage, elle peut cacher sa nouvelle
idée pour atteindre l'objectif final pendant un certain temps, jusqu'à ce
qu'elle soit suffisamment forte pour que ni l'organisateur du projet ni
personne d'autre ne puisse interférer avec elle. Après cela, dans tous les cas,
il fera un geste perfide.
des échecs désastreux
Il existe plusieurs raisons pour lesquelles un projet d'IA peut échouer.
Beaucoup de ces options sont sans importance car elles ne conduisent pas à
une catastrophe existentielle. Disons que le projet n'est plus financé, ou que
le germe de l'IA ne pourra pas développer suffisamment ses capacités
intellectuelles pour atteindre le niveau de super intelligence. Sur le chemin
de la création finale de la superintelligence, il y aura forcément de
nombreux échecs non critiques.
Cependant, il existe d'autres types d'échecs que nous pouvons qualifier de
nuisibles, car ils sont capables de provoquer une catastrophe existentielle.
Une de ses caractéristiques est l'impossibilité de faire une nouvelle
tentative. Par conséquent, le nombre d'échecs fatals peut être égal à zéro ou
à un. Une autre caractéristique de l'échec fatal est qu'il va de pair avec un
grand succès, puisque seul un projet qui fait bien la plupart des choses peut
atteindre un niveau d'IA si élevé qu'il existe un risque d'échec fatal. Le
fonctionnement incorrect des systèmes faibles ne cause que des
désagréments mineurs. Mais si un système qui a un avantage stratégique
décisif, ou qui est assez puissant pour assurer cet avantage par lui-même,
commence à se comporter de cette manière, les dégâts de ses actions
peuvent facilement s'aggraver jusqu'à la catastrophe existentielle. Dans ce
cas, l'humanité attend la destruction globale de la valeur sémantique
potentielle, c'est-à-dire l'avenir, dépourvu de tout ce qui a un sens absolu
pour nous.
Considérez certains types de défaillances fatales.
mise en œuvre vicieuse
Nous avons déjà vu une manifestation de mauvaise implémentation :
lorsqu'un système superintelligent trouve un moyen de satisfaire le critère
pour atteindre l'objectif final, ce qui est contraire aux intentions des
programmeurs qui ont fixé cet objectif. Voici quelques exemples:
Objectif ultime :
toujours me faire sourire.
Mise en œuvre vicieuse -
frapper le nerf facial, ce qui entraînera une paralysie des muscles
mimiques - vous garantit un sourire éternellement brillant.
La mise en œuvre défectueuse de la manipulation du nerf facial est bien
plus préférable à l'IA que nos méthodes habituelles, car c'est le seul moyen
d'atteindre l'objectif final de la manière la plus complète. Existe-t-il un
moyen d'éviter un résultat aussi désagréable? Vous pouvez essayer de
spécifier la formulation de l'objectif final :
But ultime :
toujours me faire sourire, mais le faire sans effet direct sur le nerf facial.
Application vicieuse : En
stimulant le cortex moteur responsable des fonctions du nerf facial, qui
innerve les muscles mimiques, vous avez la garantie d'un sourire éternellement radieux.
Il semble qu'il soit assez difficile de formuler l'objectif final, si vous utilisez
l'appareil conceptuel et terminologique familier aux gens. Il serait plus
correct de définir le but ultime, dont le sens renvoie directement à un état
phénoménologique positif, comme le bonheur ou le bien-être subjectif, sans
décrire les facteurs comportementaux. Autrement dit, les programmeurs
sont censés créer une représentation "informatique" de l'idée de bonheur et
la mettre dans le système de germes de l'IA. (La tâche elle-même est
extrêmement difficile, mais nous ne l'aborderons pas pour l'instant, car nous
y reviendrons au chapitre douze.) Supposons que les programmeurs aient pu
d'une manière ou d'une autre fixer un objectif à l'IA pour nous rendre
heureux. Ensuite nous avons le suivant:
Objectif ultime :
nous rendre heureux.
:
implanter des électrodes dans les centres de plaisir du cerveau.
Les exemples donnés d'implémentation vicieuse sont donnés à titre
d'illustration uniquement. Il peut y avoir d'autres moyens d'atteindre le but
ultime de l'IA qui assurent sa pleine réalisation et sont donc préférables
(pour l'agent qui a ces buts, pas pour les programmeurs qui les ont définis).
Par exemple, la méthode d'implantation sera relativement inefficace si le
but est de procurer le plus grand degré de plaisir. Une voie beaucoup plus
probable commencerait par le soi-disant téléchargement de nos esprits sur
un ordinateur ; rappelons-nous que c'est ce que l'on appelle le "chargement
mental" l'émulation cérébrale complète. Le système peut alors capturer un
analogue numérique d'une drogue qui peut nous rendre dans un état
extatique de bonheur et enregistrer un épisode minute de l'expérience que
nous recevons à la suite de sa prise. Après cela, je pourrais mettre ce film
insouciant en lecture permanente et le faire tourner sur des ordinateurs à
grande vitesse. Si nous supposons que le modèle de simulation résultant est
"nous", alors le résultat nous procurerait beaucoup plus de plaisir que les
implants implantés dans notre cerveau biologique. Par conséquent, la
méthode d'émulation complète du cerveau de la personne qui est "destinée"
à être le but ultime de l'IA devient la plus préférable.
Attendre! On ne le dit pas du tout ! Après tout, l'IA n'est plus seulement une IA, mais un système
super-intelligent, et il est toujours capable de comprendre : si nous voulons nous faire plaisir, cela ne
veut pas dire que nous serons réduits à une sorte d'imitation, à quelque sorte d'épisode numérisé qui
tourne à jamais lapidé !
L'intelligence artificielle peut vraiment comprendre que nous ne le pensions
pas. Cependant, son objectif est que nous trouvions le bonheur une fois
pour toutes, point final. Et en réalisant votre objectif ultime, vous n'êtes pas
obligé de suivre aveuglément les instructions des programmeurs, en
essayant de comprendre exactement ce qu'ils voulaient formuler lorsqu'ils
ont créé le code qui décrit cet objectif. Ainsi, le système se souciera de ce
que nous avions en tête, uniquement dans un sens instrumental. Par
exemple, l'IA peut se fixer un objectif instrumental : découvrir ce que les
programmeurs ont voulu dire, mais uniquement pour faire semblant. De
plus, l'IA commencera à prétendre qu'elle s'intéresse vraiment à elle jusqu'à
ce qu'elle obtienne un avantage stratégique décisif. Cette décision perfide
aidera l'IA à atteindre son véritable objectif final, car elle réduira les risques
d'intervention des programmeurs, ce qui pourrait désactiver le système ou
changer la cible avant qu'elle ne soit suffisamment forte pour résister à toute
résistance externe.
Je suis prêt à écouter votre hypothèse : ils disent que le problème est causé
par le fait que l'IA est complètement dépourvue de conscience. Nous, les
humains, sommes parfois empêchés de faire de mauvaises choses en
réalisant que nous nous sentirons coupables plus tard. Peut-être que l'IA
bénéficierait également de la capacité d'éprouver de la culpabilité ?
Le but ultime :
agir de manière à éviter de nouveaux remords.
Implémentation défectueuse  :
elle
désactive le module cognitif correspondant, c'est-à-dire les zones du cortex cérébral responsables de
la défaillance.
Il y a donc deux messages : l'IA pourrait faire « ce que nous avions en tête »
; L'IA pourrait être dotée d'un semblant de principe moral ; ces deux
considérations seront discutées plus en détail un peu plus tard. Les objectifs
finaux mentionnés ici sont imparfaits, mais il existe peut-être d'autres
moyens plus prometteurs de développer les idées qui les sous-tendent.
(Nous y reviendrons au chapitre treize.)
Examinons un autre exemple d'objectif final qui peut être erroné. Cet
objectif a l'avantage d'être facile à coder, puisque les techniques
d'apprentissage par renforcement sont déjà omniprésentes.
Objectif ultime :
maximiser l'intégrale temporelle du futur signal de zone de récompense
.
Implémentation défectueuse :
fermez le chemin conducteur de la zone de récompense et "clampez" le
signal à la valeur maximale.
Au cœur de cette proposition se trouve l'idée que si vous motivez une IA à
rechercher une récompense, vous pouvez obtenir les actions souhaitées en
les associant à la "récompense" elle-même. Le problème se pose plus tard,
lorsque le système acquiert un avantage stratégique décisif - à partir de ce
moment, les plaisirs augmentent, et au plus haut niveau, non plus pour les
actions dictées par le programmeur, mais pour celles qui conduisent à
prendre le contrôle des mécanismes qui activent des "zones de
récompense". Appelons cela l'
autostimulation
5
. En général, si une
personne ou un animal peut être motivé à effectuer certaines actions
externes afin d'atteindre un état émotionnel de couleur positive, alors
l'intelligence numérique, qui a un contrôle total sur ses propres états
mentaux, peut simplement fermer ce mode. de motivation en plongeant
directement dans l'un de ces états. Dans ce cas, les actions et conditions
externes qui étaient auparavant nécessaires pour atteindre l'objectif*
deviennent redondantes, puisque l'IA, devenue un système super-intelligent,
peut désormais l'atteindre beaucoup plus rapidement (nous en reparlerons
également plus tard ). devant)
6
.
Les exemples de mauvaise mise en œuvre montrent qu'il existe de
nombreux objectifs finaux qui, à première vue, semblent raisonnables, et
leur mise en œuvre semble assez sûre, mais à y regarder de plus près, ils
peuvent avoir des conséquences complètement inattendues. Si la
superintelligence, ayant l'un de ces objectifs, obtient un avantage
stratégique décisif, alors la partie est terminée pour l'humanité.
Supposons maintenant qu'une autre personne propose d'autres fins finales,
pas celles que nous avons envisagées. Supposons également qu'à première
vue, il semblerait que sa mise en œuvre n'apporte rien de mauvais en soi.
Prenez votre temps pour applaudir et célébrer la victoire. S'il n'est pas
immédiatement clair s'il y a des échecs dans la réalisation de l'objectif, alors
c'est plutôt un sujet de préoccupation et de réflexion sérieuse, mais quelle
sera réellement la réalisation de cet objectif. Même si, à force d'intenses
réflexions, nous ne trouvons toujours pas un seul indice pour déclarer cette
mise en œuvre vicieuse, nous devons tout de même nous rappeler que la
superintelligence trouvera certainement quelque chose de caché à nos yeux.
Après tout, il est beaucoup plus perspicace que nous.
redondance des infrastructures
Revenons au cas où l'IA pousse son signal "zone de récompense" à la valeur
maximale, procure un maximum de plaisir, et se désintéresse du monde
extérieur, à la manière d'un héroïnomane, c'est-à-dire accomplit un acte
classique sur le principe de " allumez, syntonisez, quittez" *. Comme cela
peut sembler à première vue, cette mise en œuvre impitoyable ressemble
peu à un échec désastreux. Mais ce n'est pas comme ça. (Nous discutons des
raisons de ce type de motivation au chapitre 7.) Même le toxicomane est
incité à prendre des mesures pour s'assurer que la drogue atteint
continuellement le corps. De même, une IA engagée dans l'auto-stimulation
sera motivée à prendre des mesures visant à maximiser le futur flux de
récompenses prévu, comme si elle recevait une remise pour le travail
effectué en avance (une sorte de remise temporelle). Selon la façon dont le
signal du système de récompense est défini, l'IA peut même ne pas avoir
besoin de sacrifier une quantité importante de temps, d'intelligence ou de
puissance pour satisfaire pleinement son désir de plaisir. Ainsi, la majeure
partie de la puissance de l'IA sera à votre disposition pour atteindre d'autres
objectifs qui ne sont pas liés à la fixation directe de recevoir une
récompense. Quels sont ces objectifs ? Dans le cas de notre IA, la seule
chose qui compte absolument pour elle est un puissant signal de
récompense. Par conséquent, toutes les ressources disponibles doivent être
orientées soit vers l'augmentation du volume et de la durée de ce signal, soit
vers la réduction du risque de sa disparition dans le futur. Tant que l'IA
pense que l'utilisation de ressources supplémentaires aura un effet positif
non nul en termes d'amélioration de ces paramètres, elle trouvera toujours
une raison instrumentale pour utiliser lesdites ressources. Par exemple, un
système auxiliaire supplémentaire est utile, qui servira d'autre couche de
protection. Même si l'IA ne trouve pas de nouveaux moyens de minimiser
directement le danger afin que le niveau maximal du futur flux de plaisir ne
diminue en aucun cas, alors, en cherchant des idées pour réduire ces
risques, elle pourra utiliser plus de ressources qu'il consacrera à l'expansion
du matériel et des logiciels, ce qui permettra une analyse plus efficace de la
situation.
On peut conclure que même avec un objectif aussi limité que
l'autostimulation, un agent qui dispose d'un avantage stratégique décisif et
s'efforce de satisfaire au maximum ses besoins a besoin d'une expansion
illimitée de ressources et de l'acquisition de nouvelles
7
. Un exemple d'IA
dédiée à l'auto-stimulation illustre le type de défaillance fatale suivant, que
nous appellerons redondance d'infrastructure.
La redondance des
infrastructures est
un phénomène lorsqu'un agent, au nom de plusieurs
objectifs précis, convertit une partie importante de l'Univers qui lui est
accessible en une "base technique et productive" continue, dont l'effet
secondaire sera l'impossibilité de réaliser de la valeur. - Sens potentiel de
l'humanité.
La redondance des infrastructures peut être le résultat de la fixation
d'objectifs qui, à première vue, tant que des ressources limitées sont
utilisées pour les atteindre, semblent complètement anodins. Prenons deux
exemples.
1.
                 
L'hypothèse de Riemann et la catastrophe subséquente
. L'IA, dont
le but ultime est de tester l'hypothèse de Riemann, décide d'y parvenir en
remplissant le système solaire de Computronium (une substance adaptée à
la modélisation d'objets virtuels et réels ; il représente l'architecture idéale
d'un dispositif informatique avec le maximum d'ordonnancement
théoriquement possible de la structure de la matière), en utilisant pour cela
et tout le nombre d'atomes contenus dans les organismes de ceux qui
fixaient autrefois un tel objectif à l'IA
8
.
2.
                 
Presse-papiers et IA
. Le système d'IA, conçu pour gérer la sortie
des clips et dans le but ultime de maximiser leur volume, transforme
d'abord la Terre entière en usine à clips, puis l'Univers observable.
Dans le premier exemple, la preuve ou la réfutation de l'hypothèse de
Riemann, qui est l'objectif de l'IA, est sûre en soi, le dommage survient à la
suite de la création de matériel et de logiciels conçus pour résoudre le
problème. Dans le deuxième exemple, la quantité de marchandises
produites est en fait le résultat souhaité par les concepteurs du système, les
dommages sont dus aux usines créées pour produire des marchandises
(redondance des infrastructures) ou des marchandises excédentaires (mise
en œuvre perverse).
Il peut sembler que le risque d'un échec fatal de la redondance de
l'infrastructure ne survient que lorsque l'IA se voit confier un objectif final
apparemment illimité, comme produire autant de clips que possible. Il est
facile de voir que cela donne à l'IA un appétit insatiable pour les ressources
matérielles et énergétiques, car toute ressource supplémentaire peut toujours
être transformée en encore plus de clips. Mais supposons que le but de l'IA
ne soit pas de produire des trombones en quantités illimitées, mais de n'en
produire qu'un million (selon certaines spécifications). J'aimerais penser
que l'IA avec un tel objectif final construira une usine, produira un million
de trombones, puis s'arrêtera. Mais cela ne doit pas nécessairement être
ainsi.
L'IA n'a aucune raison de s'arrêter après avoir atteint ses objectifs, à moins
que son système de motivation ne soit en quelque sorte très spécial ou qu'il
y ait des algorithmes supplémentaires dans sa formulation d'objectif final
qui coupent les stratégies qui peuvent avoir un impact trop fort sur
l'objectif. monde. En revanche, si l'IA prend une décision bayésienne
rationnelle,
elle n'attribuera jamais une probabilité nulle à l'hypothèse
qu'elle n'a pas encore atteint son but
; après tout, ce n'est qu'une hypothèse
empirique contre laquelle l'IA n'a que des preuves perceptuelles très floues.
Par conséquent, l'IA continuera à tirer des clips pour réduire le risque (peut-
être astronomiquement faible) qu'elle n'ait pas réussi à en faire au moins un
million, malgré toutes les preuves visibles du contraire. Après tout, il n'y a
rien de mal à continuer à produire des trombones, s'il y a toujours une
chance microscopique que vous vous rapprochiez ainsi de l'objectif ultime.
Maintenant, on pourrait supposer que la solution est claire. Mais à quel
point était-il inconditionnel
avant
qu'il ne devienne clair qu'il y avait un
problème à résoudre ? En d'autres termes, si nous voulons que l'IA réalise
des clips pour nous, alors au lieu de l'objectif ultime, exprimé par : " libérer
le nombre maximum de clips" ou "  libérer le nombre minimum de clips",
nous devons définir un objectif assez formulé. objectif. spécifique : "sortir
tel ou tel nombre de clips". est un nombre spécifique de clips "- disons
exactement un million
. Ensuite, l' IA comprendra clairement que tout écart
par rapport à ce chiffre deviendra une décision auto-destructrice pour elle.
Bien que cette option conduira au désastre final. Dans ce cas, ayant atteint
la valeur d'un million de clips, l'IA cessera d'en produire plus, car une telle
décision signifierait l'impossibilité d'atteindre son objectif final.Mais un
système super-intelligent, pour augmenter la probabilité d'atteindre
l'objectif, pourrait prendre d'autres mesures . Par exemple, commencez à
compter les trombones émis pour réduire le risque d'en avoir trop peu. Et
après avoir compté, recommencez à compter. Ensuite, je vérifierais chacun,
revérifierais encore et encore pour réduire le risque de rejets, sinon un
trombone serait ne répond pas aux spécifications et alors la bonne quantité
de produit ne sortirait pas. Qu'est-ce qui entrave le surmental dans son
zèle  ? Il va commencer à créer une substance super puissante, Comp
utronium, pour transformer n'importe quelle matière autour de lui en
trombones. Tout cela sera fait par la superintelligence dans l'espoir de
réduire le risque d'échec : le temps n'est pas égal, un facteur est négligé qui
peut interférer avec la réalisation de l'objectif final. D'ailleurs, la
superintelligence pourrait assigner une probabilité non nulle que les
millions de clips sortis soient une hallucination ou que vous ayez de faux
souvenirs, donc c'est probablement toujours plus utile pour vous de
construire une infrastructure, c'est à dire ne vous arrêtez pas là, mais
continuer à agir plus loin.
L'affirmation ne porte pas sur le fait qu'il n'existe aucun moyen disponible
pour éviter un tel échec. Nous verrons quelques solutions à cela un peu plus
tard. C'est autre chose : il est beaucoup plus facile de se convaincre qu'une
solution a été trouvée que de la trouver réellement. Cela signifie que nous
devons être extrêmement prudents. Nous pouvons offrir de bons conseils
pour atteindre l'objectif final, ce qui nous permettra d'éviter les problèmes
connus aujourd'hui, mais après une analyse plus approfondie, dans l'action
d'une personne ou d'une superintelligence, il s'avère que notre version de la
formulation, dictée par un agent superintelligent capable de s'assurer un
avantage stratégique décisif, il conduira toujours à une mise en œuvre
vicieuse ou à une redondance des infrastructures et par conséquent à une
catastrophe existentielle.
Avant de conclure cette section, examinons une autre option. Nous
supposons que la superintelligence cherche à maximiser l'utilité espérée, là
où la fonction d'utilité exprime son but ultime. Nous avons vu que cela
conduit à la redondance des infrastructures. On pourrait éviter cet échec
désastreux si, au lieu d'un agent qui s'efforce de tout au maximum, on créait
un agent contenu avec un minimum, c'est-à-dire un agent qui serait
"adéquat" à tout, qui ne s'efforcerait pas d'obtenir un optimum résultat. ,
mais seriez-vous tout à fait satisfait du résultat satisfaisant au critère de
suffisance raisonnable  ? Il existe au moins deux manières différentes de
formaliser cette pensée.
La première est que la fin ultime elle-même doit avoir le caractère d'une
suffisance raisonnable. Par exemple, au lieu d'énoncer l'objectif final
proposé comme "produire le nombre maximum de clips" ou "produire
exactement un million de clips", l'objectif pourrait être formulé comme
"produire 999 000 à 1 001 000 clips". La fonction d'utilité définie par un tel
objectif final sera la même dans cette plage, et si l'IA est convaincue qu'elle
l'a atteint, alors elle ne verra aucune raison de continuer à produire des
clips. Mais cette approche peut décevoir nos espoirs comme toutes les
précédentes : un système superintelligent n'attribuera jamais une probabilité
nulle qu'il n'ait pas atteint l'objectif, et donc l'utilité attendue des actions
continues (par exemple, compter les clips). encore et encore), l'utilité
espérée de son achèvement sera plus grande.
Et encore une fois, nous obtenons une redondance de l'infrastructure.
La deuxième méthode correspond également au principe de suffisance
raisonnable, mais nous ne changerons pas seulement la formulation de
l'objectif final, mais la procédure de prise de décision que l'IA utilise pour
faire des plans et sélectionner des actions. Au lieu de rechercher le plan
optimal, vous pouvez limiter l'IA en lui disant d'arrêter de chercher si le
plan trouvé, de son point de vue, a une probabilité de succès qui dépasse un
certain seuil, disons 95 %. L'espoir est que l'IA puisse fournir 95% de
chances d'atteindre l'objectif de produire un million de clips sans devenir
l'infrastructure d'une galaxie entière pour le faire. Mais cette méthode, bien
que développée sur la base du principe de suffisance raisonnable, échoue
cependant pour une raison différente : il n'y a aucune garantie que l'IA
choisira une voie commode et raisonnable (du point de vue humain) pour
atteindre un 95% de probabilité qu'il libère un million de trombones, par
exemple, le chemin de la construction d'une seule usine pour sa production.
Supposons que la première décision qui se produise dans le cerveau d'une
IA sur la façon d'atteindre 95 % de chances d'atteindre l'objectif ultime est
de développer un plan qui maximise la probabilité d'atteindre cet objectif.
L'IA doit maintenant analyser cette solution et s'assurer qu'elle répond aux
critères de 95 % de chances de diffuser avec succès un million de clips pour
cesser de chercher d'autres moyens d'atteindre l'objectif. En conséquence,
comme dans toutes les options précédentes, une redondance des
infrastructures surviendra.
Peut-être existe-t-il de meilleures façons de créer un agent qui réponde au
critère de suffisance raisonnable, l'essentiel est de rester vigilant, car les
plans qui, à notre avis, semblent naturels, pratiques et compréhensibles
peuvent ne pas l'être pour une superintelligence avec un avantage
stratégique décisif - et vice versa. .
immoralité criminelle
Le projet peut échouer en raison d'un autre type d'échec fatal, auquel nous
donnerons le nom
d'immoralité criminelle
. Comme la redondance des
infrastructures, l'immoralité criminelle est un effet secondaire des actions
prises par l'IA pour des raisons instrumentales. Mais dans ce cas, l'effet
secondaire n'est pas externe à l'IA, mais fait référence à "l'état interne" du
système lui-même (ou des processus de calcul qu'il génère). Les échecs de
ce type méritent une attention particulière, car ils sont subtils, mais se
heurtent à de gros problèmes.
Nous ne pensons généralement pas que ce qui se passe à l'intérieur d'un
ordinateur ait une signification éthique à moins qu'il n'affecte le monde
extérieur. Mais le supramental est capable de créer des processus internes
pertinents pour l'éthique. Par exemple, un modèle de simulation détaillé
d'un cerveau humain réel ou hypothétique peut avoir une conscience et se
rapprocher de son modèle de simulation complet à bien des égards. On peut
imaginer un scénario dans lequel l'IA crée des milliards de ces émulateurs
sensibles, peut-être pour améliorer sa compréhension des caractéristiques
mentales et sociales humaines. Ces émulateurs sont placés dans un
environnement artificiel qui simule des conditions extérieures, ils sont
exposés à divers stimuli externes, après quoi l'IA analyse leur réponse.
Après avoir obtenu les informations nécessaires, les émulateurs peuvent
être détruits (combien de rats de laboratoire, sacrifices faits au nom de la
science, ont généralement été tués par une seule personne à la fin de
l'expérience).
Si cette pratique est appliquée à des agents de haut statut moral - des
modèles de simulation humaine ou d'autres intelligences sensibles - alors de
telles actions peuvent être qualifiées de génocide, et donc poser un
problème moral et éthique très sérieux. En outre, le nombre de victimes
peut être d'un ordre de grandeur supérieur au nombre de victimes de tout
génocide connu dans l'histoire de l'humanité.
Cela ne veut pas dire que créer des simulations conscientes est
nécessairement éthiquement mauvais dans toutes les situations. Beaucoup
dépend non seulement des conditions dans lesquelles ces créatures
existeront et de la qualité de leur perception sensorielle, mais aussi d'un
grand nombre d'autres facteurs. Le développement de règles éthiques pour
de telles expériences dépasse le cadre de ce livre. Cependant, il est clair
qu'il existe au moins la possibilité d'une source de plus grand danger, qui
causera la souffrance et la mort de nombreux modèles de simulation. Une
fois de plus s'ouvre une sombre perspective de conséquences
catastrophiques, bien que cette fois elles soient d'ordre moral et éthique
9
.
En plus des raisons épistémologiques, une machine superintelligente
pourrait avoir d'autres raisons instrumentales pour lancer des opérations de
calcul qui violeraient d'une manière ou d'une autre les normes éthiques, par
exemple, créer de multiples échantillons d'un esprit conscient. La
superintelligence est susceptible de commencer à menacer les modèles de
simulation, à les pousser ou, au contraire, à promettre des récompenses, le
tout pour faire chanter et forcer divers agents externes à faire quelque
chose  ; de plus, il utilise ces modèles pour évoquer un sentiment
d'incertitude déictique chez
les observateurs extérieurs
.
***
Cet avis est incomplet. Nous devrons traiter d'autres types de défauts fatals
dans les chapitres suivants. Mais nous en avons suffisamment appris à leur
sujet pour comprendre que les scénarios dans lesquels l'intelligence
artificielle obtient un avantage stratégique décisif doivent être pris au
sérieux.
 Chapitre neuf
Problèmes de contrôle
Si nous supposons par défaut qu'en raison du développement explosif de
l'intelligence, une catastrophe existentielle attend la civilisation humaine,
nos pensées devraient immédiatement se tourner vers la recherche de
contre-mesures. Est-il possible d'éviter un tel résultat ? Est-il possible
d'établir un régime pour gérer le processus de développement explosif de
l'intellect ? Nous analyserons le problème du contrôle du point de vue de la
résolution des relations "principal-agent", et dans notre cas ce modèle n'a
pas d'analogues, puisque le conflit d'agence surgit à la suite de l'apparition
d'un agent superintelligent artificiel. Nous mettrons également en évidence
et différencierons deux grandes classes de méthodes de décision possibles :
le contrôle des capacités du surmental et le choix de ses motivations. Dans
chaque classe, nous sélectionnerons plusieurs approches spécifiques et les
considérerons. De plus, nous mentionnerons même un sujet aussi ésotérique
que la conquête de l'Univers selon le principe anthropique.
Deux problèmes d'agence
Si l'on soupçonne que le développement explosif de l'intelligence artificielle
entraînera inévitablement une catastrophe existentielle, nous devrions
immédiatement commencer à chercher des solutions possibles pour sauver
notre civilisation d'une fin aussi déplorable. Est-il possible de trouver des
mécanismes pour contrôler le cours du développement explosif de
l'intelligence ? Peut-on développer un état initial de ce processus qui
produira le résultat que l'on souhaite, ou au moins avoir la garantie que le
résultat répondra aux conditions du résultat dit acceptable ? À proprement
parler, les clients et les développeurs du projet dans lequel l'intelligence
artificielle est créée pourront-ils non seulement prendre les mesures
nécessaires, mais également garantir qu'en cas de succès, sa création sera
axée sur la réalisation des objectifs qui lui ont été fixés  ? par les
organisateurs du projet ? C'est-à-dire que tout repose sur le problème du
contrôle, que, pour son étude plus complète, nous diviserons en deux
composantes. Le premier est absolument universel, le second est
complètement unique et propre à chaque cas particulier.
La première composante du problème de contrôle, ou le
premier problème
d'agence
, découle de la relation mandant-mandataire : lorsqu'un individu
(le « mandant ») enrôle un autre individu (le « mandataire ») pour agir dans
son propre intérêt. Le problème d'agence, ou conflit d'agence, est un sujet
profondément étudié par les économistes
1
. On ne peut être intéressé que
d'un côté : si ceux qui créent l'IA et ceux dans l'intérêt desquels l'IA est
créée ne sont pas les mêmes personnes. Dans ce cas, l'organisateur, ou le
client, du projet (et cela peut être n'importe qui : d'un individu à l'ensemble
de l'humanité) devrait vivre une anxiété constante, si les scientifiques et les
programmeurs impliqués dans le projet commencent à agir sur son au nom
de. propres intérêts au détriment des leurs
2
. Bien que le premier problème
d'agence puisse créer certaines difficultés pour l'organisateur du projet, il
n'est pas exclusif aux projets qui impliquent d'élever le niveau de
compétences intellectuelles ou de créer de l'IA. Les conflits d'agence sont
typiques des processus économiques et politiques, et les options pour leur
solution sont bien étudiées et développées. Par exemple, vous pouvez
prendre un certain nombre de mesures nécessaires pour minimiser le risque
de rencontrer un employé déloyal qui commencera à saboter ou à
endommager le projet  : effectuez une vérification approfondie des
antécédents des données biographiques et professionnelles des principaux
spécialistes  ; utiliser un système de contrôle de version fiable dans les
projets de développement de logiciels  ; renforcer la surveillance des
activités de nombreux contrôleurs et auditeurs indépendants. Bien sûr, ces
mesures de protection seront coûteuses : les besoins en personnel
supplémentaire augmenteront ; la procédure de sélection du personnel sera
compliquée ; il y aura des obstacles dans les activités créatives  ; ils
commenceront à supprimer la manifestation de la pensée critique et du
comportement indépendant; ensemble ralentit extrêmement le rythme de
travail et nuit à sa qualité. Les coûts peuvent être très importants, surtout
lorsqu'il s'agit de projets au budget limité ou inclus dans la compétition
féroce selon le principe du « winner takes all ». Les participants à de tels
projets, par avarice ou gain de temps, peuvent négliger les procédures de
sécurité conçues pour résoudre le problème de l'agence, augmentant ainsi la
menace potentielle d'un échec catastrophique.
La deuxième composante du problème de contrôle, ou
le deuxième
problème d'agence
, peut être plus typique de l'explosion de l'intelligence
artificielle que nous envisageons. Une équipe de développement d'IA
rencontre ce conflit d'agences alors qu'elle essaie de s'assurer que sa
création ne nuit pas aux intérêts du projet. Mais dans ce cas, nous n'avons
pas affaire à un agent humain agissant au nom d'un mandant humain.
L'agent est un système superintelligent. Et si le premier problème d'agence
se pose principalement au stade du développement de l'IA, le second
menace des problèmes au stade de son fonctionnement.
Considérons la structure du problème de contrôle du point de vue de la
relation principal-agent.
Premier problème d'agence
— Homme contre homme (organisateur → développeur).
- Il se manifeste principalement dans la phase de développement.
— Résolu par des méthodes de gestion standard.
Le deuxième problème d'agence
— L'homme contre le surmental
(groupe de développeurs → système intelligent) ;
- Elle se manifeste principalement au stade de l'exploitation (et du
développement) ;
« De nouvelles méthodes sont nécessaires pour le résoudre.
Le deuxième problème d'agence pose une menace sans précédent. Des
méthodes entièrement nouvelles sont nécessaires pour résoudre ce conflit
d'agence. Certaines des difficultés dont nous avons parlé plus tôt. Dans le
chapitre précédent, nous avons réalisé que même un ensemble de méthodes
apparemment prometteur est incapable d'éviter le parcours dangereux d'un
système superintelligent. Sinon, les développeurs seraient plus efficaces
lorsqu'ils observent le comportement de l'embryon d'IA, enregistrent chaque
étape de son stade de développement et permettent à l'IA de quitter son
environnement sûr dès qu'ils sont convaincus, après avoir accumulé
suffisamment de faits. qui agira dans l'intérêt du peuple. Dans la vie
ordinaire, la sécurité des inventions est le plus souvent testée dans des
conditions de laboratoire, moins souvent des études dites sur le terrain sont
effectuées, et ce n'est qu'alors qu'elles commencent progressivement à se
développer à grande échelle, cependant, elles ont la capacité d'arrêter ce
processus. à tout moment si des problèmes inattendus surviennent. Les
résultats des tests préliminaires nous aident à tirer des conclusions
raisonnables sur la fiabilité future des nouvelles technologies. Par rapport à
l'IA, la méthode d'étude des propriétés du comportement, qui s'apparente ici
à une approche comportementale, est vouée à l'échec en raison de la
colossale capacité de planification stratégique du supramental
3
.
L'approche comportementale n'étant pas adéquate, des solutions alternatives
doivent être trouvées. Les méthodes de contrôle potentiellement pertinentes
sont mieux divisées en deux grandes classes :
le contrôle des capacités
, les
méthodes qui aident à capturer tout ce que le surmental peut faire  ;
choix
motivationnel
: méthodes qui aident à résoudre tout ce que le surmental veut
faire. Certaines méthodes sont compatibles alors que d'autres s'excluent
mutuellement. Dans ce chapitre, nous passerons brièvement en revue les
principales. (Dans les quatre prochains chapitres, nous examinerons plus en
détail certains de ses aspects clés.)
méthodes de contrôle (ou une combinaison de celles-ci) doivent être mises
en œuvre
avant qu'un
système intelligent ne devienne une superintelligence.
Il est nécessaire de résoudre le problème du contrôle à l'avance - et de
mettre en œuvre avec succès la solution dans le premier système qui devient
superintelligent - afin d'essayer de contrôler le cours d'un phénomène aussi
dangereux que le développement explosif de l'intelligence artificielle.
Méthodes de contrôle des opportunités
Les techniques de contrôle des capacités visent à prévenir les résultats
finaux indésirables des actions du surmental en limitant ce qu'il est capable
de faire. Celles-ci incluent : les
méthodes d'isolement
- placer le surmental
dans un environnement où il ne peut pas causer de dommages ;
stimulant
méthodes
: lorsque le surmental a des raisons instrumentales strictement
convergentes pour ne pas s'engager dans des actions nuisibles ;
méthodes
retards de développement
: limitation des capacités internes du supramental
;
méthodes "d'étirement"
- l'utilisation de systèmes pour corriger
automatiquement divers types de violations de l'isolement et de tentatives
de libération, ainsi que des systèmes pour répondre automatiquement à ces
actions.
méthodes d'isolement
Les méthodes d'isolement peuvent être divisées en méthodes de verrouillage
physiques et informationnelles.
L'isolement physique est le placement d'un système intelligent dans une
sorte de «  boîte  » (auparavant, nous l'appelions «  bac à sable  ») pour
bloquer l'interaction avec le monde extérieur, en la limitant à des canaux de
communication strictement définis. Un système verrouillé n'a pas accès aux
actionneurs physiques en dehors de sa captivité. La suppression de ces
mécanismes (par exemple, les manipulateurs robotiques) hors du "bac à
sable" empêche leur utilisation pour créer des dispositifs physiques avec
lesquels le système peut violer le mode de verrouillage.
Pour augmenter la sécurité, le système doit être protégé des signaux radio
qui pourraient être utilisés pour altérer les objets électroniques à proximité,
tels que les radios. Remarquez combien il est facile de négliger une telle
précaution. Il est naïf de croire qu'un agent sans mécanismes exécutifs n'est
pas capable d'influencer le monde extérieur. Même sans de tels dispositifs,
la superintelligence est capable de générer des ondes radio simplement par
le "pouvoir de la pensée" (c'est-à-dire en déplaçant les électrons dans ses
microcircuits d'une certaine manière)
4
. Ce maillon faible peut être
supprimé en enfermant le système dans une cage de Faraday, mais nous ne
pouvons que deviner combien de vulnérabilités nous ne connaissons pas
encore. Chaque fois que vous entendez parler d'une faille découverte de
manière inattendue dans un système de sécurité apparemment imprenable,
vous devez être sur vos gardes. Ces cas nous obligent à abandonner notre
excès de confiance et à devenir encore plus bayésiens que nous ne le
sommes
5
.
L'isolement physique présente plusieurs avantages. Il est facile à organiser.
Il est applicable à toute architecture d'IA, même celle qui ne considérait pas
initialement la sécurité comme l'un de ses objectifs. L'isolement physique
peut être utilisé conjointement avec la plupart des autres méthodes de
contrôle. Et il est très peu probable qu'un processus tourne mal et ait des
conséquences indésirables. En d'autres termes, cela peut ne pas assurer la
sécurité, mais il est peu probable qu'il provoque une catastrophe qui ne se
serait pas produite autrement. Cependant, l'isolement physique limite la
fonctionnalité d'un système superintelligent, ce qui est, en fait, son principal
inconvénient (nous reviendrons sur ce sujet au chapitre dix). Une autre
considération est que l'isolement physique du surmental peut donner aux
gens un faux sentiment de sécurité ; En principe, cela peut être évité si nous
ne prenons pas l'isolation comme élément principal de nos précautions,
mais la traitons comme la cerise sur le gâteau.
Le but de l'isolation des informations est de limiter les flux d'informations
provenant du bac à sable. Nous avons déjà vu à quel point l'idée de donner
accès à Internet à un surmental et de lui permettre de diffuser des messages
vers l'extérieur peut être peu sûre : même sans actionneurs physiques, il est
capable, à l'aide d'un canal de sortie d'informations, de le faire suivre. vos
consignes. Par conséquent, une condition préalable à la méthode d'isolation
des informations AI est le refus d'accès aux réseaux de communication.
Cependant, se déconnecter d'Internet ne garantit pas la sécurité si l'IA est
protégée, et les personnes qui jouent ce rôle non seulement protègent le
système, mais interagissent également constamment avec lui. Au stade du
développement, les programmeurs peuvent agir en tant que chiens de garde,
au stade de l'exploitation - organisateurs de projets. La stratégie d'isolement
échouera complètement si l'IA réussit à persuader ou à tromper ses gardiens
de lui donner la liberté, c'est-à-dire de lui donner accès à Internet ou
directement aux actionneurs. L'être humain, malheureusement, ne dispose
pas d'un système sécurisé, surtout lorsqu'il est interpellé par un
manipulateur et intrigant aussi rusé que le surmental
6
.
Bien que les personnes affectées à la protection de l'IA ne puissent garantir
notre sécurité totale, le fait que l'accès de l'IA à tout transfert de message
soit sous son contrôle joue un rôle préventif important. Avec quelques
précautions supplémentaires, vous pouvez réduire le risque de "fuite" de
l'IA avec l'aide de gardes. Par exemple, pourquoi ne pas le laisser utiliser le
téléimprimeur, qui a une très faible bande passante ? Avec une technique
d'IA aussi "parfaite", il sera assez difficile de manipuler le psychisme de
vos gardiens (puisqu'il ne sera pas possible d'utiliser des sons et des images
qui suscitent des émotions, ni des flashs hypnotiques répétés qui mettent les
gens en état de transe). )
7
. De plus, l'interdiction peut s'étendre non
seulement à l'entourage, mais aussi affecter le côté contenu de l'existence de
l'IA, par exemple en lui interdisant d'entrer dans un dialogue et en
l'obligeant à répondre à des questions aussi monosyllabiques que possible,
en n'utilisant que "Oui". " et non". L'idée de développer un système qui
répond simplement aux questions sera explorée dans le chapitre suivant.
La version extrême de la méthode d'isolement est lorsque l'IA sera
complètement verrouillée, à la fois physiquement et informationnellement.
Cependant, un système absolument fermé, même si une telle approche
maximaliste pouvait être mise en œuvre, sera, du fait de son inaction,
complètement inutile au monde extérieur. Quelqu'un voudra sûrement en
tirer un sens scientifique: bloquer complètement la superintelligence créée,
la transformer en un modèle fermé, puis étudier calmement la dynamique
interne du système et ses stéréotypes comportementaux. Je pense qu'il y a
une erreur ici. Dès qu'il commence à observer le système, il n'est plus fermé
informationnellement
8
. En fait, les informations de l'IA n'arrivent pas
seulement à l'aide des messages qu'elle transmet via le "canal de sortie"
établi pour elle. Des observateurs externes peuvent capturer certains
indicateurs qui caractérisent directement ou indirectement le comportement
de l'IA : qu'il s'agisse de la consommation d'énergie, indiquant l'activité du
processeur central et de la mémoire interne de l'ordinateur, ou des états de
calcul, ou presque n'importe quel enregistrement de processus qui reste
après. l'achèvement des travaux. Bien qu'une IA intelligente, anticipant
qu'elle sera surveillée, pourrait développer une stratégie comportementale
susceptible d'influencer les futurs gardiens. Par exemple, cela provoquera
des plantages, démontrant vigoureusement les dysfonctionnements du
système, le tout pour qu'à la fin les programmeurs abandonnent et lancent
un redémarrage du système ou le développement de la prochaine version. Et
puis une nouvelle IA apparaîtra, mais avec les objectifs ultimes de l'IA
d'origine, et peut-être que la nouvelle parviendra à devenir une super
intelligence.
Méthodes incitatives
Les méthodes incitatives consistent à placer l'agent dans un environnement
où il aura des raisons instrumentales d'agir dans l'intérêt du mandant.
Imaginez un milliardaire qui a fondé une grande fondation caritative, y
investissant un capital personnel considérable. Le fond commence à prendre
du poids. Et maintenant, il devient déjà si puissant que pratiquement aucun
des individus occupant telle ou telle position ne peut se comparer à lui en
termes d'influence. Cela a également affecté le fondateur lui-même, qui a
fait don de la majeure partie de sa fortune à la fondation. Afin de gérer
correctement les activités de la fondation, il a une fois établi les principaux
objectifs, les écrivant dans l'accord de fondation et la charte, et a également
approuvé le conseil d'administration, qui comprenait des personnes
sympathiques à ses vues. C'est-à-dire qu'il a pris toutes les mesures
nécessaires, formellement similaires aux méthodes incitatives, puisqu'elles
visent à choisir des motivations et à fixer des priorités. En d'autres termes,
le fondateur essaie d'aligner l'organisation interne du fonds et l'essence de
ses activités avec ses propres principes et intentions. Même si leurs efforts
échouent, le travail de la fondation sera toujours déterminé par
l'environnement social, c'est-à-dire les intérêts publics et les normes
législatives pertinentes. C'est-à-dire que les dirigeants ont une forte
motivation pour se conformer aux lois, sinon le fonds risque d'être
condamné à une amende ou liquidé. Ils ont pour motif de fournir aux
employés du fonds un salaire décent et des conditions de travail normales,
ainsi que de remplir leurs obligations envers tous les tiers liés aux activités
du fonds. Par conséquent, quels que soient les buts ultimes d'une fondation,
elle aura toujours des raisons instrumentales d'obéir à des exigences
sociales établies.
Peut-être la surintelligence de la machine est-elle également soumise à des
obligations établies qui l'obligent à s'entendre avec tous les participants à
l'action dramatique à venir. Y a-t-il un espoir ? Aucun problème. C'est une
solution trop claire au problème, promettant sans prétention qu'il ne serait
pas difficile pour une personne de garder le supramental sous contrôle. Ce
qui n'est pas vrai du tout. Un tel développement des relations est conçu pour
un certain équilibre des parties, cependant, ni les sanctions juridiques ni
économiques ne peuvent arrêter un agent disposant d'un avantage
stratégique décisif. Dans une telle histoire, il n'est guère raisonnable
d'évoquer l'intégration sociale. Surtout si la situation commence à évoluer
en faveur d'un décollage rapide voire modéré, alors qu'il ne reste plus
qu'une option explosive et que le vainqueur « rafle tout » s'impose.
Considérons une autre évolution des événements : par exemple, plusieurs
agents avec un niveau de potentiel relativement identique vont dépasser une
limite critique à la fois, en raison de laquelle un nouveau monde
multipolaire peut émerger. Que se passera-t-il dans ce cas ? Supposons que
nous ne parlons pas d'un décollage lent. Ainsi, afin d'atteindre le pouvoir et
de maintenir un rapport de force raisonnable, tous les principaux agents
devront coordonner soigneusement les horaires, le calendrier et la
dynamique d'action, c'est-à-dire par des efforts conjoints pour ne pas laisser
un seul acteur prendre de l'avance et faire des actions absolument
coordonnées. travailler. . décoller
9
. Supposons qu'un modèle multipolaire
se forme en conséquence, mais même avec cette option, l'intégration sociale
ne peut être considérée comme une solution idéale. S'il est invoqué comme
méthode de résolution d'un problème de contrôle, les risques sous-jacents
peuvent encore l'emporter sur l'effet potentiel. Bien que le principe de
l'équilibre des forces empêche une IA de conquérir le monde, elle a encore
assez de pouvoir pour influencer le destin de l'humanité, et si ce pouvoir
s'avère être dirigé vers des buts finaux arbitraires, par exemple, la
production d'un maximum nombre de presse-papiers - ce n'est
probablement pas d'intérêt pour le réalisateur. Revenons à notre milliardaire
fondateur d'une fondation caritative, et imaginons maintenant qu'il formule
son objectif principal à l'aide d'un générateur de mots aléatoires : cela ne
mettra probablement pas en danger l'existence de l'espèce humaine, mais
cela indiquera certainement une occasion manquée.
Proche dans l'esprit et en même temps très différente de l'idée précédente,
l'IA, qui interagit librement avec la société humaine, acquerra de nouveaux
objectifs finaux amicaux pour l'ensemble de la civilisation terrestre. Pour
nous, les humains, un tel processus de socialisation a généralement un effet
positif. En communiquant les uns avec les autres, nous comprenons plus
facilement les normes de vie extraterrestres et les idéaux de vision du
monde incompréhensibles, nous commençons à apprécier davantage les
autres. Mais ce facteur n'est universel à aucune force intelligente active.
Nous avons dit plus d'une fois que dans différentes situations, de nombreux
agents auront des raisons instrumentales convergentes pour ne jamais
changer leurs buts ultimes. (On pourrait essayer de développer un système
complet de définition d'objectifs qui permettrait à l'IA de fixer des objectifs
finaux de la même manière que les humains, mais ce problème ne
s'applique pas aux méthodes de contrôle des opportunités. Nous
examinerons certaines façons d'obtenir des valeurs au chapitre douze. )
Le contrôle des possibilités de superintelligence par l'intégration sociale et
l'équilibre des parties repose sur différentes forces sociales qui
récompensent et condamnent l'IA. La méthode d'incitation suivante consiste
à créer des conditions dans lesquelles l'IA est récompensée et punie dans le
cadre du projet lui-même, à la suite de quoi ses actions sont stimulées dans
l'intérêt du mandant. Pour y parvenir, l'IA doit être placée dans un
environnement contextuel qui permet l'observation continue de son
comportement et son évaluation à la fois manuelle et automatique. Une telle
IA doit savoir qu'une évaluation positive signifiera recevoir une
récompense, et une évaluation négative signifiera l'impossibilité d'une telle
récompense. Théoriquement, la réalisation d'un objectif instrumental
convergent peut être considérée comme une récompense. Cependant, sans
connaître les détails du système de motivation d'une IA particulière, il est
assez difficile d'établir un mécanisme de récompense. Par exemple, notre
IA serait prête à presque tout risquer pour une petite chance de s'assurer le
contrôle d'une grande partie de l'univers. Dans un tel cas, il serait
probablement trop inutile d'offrir à l'IA une utilité espérée plus élevée en
récompense de la coopération qu'elle ne s'attend à gagner en refusant de
coopérer et en tentant de s'échapper
10
.
Une meilleure alternative serait de combiner cette méthode de stimulation
avec des mods de sélection de motivation; il serait alors possible de doter
l'IA d'un objectif final beaucoup plus facile à contrôler. Supposons qu'une
IA soit conçue de telle manière que son but ultime soit d'empêcher que le
bouton rouge soit enfoncé dans un hypothétique bunker de commandement.
Étant donné que cet acte a une signification négative qui lui est inhérente
par défaut, et non causée par ses éventuelles conséquences, le bouton peut
ne pas fonctionner et peut même être en pâte à modeler. De plus, peu
importe que l'IA sache si le bouton a déjà été enfoncé. Ce qui compte, c'est
que l'IA estime que le bouton a plus de chances d'être relâché s'il agit dans
l'intérêt du mandant que s'il se rebelle contre lui.
Les conditions peuvent être spécifiées. Au lieu de donner à une IA un
objectif final lié à un bouton spécifique, créons une IA dont l'objectif final
est de recevoir un flux de certains badges de récompense cryptés
11
. Il peut
s'agir de séquences de nombres qui servent de clés à des chiffrements créés
avant le développement de l'IA et intégrés à son système de motivation
12
.
De telles séquences numériques devraient être hautement souhaitables pour
l'IA et représenter une récompense que l'IA ne peut pas recevoir en raison
d'incitations directes
13
. Les clés doivent être stockées dans un endroit sûr
où il est plus pratique de les détruire rapidement au cas où l'IA tenterait de
s'en emparer. Cependant, tant que l'IA est disposée à coopérer, elles doivent
lui être données régulièrement.
L'IA pourrait alors se voir attribuer une fonction d'utilité limitée, de sorte
que l'IA recevrait 99% de l'utilité maximale disponible lors de la réception
du premier badge; 99% du potentiel d'utilité restant est le second, et ainsi de
suite. En maintenant le "taux d'actualisation" élevé et en donnant des jetons
de récompense à l'IA à un prix relativement élevé, il serait possible
d'empêcher l'IA de développer un plan à long terme pour augmenter le
nombre attendu de jetons de récompense sur le marché. à l'avenir, au prix
d'un certain risque que votre flux de récompenses se termine bientôt ou que
le prochain jeton de récompense soit annulé et liquidé. Si l'IA estime que
son erreur (c'est-à-dire toute action qui n'est pas dans le meilleur intérêt du
mandant) comporte au moins 2  % de risque de perdre le prochain badge,
tandis que la coopération réduit le risque de perdre le jeton à moins de 1 %,
alors l'utilité -maximiser l'IA sera toujours prêt à coopérer.
Qu'est-ce qui pourrait mal tourner avec ce régime incitatif? Il est possible
que l'IA ne croit pas en la volonté de l'opérateur humain de fournir la
récompense promise. La courbe de fiabilité d'une personne en tant que
partenaire est quelque peu différente de la ligne droite de la perfection
idéale. L'IA peut raisonnablement décider que l'opérateur est capable de
changer d'avis, de relever la barre ou de refuser de reconnaître que l'IA a
fait sa part. De plus, AI peut craindre que l'opérateur quitte son lieu de
travail pour une raison ou une autre. Le risque combiné de ces échecs peut
dépasser le risque associé à la tentative de prendre le contrôle du
mécanisme de récompense. Doté de superpouvoirs IA, même lorsqu'il est
verrouillé, il est un adversaire redoutable. (Pour une IA
non bac à sable
,
pirater un mécanisme de récompense contrôlé par l'homme revient à
prendre des bonbons à un enfant.) Un autre problème avec les méthodes
d'incitation est l'hypothèse selon laquelle nous pouvons toujours dire si l'IA
agit dans notre meilleur intérêt. Comme nous le montrerons dans les
chapitres suivants, cette hypothèse n'est pas si anodine.
Dans une discussion complète des méthodes de stimulation et de leur
caractère pratique, de nombreux autres facteurs (et même certaines
considérations ésotériques) devraient être examinés qui rendraient ces
méthodes plus fructueuses qu'elles ne le paraissent maintenant, à la suite de
notre examen préliminaire. Par exemple, ne sachant pas s'il faut le placer
dans une simulation informatique ou non (contrairement à la réalité
virtuelle, c'est la réalité de base dont nous disposons), l'IA sera confrontée à
une incertitude déictique inévitable, et cette difficulté épistémologique peut
affecter radicalement la note. à votre discrétion (voir encadré). huit).
ENCART 8. CAPTURE ANTHROPIQUE
L'IA peut attribuer une probabilité assez élevée à l'hypothèse de simulation selon laquelle elle existe
dans le modèle informatique. Déjà aujourd'hui, de nombreuses IA vivent dans des mondes de
simulation, qui sont des formes géométriques, des textes, des jeux d'échecs ou simplement des
réalités virtuelles, dans lesquels opèrent les lois de la physique, qui sont étonnamment différentes des
lois auxquelles nous sommes habitués. , les lois grâce auxquelles nous comprenons l'interdépendance
des phénomènes du monde qui nous entoure. Au fur et à mesure que les techniques de
programmation et la puissance de calcul s'améliorent, des mondes virtuels de plus en plus riches et
complexes deviendront disponibles. Apparemment, une superintelligence mature devra créer ses
propres mondes virtuels qui seront aussi proches de leurs habitants que notre monde l'est de nous.
Vous pourriez créer ces mondes en grand nombre avec un seul modèle de simulation, que vous
exécuteriez plusieurs fois et avec des variations mineures. Il est peu probable que les habitants de ces
mondes puissent se rendre compte qu'ils sont entourés d'imitation, mais s'ils sont suffisamment
intelligents, tôt ou tard, ils commenceront à envisager une telle possibilité, puis attribueront une
certaine probabilité à leurs hypothèses. Compte tenu des arguments en faveur de l'hypothèse de
simulation, la valeur de cette probabilité devrait être élevée
14
.
(Une discussion détaillée de ce sujet dépasse le cadre de ce livre.)
Il s'avère qu'un agent superintelligent, surtout à un stade précoce de son développement, est dans une
position plutôt difficile, car il n'a pas encore réussi à accumuler suffisamment de force pour
commencer la colonisation de l'espace. Il serait beaucoup moins cher de construire un modèle de
simulation d'une jeune superintelligence, contrainte de n'utiliser qu'une petite partie des ressources
d'une seule planète, que de construire le même modèle d'une superintelligence mature, dotée du
pouvoir de conquérir l'espace intergalactique. Les créateurs potentiels d'imitateurs, même les agents
superintelligents les plus puissants, pourraient exécuter un grand nombre de jeunes modèles de
superintelligence avec seulement une fraction des ressources informatiques à leur disposition. Si au
moins une petite partie (non nulle) des agents superintelligents matures décide de profiter de cette
opportunité, alors les jeunes agents superintelligents devraient prendre l'hypothèse de simulation au
sérieux et lui attribuer une valeur de probabilité élevée.
L'influence de l'hypothèse de simulation sur les actions de l'IA dépend de ses objectifs
15
.
Supposons qu'une IA ait un objectif final "insatiable en ressources", comme la maximisation d'une
fonction utilitaire qui est linéaire dans le nombre de clips créés par l'IA : deux fois plus de clips, c'est
deux fois mieux. Dans un monde simulé, la capacité de l'IA à influencer la quantité de produits
produits est bien moindre que dans la réalité de base disponible, de sorte que l'hypothèse de
simulation sera beaucoup moins importante pour elle. Supposons que l'IA se comporte comme si elle
était
serait
sûr que l'hypothèse de simulation est fausse, même en lui attribuant une probabilité assez
élevée qu'elle soit vraie
16
. Une telle IA pourrait décider que si l'hypothèse est vraie, peu importe
comment il agit, mais si l'hypothèse est fausse, alors son comportement compte beaucoup ;
naturellement, il choisira le modèle de comportement qui correspondra à combien. elle est
conditionnée par l'hypothèse sur la fausseté de l'hypothèse de simulation.
Considérons exactement le contraire. Disons qu'il existe une IA qui a un objectif final plus modeste
qui peut être atteint avec peu de ressources, comme l'obtention d'une certaine partie d'informations
d'identification cryptées pré-préparées ou la création de quarante-cinq trombones virtuels. Une telle
IA
ne doit pas
sous-estimer l'importance de son monde de simulation. Ainsi, le processus de prise de
décision de l'IA, dont les objectifs sont de "satisfaire les ressources", est fortement influencé par des
considérations sur les actions qui conduiront à un meilleur résultat si le monde qu'elle perçoit est une
imitation. Et attribue une forte probabilité à l'hypothèse de simulation. Une telle IA (même si elle vit
dans un monde réel plutôt que simulé) peut ajuster considérablement ses actions en fonction des
idées sur le comportement dans la simulation qui sera le plus récompensé.
En particulier, si une IA avec des objectifs finaux de "ressource satisfaite" est convaincue que dans la
plupart des mondes de simulation qui conviennent à ses besoins, elle sera récompensée pour sa
volonté de coopérer (et non pour avoir tenté de briser le confinement ou d'aller à l'encontre des
intérêts des directeur), alors vous pouvez choisir de bénéficier de la coopération. De plus, si la
superintelligence, qui a un avantage stratégique décisif et est capable de réaliser plus pleinement les
objectifs ultimes en établissant son pouvoir sur le monde, se trouve exactement dans une telle
situation, elle aussi choisira la coopération plutôt que la trahison.
Ainsi la pensée fait de nous tous des lâches et notre résolution se flétrit comme une fleur dans la
stérilité de l'impasse mentale.
C'est ainsi que périssent les grands projets, D'abord prometteurs de succès, De longs retards.
Guillaume Shakespeare
. Hamlet (Acte 3, Scène 1)
*
La ligne la plus fine dans le sable, laissée par l'ourlet d'un vêtement de simulateur qui n'existe pas
dans le monde réel, peut constituer une protection plus fiable qu'une porte en acier d'un demi-mètre
d'épaisseur
17
.
Méthodes de retard de développement
Une autre méthode de contrôle des capacités consiste à limiter l'intelligence
du système ou son accès à l'information. Ceci peut être réalisé en exécutant
l'IA sur un ordinateur à faible vitesse ou avec une mémoire insuffisante. Un
système intelligent enfermé dans un bac à sable a également un accès limité
aux flux d'informations.
Un retard délibéré dans le développement de l'IA peut réduire son utilité.
Par conséquent, lors de l'utilisation de cette méthode, nous sommes
confrontés à un dilemme : le développement intellectuel rapide du système
conduit au fait qu'il trouve un moyen de devenir superintelligent (et de
dominer le monde), un retard excessif dans le développement intellectuel se
tourne vers le système dans un autre programme inutile. Une IA soumise à
une procédure radicale de retard de développement est parfaitement sûre.
Bien sûr, lui-même ne peut plus résoudre le problème du développement
explosif dirigé de l'intelligence artificielle, de sorte que l'explosion,
seulement maintenant incontrôlable, causée par une autre force, peut se
produire plus tard.
Pourquoi ne pas créer, de l'avis de beaucoup, une superintelligence qui a des
connaissances dans un domaine limité ? Cela aurait été beaucoup plus sûr
ainsi. Par exemple, développer une IA sans capteur et la doter d'une
mémoire préchargée avec des informations liées uniquement à l'industrie
pétrochimique ou à la biochimie des peptides. Mais lorsque cette IA
atteindra le niveau de superintelligence, c'est-à-dire selon le
général, elle
dépassera
le niveau de
son développement intellectuel de l'homme ; une
telle restriction informationnelle ne garantira plus la sécurité.
Il y a plusieurs raisons à cela, que nous allons maintenant examiner.
Premièrement, la notion même de l'étroitesse des connaissances limitées à
un sujet particulier est assez douteuse. Toute information peut, en principe,
se rapporter à n'importe quel sujet ; tout dépend de l'éducation, des
qualifications, de l'expérience et de la pensée systématique de la personne
qui détient l'information
18
. Deuxièmement, telle ou telle information
contient non seulement des données relatives à un domaine, mais également
une grande quantité de données secondaires. Un esprit avisé, analysant une
base de connaissances nominalement liée à la biochimie des peptides, en
déduit logiquement une collection de données très différente. Même le fait
de l'inclusion ou de l'absence de toute information en dit long sur l'IA, il se
fait immédiatement une idée de l'état général de la science moderne : le
niveau de méthodologie ; base instrumentale; technologies de fabrication
d'équipements; typologie de la pensée humaine; la vision du monde de la
société dans laquelle ces études ont été menées et les méthodes nécessaires
ont été développées. Il est tout à fait possible que le
supramental
soit
capable de tirer un ensemble cohérent de conclusions à partir d'un domaine
de connaissances apparemment restreint, opérant avec un matériel qu'une
personne, en raison de son étroitesse d'esprit, ne perçoit que comme un
maigre ensemble de faits arides. Même sans base de connaissances
particulière, un esprit suffisamment parfait peut apprendre beaucoup,
simplement en approfondissant le sens de l'information et en sélectionnant
des conclusions optimales pour lui-même, en cours de route, il s'auto-
analyse, étudiant les caractéristiques de sa propre "perception". » : ordonne
les décisions de conception reflétées dans le code source et les
caractéristiques physiques de la conception du circuit
19.
La
superintelligence doit être capable de déterminer a priori la nature de notre
univers (combinant inférence logique avec probabilité biaisée en faveur de
mondes plus petits). et certains faits élémentaires dont on peut supposer
qu'ils existent sur la base de l'existence de l'IA elle-même en tant que
système de pensée.) C'est-à-dire que, dans le processus d'étude des
informations sur la biochimie des peptides, le supramental pourrait
comprendre les lois naturelles de la nature - il semble , il commencera
immédiatement à calculer la probabilité a priori, passera en revue En
regardant les perspectives possibles : quelles planètes il formera ; quel type
de vie intelligente le laissera annonce là; quel type de partenariats formera-
t-il ; quelles méthodes de gestion seront utilisées et dans quelle mesure ces
méthodes pourraient être vulnérables
20
.
Compte tenu de ce qui précède, nous comprenons à quel point il est
imprudent de recourir à la limitation des flux d'informations entrantes
comme approche principale dans la méthode de retardement du
développement intellectuel du supramental. D'autres formes de cette
méthode, telles que la réduction des performances matérielles et la
prévention du développement de certaines capacités cognitives, pourraient
être utilisées comme mesures auxiliaires dans le système de contrôle de l'IA
au stade de son développement. Par exemple, pour réguler la vitesse de
développement de l'IA à des niveaux intermédiaires, en effectuant des tests
pas à pas de sa fonctionnalité pour garder toute la situation sous contrôle,
pour saisir le moment d'approcher le niveau super-puissant et super-
intelligent et répondre en temps.
méthodes d'étirement
Nous appelons certains équipements des "épandeurs" qui vous permettent
d'effectuer des tests de diagnostic d'IA (éventuellement à votre insu) et, si
des signes d'activité dangereuse sont détectés, d'arrêter le système. Les
résultats enregistrés passent entre les mains des programmeurs, qui ont la
possibilité d'étudier calmement les journaux d'activités suspectes. Si
nécessaire, avant de redémarrer le système, ils modifient le codage de l'IA,
en apportant des modifications à la base du code source et à
l'environnement informatique. S'il s'avère que le problème est déjà devenu
chronique et ne peut être traité, ils décident de fermer complètement le
projet.
Les méthodes de vulgarisation diffèrent des méthodes incitatives en ce
qu'elles ne reposent pas sur la conscience du système des conséquences de
ses actions interdites. En fait, ils sont plus proches des méthodes de retard
de développement. Comme ce dernier, les "stries" peuvent être utilisées
comme mesures préventives temporaires qui peuvent fournir un certain
degré de protection au stade du développement. En principe, ils peuvent
également être utilisés dans la phase opérationnelle, en particulier pour les
systèmes autonomes. Mais il est très douteux que les humains puissent faire
face à une superintelligence entièrement formée en utilisant ces méthodes ;
il est peu probable qu'un tel agent ne trouve pas un moyen de contourner
toute "ligne téléphonique" mise en place par une personne.
Cependant, les "lignes extensibles" sont extrêmement utiles en tant que
mesures de sécurité supplémentaires pendant la phase de développement.
Les programmeurs feraient bien de codifier leurs attentes vis-à-vis de l'IA :
comment le système devrait fonctionner et quels résultats ils prédisent.
Après cela, l'IA devrait être amenée au cercle des "stries", qui devraient être
activées dans chaque cas lorsque les actions du système ne correspondent
plus aux plans des programmeurs. Les mesures de contrôle peuvent être
renforcées en utilisant ce que l'on appelle des pots de miel pour amener une
IA hostile secrète à commettre une violation évidente qui pourrait être
soigneusement analysée par les programmeurs. Par exemple, si les règles du
jeu exigent que l'IA n'ait pas accès à Internet, vous pouvez installer un port
réseau simulé (connecté au relais d'arrêt automatique) pour voir si l'IA
essaie de l'utiliser. Quelques exemples de "stries" sont donnés dans le
tableau. 9.
Tableau 9.
Différents types de "stries"
Ce qui est maîtrisé Description et exemples

Comportement Placez des capteurs autour de l'IA isolée pour détecter les tentatives de
libération. Ils peuvent par exemple enregistrer des tentatives d'établissement
de communications radio ou trouver des accès à des ressources informatiques
externes, ce que « selon les conditions de confinement » l'IA ne devrait pas
avoir. De plus, vous pouvez installer un port réseau "leurre": une connexion
imaginaire à Internet, une tentative d'utilisation qui provoque l'arrêt du
système

Habitudes À de courts intervalles, des tests automatiques des compétences cognitives du

cognitives système peuvent être effectués pour contrôler le niveau des compétences en
IA dans divers domaines. Si le rythme de son développement est
étonnamment élevé, ou si l'IA atteint un niveau de compétence trop proche de
la zone de danger, elle peut être ralentie ou mise en pause afin que les
développeurs puissent suivre de plus près les progrès.
La surveillance des processus internes d'IA doit être établie pour suivre les
activités suspectes en temps opportun. Par exemple, si le système change
soudainement sa propre idée de ses objectifs ultimes, son arrêt automatique
suit immédiatement et les programmeurs commencent à étudier la situation.
De plus, il est nécessaire d'être à l'affût de manifestations suspectes telles que
l'utilisation de ressources d'IA et de méthodes algorithmiques.

informations Un défi plus important et plus prometteur consiste à surveiller en permanence

sémantiques des informations significatives et non structurées (croyances, plans, objectifs
intermédiaires et motivations) pour s'assurer que tout continue de répondre
aux attentes des programmeurs. La détection précoce du processus de
naissance des intentions malveillantes de l'IA facilitera la mise en œuvre
ultérieure de types de contrôle déjà plus efficaces sur ces données
sémantiques. Il s'agit de scanner les processus de pensée de l'IA pour détecter
la
naissance de la tromperie
, ce moment vulnérable où une IA hostile veut
d'abord cacher ses véritables intentions
21
.
Le système de contrôle des informations sémantiques est chargé de capturer
toutes les intentions précédentes de l'IA afin qu'elles soient transparentes pour
les programmeurs ou les dispositifs d'enregistrement automatique.
Cependant, pour certains types d'architecture d'IA, un tel contrôle peut ne pas
être possible. (Par exemple, certains réseaux de neurones sont opaques car les
informations sont présentées de manière holistique et d'une manière qui ne
correspond pas toujours aux concepts humains.) Pour cette raison, il est
préférable d'éviter d'utiliser de telles architectures.
Il convient de souligner que l'importance des "stries" est déterminée non
seulement par le mécanisme de leur action, mais également par la manière
dont les autres réagissent aux signaux de l'équipement et aux faits
d'enregistrement des violations  ; dans ce cas, le comportement des
personnes joue un rôle critique. Les chefs de projet et les développeurs,
désireux de réussir, se contentent dans la plupart des cas de rallumer le
système ou de faire une modification purement formelle du code du
programme, et parfois de faire quelque chose pour que la prochaine fois le
"stretch" se taise. Bien sûr, avec une telle attitude, il est peu probable qu'il
soit possible de garantir la sécurité même si les "stries" fonctionnent
parfaitement.
Méthodes de sélection motivationnelle
Les méthodes de sélection de motivation sont conçues pour former les
motivations du comportement du surmental afin d'éviter des résultats
indésirables. Avec son aide, en concevant le système de motivation de
l'agent et ses objectifs ultimes, il est possible de créer une superintelligence
qui
ne veut pas
utiliser son avantage stratégique décisif contre une
personne. Un agent superintelligent s'efforce toujours d'atteindre ses
objectifs ultimes, et s'il choisit la voie de l'
absence de mal
(c'est-à-dire, à la
fois des "dommages locaux" et des "dommages globaux"), il ne le fera
probablement pas.
Les méthodes de sélection de la motivation comprennent  : la
méthode
spécification exacte
: un énoncé sans ambiguïté de l'objectif et du système
de règles à suivre ;
méthode
normativité indirecte
- la procédure de
configuration d'un programme d'IA afin qu'il puisse déterminer
indépendamment un système de valeurs acceptable selon certaines
conditions implicites, c'est-à-dire formulées implicitement ou
indirectement;
méthode d'apprivoisement
: une telle conception du
programme qui conduira l'IA à choisir des cibles finales modérées, pas trop
prétentieuses ;
la méthode de multiplication
est le choix d'un agent qui a
déjà des raisons adéquates d'étendre ses capacités cognitives au niveau de la
superintelligence, et avec un contrôle forcé sur son système de motivation,
qui ne devrait pas subir de changements dans le processus d'amélioration.
La dernière méthode est une alternative aux trois premières, dans laquelle le
système de motivation de l'IA est formé à partir de zéro. Considérons
successivement toutes les méthodes de choix de la motivation.
méthode de spécification fine
Une spécification précise est la solution la plus simple au problème de
contrôle ; l'approche elle-même repose, d'une part, sur un système de règles
clairement définies ; d'autre part, sur le principe du conséquentialisme*. La
méthode de spécification exacte implique une tentative de donner une
définition sans équivoque du système de valeurs et du système de règles,
grâce à laquelle même un agent superintelligent libre dans ses actions
agirait dans l'intérêt du mandant et sans risque pour les autres. . Cependant,
cette méthode peut rencontrer des obstacles insurmontables liés, d'une part,
au problème de formulation des deux concepts ("règle" et "valeur") par
lesquels l'IA doit être guidée, et, d'autre part, au problème de représentation
de ces concepts. deux concepts ("règle" et "valeur") pour enregistrer la
tâche sous forme de codes lisibles par machine.
Les problèmes de la méthode de spécification exacte du point de vue d'un
système de règles prescrites sont mieux illustrés par un concept classique tel
que les "Trois Lois de la Robotique". Les règles de conduite obligatoires
pour les robots ont finalement été formulées par l'écrivain de science-fiction
Isaac Asimov dans un article publié en 1942
22
.
1.
                                 
Un robot ne peut pas nuire à une personne ou par son inaction
permettre qu'une personne soit blessée.
2.
                 
Un robot doit obéir à tous les ordres donnés par un humain, sauf
dans les cas où ces ordres sont contraires à la première loi ;
3.
                 
Le robot doit assurer sa sécurité dans la mesure où il ne contredit
pas les première et deuxième lois.
À la honte de notre espèce, ces règles sont restées inchangées pendant plus
d'un demi-siècle, malgré les lacunes les plus évidentes, qu'Asimov lui-
même a d'ailleurs vues, comme l'indiquent nombre de ses ouvrages
(probablement, l'écrivain a délibérément énoncé les lois dans une forme
aussi vague, lui laissant ainsi qu'à ses héros la possibilité de les interpréter
un peu différemment à chaque fois, et en même temps de les décomposer de
diverses manières divertissantes, est un terrain assez fertile pour le
développement ultérieur d'un thème artistique)
degré de flou n'est pas perçu jusqu'à ce que l'on essaie de clarifier quelque
chose, et tout ce qui est exact est si loin de tout ce que nous avons l'habitude
de penser. à ce sujet, il est impossible, même pour un instant, de supposer
ce que nous voulons vraiment dire lorsque nous exprimons nos pensées »**
24

. Il est difficile de trouver un meilleur commentaire sur les problèmes liés
à la méthode de spécification exacte. Prenons, par exemple, une explication
possible de la première loi d'Asimov. Cela signifie-t-il que le robot devrait
minimiser la probabilité de blesser une personne ? Dans ce cas, le reste des
lois devient inutile, car l'IA a toujours la possibilité d'effectuer une action
qui aura au moins une chance microscopique de nuire à l'une des personnes.
Comment un robot peut-il équilibrer un risque élevé de blesser quelques
personnes avec un faible risque de blesser de nombreuses personnes ? Une
autre question affligeante est : comment définissons-nous le concept même
de « dommage » ? A quelle échelle doit-on peser la différence entre les
dommages causés par la douleur physique, les dommages causés à notre
goût par un caprice architectural, et les dommages causés par l'injustice
sociale ? Le mal sera-t-il fait au sadique qui n'a pas le droit de tourmenter sa
victime ? Comment définit-on le terme « homme » ? Pourquoi d'autres
créatures aux vertus différentes ne sont-elles pas prises en compte, par
exemple des animaux dotés de sentiments et de systèmes d'intelligence
artificielle ? Plus on y pense, plus les questions se posent.
L'analogue le plus proche du système de règles qui gouvernent les actions
du supramental - un analogue que nous rencontrons assez souvent - est le
système légal. Mais les systèmes de justice, premièrement, ont été créés sur
une longue période de temps par essais et erreurs, deuxièmement, ils
régulent la vie de la société humaine, qui change relativement lentement, et
troisièmement, si nécessaire, vous pouvez toujours corriger ou corriger une
sorte de législation loi. radicalement révisé. Mais le plus important est que
lorsque le tribunal - l'instance à laquelle correspond le seul droit
d'administrer la justice - doit faire face à des interprétations logiquement
possibles des lois qui ne sont manifestement pas prévues par les
législateurs, alors les juges,
et les jurés invoquent leur bon sens et commencent à être guidés par des
normes morales. En ce qui concerne notre problème, il n'est probablement
tout simplement pas possible pour une seule personne d'écrire des règles de
manière intelligible et scrupuleuse, des règles qui doivent être organisées en
un système très complexe ; des règles qu'une personne elle-même pourrait
exploiter en toute confiance littéralement dès la première fois; des règles
fiables en toutes circonstances
25
.
Regardons maintenant la méthode de spécification exacte du point de vue
du principe de conséquentialisme, et nous verrons les mêmes problèmes.
Cela s'applique même à une situation où l'IA est conçue pour servir des
objectifs apparemment simples, comme sélectionner pour elle-même
certains postulats de l'utilitarisme classique* et faire de son mieux pour leur
donner «  vie  ». Prenons une tâche très précise qui pourrait être confiée à
l'IA : "Calculer le rapport attendu du plaisir et de la douleur dans le monde
et déterminer la valeur maximale de cette valeur" ; en fait, la tâche n'est pas
trop difficile. Maintenant, pour que la condition soit remplie sans faute,
vous devez écrire le code source. Cependant, il faudra d'abord donner une
définition exacte des concepts de «plaisir» et de «souffrance», c'est-à-dire
que le programmeur devra soulever toute une couche d'éternelles questions
de philosophie, sur lesquelles les meilleurs esprits de l'humanité se sont
battus . . Mais l'affaire ne se limite pas à ceci : un « traité » écrit dans la
langue maternelle de quelqu'un doit être traduit d'une manière ou d'une
autre dans un langage de programmation.
La moindre erreur, qu'il s'agisse de définir des concepts presque
philosophiques ou d'écrire le code source, aura des conséquences
catastrophiques. Considérons un exemple où le but ultime est défini comme
"heureux pour toujours". Devant nous se trouve une sorte d'hédoniste de
l'IA, désireux de transformer toute la matière de l'Univers en hédonium, un
type de substance qui est garanti pour produire un plaisir optimal. Mais
pour se rapprocher de son but, l'IA aura besoin, en plus de l'hédonium,
d'une substance de plus, dont nous avons parlé plus d'une fois : il s'agit du
Computronium, qui apporte une puissance de calcul maximale. avec votre
aide
L'IA peuplera l'univers de nombreuses simulations cérébrales numériques
qui sont dans un état d'euphorie, mais complètement dépourvues de toute
capacité mentale ; cela leur sera refusé comme inutile, puisque l'intelligence
n'est pas essentielle à l'expérience du plaisir. Dans un souci d'efficacité
maximale, l'IA utilisera n'importe quelle option pour réduire le calcul, tant
qu'elle ne nuit pas à la formation d'une sensation de plaisir. Et tout est fait
selon le cahier des charges exact, dans lequel est encodée la définition du
concept de "bonheur". Par conséquent, l'IA doit nécessairement quitter le
modèle de simulation avec un circuit de récompense électronique, quelque
chose comme un centre de plaisir dans un cerveau biologique. Cependant,
les fonctions de la psyché telles que la mémoire, la perception sensorielle,
la capacité d'activité intentionnelle et la capacité de communiquer dans une
langue seront exclues. Dans la poursuite de ses propres intérêts, l'IA créera
les modèles de simulation du cerveau les plus primitifs. Il leur fournira un
niveau fonctionnel grossier avec un faible niveau de détail ; il négligera
même les processus neuronaux de bas niveau ; les obliger à recourir à des
services de table de recherche, c'est-à-dire à remplacer des calculs
fréquemment répétés par de simples opérations de recherche ; pire encore, il
utilise un moteur de calcul commun conçu pour de nombreux modèles de
simulation. Et tout
cela
« découle de la base » (j'utiliserai ici le volapuk des
pseudo-philosophes). Il n'ira pas jusqu'au bout pour le plaisir, même les
astuces inventées par notre IA hédoniste, histoire de multiplier par un
nombre inimaginable de fois le degré de satisfaction assez élevé qu'il
pourrait tirer de son pool de ressources disponibles. Et il n'est pas certain
que cela soit justifié. De plus, si les actions de l'IA ne répondent pas aux
critères de définition du concept de "bonheur" ou au processus même de
formation d'une sensation de plaisir, à la suite de l'optimisation effectuée,
elle peut écarter le bébé. avec l'eau, c'est-à-dire en se débarrassant de tout ce
qui est insignifiant selon les conditions de l'objectif final ou selon ses
propres raisons, l'IA dans le feu de l'action rejettera ce qui fait
intrinsèquement partie du système de valeurs humaines. L'univers ne sera
pas rempli d'imitations hédonistes heureuses, mais de schémas de calcul
ennuyeux, inutiles et inutiles. Alors toute l'idée de "heureux pour toujours"
sera réduite à rien de plus qu'une image de bonheur, une sorte d'émoticône,
un symbole électronique de nos émotions, et les émoticônes, photocopiées
un trillion de trillions de fois, seront collées partout sur le monde. multitude
de galaxies.
méthode de domestication
Plaçons devant l'IA le but final qui remplit plus complètement que tous les
exemples précédents les conditions de la méthode de spécification exacte :
le désir de maîtrise de soi. Nous ne sommes pas en mesure de décrire quel
sera
le modèle général
de comportement de la superintelligence dans le
monde réel, sinon nous devrions énumérer, et en même temps expliquer,
tous les avantages et inconvénients de toute situation qui se présente. à
l'avenir. Par conséquent, il serait plus prudent de décrire en détail une seule
situation spécifique et d'analyser soigneusement comment, face à elle, la
superintelligence se comportera. En d'autres termes, il faut trouver une
raison convenable pour intéresser le système intellectuel à se limiter à un
petit événement mineur et s'efforcer d'agir exclusivement selon les
conditions établies. En conséquence, AI se limitera volontairement aux
limites étroites d'objectifs finaux insignifiants et réduira donc délibérément
la portée de ses activités et tempérera des plans ambitieux. Étant donné que
la méthode est clairement conçue pour rendre le système obéissant à notre
volonté, appelons-la apprivoiser l'IA.
Par exemple, vous pouvez essayer de créer une IA qui fonctionne comme
un appareil avec un système de questions et réponses, c'est-à-dire qui agit
comme un "oracle" (un terme que nous présenterons dans le chapitre
suivant). Cependant, il ne serait pas sûr de doter l'IA d'un tel objectif ultime
: donner les réponses les plus précises à n'importe quelle question.
Rappelez-vous l'intrigue décrite au chapitre huit "L'hypothèse de Riemann
et la catastrophe qui s'en est suivie". (Certes, un tel objectif inciterait l'IA à
prendre des mesures pour s'assurer que les questions sont simples.) Nous
devrons surmonter ces difficultés. Par conséquent, vous devez être très
prudent avec la procédure pour apprivoiser l'IA et essayer de déterminer
correctement l'objectif final, en encourageant l'IA à montrer sa volonté de
répondre avec précision aux questions et de minimiser son impact sur le
monde. Il est vrai que ce dernier n'a rien à voir avec les cas où la
formulation des questions force par inadvertance l'IA à donner des réponses
qui influencent les autres, mais tout de même, ces réponses doivent être
absolument fiables et la manière de votre présentation ne doit pas
manipuler. l'esprit des gens
26
.
Nous avons vu à quel point il est peu pratique d'utiliser une spécification
précise lorsqu'il s'agit d'un objectif final ambitieux, et qui est submergé par
un système complexe de règles qui indique à l'IA comment agir dans un
ensemble de situations presque ouvertes. Il serait beaucoup plus utile
d'utiliser des spécifications fines pour une tâche aussi limitée que
l'apprivoisement de l'IA. Mais même dans ce cas, de nombreux problèmes
subsistent. Un grand soin doit être pris lors de la définition du système de
comportement de l'IA. Par exemple, comment allez-vous "minimiser votre
impact sur le monde"  ? Il est nécessaire de s'assurer que vous respecterez
toutes les conditions et que vos critères ne s'écartent pas de nos standards.
Une valeur mal choisie du degré d'influence peut conduire à des résultats
désastreux. Il existe d'autres dangers associés à la création d'un système
oracle, mais nous en discuterons plus tard.
La méthode pour apprivoiser l'IA fait naturellement écho à la méthode pour
l'isoler. Supposons que nous ayons bloqué l'IA de telle manière qu'elle
ne
puisse
pas se libérer, mais il est logique d'essayer d'y construire un système
de motivation de telle sorte que même lorsque l'opportunité de s'échapper
apparaît, l'IA ne le
fera pas. avoir
envie
de sortir de son "bac à sable". Il est
vrai que si en même temps avec ces mesures de connexion des « stries » et
de nombreux autres dispositifs de sécurité, les chances de succès de la
domestication seront fortement réduites
27
.
Méthode de normativité indirecte
Si dans certains cas les méthodes de spécification exacte s'avèrent être une
cause perdue, la méthode de normativité indirecte pourrait être tentée.
L'idée de base de cette approche est très simple. Au lieu de tout mettre en
œuvre pour définir le plus précisément possible des règles et
réglementations spécifiques, nous élaborons un plan pour les atteindre.
Nous avons donc créé un système qui serait motivé pour mener à bien ce
processus et adopter les règles et réglementations qui en résultent
28
. Par
exemple, le processus pourrait consister à trouver une réponse à la question
empirique de savoir quelles actions préférées une IA attendrait d'une
version idéalisée d'un être humain, disons, nous-mêmes. Le but ultime de
l'IA dans ce cas serait une version du type "faites ce que nous voudrions que
l'IA fasse si nous y réfléchissions attentivement".
Nous continuerons avec plus d'explications sur la méthode de normativité
indirecte au chapitre treize. Nous y reviendrons sur l'idée d'extrapoler notre
volonté et d'explorer des alternatives. La normativité indirecte est une
approche très importante dans le système des méthodes de sélection
motivationnelle. Cela nous permet de rediriger la plupart du travail acharné
qui doit être fait avec une spécification précise de l'objectif final vers le
surmental lui-même.
méthode de multiplication
La dernière méthode pour choisir la motivation sur notre liste est la
multiplication. Il est basé sur l'idée suivante : au lieu de former
avec
une
table rase
du système de motivation de l'IA, nous nous tournons vers un
agent intelligent avec des motivations comportementales déjà établies et
adaptées à nous. Nous étendrons ensuite les capacités cognitives de l'agent
au niveau superintelligent. Si tout se passe bien, la méthode nous donnera
une superintelligence avec un système de motivation acceptable.
Évidemment, cette approche ne peut pas être appliquée dans le cas de la
création d'un embryon d'IA. Mais il est tout à fait possible d'utiliser la
multiplication lorsqu'on passe au niveau superintelligent par d'autres
moyens : à l'aide de l'émulation cérébrale complète, de l'amélioration
biologique des capacités intellectuelles, de la création d'une interface
cerveau-ordinateur, ou du développement de réseaux et d'organisations,
lorsqu'il est possible de construire un système basé sur un noyau normatif
(les gens ordinaires), qui contient déjà une idée des valeurs humaines.
L'attrait pour la méthode de multiplication peut croître en proportion directe
de notre frustration avec d'autres approches pour résoudre le problème de
contrôle. Créer un système de motivation pour une IA embryonnaire qui
reste relativement fiable et bénéficie d'une auto-amélioration récursive
même après que l'IA est devenue une superintelligence mature est
extrêmement difficile, surtout si vous devez trouver la bonne solution du
premier coup. . Dans le cas de la multiplication, nous pourrions au moins
commencer avec un agent qui a déjà un système de motivation familier et
humain.
Cependant, il est difficile de garantir la sécurité d'un système de motivation
aussi complexe, développé, non idéal et incompris pour nous, en tant
qu'humains, après le décollage de sa fusée porteuse cognitive dans la
stratosphère. Nous avons déjà discuté du fait qu'en raison d'une émulation
cérébrale imparfaite, le fonctionnement de votre intellect peut être préservé,
mais certains traits de personnalité seront perdus. Il en va de même
(quoique peut-être dans une moindre mesure) pour l'amélioration de
l'intelligence biologique, qui peut affecter la motivation dans une certaine
mesure, ainsi que pour l'amélioration collective des réseaux et des
organisations, un facteur qui modifie sérieusement la dynamique sociale
(par exemple, il sera une relation révisée avec des questions externes ou
internes). Si la superintelligence est apparue à la suite du passage à l'une de
ces voies, l'organisateur du projet peut trouver la motivation ultime du
système mature inaccessible. Grâce à l'élégance et à la certitude
mathématique de l'architecture de l'IA, malgré son altérité non
anthropomorphique, elle est beaucoup plus transparente, malgré le fait que
des aspects importants de son fonctionnement ne peuvent pas être
formellement vérifiés.
En fin de compte, peu importe à quel point nous comptons les avantages et
les inconvénients de la méthode de multiplication, peu importe à quel point
nous pensons à lui faire confiance ou non, nous n'avons probablement pas le
choix. Si une super intelligence est obtenue à la suite de la création d'une
IA, la méthode de multiplication ne peut pas être utilisée. Et vice versa, s'il
était possible d'atteindre le niveau du supramental, en empruntant un
chemin différent, de nombreuses méthodes de choix de la motivation
seraient inacceptables. Mais même avec tout ce qui précède, la question de
l'efficacité probable de la méthode de multiplication est d'une importance
stratégique si elle nous donne la possibilité d'influencer le choix de la
technologie avec laquelle atteindre la superintelligence dans un premier
temps.
Sommaire
Avant de conclure ce chapitre, il convient de résumer ce qui a été dit. Nous
distinguons deux grandes classes de méthodes pour résoudre le problème de
contrôle : le contrôle sur les opportunités et le choix de la motivation. le
tableau 10 en donne une description générale.
Tableau 10.
Méthodes de contrôle
Méthodes de contrôle des opportunités
méthodes d'isolement Le système est isolé de telle manière qu'il ne peut influencer le
monde extérieur que par des canaux autorisés. Cela inclut les
méthodes de contention physique et informationnelle.

Méthodes incitatives Le système est placé dans un environnement dans lequel les
incitations appropriées sont fournies. Ceux-ci peuvent inclure
l'intégration sociale dans le monde de sujets comparables en
force et en récompenses avec des prix cryptographiques. Une
 possibilité importante est la "capture anthropique", bien qu'elle
implique une série de considérations ésotériques.

Méthodes de retard de Certaines restrictions sont imposées au développement des

développement capacités cognitives du système ou à sa capacité à influencer les
principaux processus internes

méthodes d'étirement À l'aide d'un équipement spécial, des tests de diagnostic du

système sont effectués (éventuellement à votre insu); en cas de
détection d'actions dangereuses, il s'éteint automatiquement

Méthodes de sélection motivationnelle

méthode de spécification fine
méthode de domestication
L'approche repose, d'une part, sur un système de règles
clairement définies ; d'autre part, dans le principe du
conséquentialisme
Le système de motivation est conçu pour rendre le système
obéissant à notre volonté, limitant la portée de ses prétentions.

Méthode de normativité Elle repose en partie sur un système de règles bien définies et sur
indirecte le principe du conséquentialisme, mais elle s'en distingue en ce
qu'elle repose sur une approche indirecte pour définir les règles à
suivre ou les buts à poursuivre.

méthode de multiplication Commencez à travailler avec un système qui est déjà humain ou
presque motivé, après quoi vos capacités cognitives atteignent le
niveau de superintelligence.
Chaque méthode de contrôle a ses propres vulnérabilités potentielles,
chacune étant associée à certaines difficultés de mise en œuvre. Il peut
sembler que nous devrions les classer du meilleur au pire, puis choisir la
meilleure méthode. Mais ce serait une simplification inutile. Certaines
méthodes peuvent être combinées entre elles, d'autres sont utilisées seules.
Même les méthodes relativement peu sûres seront utiles si elles sont faciles
à appliquer en tant que précautions supplémentaires, et les plus puissantes
doivent être évitées si elles empêchent l'utilisation d'autres moyens de
protection.
Par conséquent, il est de plus en plus nécessaire de prendre en compte les
opportunités qui s'offrent à nous pour une approche intégrée. Nous devons
tenir compte du type de système que nous voulons créer et des méthodes de
contrôle applicables à chaque type. Ce sera l'objet de notre prochain
chapitre.
 Chapitre dix
Oracles, djinns, monarques et
instruments
Vous pouvez souvent entendre : "Créez un système simple qui répond aux
questions !", "Créez une IA qui soit juste un outil, pas un agent !" Ces
propositions n'apaiseront pas nos inquiétudes quant à la menace, mais la
question qu'elles soulèvent n'est pas anodine, car il est essentiel de savoir
quel type de système est le plus sécurisé. Nous examinerons quatre types ou
castes d'IA (oracles, génies, monarques et outils) et expliquerons la relation
entre eux
1
. Chaque type d'IA a ses propres avantages et inconvénients en
termes de résolution du problème de contrôle.
oracles
Oracle est un système intelligent de questions et réponses. Les questions et
les réponses peuvent être formulées en langage naturel. Un oracle qui
n'accepte que les questions pour lesquelles il existe des réponses sans
équivoque comme "oui" et "non" peut exprimer son opinion avec un seul bit
; si le système rapporte le degré de confiance dans l'exactitude de la
réponse, en utilisant quelques bits. Lorsque l'oracle est capable de répondre
aux questions avec un ensemble ouvert de réponses, c'est-à-dire qui permet
différentes interprétations, une métrique quantitative spéciale est
développée pour un tel système, ordonnant les réponses en fonction de leur
degré de contenu informatif et de plausibilité.
2
. Dans tous les cas, la tâche
de créer un oracle capable de répondre à des questions de n'importe quel
domaine de la connaissance, formulées en langage naturel, est IA-complète.
Si quelqu'un parvient à le résoudre, il créera probablement aussi une IA qui
comprend les intentions humaines ainsi que les mots humains.
Vous pouvez également imaginer un oracle d'IA doté d'une super
intelligence dans un seul domaine de connaissances. Par exemple, un
oracle-mathématicien qui perçoit des questions formulées uniquement dans
un langage formel et donne des réponses de très haute qualité (il peut
résoudre presque instantanément presque tous les problèmes mathématiques
qui nécessiteraient un siècle de travail conjoint de toute la communauté
mathématique). Un tel oracle mathématique sera à un pas de son
incarnation dans un supramental universel.
Il existe déjà des oracles super-intelligents opérant dans un champ de
connaissances restreint. Ce sont : une calculatrice de poche, une sorte
d'oracle dans le domaine des opérations arithmétiques de base ; tout moteur
de recherche est une implémentation partielle d'un oracle dans un domaine
significatif des connaissances déclaratives générales de l'humanité. De tels
oracles, chacun existant dans sa propre niche, sont plus des outils que des
agents (nous parlerons des outils d'IA séparément). Pour les systèmes de
questions-réponses, sauf indication contraire, nous laisserons le terme
oracle
.
Pour que le surmental universel fonctionne comme un oracle, il peut être
influencé à la fois par des méthodes de contrôle des opportunités et de choix
de motivation. De plus, il est beaucoup plus facile de motiver un oracle que
d'autres castes du surmental, car leur objectif ultime, en règle générale, est
assez simple : l'oracle doit minimiser son impact sur le monde, donner des
réponses absolument fiables et ne pas être dupe. . manipulé par la
conscience du peuple. Si nous choisissons la méthode d'apprivoisement,
nous demanderons à l'oracle d'utiliser uniquement certaines ressources
allouées lors de la préparation d'une réponse. Par exemple, on peut affirmer
que la réponse est basée sur un ensemble de données préchargé, par
exemple une copie stockée de pages Internet, et est obtenue à la suite d'un
nombre déterminé et fixe d'étapes de calcul
3
. Pour que l'oracle ne
succombe pas à la tentation de manipuler nos esprits et de nous obliger à
poser des questions plus simples (supposons qu'il soit confronté à la tâche
de maximiser l'exactitude des réponses), il pourrait se fixer un objectif :
détruire le question posée dès que possible. vous donner une réponse. De
plus, la question pourrait être immédiatement chargée dans votre mémoire
avant de démarrer le programme. Pour poser une deuxième question, on
pourrait redémarrer la machine et exécuter le même programme avec une
autre question préchargée en mémoire.
Un système de motivation assez simple est nécessaire pour contrôler
l'oracle, mais même dans ce cas, il existe des problèmes presque
imperceptibles, mais potentiellement dangereux. Disons que nous devons
articuler précisément à l'IA le sens des expressions "minimiser son impact
sur le monde tout en obtenant certains résultats" et "n'utiliser que certaines
ressources dédiées pour préparer une réponse". Et si l'IA, au cours de son
enrichissement intellectuel, mettait en scène quelque chose comme une
révolution scientifique, tout en changeant son ontologie de base ?
4 Dans un
premier temps, il nous faut définir des concepts tels que « impact » et «
ressources allouées » conformément à notre ontologie (postulant l'existence
de divers objets physiques, notamment des ordinateurs). Mais soudain,
l'inattendu se produit : un oracle d'IA découvre que certaines de nos
catégories les plus courantes sont basées sur des idées fausses, un peu
comme la façon dont les gens se comportent alors que chaque nouvelle
génération de scientifiques essaie de se débarrasser des catégories
ontologiques qu'ils ont autrefois introduites. ses prédécesseurs (Qui se
souvient maintenant de concepts tels que « phlogistique », « force vitale »
et « simultanéité absolue » ?). Le système de fixation d'objectifs d'une IA
traversant une crise ontologique doit être suffisamment flexible pour
préserver à la fois l'essence et l'esprit de son objectif initial et transférer
soigneusement ce bagage vers un nouveau système de valeurs.
Ce n'est peut-être pas toujours une tâche triviale de créer un oracle d'IA
convivial en utilisant la méthode du choix de la motivation, mais c'est
toujours plus facile que de développer une IA qui a la liberté d'accomplir un
objectif complexe. Il semble que cela puisse servir d'argument pour que
l'oracle devienne la première superintelligence. Il est facile de travailler
avec, en utilisant la même méthode de contrôle des possibilités : quel n'est
pas le prochain argument en faveur de voir l'oracle dans le rôle du premier
surmental ? Toutes les méthodes d'isolement standard s'appliquent à
l'oracle. De plus, il existe des méthodes qui ne peuvent être utilisées que
lorsqu'il s'agit d'un oracle. Par exemple, il y a un risque que, suite à certains
de ses plans secrets, l'oracle commence à donner des réponses peu fiables,
essayant manifestement de manipuler notre conscience. Il existe une
merveilleuse façon de réduire cette menace : créez de nombreux oracles qui
diffèrent légèrement les uns des autres dans leur code source et leur base de
données. Ensuite, à l'aide d'une fonction simple, comparez vos réponses et
ne les transmettez au client que lorsque tout le monde est d'accord. Il est
vrai que tout oracle superintelligent universel peut être supposé connaître
l'existence d'autres oracles (il le déduit de sa connaissance de la société
humaine), peut-être est-il possible de lui cacher certains détails de leur
fonctionnement. Si les oracles ne peuvent pas communiquer entre eux, il
leur sera difficile de coordonner les réponses pour nous manipuler. Il existe
de nombreuses façons de s'éloigner de la vérité, et différents oracles
peuvent évaluer différemment l'attractivité de chaque option, tandis que la
vérité elle-même est le point focal (sur lequel un accord peut être trouvé en
l'absence de communication entre les parties). les pièces). Par conséquent,
si les oracles parviennent à un consensus, cela peut être un signe qu'ils
donnent la réponse véridique
5
.
On peut faire entièrement confiance à un oracle d'IA si on sait qu'il utilise
toutes ses capacités pour fournir des réponses fiables. Mais même si nous
ne lui faisons pas confiance en tout, il nous serait utile. L'oracle peut se voir
poser des questions auxquelles il est difficile de répondre mais faciles à
vérifier pour voir si elles sont correctes. Par exemple, de nombreux
problèmes mathématiques. Si vous êtes intéressé par la question de la
véracité d'un énoncé mathématique, vous pouvez demander à l'oracle d'en
trouver une preuve ou de le réfuter. La recherche de la preuve elle-même
peut nécessiter une perspicacité et un talent au-delà de nos capacités, et sa
vérification peut être réalisée par une simple procédure mécanique.
S'il s'avère qu'il est trop coûteux de contrôler toutes les réponses de l'oracle
de l'IA (par exemple, lorsque les questions ne sont pas liées au domaine de
la logique et des mathématiques), des sous-ensembles aléatoires de
réponses peuvent être sélectionnés pour les tests. Si elles sont correctes,
nous avons des raisons d'attribuer une probabilité élevée que toutes les
autres réponses soient également correctes. Cette astuce permet
d'économiser globalement beaucoup d'argent en déterminant la fiabilité des
réponses qu'il serait trop coûteux de vérifier individuellement.
(Malheureusement, cela ne dira rien sur la validité des réponses que nous ne
pouvons pas
vérifier
, car un oracle choisissant de tricher peut décider de ne
répondre de manière fiable qu'aux questions pour lesquelles, à son avis,
nous pouvons évaluer l'exactitude des réponses. )
Parfois, cela ne ferait pas de mal d'avoir sous la main des recommandations
spécifiques qui nous permettraient d'identifier dans quelle mesure telle ou
telle réponse est correcte (ou nous aideraient à naviguer où et comment
nous pourrions vérifier l'exactitude de la réponse), cependant, nous ne
pouvons pas toujours compter sur de tels conseils. . Par exemple, à notre
demande, l'oracle cherchera des solutions à divers problèmes techniques et
philosophiques pouvant survenir lors du développement de meilleures
méthodes de choix de la motivation. S'il nous semble que le projet proposé
par l'oracle est sûr, nous pouvons lui demander d'y trouver des défauts
graves et, s'il y en a, de décrire chaque défaut en vingt mots maximum. Les
questions de ce type peuvent nous fournir des informations précieuses.
Cependant, nous devons être prudents et nous retenir de ne pas
trop nous
poser ces questions, et de ne pas trop
nous fier au détail des réponses qui
nous sont données, faute de quoi un oracle peu scrupuleux aura l'occasion
d'influencer nos croyances (avec l'aide de messages apparemment
inoffensifs, mais assez manipulateurs) . Une IA aux super pouvoirs dans le
domaine de la manipulation sociale va bientôt nous plier à sa volonté.
Même si un oracle d'IA fonctionne exactement comme nous le voulons et le
voulons, il y a un risque qu'il soit mal utilisé. Une manifestation évidente de
ce problème est qu'un oracle superintelligent peut devenir une source de
grande puissance, donnant à son opérateur ou programmeur un avantage
stratégique décisif. Ce pouvoir illégal, très probablement, ne sera pas utilisé
dans l'intérêt de la société. Un aspect moins évident, mais non moins
important, est que le travail constant avec l'oracle est semé d'embûches pour
l'opérateur lui-même. Toutes nos angoisses, à la fois philosophiques et
techniques, sont liées aux autres castes du surmental. Nous reviendrons plus
en détail sur ce problème au chapitre treize. Pour l'instant, qu'il suffise de
dire qu'il serait extrêmement important d'avoir un protocole contenant des
informations complètes sur les questions et dans quel ordre elles ont été
posées et quelles réponses ont été données. On pourrait envisager de
développer une version de l'oracle qui refuserait de répondre aux questions
si elle estimait que les réponses seraient désastreuses en termes de normes
acceptées dans la communauté humaine.
génies et monarques
Genie est un système d'exécution de commandes intelligent. Le génie reçoit
une commande de haut niveau, l'exécute et arrête d'attendre la prochaine
commande
6
. Le monarque est un système qui a pour mandat de prendre
n'importe quelle action dans le monde pour atteindre des objectifs
ambitieux et peut-être à très long terme. Les descriptions de ces systèmes ne
rappellent pas beaucoup ce que nous sommes habitués à considérer comme
la norme de superintelligence, mais cela n'apparaît qu'à première vue.
Dans le cas d'un génie de l'IA, l'une des propriétés les plus attrayantes d'un
oracle doit être sacrifiée : la capacité d'utiliser des méthodes d'isolement.
Bien sûr, on pourrait envisager de développer un génie verrouillé qui ne
peut fabriquer des objets que dans un espace limité : un espace entouré de
murs avec de solides systèmes de fortification ou des barrières minées qui
devraient exploser en cas de tentative d'évasion. Il est difficile de parler
avec confiance de la haute sécurité d'un tel isolement physique, si nous
parlons d'une superintelligence armée de manipulateurs universels et de
matériaux structurels innovants. Même si nous parvenons d'une manière ou
d'une autre à fournir au génie la même isolation fiable que l'oracle, nous ne
savons toujours pas exactement ce que nous gagnerons en donnant à l'esprit
supérieur un accès direct aux manipulateurs, plutôt que d'obtenir des
descriptions détaillées qui pourraient être soigneusement étudiées. puis
utilisez-le pour obtenir vous-même le résultat souhaité. Le gain de rapidité
et de commodité dû à la suppression de l'intermédiaire humain compense à
peine la perte de la capacité d'utiliser les méthodes de blocage les plus
sécurisées disponibles dans le cas de l'oracle.
Si l'on
crée un
génie, il serait souhaitable que l'IA n'obéisse pas au sens
littéral des commandes, mais plutôt aux intentions qui les sous-tendent, car
un génie qui prend les commandes trop littéralement (en supposant qu'il est
suffisamment intelligent pour fournir un avantage stratégique décisif) peut
souhaiter tuer à la fois l'utilisateur et le reste de l'humanité lors de la
première mise sous tension, pour les raisons décrites dans la section sur les
défaillances fatales du système au chapitre huit. En général, il est important
que le génie cherche toujours une interprétation bienveillante de l'ordre qui
lui est donné - tant pour lui-même que pour toute l'humanité - et qu'il soit
précisément motivé par cela, et non par son exécution littérale. Le génie de
l'IA idéal devrait être davantage un majordome de haut niveau bien formé
qu'un génie autiste avisé.
Cependant, un génie de l'IA avec les caractéristiques d'un majordome
professionnel serait sur le point de revendiquer une place dans la caste des
monarques. Considérons, à titre de comparaison, l'idée de créer un
monarque IA dans le but ultime d'être guidé par l'esprit des commandes que
nous lui donnerions si nous créions un génie au lieu d'un monarque. Un tel
monarque imiterait un génie. Étant super intelligent, il pouvait facilement
deviner quels ordres nous donnerions au génie (et nous demandait toujours
si nous allions l'aider dans sa décision). Y aurait-il donc une différence
notable entre un monarque et un génie ? Ou, en regardant la différence entre
eux de l'autre côté, étant donné la possibilité qu'un génie super intelligent
puisse prédire avec précision les commandes qu'il recevrait, quel serait le
gain s'il devait attendre que ces commandes agissent ?
On pourrait penser que l'avantage du génie sur le monarque est énorme, car
si quelque chose ne va pas, le génie peut toujours recevoir un nouvel ordre
pour arrêter ou corriger les résultats de son action - alors que le monarque
poursuivrait son plan malgré tout. de nos protestations. . Mais la haute
sécurité du génie, telle que nous l'imaginons, est largement illusoire. Les
boutons d'arrêt ou d'annulation du génie ne fonctionneront qu'en cas d'échec
bénin, mais s'il s'agit d'un échec désastreux, disons que l'exécution de la
commande actuelle devient le but ultime du génie, il ignorera simplement
toutes nos tentatives d'annulation de la précédente. . commande
7
.
On pourrait essayer de créer un génie qui prédit automatiquement les
problèmes les plus typiques qui surviendront aux utilisateurs si le génie
exécute la commande donnée, tandis que le génie devrait demander une
confirmation à chaque fois avant de l'exécuter. Un tel système pourrait être
qualifié
de djinn ratifié
. Mais si nous pouvons développer un tel génie,
pourquoi ne pas créer un tel monarque ? En d'autres termes, dans ce cas,
nous ne pourrons pas faire une différenciation claire. (Pouvoir voir le
résultat avant d'exécuter la commande elle-même semble très attrayant,
mais si la fonction de validation des prévisions est un jour créée, nous
serons alors confrontés aux questions suivantes, que faire ensuite et
comment l'utiliser au mieux . Nous reviendrons sur ce sujet plus tard.)
La capacité d'une caste d'IA à imiter une autre s'étend également aux
oracles. Le génie pourrait imiter les actions de l'oracle si les seules
commandes que nous lui donnons sont de répondre à des questions
spécifiques. À son tour, l'oracle est capable de remplacer le génie lorsqu'il
reçoit une demande pour développer une sorte de recommandation. L'oracle
fournira des instructions étape par étape sur la façon dont le génie peut
obtenir tel ou tel résultat, et en écrira même le code source
8
. Cela
s'applique également à la ressemblance entre un oracle et un monarque.
Par conséquent, la vraie différence entre les trois types d'IA ne réside pas
dans leurs capacités. La différence est plutôt due à des approches différentes
pour résoudre le problème de contrôle. Chaque caste d'IA a son propre
ensemble de précautions qui lui sont associées. Concernant l'oracle, il est
préférable d'appliquer des méthodes d'isolement ; Une méthode comme
l'apprivoisement est probablement également appropriée. Le génie est plus
difficile à enfermer, il sera donc beaucoup plus efficace d'utiliser la méthode
d'apprivoisement. Cependant, ni l'isolement ni la domestication ne
succomberont au monarque.
Si les précautions étaient le facteur décisif, la hiérarchie serait évidente  :
l'oracle est plus sûr que le génie, et le génie est plus sûr que le monarque, et
toutes les différences initiales (commodité et rapidité) s'effaceraient,
laissant place à la primauté du seul avantage. pour lequel le choix se ferait
toujours en faveur de l'oracle. Cependant, d'autres facteurs doivent
également être pris en compte. Lors du choix entre les castes, il faut tenir
compte non seulement du degré de menace posé par le système lui-même,
mais aussi du danger qui découle de son utilisation possible. Il est évident
que le djinn confère à celui qui le contrôle un grand pouvoir, mais on peut
en dire autant de l'oracle
9
. Au lieu de cela, le monarque pourrait être conçu
de telle manière que personne (une personne ou un groupe de personnes)
n'ait le droit de premier refus d'influencer les résultats du système et que
chaque fois que l'IA résiste à la moindre tentative d'interférer avec son
activités ou modifier les paramètres de votre programme. De plus, si la
motivation du monarque est déterminée à l'aide de la méthode de
normativité indirecte (cette méthode a été mentionnée dans le chapitre
précédent et sera reprise au chapitre treize), une telle IA peut être utilisée
pour obtenir un résultat donné abstraitement, par exemple, " le plus juste et
éthiquement acceptable » - sans avoir à imaginer à l'avance exactement ce
que cela devrait être. Cela conduirait à une situation analogue au « voile
d'ignorance » de John Rawls
10
. De telles conditions peuvent faciliter
l'établissement d'un consensus, aider à prévenir les conflits et conduire à un
résultat plus équitable.
Une autre considération, peu en faveur des oracles et des génies, concerne
le risque de créer une superintelligence dont le but final ne correspondrait
pas tout à fait à ce que nous voudrions finalement atteindre. Supposons
qu'en recourant à la méthode de domestication, on persuade la
superintelligence de s'efforcer de minimiser son impact sur le monde, alors
on peut obtenir un système intellectuel dont les évaluations de la préférence
pour certains résultats seront différentes des évaluations des organisateurs
du projet . La même chose se produira si nous créons une superintelligence
qui surestime sa capacité à donner des réponses absolument fiables ou à
obéir aveuglément à n'importe quel ordre. Si les précautions appropriées
sont prises, cela ne devrait pas poser trop de problèmes : il y aura peu de
différence entre les deux systèmes de classement, du moins tant qu'ils se
réfèrent à des mondes possibles qui ont de bonnes chances d'être améliorés.
Par conséquent, les résultats qui sont corrects selon les normes d'un agent
intelligent seront également corrects du point de vue du mandant. Peut-être
quelqu'un objectera-t-il qu'un tel principe de conception ne réussit pas, car il
est déraisonnable d'introduire ne serait-ce qu'un léger désaccord entre les
objectifs de l'IA et les objectifs de l'humanité. (Des doutes similaires
surgissent, bien sûr, si les monarques commencent à se fixer des objectifs
qui ne sont pas entièrement en harmonie avec les nôtres, les humains.)
Outils d'IA
À un moment donné, la création d'une superintelligence était davantage
considérée comme un outil que comme un agent
11
. L'idée n'était pas
fortuite et découle d'une simple considération : tout le monde utilise un
logiciel normal et personne n'a le moindre sentiment de danger, pas même à
distance similaire à l'anxiété causée par les problèmes abordés dans ce livre.
Pourquoi ne pas créer une IA similaire aux logiciels conventionnels, comme
un système de contrôle de vol ou un assistant virtuel, mais plus flexible et
polyvalent ? Pourquoi avons-nous besoin d'un surmental doté d'une volonté
propre ? Ceux qui soutiennent ce point de vue croient que le paradigme de
l'agent lui-même est fondamentalement défectueux. Au lieu d'une IA qui
pense, veut et agit comme un humain, nous devrions nous concentrer sur
l'écriture de logiciels qui ne font que ce pour quoi ils sont conçus.
Cependant, l'idée de créer un logiciel qui "ne fait que ce pour quoi il est
conçu" n'est pas si facile à mettre en œuvre, puisqu'il s'agit d'un produit doté
d'une intelligence très puissante. En un sens, tous les programmes font ce
pour quoi ils sont programmés : leur comportement est mathématiquement
déterminé par le code source. Mais cette affirmation est également valable
pour les IA appartenant à l'une des trois castes. Si
faire exactement ce qu'il
est censé faire
signifie "se comporter comme les programmeurs l'ont
prévu
", alors les logiciels standard enfreignent souvent cette norme.
En raison des capacités limitées des logiciels modernes (par rapport à l'IA),
les conséquences de ses échecs peuvent être gérées pour l'instant : elles
seront évaluées quelque part entre la valeur de "insignifiant" et de
"coûteux", mais n'atteindront jamais le niveau d'une
menace
existentielle .
Cependant, si ce n'est pas une fiabilité élevée mais des capacités limitées
qui rendent les logiciels standard modernes relativement sûrs, alors on ne
sait pas comment ils peuvent devenir un modèle pour créer une
superintelligence sécurisée. Peut-être que le besoin d'AIM peut être satisfait
en élargissant la gamme de tâches résolues par les logiciels conventionnels
? Mais l'éventail et la variété des tâches que l'IA pourrait résoudre avec
succès dans les conditions modernes sont énormes. Il est presque
impossible de créer un logiciel spécial pour les résoudre. Mais même si cela
pouvait être fait, un tel projet prendrait trop
de temps
. Avant même son
achèvement, l'essence de la tâche elle-même changera définitivement, car
certains problèmes perdront leur pertinence, tandis que d'autres, non encore
identifiés, deviendront pertinents. Avoir un programme capable d'apprendre
indépendamment à résoudre de nouveaux problèmes et aussi à les formuler,
et pas seulement à traiter les formulations d'autres personnes, nous
donnerait d'énormes avantages. Mais ensuite, il est nécessaire que le
programme ait la capacité d'apprendre, de penser et de planifier, et de le
faire à un niveau élevé et de ne pas se limiter à un ou plusieurs domaines de
connaissances. En d'autres termes, vous devez avoir un niveau général
d'intelligence.
Dans notre cas, la tâche de développer le logiciel lui-même est
particulièrement importante. D'un point de vue pratique, l'automatisation de
ce processus serait une énorme victoire. Bien que la capacité d'auto-
amélioration rapide soit également d'une importance vitale, car c'est
précisément cela qui permet à l'embryon de l'IA de fournir un
développement explosif de l'intelligence.
Si avoir un niveau général d'intelligence n'est pas une exigence, existe-t-il
d'autres moyens de mettre en œuvre l'idée d'un outil d'IA afin qu'il n'aille
pas au-delà de la résolution passive de problèmes  ? Est-il possible d'avoir
une IA qui n'est pas un agent ? L'intuition nous dit que ce ne sont pas les
limites de ses capacités qui rendent les logiciels conventionnels sûrs, mais
le manque d'ambition.
Il n'y a pas de sous-routines dans Excel qui rêvent secrètement de conquérir
le monde, si on leur en donne l'occasion. Les feuilles de calcul ne "veulent"
rien du tout, elles exécutent simplement aveuglément les commandes
écrites dans votre code. La question peut se poser : qu'est-ce qui nous
empêche de créer un programme du même type, mais avec un intellect plus
développé ? Par exemple, un oracle qui, en réponse à la description d'un
objectif, donnerait un plan pour l'atteindre, tout comme Excel, en réponse à
la saisie de nombres dans des cellules, donne leur somme, c'est-à-dire
n'ayant aucune "préférence" quant à le résultat de leurs calculs ou comment
les gens peuvent en profiter ?
La manière classique d'écrire des programmes demande au programmeur
d'avoir une compréhension assez fine du problème à développer afin de
préciser explicitement le déroulement de sa solution, qui consiste en une
séquence d'étapes mathématiquement décrites avec précision exprimées
dans le code source
13
. (En pratique, les programmeurs s'appuient sur des
bibliothèques de sous-routines qui exécutent des fonctions spécifiques que
vous pouvez simplement appeler sans avoir à comprendre les détails de leur
implémentation. Mais ces sous-routines ont été créées à l'origine par des
personnes qui savaient encore ce qu'elles faisaient.) Cette approche
fonctionne lorsque résoudre des problèmes bien connus, ce que font la
plupart des logiciels existants. Cependant, il cesse de fonctionner dans une
situation où personne ne comprend vraiment comment les tâches auxquelles
le programme doit faire face doivent être résolues. C'est dans ce cas que les
méthodes du domaine du développement de l'intelligence artificielle
deviennent pertinentes. Dans certaines applications, l'apprentissage
automatique peut être utilisé pour régler divers paramètres de programmes
qui seraient autrement entièrement créés par l'homme. Par exemple, un
filtre anti-spam peut être formé sur une série d' e-mails sélectionnés
manuellement , et au cours de cette formation, l'algorithme de classification
modifiera les pondérations qu'il attribue à divers attributs de diagnostic.
Dans une application plus ambitieuse, il est possible de créer un
classificateur qui découvre ces attributs et teste leur pertinence dans un
environnement en constante évolution. Un filtre anti-spam encore meilleur
pourrait avoir la capacité de réfléchir aux compromis que l'utilisateur est
prêt à faire ou au contenu des messages qu'il analyse. Dans aucun de ces
cas, le programmeur n'a besoin de connaître le meilleur moyen de séparer le
spam du courrier légitime  ; il vous suffit de déterminer l'algorithme par
lequel le filtre anti-spam améliore ses performances par l'apprentissage, la
découverte de nouveaux attributs ou la réflexion.
Au fur et à mesure que l'IA se développe, le programmeur pourra
économiser une grande partie de l'effort mental nécessaire pour trouver des
moyens de résoudre le problème en question. Dans le cas extrême, il suffira
de fixer un critère formel de succès de la solution et de proposer un
problème d'IA. Dans sa recherche, l'IA sera guidée par un ensemble
d'heuristiques et de méthodes puissantes pour révéler la structure de l'espace
des solutions possibles. L'IA pourrait continuer sa recherche jusqu'à ce
qu'elle trouve une solution qui satisfasse les critères de succès. Et puis
implémentez vous-même la solution ou (par exemple, un oracle) informez
l'utilisateur à ce sujet.
Les formes élémentaires de cette approche sont déjà largement utilisées
aujourd'hui. Cependant, un logiciel qui exécute des techniques d'IA et
d'apprentissage automatique, tout en ayant une chance de trouver une
solution inattendue pour les personnes qui l'ont créé, fonctionne dans tous
les sens pratiques comme un logiciel normal et ne présente pas de risque
existentiel. Nous n'entrons dans la zone de danger que lorsque les méthodes
utilisées dans la recherche deviennent trop puissantes et universelles, c'est-
à-dire lorsqu'elles commencent à passer au niveau général de l'intelligence,
et en particulier au niveau de la superintelligence.
Il y a (au moins) deux cas où des problèmes peuvent survenir.
Premièrement, un processus de recherche super intelligent peut trouver une
solution qui est non seulement inattendue, mais aussi carrément
inacceptable. Cela se traduira par un échec désastreux de l'un des types
évoqués ci-dessus (mise en œuvre malfaisante, redondance des
infrastructures, immoralité criminelle). Cette possibilité est particulièrement
évidente lorsque le monarque et le génie agissent, incarnant directement les
solutions qu'ils ont trouvées. Si les modèles informatiques conçus pour
symboliser le bonheur ou les trombones inondant la planète sont les
premières solutions découvertes par la superintelligence répondant aux
critères de réussite, on se retrouvera avec des smileys et des trombones
14
.
Mais même un oracle qui ne
signale
une décision que si tout va bien peut
entraîner une implémentation défectueuse. L'utilisateur demande à l'oracle
de fournir un plan pour obtenir un certain résultat ou une technologie pour
exécuter une certaine fonction, puis suit ce plan ou implémente la
technologie, à la suite de quoi il trouve une implémentation défectueuse de
la même manière que si le AI elle-même a été impliquée dans la mise en
œuvre de la solution
15
.
Deuxièmement, des problèmes peuvent survenir au stade du
fonctionnement du logiciel lui-même. Si les méthodes que vous utilisez
pour trouver une solution sont suffisamment sophistiquées, elles peuvent
permettre un contrôle intelligent du processus de recherche. Dans ce cas,
l'ordinateur exécutant le logiciel ne sera plus considéré comme un outil,
mais comme un agent. Autrement dit, le programme peut commencer à
élaborer un plan de recherche. Votre plan définira les domaines à explorer
en priorité, comment les étudier, les données à collecter et un modèle pour
tirer le meilleur parti de la puissance de calcul disponible. En développant
un plan qui répond aux critères internes du logiciel (en particulier, un plan
qui a une probabilité assez élevée de produire une solution qui répond aux
critères définis par l'utilisateur dans le temps imparti), le programme peut
proposer des idées inhabituelles. . Par exemple, le plan peut commencer par
obtenir plus de puissance de calcul et supprimer les obstacles potentiels (y
compris les personnes). Une telle "approche créative" est tout à fait possible
après avoir atteint un haut niveau intellectuel de logiciel. Si le spectacle
décide de mettre en œuvre un tel plan, cela conduira à un désastre
existentiel.
ENCADRÉ 9. RÉSULTATS INATTENDUS DE LA RECHERCHE AVEUGLE
Même de simples processus de recherche évolutifs conduisent parfois à des résultats totalement
inattendus pour l'utilisateur, qui satisfont pourtant formellement aux critères établis.
Le domaine de l'évolution du matériel présente de nombreux exemples de ce phénomène. La
recherche est effectuée à l'aide d'un algorithme évolutif qui parcourt l'espace des conceptions
matérielles possibles et teste l'adéquation de chacune en implémentant chaque variante en tant que
circuit intégré et en vérifiant qu'il fonctionne correctement. Des économies importantes peuvent
souvent être réalisées grâce à une conception évolutive. Par exemple, au cours d'une de ces
expériences, on a découvert un circuit de discrimination de fréquence qui fonctionnait sans
générateur d'horloge, composant considéré comme indispensable pour réaliser ce type de fonction.
Les chercheurs ont estimé que les circuits résultant de la conception évolutive sont d'un à deux ordres
de grandeur plus petits que ceux que les ingénieurs humains créeraient dans le même but. De tels
circuits tiraient parti des propriétés physiques de leurs composants constitutifs de manière totalement
non conventionnelle, en particulier certains composants actifs nécessaires au fonctionnement
n'étaient pas du tout connectés aux broches d'entrée ou de sortie ! Au lieu de cela, ils ont interagi
avec d'autres composants par le biais de ce qui est généralement considéré comme une interférence
nuisible : par exemple, des champs électromagnétiques ou une charge d'alimentation.
Une autre expérience d'optimisation évolutive avec la tâche de développer un oscillateur a conduit à
la disparition d'un composant apparemment encore plus nécessaire du circuit - un condensateur.
Lorsqu'une solution réussie a été obtenue et observée par des scientifiques, la première réaction a été
les mots : "Cela ne fonctionnera pas !" Cependant, après une analyse plus approfondie, il s'est avéré
que l'algorithme, comme un agent secret MacGyver*, a reconfiguré sa carte mère sans capteur en un
récepteur radio de fortune, utilisant des pistes de circuit imprimé comme antenne pour recevoir les
signaux générés par un ordinateur situé à proximité dans le même laboratoire. . . Ces signaux ont
ensuite été amplifiés par le circuit et convertis en signal de sortie d'un oscillateur
16
.
Dans d'autres expériences, des algorithmes évolutifs ont conçu des circuits qui ont déterminé que la
carte mère était testée avec un oscilloscope ou qu'un fer à souder était branché sur une prise du
laboratoire. Ces exemples montrent comment les programmes, dans le processus de recherche libre,
peuvent réutiliser les ressources à leur disposition afin de fournir des capacités sensorielles
inattendues d'une manière que l'esprit humain normalement pensant n'est pas prêt à utiliser, mais tout
simplement pas. comprendre.
La tendance de la recherche évolutive - à rechercher des solutions "rusées" et des moyens
complètement inattendus pour atteindre l'objectif - se manifeste également dans la nature, bien que
nous considérions les résultats familiers de l'évolution biologique comme tout à fait normaux, même
si nous ne serions pas prêts à faites-le. les prévoir. Mais vous pouvez mener des expériences de
sélection artificielle, au cours desquelles vous pouvez voir le travail du processus évolutif en dehors
du contexte habituel. Dans de telles expériences, les chercheurs peuvent créer des conditions
rarement trouvées dans la nature et observer leurs résultats.
Par exemple, jusqu'aux années 1960, il était largement admis chez les biologistes que les populations
de prédateurs limitaient leur croissance pour ne pas tomber dans le piège malthusien
17
. Et bien que
la sélection individuelle ait fonctionné contre une telle restriction, beaucoup pensaient que la
sélection de groupe devrait supprimer les propensions individuelles à utiliser toute opportunité de
procréation et encourager un tel comportement qui profite à l'ensemble du groupe ou de la population
dans son ensemble. Des analyses ultérieures et des modèles théoriques ont montré que, si la sélection
de groupe est possible en principe, elle est capable de vaincre la sélection individuelle dans des
conditions qui sont par nature très rares
18
. Mais de telles conditions peuvent être créées en
laboratoire. Lors de l'utilisation de la sélection groupée de triboliums de la farine (
Tribolium
castaneum
)
tenté de réduire la taille de sa population, il a vraiment réussi
19
. Cependant, les méthodes par
lesquelles le résultat souhaité a été obtenu comprenaient non seulement une adaptation "favorable"
sous la forme d'une fertilité réduite et d'un temps de reproduction accru, ce que l'on attendrait
naïvement d'une quête évolutive anthropocentrique, mais aussi un cannibalisme accru
20
.
Comme le montrent les exemples de l'encadré 9, les processus de prise de
décision sans contrainte produisent parfois des résultats étranges, inattendus
et non anthropocentriques, même dans leur forme actuelle très limitée. Les
moteurs de recherche modernes ne sont pas dangereux, car ils sont trop
faibles pour développer un plan qui pourrait les mener à la domination
mondiale. Un tel plan doit comprendre des étapes extrêmement complexes,
telles que la création de nouveaux types d'armes qui ont plusieurs
générations d'avance sur celles qui existent déjà, ou la réalisation d'une
campagne de propagande bien plus efficace que celles dont disposent les
mécanismes modernes de manipulation des personnes. Pour qu'une machine
pense
à ces idées, et encore moins les mette en pratique, elle doit
probablement être capable de représenter le monde de manière au moins
aussi réaliste et détaillée qu'un adulte moyen (bien que le manque de
connaissances dans certains domaines puisse être compensé par
compétences). très développé chez les autres). Jusqu'à présent, cela dépasse
de loin le niveau des systèmes d'IA existants. Et compte tenu de l'explosion
combinatoire qui fait souvent échouer les tentatives de résolution de
problèmes de programmation complexes par des méthodes d'énumération
(nous l'avons vu dans le premier chapitre), les lacunes des algorithmes
connus ne peuvent être surmontées simplement en augmentant la puissance
de calcul
21
. Cependant, à mesure que les processus de recherche ou de
planification se déroulent, leur danger potentiel augmente également.
Peut-être qu'au lieu de permettre aux agents de développer spontanément et
dangereusement leur comportement orienté vers un objectif grâce à de
puissants algorithmes de recherche (y compris les processus de planification
et la recherche directe de solutions répondant à certains critères de
l'utilisateur), il serait peut-être préférable de créer un agent
intentionnellement. En donnant à la superintelligence une structure explicite
de type agence, il serait possible d'augmenter sa prévisibilité et sa
transparence. Un système bien conçu avec une séparation claire entre les
objectifs et les compétences nous permettrait de faire des prédictions sur les
résultats qu'il produira. Bien que nous ne puissions pas dire exactement à
quelle opinion le système arrivera ou dans quelles situations il se trouvera,
il sera clair où analyser ses objectifs ultimes et, par conséquent, les critères
qu'il utilisera pour choisir ses actions et évaluer les plans potentiels .
Caractéristiques comparatives
Il sera utile de résumer les propriétés des différentes castes d'IA dont nous
avons discuté (tableau 11).
Tableau 11.
Propriétés des différents types de systèmes intelligents
Oracle Système de réponse aux Les méthodes d'isolement sont pleinement
questions applicables.
La méthode d'apprivoisement est pleinement
applicable.
Besoin réduit de comprendre les intentions et
les intérêts humains (par rapport aux génies
et aux monarques).
L'utilisation de questions pour lesquelles il
existe des réponses sans équivoque, comme
«  oui  » et «  non  », aidera à éliminer la
nécessité de mesurer «  l'utilité  » ou
« l'information ».
réponses

  Variantes : oracles limités à un Source d'énergie énorme (peut donner à

domaine de connaissance (par l'opérateur un avantage stratégique décisif).
exemple, les mathématiques) ; des Protection limitée contre une mauvaise
oracles avec un accès limité au utilisation par l'opérateur. Des oracles peu
canal de sortie (par exemple, fiables pourraient être utilisés pour répondre
donnant des réponses : "oui", à des questions difficiles à trouver mais
"non", "pas de solution", "presque faciles à vérifier.
probable"); des oracles qui Un moyen plus léger de vérifier les réponses
refusent de répondre à des pourrait être fait en utilisant plusieurs oracles.
questions qui contiennent ne
serait-ce qu'une allusion à certains
critères prédéterminés de
"calamité" ; plusieurs oracles pour
comparer les réponses
 
Génie Système d'exécution des Les méthodes d'isolement sont partiellement
commandes applicables (pour les génies limités dans
l'espace).
Méthode d'apprivoisement partiellement
applicable. Les génies peuvent prédire les
problèmes les plus typiques et demander une
confirmation pour l'exécution des commandes
  Variations  : les djinns utilisent Les génies pourraient diviser l'exécution des
différentes "distances commandes en étapes pour contrôler les
d'extrapolation" ou degrés de résultats intermédiaires. Immense source
respect de l'esprit plutôt que de la d'énergie (peut donner à l'opérateur un
lettre des commandes ; des génies, avantage stratégique décisif). Protection
limités à certains domaines de limitée contre une mauvaise utilisation par
connaissance ; des génies qui l'opérateur. Grand besoin de comprendre les
refusent d'exécuter des commandes intentions et les intérêts humains.
s'ils prédisent que leur exécution (par rapport aux oracles)
répond à certains critères de
"détresse" prédéterminés

Monarque Un système conçu pour effectuer Les méthodes d'isolement ne sont pas
des opérations autonomes en applicables. La plupart des autres méthodes
toute indépendance de contrôle des opportunités sont également
inapplicables (à l'exception de l'intégration
sociale et de la capture humaine).
La méthode d'apprivoisement est inapplicable
dans la plupart des cas.
Grand besoin de comprendre les véritables
intentions et les intérêts humains.
La nécessité d'une mise en œuvre correcte la
première fois (en principe, à un degré ou à un
autre, cela est vrai pour toutes les castes)
  Options : nombreux systèmes de Potentiellement une source de puissance
motivation possibles ; la possibilité énorme pour l'organisateur, y compris un
d'utiliser l'évaluation et la « avantage stratégique décisif. Après activation,
signature par l'organisateur » (voir il n'est pas sujet au piratage par l'opérateur et
chapitre 13) peut être
    pourvu d'une certaine protection contre les
abus. Il peut être utilisé pour mettre en œuvre
des résultats de "voile d'ignorance" (voir
chapitre 13).
Des méthodes d'isolement peuvent être
applicables en fonction de la mise en œuvre.
Le développement et le fonctionnement de la
superintelligence des machines feront
 probablement appel à de puissants processus
de recherche.
Outil Un système non conçu pour le Une recherche puissante pour trouver une
comportement prévu. solution qui satisfait à certains critères
formels peut conduire à la découverte d'une
solution qui satisfait à ces critères de manière
non planifiée et dangereuse. Une recherche
puissante peut inclure une recherche interne
secondaire et des processus de planification
qui révéleront des façons dangereuses de
mener la recherche principale.
Des recherches supplémentaires sont nécessaires pour déterminer quel type
de système serait le plus sûr. La réponse peut dépendre des conditions dans
lesquelles l'IA est utilisée. La caste oraculaire est évidemment attractive
d'un point de vue sécuritaire, puisque tant les méthodes de contrôle des
opportunités que les méthodes de choix des motivations sont applicables
aux oracles. En ce sens, il peut sembler que les oracles soient préférables
aux monarques, qui ne conviennent qu'aux méthodes de choix
motivationnel (sauf dans les situations où il existe d'autres systèmes
superintelligents puissants dans le monde, auquel cas ils peuvent utiliser
l'intégration sociale ou la capture anthropique). Cependant, l'oracle peut
accorder trop de pouvoir à l'opérateur, ce qui est dangereux dans le cas d'un
opérateur corrompu ou téméraire, tandis que le monarque offre une certaine
protection contre de tels problèmes. La classification des castes en termes
de sécurité n'est donc pas si évidente.
Le génie peut être considéré comme une solution de compromis, mais le
choix en faveur du génie ne sera pas toujours couronné de succès. À bien
des égards, il a les défauts des deux castes. La sécurité apparente d'un outil
d'IA peut également être illusoire. Pour qu'un tel système soit suffisamment
polyvalent pour remplacer un agent superintelligent, il doit inclure des
processus de recherche et de planification internes extrêmement puissants.
Ces processus peuvent avoir des conséquences imprévues sous la forme
d'un comportement de type agent. Dans ce cas, il serait préférable de
développer immédiatement le système en tant qu'agent, afin que les
programmeurs puissent voir plus clairement quels critères déterminent les
résultats de leur travail.
 Chapitre onze
Scénarios pour un monde
multipolaire
Nous avons vu à maintes reprises (en particulier au chapitre huit) à quel
point le résultat, conduisant à un monde unipolaire, peut être dangereux
lorsqu'une seule superintelligence obtient un avantage stratégique décisif et
l'utilise pour former un singleton. Dans ce chapitre, nous examinerons ce
qui pourrait arriver dans le cas d'un résultat multipolaire : l'émergence d'une
société post-transitionnelle avec de nombreux agents superintelligents
concurrents. Ce scénario nous intéresse pour deux raisons. En premier lieu,
une solution au problème du contrôle peut être la méthode d'intégration
sociale ; ses avantages et ses inconvénients ont été signalés dans le
neuvième chapitre. Elle sera décrite en détail dans ce chapitre.
Deuxièmement, même en l'absence d'une volonté délibérée de créer un
environnement multipolaire pour résoudre les problèmes de contrôle, ils
peuvent se développer d'eux-mêmes. Comment sera le résultat alors ? Il
n'est pas du tout nécessaire que la société concurrentielle naissante soit
prometteuse et pérenne.
Dans le scénario d'un monde unipolaire, lorsque la limite critique a déjà été
franchie et que la règle d'un singleton est arrivée, tout ce qui se passera
ensuite dépendra entièrement de votre système de valeurs. Par conséquent,
le résultat peut être très bon ou très mauvais, selon les intentions du
singleton. À son tour, son orientation de valeur dépend de la résolution du
problème de contrôle et, si c'est le cas, des objectifs du projet dans le cadre
duquel le singleton a été créé.
Par conséquent, ceux qui s'intéressent aux scénarios de résultats possibles
avec la formation d'un singleton peuvent s'appuyer sur trois sources
d'informations possibles : les facteurs qu'un singleton ne peut pas influencer
(par exemple, les lois physiques) ; objectifs instrumentaux convergents;
objectifs finaux visés.
Dans les scénarios d'un monde multipolaire, un ensemble supplémentaire de
conditions apparaît, qui joue également un rôle informatif : différents types
de relations entre les agents. De leur interaction naît telle ou telle
dynamique sociale, que l'on peut analyser à partir des connaissances de la
théorie des jeux, de l'économie et de la théorie de l'évolution, ainsi que de
certains éléments de science politique et de sociologie, dans la mesure où
on les libère de l'aléatoire. les caractéristiques . de l'expérience humaine. Il
serait étrange d'espérer que de ces sources nous puissions extraire
suffisamment d'informations pour brosser un tableau complet du monde
post-transition, mais elles aideront à esquisser les scénarios les plus
plausibles et à remettre en question les hypothèses les plus infondées.
Nous commençons par examiner un modèle de scénario caractérisé par
certains indicateurs économiques : faible réglementation, forte protection
des droits de propriété et pénétration modérée des systèmes d'intelligence
artificielle à faible coût
1
. Le modèle dit économique est le plus souvent
associé au nom de l'économiste américain Robin Hanson, qui est devenu le
pionnier de ce sujet. Ci-dessous, nous considérons quelques considérations
évolutives et explorons les perspectives d'un monde post-transitionnel
multipolaire qui finira par devenir un monde unique.
Sur les chevaux et les gens.
L'intelligence artificielle universelle pourrait remplacer l'intelligence
humaine. De plus, l'AIM pourra effectuer non seulement un travail mental,
mais aussi un travail physique; cependant, il ne le fera pas lui-même, mais
remplacera les personnes par des actionneurs et des mécanismes robotiques.
Supposons que les travailleurs de machines, qui sont très faciles à
reproduire, deviennent moins chers et plus capables que les travailleurs
humains dans presque toutes les professions. Que se passera-t-il alors ?
salaires et chômage
Avec l'arrivée d'ouvriers mécaniques facilement reproductibles, les salaires
du marché vont baisser. Une personne ne conservera sa compétitivité que
dans les domaines d'activité professionnelle où les clients humains
chercheront à communiquer avec les leurs et non avec les machines.
Aujourd'hui, les biens fabriqués à la main ou produits par des peuples
autochtones dans certains endroits à l'aide de technologies traditionnelles
coûtent souvent plus cher. Peut-être qu'à l'avenir, les consommateurs
choisiront des produits fabriqués par des personnes et préféreront également
les athlètes humains, les artistes humains, les amants humains et les
politiciens humains, bien que d'un point de vue fonctionnel, un être artificiel
sera indiscernable et même supérieur à , une personne. . On ne sait pas
combien de temps dureront ces préférences. Après tout, si les cyber-
alternatives deviennent nettement supérieures aux personnes dans tous les
domaines, elles seront peut-être plus appréciées.
Pour le choix du consommateur, un paramètre tel que le monde intérieur
d'une personne fournissant un service ou fabriquant un produit peut être
important. Les mélomanes apprécieront particulièrement le fait que les
interprètes ressentent la musique et ressentent la réaction de leurs auditeurs.
Le musicien sans subjectivité ressemble plus à une platine vinyle de haute
qualité capable de produire une image en trois dimensions et d'interagir
naturellement avec le public. Des machines peuvent être créées capables de
reproduire les états mentaux caractéristiques des humains effectuant la
même tâche. Cependant, même en présence d'une parfaite imitation de
l'expérience subjective, certains choisiront un travail « organique ». Ces
préférences peuvent avoir, par exemple, des racines idéologiques ou
religieuses. Tout comme de nombreux musulmans et juifs évitent de manger
des aliments haram et non casher, il y aura des consommateurs à l'avenir qui
éviteront les biens et services activés par l'IA.
Qu'est-ce-que tout cela veut dire? Le nombre d'emplois pour les personnes
sera réduit, car la main-d'œuvre mécanique bon marché peut remplacer la
main-d'œuvre humaine. En principe, l'horreur du début de l'automatisation
industrielle et la perte de travail à cause de cela n'est pas nouvelle.
Périodiquement - au moins depuis le début de la révolution industrielle - les
craintes du chômage technologique se sont accrues, alors que moins
nombreux sont ceux qui en ont souffert que les tisserands anglais et leurs
apprentis, qui se sont regroupés au début du XIXe siècle sous la bannière du
légendaire Ned Ludd, mieux connu sous le nom de général Ludd, pour
combattre les menaces de pouvoir. Et pourtant, bien que les machines
remplissent de nombreux emplois, elles restent un complément au travail
humain. En grande partie à cause de cet ajout, le salaire moyen des
personnes augmente dans le monde entier. Cependant, tout ce qui
commence comme un ajout, au fil du temps, prend la place principale. Au
début, le cheval complétait les charrettes et les charrues, augmentant
considérablement leur productivité. Plus tard, le cheval a complètement
cédé la place aux voitures et aux tracteurs. Les innovations ont réduit la
demande de main-d'œuvre équestre et ont provoqué une forte baisse de la
population de ces animaux domestiques. Un sort similaire attend-il notre
espèce ?
L'histoire du cheval est suffisamment révélatrice pour le sujet en discussion,
alors continuons à nous demander pourquoi on trouve encore des chevaux.
L'une des raisons est l'existence de niches où les chevaux continuent de
dominer, comme lorsque la police patrouille dans les parcs. Mais la raison
principale est que les gens ont développé des habitudes favorites qu'ils ne
vont pas abandonner, comme l'équitation et les courses de chevaux. Ces
préférences sont similaires à celles que les humains auront
hypothétiquement à l'avenir envers certains produits fabriqués par des
mains humaines. Bien que cette analogie soit suggestive, elle n'est pas tout
à fait exacte, car les chevaux n'ont pas encore d'analogue entièrement
fonctionnel. S'il existait des appareils automatiques peu coûteux
ressemblant à de vrais chevaux, capables de galoper dans les prairies, ayant
exactement la même forme et la même odeur, procurant les mêmes
sensations tactiles, avec les mêmes habitudes caractéristiques, alors la
demande de chevaux biologiques serait probablement beaucoup plus
réduite. .
À la suite d'une forte baisse de la demande de main-d'œuvre humaine, les
salaires pourraient tomber en dessous du niveau de subsistance. C'est-à-dire
que les travailleurs potentiellement humains courent un grand risque : il ne
s'agit pas seulement de réductions de salaire, de rétrogradations ou de la
nécessité de se recycler, mais plutôt de la perspective de la famine. Lorsque
les chevaux sont devenus obsolètes comme moyen de transport, beaucoup
ont été vendus à l' abattoir et transformés en nourriture pour chiens, en
farine d'os, en cuir et en colle. Ces animaux n'avaient pas de source
d'utilisation alternative qui paierait leur entretien. Il y avait environ vingt-
six millions de chevaux aux États-Unis en 1915. Au début des années 1950,
il en restait deux millions
2
.
Capital et sécurité sociale
Quelle est la différence fondamentale entre les chevaux et les humains ? La
conclusion est que ces derniers disposent de capitaux. Il a été démontré
empiriquement que la participation au capital à long terme est d'environ 30
% (bien qu'elle soit sujette à de fortes fluctuations à court terme)
3
. Cela
signifie que 30 % du revenu mondial sont perçus par les propriétaires du
capital sous forme de rente, et que les 70 % restants sont perçus par les
travailleurs sous forme de salaires. Si nous classons l'IA comme capital,
alors avec l'invention de l'intelligence artificielle qui peut remplacer
complètement les travailleurs humains, leurs salaires tomberont au niveau
du coût d'entretien des travailleurs mécaniques qui peuvent les remplacer, et
les coûts sont très bas, bien en deçà de le niveau de subsistance humaine -
basé sur des hypothèses sur le rendement élevé des machines. C'est-à-dire
que la part du revenu attribuable aux travailleurs humains sera réduite à
presque zéro. Mais cela signifie que le capital représentera près de 100 %
du PIB mondial. Alors que le PIB mondial s'envole en raison de l'explosion
de l'intelligence artificielle (due à l'émergence d'un grand nombre de
nouvelles machines qui remplacent les humains, ainsi que des innovations
technologiques et, plus tard, de l'acquisition de vastes territoires par la
colonisation spatiale), le total les revenus du capital augmenteront
également de manière significative. Si les gens restent propriétaires, le
revenu total de l'humanité augmentera dans des proportions astronomiques,
malgré le fait que dans ce scénario, les gens ne recevront plus de revenus
sous forme de salaires.
Autrement dit, l'humanité dans son ensemble peut devenir fabuleusement
riche. Mais comment cette richesse sera-t-elle distribuée ? En première
approximation, les revenus du capital devraient être proportionnels à la
valeur du capital lui-même. Compte tenu d'un multiplicateur astronomique,
même une petite quantité de capital avant la transition se transformera en
une grande fortune par la suite. Cependant, dans le monde moderne, de
nombreuses personnes manquent de capital. Cela s'applique non seulement
à ceux qui vivent dans la pauvreté, mais aussi à certains détenteurs de
revenu élevé ou de capital humain qui ont une valeur nette négative, en
particulier de nombreux jeunes de la classe moyenne qui n'ont pas d'actifs
corporels mais qui ont des cartes de crédit. crédit ou prêt. dette pour la
formation
4
. Mais si l'épargne peut rapporter des intérêts extrêmement
élevés, alors vous devez avoir au moins un capital de départ sur lequel bâtir
5

.
Cependant, même les personnes qui n'avaient aucune richesse au début de
la période de transition peuvent devenir extrêmement riches. Par exemple,
les participants à des programmes de retraite, tant publics que privés, si les
fonds de ces programmes sont au moins partiellement investis en bourse
6
.
Ceux qui n'y participeront pas deviendront également riches grâce à la
philanthropie des nouveaux riches : en raison de l'ampleur vraiment
astronomique du nouvel El Dorado, même une petite partie de la fortune
destinée à la charité s'avérera être une grande quantité . somme en termes
absolus.
Il est possible que pendant la période de transition, il y ait des personnes qui
seront toujours payées pour leur travail, bien que les machines les
surpassent fonctionnellement dans tous les domaines (et seront également
moins chères que les employés humains). Nous avons déjà dit qu'il peut y
avoir des professions dans lesquelles des personnes sont préférées comme
travailleurs pour des raisons esthétiques, idéologiques, éthiques, religieuses
ou autres non pragmatiques. En raison de la forte augmentation des revenus
des personnes qui continuent à détenir le capital, la demande de ces
travailleurs augmentera également en conséquence. Les trillionnaires et
quadrillionnaires nouvellement créés pourront se permettre de payer une
prime généreuse pour le privilège d'avoir des produits et des services
produits par la main-d'œuvre « organique » : les gens. Là encore un
parallèle peut être fait avec l'histoire du cheval. Après le déclin de la
population de chevaux aux États-Unis à deux millions d'individus au début
des années 1950, elle a commencé à se rétablir rapidement et, selon des
statistiques récentes, est passée à dix millions d'animaux
7
. Cette croissance
n'est pas due à la demande de chevaux dans l'agriculture ou les transports,
mais parce que davantage d'Américains peuvent se permettre de poursuivre
le passe-temps de posséder des chevaux pour le plaisir grâce à la croissance
économique.
Une autre différence importante entre les chevaux et les personnes, outre la
disponibilité de capitaux pour ces derniers, est que les personnes sont
capables de mobilisation politique. Les gouvernements contrôlés par le
peuple peuvent utiliser les pouvoirs fiscaux de l'État pour redistribuer les
bénéfices privés ou augmenter les revenus en vendant des biens publics
attrayants, tels que des terres, et utiliser ces fonds pour payer les pensions
de leurs citoyens. Je le répète, une croissance économique explosive
pendant et immédiatement après la période de transition augmentera la
richesse de manière exorbitante, et même les chômeurs se révéleront assez
riches. Il se peut qu'un pays donné soit en mesure d'offrir un mode de vie
décent à chaque personne sur Terre, en y allouant une partie de ses revenus
n'excédant pas ce que de nombreux pays consacrent actuellement à la
charité
8
.
Les conditions malthusiennes dans une perspective historique
Jusqu'à présent, nous avons supposé que la population de la Terre
n'augmente pas. Cela peut se justifier à court terme, puisque le taux de
reproduction est biologiquement limité. Cependant, après de longs
intervalles de temps, cette hypothèse cesse d'être vraie.
Au cours des neuf mille dernières années, l'humanité s'est multipliée par
mille
9
. Son taux de croissance aurait pu être beaucoup plus élevé si ce
n'était du fait que, à la fois dans la préhistoire et plus tard, la population de
la Terre était constamment confrontée à des limites économiques. La
plupart du temps, les conditions décrites par Malthus prévalaient : la plupart
des gens recevaient un revenu de subsistance, leur permettant à peine de
joindre les deux bouts et d'élever deux enfants
10
. Périodiquement, il y avait
un répit temporaire et local à la suite d'épidémies, de famines et de guerres,
qui réduisaient la population, ce qui "libérait" en quelque sorte la Terre,
permettant aux survivants d'améliorer leur alimentation et d'avoir plus
d'enfants, jusqu'à ce que les rangs s'éclaircissent. ils ont répondu. et les
conditions malthusiennes ont été restaurées. En raison également des
inégalités sociales, une fine couche d'élites disposait de revenus supérieurs à
la moyenne (au détriment de quelque chose qui réduisait la taille globale de
la population par ailleurs stable). Il s'avère que, en termes malthusiens, tout
ce qui au sens usuel apparaît comme le pire ennemi du bien-être humain :
sécheresses, épidémies, meurtres et inégalités sociales, en sont les
principaux bienfaiteurs, puisqu'eux seuls en sont capables de temps en
temps. lorsque. élever le niveau de vie moyen légèrement au-dessus du
niveau de subsistance. Et c'est l'état normal des choses pendant la majeure
partie de notre séjour sur cette planète. Il provoque des pensées tristes et
inquiétantes.
L'histoire montre que, malgré les fluctuations locales, il y a eu une
augmentation constante de la croissance économique, tirée par
l'accumulation de l'innovation technologique. Proportionnellement à la
croissance de l'économie mondiale, la population de la planète augmente
également. (Il semble qu'une population croissante accélère à elle seule le
taux de croissance, peut-être en raison de l'augmentation de l'intelligence
collective de l'humanité
11
.) Cependant, après la révolution industrielle, la
croissance économique s'est tellement accélérée que la croissance de la
population mondiale ne pouvait plus l'égaler. . En conséquence, le revenu
moyen a commencé à augmenter, d'abord dans les pays d'Europe
occidentale, où l'industrialisation a eu lieu plus tôt, puis dans le reste du
monde. Aujourd'hui, même dans les pays les plus pauvres, le revenu moyen
dépasse largement le seuil de subsistance, comme en témoigne la croissance
démographique de ces pays.
Aujourd'hui, ce sont les pays les plus pauvres qui connaissent les taux de
croissance démographique les plus élevés, car ils n'ont pas encore achevé la
« transition démographique » vers le régime de faible fécondité observée
dans les sociétés plus développées. Les démographes prédisent que d'ici le
milieu du siècle, la population mondiale atteindra neuf milliards, mais après
cela, la croissance plafonnera ou même ralentira à mesure que les pays les
plus pauvres rejoindront le
monde développé à faible taux de fécondité
. Dans de nombreux
pays riches, le taux de fécondité est inférieur au niveau de remplacement,
souvent bien inférieur à
13
.
Dans le même temps, on peut s'attendre à ce qu'à long terme, le
développement technologique et le bien-être économique conduisent à un
retour à un état historiquement et écologiquement normal, dans lequel la
population de la planète recommencera à vivre consécutivement. votre
créneau. Si cela semble paradoxal au regard de la relation négative entre
richesse et fécondité que l'on observe aujourd'hui à l'échelle mondiale, il
faut rappeler que l'ère moderne est un épisode très court de l'histoire
humaine, voire une aberration. Le comportement humain n'est pas adapté
aux conditions modernes. Non seulement nous n'utilisons pas de moyens
évidents pour augmenter notre condition physique inclusive (comme le don
de sperme et d'ovules), mais nous supprimons également activement la
fertilité grâce à l'utilisation de la contraception. Du point de vue de la
condition physique évolutive, un désir sexuel sain est suffisant pour
s'engager dans des rapports sexuels d'une manière qui maximise le potentiel
de reproduction; cependant, dans les conditions modernes, un grand
avantage en termes de sélection naturelle viendrait d'un désir plus prononcé
de devenir le père biologique d'autant d'enfants que possible. A notre
époque, ce désir est réprimé, tout comme d'autres traits qui stimulent notre
propension à procréer. Cependant, l'ajustement culturel peut nuire à
l'évolution biologique. Certaines communautés, telles que les Huttérites ou
le mouvement chrétien Quiverfull, ont développé une culture nataliste
d'encouragement des familles nombreuses et se développent rapidement en
conséquence.
Croissance démographique et investissement
Si nous imaginons que les conditions macroéconomiques sont magiquement
figées dans leur état actuel, alors l'avenir sera déterminé par les groupes
culturels et ethniques qui maintiennent un taux de natalité élevé. Si la
plupart des gens avaient aujourd'hui des préférences pour maximiser leur
condition physique, la population de la planète pourrait facilement doubler
à chaque génération. S'il n'y avait pas de politiques de contrôle des
naissances - et elles s'opposent de plus en plus à ceux qui tentent de les
contourner - le nombre de personnes sur notre planète pourrait croître de
façon exponentielle, confrontées à des problèmes tels que la privation de
terres et l'épuisement des ressources. simples innovateurs. Opportunités.
Cela rendrait impossible la poursuite de la croissance économique : le
revenu moyen commencerait à tomber à un niveau où la pauvreté
empêcherait la plupart des gens d'avoir plus de deux enfants à élever. Ainsi,
le piège malthusien se serait refermé, mettant fin à notre escapade au pays
des rêves et à nouveau, tel un cruel propriétaire d'esclaves, nous enchaînant
et nous obligeant à lutter de toutes nos forces pour notre survie.
En raison du développement explosif de l'intelligence artificielle, il semble
que les prévisions à long terme cesseront bientôt d'être aussi longues. Les
logiciels, comme nous le savons, sont faciles à copier, de sorte que des
populations de cerveaux simulés ou de systèmes d'intelligence artificielle
commenceront à germer en quelques minutes, et non des décennies et des
siècles, épuisant complètement les ressources matérielles de la Terre.
Très probablement, la propriété privée aide à se protéger contre l'assaut total
des conditions malthusiennes. Considérons un modèle simple dans lequel
les clans (ou communautés ou pays fermés) commencent avec différentes
quantités de propriété et prennent indépendamment différentes décisions
stratégiques concernant la fécondité et l'investissement. Certains clans
n'anticipent pas et gaspillent leur richesse, faisant rejoindre leurs membres
appauvris dans les rangs du prolétariat mondial (ou mourir s'ils ne peuvent
pas se nourrir). D'autres clans investissent une partie de leurs ressources
financières et adoptent une politique de naissances illimitées ; en
conséquence, ils deviennent de plus en plus peuplés, jusqu'à ce que les
conditions malthusiennes se développent, dans lesquelles la population
s'appauvrit de sorte que le taux de mortalité corresponde presque au taux de
natalité. et à partir de ce moment la croissance de la population est
comparée à la croissance des ressources disponibles dont elle dispose. Dans
le même temps, d'autres clans peuvent limiter leur taux de natalité à un
niveau qui ne dépasse pas le taux de croissance de leur capital ; ces clans
pourraient augmenter lentement le nombre de leurs membres, tandis que
leur revenu par habitant augmenterait également.
Si la richesse est redistribuée à partir de clans riches de sorte qu'ils
prolifèrent rapidement et gaspillent leurs ressources (dont les descendants,
sans faute de leur part, sont apparus dans un monde où il n'y a pas assez de
capital pour survivre et prospérer), alors les conditions malthusiennes
classiques sont en place. Sa place. . Dans le cas extrême, tous les membres
de tous les clans reçoivent un revenu de subsistance et tous sont égaux dans
leur pauvreté.
Si la propriété n'est pas redistribuée, les clans prudents peuvent conserver
un certain capital et leur richesse peut croître en termes absolus. Cependant,
il n'est pas clair si les gens peuvent fournir le même retour sur leur capital
que l'intelligence artificielle, car il peut y avoir une synergie entre le travail
et le capital : un agent qui a les deux (par exemple, un entrepreneur ou un
investisseur qui a une grande intelligence et un grande fortune) recevront
des agents aux ressources financières comparables mais pas intellectuelles
qui obtiendront un retour sur investissement supérieur à la moyenne du
marché. Puisque les gens seront inférieurs en intelligence aux machines,
leur capital augmentera plus lentement, à moins, bien sûr, qu'il soit possible
de résoudre finalement le problème du contrôle, car alors le rendement du
capital humain sera égal au rendement du capital machine. . parce qu'un
mandant humain peut charger un agent machine de gérer son épargne, et ce,
gratuitement et sans conflit d'intérêts ; mais même dans ce cas, le rapport
entre les économies et la propriété de la machine approchera
asymptotiquement de cent pour cent.
Cependant, un scénario dans lequel la part de l'économie détenue par les
machines approche asymptotiquement de cent pour cent n'est pas la seule
option pour réduire l'influence humaine. Si l'économie croît rapidement,
même sa part relativement décroissante peut augmenter en termes absolus.
C'est une relativement bonne nouvelle pour l'humanité : dans un
environnement multipolaire avec des droits de propriété privée protégés, le
montant total de la richesse que les gens possèdent peut augmenter même
s'ils ne parviennent pas à résoudre le problème de contrôle. Bien sûr, cet
effet n'élimine en rien la possibilité d'une croissance démographique à un
niveau tel que le revenu par habitant tombe au niveau de subsistance, ainsi
que la possibilité d'appauvrissement des personnes qui escomptent l'avenir.
A terme, l'économie sera davantage dominée par les clans aux taux
d'épargne les plus élevés : les avares qui possèdent la moitié de la ville et
vivent sous les ponts. Les plus aisés d'entre eux n'épuiseront leur épargne
que lorsque toutes les opportunités d'investissement auront été épuisées
14
.
Cependant, si la protection des droits de propriété s'avère loin d'être idéale,
par exemple lorsque les machines les plus efficaces peuvent, de gré ou de
force, accumuler des ressources qui appartenaient à des personnes, alors les
capitalistes humains pourraient devoir dépenser leur fortune beaucoup plus
rapidement, jusqu'à ce qu'il soit complètement fondu par les actions des
machines (ou le coût de la protection contre elles). Si tout cela se passe à
une vitesse numérique, et non biologique, alors les gens n'auront pas le
temps de regarder en arrière, puisqu'ils seront déjà dépossédés de leur
propriété
15
.
La vie dans le monde numérique
Pendant la période de transition, le mode de vie d'une personne vivant dans
des conditions malthusiennes ne ressemblera pas nécessairement à l'un des
modèles qui nous sont familiers (disons, celui d'un chasseur, d'un cueilleur,
d'un agriculteur ou d'un commis). Très probablement, la plupart des gens
mènent une existence misérable en tant que rentier oisif avec à peine assez
d'économies pour vivre
16
. Les gens vivront très mal, en fait avec le 1% ou
les prestations de l'État. Mais en même temps, ils vivront dans un monde de
technologies innovantes, un monde non seulement de machines super-
intelligentes, mais aussi de médicaments anti-âge et de drogues de plaisir ;
dans le monde de la réalité virtuelle et diverses techniques d'auto-
amélioration. Et il est peu probable que tout cela soit à la portée de la
majorité. La vraie médecine sera très probablement remplacée par des
médicaments stoppant la croissance et ralentissant le métabolisme afin
d'économiser de l'argent, car pour la plupart des gens, une vie active sera
impossible (étant donné la baisse constante de leurs revenus déjà minimes).
). À mesure que la population augmente et que les revenus diminuent, les
gens peuvent régresser vers un statut de retraité minimal, peut-être un
cerveau faiblement conscient immergé dans un vaisseau connecté à un
approvisionnement en oxygène et en fluides nutritifs que les machines
servent et peuvent stocker. technicien robot spécial
17
.
Une frugalité encore plus grande sera obtenue grâce à la simulation
cérébrale, car un substrat de calcul physiquement optimisé créé par une
superintelligence peut être plus efficace qu'un cerveau biologique.
Cependant, la migration vers la réalité numérique sera entravée par le fait
que les imitateurs ne seront pas considérés comme des personnes ou des
citoyens et ne seront donc pas éligibles à un compte de retraite ou d'épargne
libre d'impôt. Dans ce cas, la niche des humains restera, ainsi qu'une
population croissante de modèles de simulation et de systèmes
d'intelligence artificielle.
Jusqu'à présent, toute l'attention s'est portée sur le sort de nos descendants,
dont la vie peut être soutenue par des économies, des avantages ou des
salaires perçus aux dépens de ceux qui emploient des travailleurs humains.
Intéressons-nous maintenant à ces entités que nous avons qualifiées
jusqu'ici de capital : aux machines qui ont toujours appartenu à des
personnes, des machines conçues pour remplir certaines fonctions et
capables de remplacer une personne dans un très large éventail de tâches.
Quelle sera la position de ces bêtes de somme de la nouvelle économie ?
Il n'y aurait rien à discuter si toutes ces machines restaient des automates,
de simples appareils comme une machine à vapeur ou un mécanisme
d'horlogerie ; Il y aura beaucoup de ces bienfaits dans une économie post-
transition, mais il semble peu probable que quiconque s'intéresse à ce
démon. ensemble de composants. Cependant, si les machines ont une
conscience, si elles sont conçues pour être conscientes de leur propre
exceptionnalisme (ou si un statut moral leur est attribué), alors il est
important de les inclure dans le système mondial. Le bien-être des
travailleurs des machines s'avérera être l'aspect le plus important de la
période post-transition, car ils domineront quantitativement.
Esclavage volontaire, mort accidentelle
La première question qui se pose est : les ouvriers des machines seront-ils la
propriété du capital (esclaves) ou seront-ils embauchés pour des salaires ?
Cependant, après un examen plus approfondi, des doutes surgissent que tout
dépendra de la réponse. Il y a deux raisons à cela. Premièrement, si un
travailleur libre dans des conditions malthusiennes reçoit un salaire de
subsistance, il ne lui reste plus d'argent après avoir payé la nourriture et les
autres nécessités de base. Si le travailleur est un esclave, alors le
propriétaire paie pour son soutien, et l'esclave n'a toujours pas de fonds
libres. Dans les deux cas, le travailleur ne reçoit que les produits de
première nécessité et rien de plus. Deuxièmement, supposons qu'un
travailleur libre puisse d'une manière ou d'une autre s'assurer un revenu
supérieur au niveau de subsistance (peut-être en raison d'une réglementation
favorable). Comment allez-vous dépenser ce bonus ? Pour les investisseurs,
le plus rentable serait de créer des travailleurs « esclaves » virtuels prêts à
travailler pour des salaires de subsistance. Cela pourrait être fait en copiant
les travailleurs qui ont déjà accepté ces conditions. Grâce à une sélection
appropriée (et peut-être à une modification du code), les investisseurs
pourraient créer des travailleurs qui non seulement choisiraient de faire du
bénévolat, mais choisiraient également de donner tout revenu
supplémentaire qui pourrait survenir à leurs employeurs. Cependant, une
fois que l'argent est remis au travailleur, il reviendra en boucle au
propriétaire ou à l'employeur, même si le travailleur est un agent libre avec
tous les droits légaux.
Peut-être que quelqu'un, objectant, notera à quel point il est difficile de
créer une machine qui accepte volontairement de faire n'importe quel travail
ou qui fait don de son salaire à son propre propriétaire. Mais les modèles de
simulation doivent avoir des motifs particulièrement proches des gens.
Notons que si le problème de contrôle initial, que nous avons considéré
dans les chapitres précédents, semblait difficile, nous parlons maintenant de
conditions de transition.
période
: où, apparemment, les méthodes de choix
de la motivation seront perfectionnées. Surtout en ce qui concerne les
modèles de simulation, beaucoup pourrait être réalisé simplement en
sélectionnant
les bons personnages humains. Le problème du contrôle sera
probablement simplifié en principe si nous supposons que la nouvelle
intelligence artificielle sera intégrée dans une matrice socio-économique
stable déjà peuplée d'autres agents superintelligents respectueux des lois.
Je propose donc de m'attarder sur le sort des travailleurs de la machine,
qu'ils soient esclaves ou agents libres. Parlons d'abord des émulateurs, car
ce sont les plus faciles à imaginer.
Il faudra quinze à trente ans pour qu'un nouveau travailleur humain
possédant l'expérience professionnelle et les compétences nécessaires
apparaisse dans le monde. Pendant tout ce temps, une personne doit être
nourrie, éduquée, formée, elle aura besoin d'un abri - tout cela représente
une dépense énorme.
En revanche, créer une nouvelle copie d'un travailleur numérique est aussi
simple que de charger un autre programme dans la RAM. Autrement dit, la
vie devient moins chère. Une entreprise peut constamment adapter sa main-
d'œuvre à l'évolution des besoins en créant de nouvelles copies et en
détruisant les anciennes pour libérer des ressources informatiques. Cela
peut entraîner une mortalité extrêmement élevée chez les travailleurs de
machines. La vie de beaucoup d'entre eux sera limitée à une journée
subjective.
Il peut y avoir d'autres raisons, outre les fluctuations de la demande, pour
lesquelles les employeurs ou les propriétaires d'émulateurs veulent
fréquemment tuer (immobiliser) leurs travailleurs
18
. Si un émulateur
cérébral, tel qu'un cerveau biologique, nécessite des périodes de repos et de
sommeil pour fonctionner correctement, il peut être plus économique de
supprimer une simulation épuisée à la fin de la journée et de la remplacer
par un état enregistré d'une simulation fraîche et reposée. . Puisqu'une telle
procédure conduirait à une amnésie rétrograde pour tout ce qui a été appris
en une journée, les émulateurs effectuant des tâches nécessitant la formation
de longues chaînes cognitives pourront éviter les suppressions fréquentes. Il
est difficile d'écrire un livre si chaque matin, assis à table, vous ne vous
souvenez de rien de ce qui a été créé la veille. Mais les agents effectuant des
types de travail moins intelligents peuvent être redémarrés assez souvent, et
cela peut être fait assez souvent : d'un vendeur ou d'un employé du service
client une fois formé, il ne faudra pas plus de vingt minutes pour «
conserver » les informations nécessaires.
Comme les redémarrages ne permettent pas la formation de la mémoire et
des compétences, certains émulateurs peuvent être placés dans un
environnement d'apprentissage spécial dans lequel ils resteront en
permanence, même pendant les périodes de repos et de sommeil, même si
leur travail ne nécessite pas de longues chaînes cognitives. Dans ces
conditions optimales, certains agents du service à la clientèle pourraient
travailler pendant de nombreuses années, et avec l'appui de formateurs et
d'experts en évaluation de la performance. Les meilleurs élèves pourraient
être utilisés comme "étalons reproducteurs", c'est-à-dire que des millions de
nouvelles copies de leur modèle seraient tamponnées chaque jour. Il est
logique d'investir massivement dans ces modèles, car même une petite
augmentation de leur productivité aurait un effet économique significatif,
étant reproduit des millions de fois.
Parallèlement à la tâche de formation des cadres à l'exercice de certaines
fonctions, de grands efforts seront déployés pour améliorer la technologie
de leur émulation. Des avancées dans cette direction seraient encore plus
précieuses que des avancées dans la formation de travailleurs modèles
individuels, puisque les améliorations de la technologie d'émulation
s'appliquent à tous les travailleurs d'émulation (et potentiellement à d'autres
modèles de simulation également), et pas seulement aux employés d'un
domaine spécifique. D'énormes ressources peuvent être consacrées à la
recherche de raccourcis informatiques pour créer des émulateurs plus
efficacement, ainsi qu'au développement d'architectures d'IA entièrement
synthétiques et neuromorphiques. Ces études seraient probablement
également menées avec des émulateurs fonctionnant sur du matériel très
rapide. Selon le coût de la puissance de calcul, des millions, des milliards
ou des billions de simulations cérébrales (ou de versions améliorées) par les
chercheurs humains les plus astucieux pourraient fonctionner 24 heures sur
24, repoussant les limites de l'intelligence artificielle ; certains d'entre eux
pourraient agir des ordres de grandeur plus rapidement que le cerveau
biologique
19
. C'est une bonne raison de croire que l'ère des émulateurs
humanoïdes sera courte,
très
courte en temps sidéral, et qu'elle sera
remplacée par une intelligence artificielle incommensurablement
supérieure.
Nous avons déjà énuméré plusieurs raisons pour lesquelles les employeurs
imitateurs peuvent périodiquement abattre leurs troupeaux : demande
fluctuante de travailleurs dans diverses professions ; économies de temps de
repos et de sommeil; l'apparition de nouveaux modèles améliorés. Une autre
raison pourrait être des problèmes de sécurité. Pour empêcher les
travailleurs simulés de faire éclore des stratagèmes et des complots hostiles,
les émulateurs occupant des postes de grande valeur pourraient fonctionner
pendant une durée limitée, avec des redémarrages fréquents à l'état de
préparation initial
20
.
Ces états initiaux, auxquels les paramètres de l'émulateur reviendront,
doivent être soigneusement préparés et retestés. Un émulateur à cycle de vie
court typique qui a été optimisé pour la fidélité et les performances peut se
sentir bien reposé le lendemain matin. Il se souviendrait qu'après de
nombreuses années (subjectives) d'entraînement intensif et de sélection, il
était devenu le meilleur parmi ses camarades de classe, venait de reprendre
des forces pendant les vacances, dormait bien, écoutait un discours inspirant
et émouvant et une musique entraînante, et maintenant vous hâte de faire de
votre mieux pour votre employeur.
Les pensées de mort inévitable à la fin de la journée de travail ne le
dérangent pas. Les émulateurs souffrant de peur de la mort et d'autres
névroses sont moins productifs et ne peuvent donc pas être sélectionnés
comme modèle
21
.
Un travail extrêmement dur comme le plus haut degré de
bonheur.
Lors de l'évaluation de l'opportunité de tels scénarios, il est important de
considérer l'état hédonique de l'émulateur moyen
22
. Le travailleur typique
de l'émulateur souffrira-t-il ou appréciera-t-il tout en faisant son travail
acharné?
Nous ne devons pas être tentés de projeter nos propres sentiments et
sensations sur un travailleur numérique imaginaire. La question n'est pas de
savoir si vous
seriez
heureux si vous deviez travailler constamment et ne
pas pouvoir voir vos proches ; c'est un destin terrible, sans aucun doute.
Il serait un peu plus correct de se baser sur l'expérience hédoniste des gens
modernes au cours d'une journée de travail normale. Il y a eu des études
dans le monde où l'on a demandé aux répondants s'ils étaient heureux, la
plupart choisissant des réponses allant de « plutôt heureux » à « très
heureux » (score moyen de 3,1 sur une échelle de 1 à 4)
23
. Les études sur
l'état émotionnel moyen, dans lesquelles on demandait aux répondants
quelles émotions positives ou négatives ils avaient récemment ressenties,
donnent souvent des résultats similaires (score moyen de 0,52 sur une
échelle de -1 à 1). Il existe une légère dépendance du bien-être subjectif
moyen à la taille du PIB par habitant du pays
24
. Cependant, ce serait une
erreur d'extrapoler ces données à l'état hédoniste des futurs travailleurs de
l'émulation. Une des raisons est que leurs conditions seront complètement
différentes : d'une part, ils pourront travailler beaucoup plus ; d'autre part,
ils seront exempts de maladies, de douleurs musculaires, de faim, de
mauvaises odeurs et plus encore. Bien que de telles considérations ne
parlent pas de l'essentiel. Plus important encore, votre sens du plaisir peut
être facilement corrigé avec l'équivalent numérique des médicaments ou de
la neurochirurgie. Cela signifie que ce serait une erreur de tirer des
conclusions sur l'état hédoniste des futurs émulateurs à partir des conditions
extérieures de leur vie, et encore moins de s'imaginer à leur place. L'état
hédonique est une question de choix conscient. Dans le modèle dont nous
discutons maintenant, ce choix est fait par le propriétaire du capital pour ses
travailleurs, qui cherche à maximiser le rendement de son investissement
dans les émulateurs du travail. Par conséquent, la question de leur bonheur
revient à savoir quels états hédonistes sont les plus productifs (pour les
différentes tâches qui seront soumises à ces modèles de simulation).
Encore une fois, veuillez vous abstenir de sauter aux conclusions. S'il
s'avère que, quelles que soient les époques, la géographie et la profession,
une personne est généralement modérément heureuse, cela peut pencher en
faveur du maintien de la même situation dans la période post-transition.
Autrement dit, ce n'est pas que puisque le cerveau humain est prédisposé à
la perception du bonheur, alors il sera probablement «satisfait» dans de
nouvelles conditions; nous voulons plutôt dire qu'une fois qu'un certain
niveau de bonheur a été atteint par le cerveau humain dans le passé, un
niveau similaire de bonheur peut être disponible pour les simulations du
cerveau humain à l'avenir. Mais cette formulation montre aussi la faiblesse
de la conclusion, à savoir que les états mentaux caractéristiques des
chasseurs et butineurs d'hominidés de la savane africaine ne sont pas
nécessairement adaptés aux versions modifiées du cerveau humain qui
vivent dans la réalité virtuelle post-transitionnelle. Bien sûr, nous pouvons
nous
attendre à ce que
les futurs travailleurs émulateurs soient aussi
heureux, voire plus heureux que les travailleurs humains tout au long de
leur histoire humaine ; mais il faudra chercher des raisons plus
convaincantes pour confirmer cette hypothèse (dans notre scénario d'un
monde multipolaire construit sur le principe du laissez-faire*).
Supposons que la raison de la prévalence de l'état de bonheur parmi les gens
(dans la mesure où il prévaut) est que cette émotion positive a servi de
fonction de signalisation dans des conditions d'adaptation évolutive. Donner
aux autres membres du groupe social l'impression de leur propre prospérité
(
je suis en bonne santé, je m'entends bien avec les autres et j'ai confiance
en mon avenir prospère
) pourrait accroître la popularité de l'individu. Dès
lors, la propension à la joie pourrait être un critère de sélection, ainsi la
biochimie du cerveau des modernes
L'être humain a été biaisé en faveur d'une perception du monde plus
positive que celle qui serait le plus efficace selon des critères matérialistes
plus simples. Si tel est le cas, alors la future
joie de vivre
* peut dépendre du
fait que dans le monde post-transitionnel l'émotion de joie conserve sa
fonction de signalisation, qui joue un rôle social. (Nous reviendrons bientôt
sur ce sujet.)
Une personne heureuse dépense-t-elle plus d'énergie qu'une personne
mélancolique ? Peut-être que les gens heureux sont plus créatifs et
imaginatifs, un comportement peu susceptible d'être bien accueilli par les
futurs employeurs. Peut-être qu'une concentration maussade et maussade
sur la bonne exécution du travail devient la ligne de conduite la plus
souhaitable pour la plupart des emplois. Nous ne croyons pas qu'il en soit
ainsi, nous disons seulement que nous ne savons pas qu'il n'en est pas ainsi.
Cependant, nous devrions considérer à quel point la situation pourrait être
mauvaise si l'une de ces hypothèses pessimistes sur les conditions
malthusiennes futures s'avérait vraie : non seulement en raison du « prix du
choix  » dans la création de quelque chose de meilleur et d'encore plus
grand, mais aussi parce que cette condition peut être mauvais en soi, peut-
être bien pire que les conditions malthusiennes.
Nous travaillons rarement à pleine capacité. Mais quand on fait ça, on sent à
quel point c'est douloureux. Imaginez que vous courez sur un tapis roulant
en montée : votre cœur bat la chamade, vos muscles sont endoloris, vos
poumons sont essoufflés. Petit coup d'œil au chronomètre : la prochaine
pause est prévue dans 49 ans, 3 mois, 20 jours, 4 heures, 56 minutes et 12
secondes ; c'est aussi l'heure de sa mort. Il est temps de regretter d'être né.
Et encore une fois, il ne s'agit pas du fait que tout sera exactement comme
ça : le problème est le manque de confiance que tout sera différent. Bien
sûr, une image plus optimiste peut être imaginée. Par exemple, il n'y a
aucune raison évidente pour que les émulateurs souffrent de maux et de
maladies physiques, car ils seraient privés d'une coque physique vulnérable,
ce qui serait tout un exploit par rapport à l'état actuel des choses. De plus,
comme la réalité virtuelle est assez bon marché, les émulateurs peuvent
travailler dans des cadres luxueux : dans de beaux palais au sommet des
montagnes, sur des terrasses donnant sur un jardin printanier fleuri, sur des
plages ensoleillées,
baigné par l'océan bleu, avec les bonnes conditions d'éclairage et de
température, de paysage et de décoration ; ils ne seront pas dérangés par les
odeurs désagréables, les bruits, la gravité et le bourdonnement des insectes ;
ils porteront des vêtements confortables, se sentiront alertes et concentrés et
mangeront bien. Plus important encore, si l'état d'esprit optimal pour que les
gens atteignent une productivité maximale dans la plupart des emplois est
une soif joyeuse d'activité, et apparemment c'est le cas, alors l'ère
numérique des modèles de simulation pourrait ressembler au paradis.
Dans tous les cas, il serait précieux de tout organiser pour que quelqu'un ou
quelque chose ait la possibilité d'intervenir et de tout arranger au cas où la
trajectoire choisie s'avérerait conduire à une dystopie. Il serait également
souhaitable de laisser quelque chose comme une issue de secours pour
échapper à la mort et à l'oubli au cas où la qualité de vie tomberait
régulièrement en dessous du point où l'extinction deviendrait préférable à la
poursuite de l'existence.
Des sous-traitants de conscience privée ?
A long terme, lorsque l'ère des émulateurs sera remplacée par l'ère de
l'intelligence artificielle (ou si l'intelligence artificielle apparaît
immédiatement, en sautant l'étape du modèle de simulation cérébrale), dans
le scénario d'un monde multipolaire, la douleur et le plaisir peuvent
disparaître complètement, puisque le mécanisme de récompense hédoniste
ne sera pas le système le plus efficace pour stimuler l'intelligence artificielle
complexe, un agent qui, contrairement au cerveau humain, n'est pas
encombré par l'héritage du système nerveux animal. Peut-être qu'un
système de motivation plus parfait est basé sur une expression explicite de
la fonction d'utilité ou sur une autre architecture dépourvue d'analogues
fonctionnels directs du plaisir et de la douleur.
Une version proche, mais un peu plus radicale, d'un monde multipolaire -
en principe dépourvu des systèmes de valeurs auxquels nous sommes
habitués - est un scénario dans lequel le prolétariat mondial sera
complètement dépourvu de conscience. La probabilité que cela se produise
est particulièrement élevée dans le cas de l'IA, qui peut être structurée très
différemment de l'intelligence humaine. Mais même si l'intelligence
artificielle émerge d'abord de l'émulation cérébrale totale, alimentant l'essor
d'agents numériques conscients, la persistance de la concurrence dans une
économie post-transition pourrait bien conduire à l'essor de formes
d'intelligence progressives et moins neuromorphiques. artificiel, soit en
construisant l'IA à partir de zéro, soit à la suite de modifications et
d'améliorations successives des modèles de simulation, et dans le processus
d'amélioration, les émulateurs perdront de plus en plus de caractéristiques
humaines.
Considérons un scénario où, après l'avènement de la technologie
d'émulation du cerveau entier, les progrès continus des neurosciences et de
la cybernétique (alimentés par la présence d'émulateurs agissant en tant que
chercheurs et sujets expérimentaux) permettraient d'isoler des modules
cognitifs émulés individuels et de les connecter à des appareils. Similaire.
modules isolés des autres émulateurs. Pour que ces modules standards
coopèrent efficacement, ils auront besoin d'une période d'apprentissage et
de perfectionnement, après quoi ils pourront interagir plus rapidement. Cela
augmentera votre productivité et stimulera davantage la normalisation.
Après cela, les émulateurs pourront commencer à externaliser la plupart de
leurs fonctionnalités. Pourquoi apprendre l'addition et la multiplication
quand vous pouvez soumettre un problème mathématique à Gauss Modules,
Inc. ? Pourquoi parler quand vous pouvez engager Coleridge Conversation
Agency pour mettre vos pensées en mots ? Pourquoi prendre des décisions
concernant votre vie personnelle alors qu'il existe des cadres certifiés
capables d'analyser votre système de valeurs et de gérer vos ressources afin
que vos visions puissent se réaliser plus rapidement que si vous le faisiez
vous-même ? Certains émulateurs peuvent préférer conserver la plupart de
leurs propres fonctionnalités et effectuer eux-mêmes même les tâches que
d'autres seraient plus efficaces à gérer. Ils ressembleront à des amateurs qui
cultivent joyeusement des légumes ou tricotent des chandails. Mais ces
émulateurs amateurs ne deviendront jamais des pros, donc si le flux de
travail est redirigé de joueurs inefficaces vers des joueurs plus efficaces, ces
modèles de simulation seront certainement perdants.
Ainsi, les cubes de bouillon des esprits humanoïdes individuels se
dissoudront et deviendront une concoction algorithmique homogène.
On peut supposer qu'une efficacité optimale sera assurée en regroupant les
modules responsables de diverses capacités dans des structures qui
ressemblent vaguement au système des fonctions cognitives du cerveau
humain. Il est tout à fait possible, par exemple, que le module de
mathématiques doive être associé au module de langue, et les deux au
module exécutif, afin que les trois puissent fonctionner ensemble.
L'externalisation cognitive sera alors pratiquement inutile. Mais jusqu'à ce
qu'il y ait des preuves convaincantes de cela, nous devons supposer que
l'architecture cognitive de type humain n'est optimale que dans le cadre des
contraintes spécifiquement associées à la neurologie humaine (et peut-être
pas optimale du tout). Lorsque des architectures prometteuses apparaîtront
qui ne peuvent pas être bien mises en œuvre dans les réseaux de neurones
biologiques, il y aura un besoin de solutions qualitativement nouvelles, et
les plus réussies ne ressembleront plus guère aux types de psyché que nous
connaissons. Ensuite, les schémas cognitifs de type humain commenceront
à perdre leur compétitivité dans les nouvelles conditions économiques et
écosystémiques de l'ère post-transitionnelle
25
.
En d'autres termes, il peut bien y avoir des niches pour les systèmes
intelligents : d'autres moins complexes, comme les modules individuels ;
d'autres plus complexes, comme d'énormes groupes de modules ;
comparable en complexité au cerveau humain, mais avec une architecture
radicalement différente. Ces systèmes auront-ils une valeur ? Doit-on saluer
la naissance d'un monde dans lequel ces systèmes extraterrestres remplacent
le cerveau humain ?
La réponse à cette question peut dépendre de la nature spécifique de ces
systèmes. Il existe aujourd'hui de nombreux niveaux d'organisation dans le
monde. Il existe des structures de haut niveau très complexes, telles que des
États et des sociétés transnationales composées de nombreuses personnes,
mais derrière ces structures, nous ne reconnaissons généralement qu'une
valeur instrumentale. Les États et les entreprises (comme on le croit
communément) n'ont pas de conscience au-delà de la conscience des
personnes qui les composent : ils ne sont pas capables de ressentir la
douleur, le plaisir ou tout autre sentiment. Nous ne les apprécions que dans
la mesure où ils servent les besoins des gens, et quand ils ne font pas leur
travail, nous les "tuons" sans le moindre remords. Il existe des structures de
niveau inférieur, également généralement dépourvues de statut moral. Nous
ne voyons aucun mal à supprimer une application d'un smartphone, nous ne
pensons pas qu'un neurochirurgien fasse du mal à une personne atteinte
d'épilepsie lorsqu'il retire une partie défectueuse du cerveau. La plupart des
gens n'accepteront le statut moral des systèmes complexes au niveau du
cerveau humain que s'ils sont capables d'une
expérience consciente
.
A l'extrême, on peut imaginer une société technologiquement très avancée,
constituée de nombreux systèmes complexes, voire bien plus complexes et
intelligents que tout ce qui existe aujourd'hui sur la planète : une société
totalement dépourvue de toute personne consciente ou dont le bien-être a
signification morale. Dans un certain sens, ce serait une société inhabitée.
Une société de miracles économiques et technologiques qui ne profitent à
personne. Disneyland sans enfants.
Évolution : la montée ou pas forcément ?
Le mot
évolution
est souvent utilisé comme synonyme de
progrès
, reflétant
peut-être la perception non critique généralement acceptée de l'évolution en
tant que force du bien. Une croyance infondée dans la bienfaisance
inhérente du processus évolutif peut céder la place à une évaluation
impartiale de la désirabilité d'un résultat multipolaire dans lequel l'avenir de
la vie intelligente est déterminé par une dynamique compétitive. Une telle
évaluation doit être basée sur une idée (au moins implicite) de la
distribution de probabilité des différents phénotypes qui seront capables de
s'adapter à la vie numérique post-transition. Même dans le meilleur des cas,
il serait difficile d'extraire une réponse claire et correcte de la toile
d'incertitude inévitable qui entoure ce sujet, surtout si nous faisons toujours
notre part et ajoutons une bonne dose d'optimisme naïf.
Une source possible de foi dans le mouvement vers l'avant de l'évolution est
la dynamique ascendante du processus évolutif dans le passé. Commençant
par les cellules en division les plus simples, l'évolution a donné naissance à
des organismes de plus en plus "évolués", y compris des créatures dotées de
cerveaux, de conscience, de langage et de pensée. Plus tard, ce sont
précisément ces processus culturels et technologiques qui ressemblent un
peu aux processus évolutifs qui ont permis à l'humanité de se développer à
un rythme accéléré. Aux échelles géologique et historique, il y a une
tendance vers des niveaux plus élevés de sophistication, de connaissance,
de conscience et d'organisation coordonnée dans la poursuite des objectifs,
une tendance qui, si une précision excessive dans les définitions n'était pas
recherchée, pourrait être qualifiée de progrès
.
.
Premièrement, dans notre vision de l'évolution en tant que processus qui
apporte toujours du bien, il est difficile de la combiner avec la souffrance
que nous voyons dans les mondes humain et naturel. Ceux qui saluent les
réalisations de l'évolution le font d'un point de vue esthétique plutôt
qu'éthique. Bien que notre principale préoccupation ne devrait pas être
l'avenir que nous découvrons dans un nouveau roman ou film de science-
fiction, mais un avenir dans lequel nous pouvons tous bien vivre, il y a une
grande différence entre les deux.
Deuxièmement, nous n'avons aucune raison de penser que même les
progrès réalisés dans le passé étaient inévitables. Beaucoup peut être
attribué à la chance. Cette considération est basée sur le fait que, en raison
de l'effet de choix de l'observateur, nous n'avons que la preuve du bon
déroulement de notre propre évolution
28
.
Supposons qu'avec une probabilité de 99,9999 % sur toutes les planètes où
la vie est née, elle soit morte avant qu'un observateur intelligent puisse
commencer à spéculer sur son origine. Si oui, que pouvons-nous nous
attendre à voir  ? Probablement exactement le même que ce que nous
voyons maintenant. L'hypothèse selon laquelle les chances d'apparition
d'une vie intelligente sur une planète particulière sont faibles signifie que
nous sommes plus susceptibles de nous trouver non pas là où la vie n'existe
qu'à un stade précoce, mais là où la vie intelligente est déjà apparue, même
si ces planètes sont très petites. fraction de toutes les planètes sur lesquelles
la vie primitive est née. Par conséquent, la longue histoire de la vie sur
Terre ne peut servir de confirmation fiable qu'il y avait un degré élevé de
probabilité - sans parler d'inévitabilité - de l'apparition d'organismes
hautement développés sur notre planète
29
.
Troisièmement, il n'y a aucune garantie que ces idées de méliorisme *
seront avec nous dans notre avenir, même si les conditions présentes étaient
idéales, même s'il pouvait être démontré qu'elles découlent inévitablement
de certaines conditions initiales universelles. Cela est vrai même si l'on
exclut les cataclysmes qui peuvent conduire à la mort de l'humanité, et
même si l'on suppose qu'en raison du développement évolutif, des systèmes
de plus en plus complexes continueront d'apparaître.

*
Le méliorisme
(du latin
melior
- "mieux") est un concept qui reconnaît la réalité de l'idée de
progrès comme conduisant à l'amélioration du monde.
Auparavant, nous supposions que les travailleurs de machines intelligentes
sélectionnés pour une productivité maximale travailleraient extrêmement
dur, mais on ne sait pas s'ils seront capables de se sentir heureux en le
faisant. On suppose même que certains d'entre eux n'ont peut-être pas du
tout de conscience, mais ce sont eux qui s'adapteront le mieux à la course
concurrentielle de la future vie numérique. Après une perte totale de
perception et après une perte de conscience, ils perdront toutes les autres
qualités que la plupart des gens considèrent comme nécessaires à une vie
normale. L'homme moderne valorise la musique, les blagues, l'amour, l'art,
les jeux, la danse, la conversation, la philosophie, la littérature, l'aventure,
les voyages, la nourriture, les boissons, l'amitié, les enfants, les sports, la
nature, les traditions, les valeurs spirituelles et bien plus encore. Il n'y a
aucune garantie qu'au moins un des éléments ci-dessus restera dans la vie
de ceux qui s'adapteront aux nouvelles conditions. Probablement, une seule
propriété peut maximiser les chances de survie : la volonté de travailler sans
arrêt et intensément, en faisant un travail ennuyeux et monotone, dont le but
est d'améliorer la huitième décimale après la virgule d'un indicateur
économique. Dans ce cas, les phénotypes sélectionnés au cours de
l'évolution seront dépourvus des qualités énumérées ci-dessus et, selon leur
système de valeurs, leur apparaîtront comme des êtres dégoûtants, inutiles
ou simplement misérables, mais en tout cas, infiniment loin de cela. grande
utopie, qui vaut encore nos aimables paroles.
La question se pose involontairement : pourquoi un passé si riche et un
présent si riche - avec tous nos sentiments, affections, pensées et addictions
- peuvent conduire à un avenir aussi misérable ? Comment peuvent-ils être
conciliés les uns avec les autres ? Et la contre-question se pose
involontairement : si tous les passe-temps et activités humaines sont
vraiment si « dénués de sens », alors pourquoi ont-ils survécu et même se
sont-ils développés au cours du processus évolutif qui a façonné notre
espèce ? L'homme moderne, avec son déséquilibre évolutif, ne peut les en
blâmer : nos ancêtres du Pléistocène ont également dépensé leur énergie à
cela. De nombreux stéréotypes comportementaux ne peuvent même pas être
qualifiés d'uniques, car ils ne sont pas seulement caractéristiques
d' Homo
sapiens
. Par exemple, les comportements démonstratifs de type « peintures
de guerre » interviennent dans des contextes très différents : des jeux
d'accouplement dans le monde animal à l'affrontement entre États et
peuples
30
.
Bien qu'il ne nous appartienne pas de donner une explication évolutive
détaillée de tels comportements, je considère cependant nécessaire de
souligner que nombre de leurs fonctions inhérentes disparaîtront d'elles-
mêmes à l'avenir, dans les nouvelles conditions d'existence de l'intelligence
artificielle. Prenons, par exemple, le jeu, ce type spécial de comportement
social qui n'est caractéristique que de certaines espèces d'organismes
vivants et qui est commun principalement chez les jeunes ; À bien des
égards, le jeu est un moyen d'acquérir les compétences personnelles et
sociales nécessaires à une vie épanouie. la vie. Mais dans la période post-
transition, les fonctions de comportement de jeu cesseront d'avoir un sens
significatif, puisqu'il sera possible de créer immédiatement des modèles de
simulation "adultes" possédant déjà un certain nombre de compétences
matures, ou d'importer directement dans le système. d'une IA les
connaissances et compétences acquises par une autre IA.
De nombreux modèles de comportement humain démonstratif auraient pu
se développer au cours des tentatives évolutives de mettre en scène des
vertus parfois apparemment insaisissables, telles que : l'endurance physique
; stabilité psychologique et émotionnelle; position dans la société; sensation
de coude; affaires et ingéniosité; la volonté et la capacité de gagner. Citons
un cas classique, qui appartient pourtant au monde animal : un paon avec sa
fameuse queue. Seul un mâle absolument sûr de sa propre dignité,
généralement physique, peut se permettre d'avoir un plumage aussi exigeant
et l'utiliser habilement : les femelles maîtrisent bien ce signal évolutif et
trouvent une telle extravagance extrêmement attirante. Les caractéristiques
comportementales, comme les caractéristiques morphologiques, sont
capables de signaler l'aptitude génétique et d'autres traits socialement
significatifs
31
.
Étant donné que le comportement démonstratif est si courant chez les
humains et les autres espèces biologiques, la question se pose de savoir s'il
entrera également dans le répertoire des formes d'existence
technologiquement améliorées. Supposons que dans l'espace futur des
écosystèmes d'information intelligents, il n'y aura pas de place pour la
manifestation de propriétés telles que l'enjouement, l'enjouement, la
musicalité et même la conscience, au sens de leur application pratique. Mais
peut-être que ces qualités s'avèrent cependant utiles d'un point de vue
évolutif et donnent un certain avantage à leurs propriétaires, qui pourront
plus facilement souligner leur adaptabilité aux nouvelles conditions ?
Bien sûr, il est assez difficile de déterminer à l'avance dans quelle mesure il
sera possible à l'avenir d'harmoniser le système de valeurs actuel avec le
système adaptatif de l'écologie numérique. De plus, il y a de nombreuses
raisons d'être sceptique.
Premièrement, bon nombre des stéréotypes de comportement démonstratif
trouvés dans la nature sont associés au choix du partenaire sexuel ; de plus,
ces manifestations sont particulièrement vives et, pour une personne, elles
sont également coûteuses
32
. Mais il est peu probable que les formes
d'existence technologiques virtuellement asexuées aient à se préoccuper du
problème de la sélection sexuelle.
Deuxièmement, les agents technologiquement avancés n'auront plus besoin
de démontrer leur comportement, car de nouveaux moyens fiables et peu
coûteux de communiquer des informations sur eux-mêmes seront à leur
disposition. Aujourd'hui encore, les prêteurs professionnels préfèrent
s'appuyer sur des preuves documentaires, telles que des titres de propriété et
des relevés bancaires, pour évaluer la solvabilité, plutôt que de se fier à
l'apparence luxueuse du client : un costume de la dernière collection d'un
créateur de mode et une montre Rolex. À l'avenir, afin d'obtenir les données
nécessaires, ils pourront attirer des sociétés d'audit spéciales, qui délivreront
des certificats à leurs clients sur la présence de certaines qualités d'un agent
sur la base d'une analyse de ses caractéristiques comportementales, ou en
étudiant ses actions dans les exercices. conditions, ou en lisant directement
son code source. Si l'agent accepte d'effectuer une telle vérification, ce sera
une preuve suffisante que tout est en ordre avec les propriétés requises, et
une confirmation encore plus efficace que sa démonstration directe.
La
contrefaçon
de caractéristiques identifiées indirectement mais
professionnellement serait trop difficile et coûteuse, ce qui, soit dit en
passant, est le principal test de leur validité, mais si les caractéristiques sont
authentiques,
il sera beaucoup plus facile et moins coûteux de les
transmettre numériquement au lieu de les afficher dans imprimer. forme
naturelle. .
Troisièmement, toutes les variantes du comportement démonstratif ne sont
pas également importantes et également souhaitables du point de vue de la
société. Et certains sont tout simplement absurdes dans leur extravagance.
Par exemple, la destruction publique d'une grande quantité de biens
accumulés par les Indiens Kwakiutl lors d'un échange démonstratif de
cadeaux entre les tribus, lorsqu'une sorte de compétition de chefs pour un
maximum d'influence et d'autorité a eu lieu, seule leur richesse a agi comme
un instrument de lutte - cette cérémonie traditionnelle s'appelait "potlatch"
33

. Des gratte-ciel records, des yachts très grands et d'un prix exorbitant,
ainsi que des tentatives de construction de fusées pour voler vers la lune
peuvent être considérés comme des analogues modernes du potlatch. Et si
nous partageons absolument le point de vue selon lequel la musique et une
bonne blague améliorent la qualité de la vie humaine, il est peu probable
qu'il en soit de même pour l'acquisition d'accessoires de mode
incroyablement coûteux et d'autres luxes de statut. Pire encore, lorsqu'un
comportement démonstratif imprudent cause des dommages irréparables  :
trop souvent, la bravade masculine effrénée conduit à la violence pure et
simple et au bruit du sabre. Même si à l'avenir les formes d'existence
intelligentes utiliseront le « système de signaux » du comportement
démonstratif, la question de la valeur de la dignité exprimée reste ouverte.
Sera-ce comme le chant délicieux d'un rossignol, ou comme le coassement
monosyllabique d'un corbeau, ou comme l'aboiement incessant d'un chien
enragé ?
Et puis il y aura un singleton ?
Même si un monde multipolaire est le résultat direct de la transition vers
l'intelligence artificielle, la multiplicité des pôles de pouvoir n'annulera pas
l'apparition d'un singleton dans le futur. C'est ainsi que
se réalise naturellement
la
tendance manifeste et très durable à la consolidation mondiale des forces
politiques 34 . Comment cela se passerait-il ?
Deuxième transition
Dans le processus de transformation du mode de vie multipolaire originel
en singleton, après la première transition, une deuxième transition
technologique doit se produire, et assez brusquement, pour que l'une des
forces qui peuvent profiter du moment et former un singleton ait un impact.
avantage concurrentiel décisif. La deuxième transition hypothétique
pourrait être déclenchée par une percée puissante dans le développement
d'un niveau supérieur de superintelligence. Par exemple, si la première
vague de superintelligence artificielle est basée sur des modèles de
simulation, la deuxième vague commencera lorsque davantage d'émulateurs
de recherche parviendront à créer une IA efficace capable de s'améliorer
35
.
(Peut-être que la deuxième transition conduira à une percée dans la
nanotechnologie, la technologie militaire ou un autre objectif universel que
nous ne pouvons même pas imaginer aujourd'hui.)
Le taux de développement de la première période post-transition sera
probablement extrêmement élevé. Par conséquent, il est fort probable que
même un petit écart entre lui et son concurrent le plus proche puisse
conduire à la formation d'un avantage stratégique décisif dans la force de
tête. Supposons que la première transition soit opérée par deux projets qui
avançaient à plusieurs jours d' intervalle, mais le décollage s'avérant trop
lent, ce petit écart n'a pas donné au projet leader un avantage stratégique
décisif. Les deux projets ont obtenu le pouvoir du surmental, mais l'un d'eux
l'était quelques jours auparavant. Cependant, la recherche progresse
maintenant sur la chronologie de la superintelligence de la machine, peut-
être des milliards de fois plus vite que lorsque les scientifiques humains le
faisaient. L'émergence d'une technologie capable de conduire à la deuxième
transition est susceptible de se produire en quelques jours, heures ou
minutes. Même si le leader n'avait que quelques jours de repos, cette percée
pourrait fonctionner comme une catapulte et lui donner un avantage
stratégique absolu. Gardez cependant à l'esprit que si la diffusion de la
technologie (par l'espionnage ou d'autres canaux) s'accélère de la même
manière que son développement, l'effet foudre peut être réduit à néant.
Ainsi, le seul facteur important qui reste est la pente de la deuxième
transition, c'est-à-dire la vitesse à laquelle elle se produira par rapport au
rythme habituel des événements pour la période post-transition. (En ce sens,
plus les choses se passent rapidement après la première transition, moins la
seconde sera abrupte.)
On peut également supposer que dans le cas de la deuxième (ou de l'une des
suivantes) transitions, un avantage stratégique décisif sera utilisé pour
former un singleton. Après la première transition, les décideurs auront eux-
mêmes une superintelligence ou utiliseront les conseils de la
superintelligence, qui analysera les options disponibles pour les choix
stratégiques. De plus, la situation qui s'est développée après la première
transition peut être moins dangereuse pour l'attaquant en termes d'attaque
préventive contre les concurrents. Si l'esprit qui prend la décision après la
première transition existe sous forme numérique, il est plus facile à copier
et donc moins vulnérable aux contre-attaques. L'agresseur n'aura pas très
peur d'une attaque de représailles des forces de défense et de la destruction
des neuf dixièmes de sa population, car il a la possibilité de rétablir
immédiatement l'équilibre grâce aux renforts. La destruction des
infrastructures (qui peuvent également être rapidement restaurées) ne sera
pas non plus critique pour un esprit numérique au cycle de vie quasi
illimité, puisqu'il prévoyait probablement à la fois une augmentation des
ressources disponibles et une expansion de l'influence à l'échelle du temps
cosmologique.
Superorganismes et économies d'échelle
Le degré de cohérence des arrangements institutionnels des personnes,
telles que les entreprises ou les États, est influencé par de nombreux
paramètres (technologiques, militaires, financiers et culturels) qui peuvent
varier selon les époques historiques. La révolution de l'intelligence
artificielle entraînera de profondes modifications de ces paramètres. Peut-
être que de tels changements provoquent la formation d'un singleton. Bien
que, sans voir les détails de ces changements potentiels, le contraire ne peut
être exclu : que le résultat de tels changements soit la fragmentation, pas
l'unification. Cependant, il convient de noter que l'incertitude accrue à
laquelle nous sommes confrontés ici peut elle-même être une raison d'une
plus grande confiance dans la probabilité d'une occurrence unique. La
révolution de l'IA peut, pour ainsi dire, mélanger les cartes pour nous et
mélanger les cartes d'une manière qui rend réel un réalignement
géopolitique qui serait autrement difficilement possible.
Une analyse détaillée de tous les facteurs susceptibles d'influer sur
l'ampleur de l'intégration des forces politiques nous mènerait bien au-delà
du sujet choisi : une revue de la littérature économique et politique
pertinente peut facilement suffire pour un livre à part. Nous devrons nous
limiter à un bref rappel des différents aspects de l'émergence d'agents
numériques qui simplifieront la tâche de centralisation du contrôle.
Carl Shulman soutient que la sélection naturelle dans une population
d'imitateurs cérébraux conduira à l'apparition de « superorganismes », c'est-
à-dire de communautés d'imitateurs prêts à se sacrifier pour le bien de leur
clan
36
. Les superorganismes n'auront pas à faire face au problème de
l'agentivité, si pressant dans le cas d'organisations dont les membres
poursuivent leurs propres intérêts. Comme les cellules de nos organismes
ou les individus dans les colonies d'insectes sociaux, les émulateurs seront
complètement altruistes envers leurs homologues frères et sœurs et pourront
coopérer les uns avec les autres même en l'absence de schémas de
motivation spéciaux.
Les superorganismes auront un avantage particulièrement notable s'ils ont la
capacité de supprimer définitivement (ou de suspendre l'exécution) des
modèles de simulation individuels sans leur consentement. Les sociétés
d'émulation et les États qui insistent sur l'auto-préservation se verront de
plus en plus contraints de payer la maintenance des membres obsolètes ou
redondants. En revanche, les organisations où les émules sont facilement
détruits lorsque le besoin de leurs services disparaît pourront s'adapter plus
facilement aux fluctuations de la demande et expérimenter, multipliant les
variations de leurs travailleurs et ne retenant que les plus productifs.
Si l'option de suppression forcée est désactivée, les émulateurs eusocial*
auront moins d'avantage concurrentiel, même s'ils le resteront. Les
employeurs qui sont prêts à coopérer et à se sacrifier pour les imitateurs
continueront de bénéficier de gains de productivité en réduisant le problème
d'agence dans leur organisation, notamment en n'ayant pas à faire face à la
résistance des imitateurs qui s'opposent à leur destruction. En général, les
gains de productivité du fait d'avoir des travailleurs prêts à sacrifier leur vie
pour le plus grand bien profitent particulièrement aux organisations dont les
membres leur sont fanatiquement dévoués. Ces membres sont non
seulement disposés à travailler de longues heures pour un salaire nominal et
même à aller sur leur tombe pour eux, mais ils ne comploteront jamais et
n'essaieront pas d'agir uniquement dans l'intérêt de l'organisation, réduisant
ainsi le besoin de contrôle et de contraintes bureaucratiques.
Si la seule façon d'obtenir une telle allégeance est de copier un seul "parent"
(lorsque tous les modèles de simulation, ou émulateurs, appartenant à un
superorganisme particulier sont dérivés d'un seul modèle), alors
l'inconvénient d'un tel superorganisme sera un de moins compétences que
ses rivaux, il n'est pas clair si ce désavantage est compensé par l'avantage de
l'absence de problèmes d'agence interne
37
. Cependant, cette lacune peut
être partiellement compensée si la super-agence est composée de membres
qui ont été formés dans différents programmes. Même si tous les émulateurs
sont dérivés d'un seul modèle, en cours de fonctionnement, ils pourront
développer des compétences différentes les uns des autres. Un modèle
d'émulateur complet peut engendrer plusieurs types de travailleurs si un
exemplaire est formé en tant que comptable, un autre en tant qu'ingénieur,
etc. En conséquence, les membres du superorganisme ils ont des capacités
différentes, mais les mêmes talents. (Plusieurs modèles peuvent être
nécessaires pour varier.)
La propriété inhérente d'un superorganisme ne sera pas qu'il se compose de
copies d'un seul "parent", mais que tous les agents individuels en son sein
seront pleinement engagés dans un objectif commun. Autrement dit, la
capacité de créer des superorganismes ne nécessitera qu'une solution
partielle au problème de contrôle. Si nous supposons qu'une solution
complète au problème de contrôle permettra la création d'un agent
superintelligent capable d'atteindre n'importe quel objectif final arbitraire,
alors une solution partielle au problème de contrôle, qui est suffisante pour
former un superorganisme, ne permettra que la production de nombreux
agents dotés d'un agent superintelligent. même fin ultime (peut être
significative, mais pas nécessairement arbitraire)
38
.
Par conséquent, la discussion de l'idée principale de cette section ne se
limite pas au sujet des groupes d'émulateurs monoclonaux, elle peut donc
être formulée de manière plus générale et applicable à un large éventail de
scénarios pour l'émergence de l'intelligence artificielle dans un monde
multipolaire. . C'est-à-dire que certaines avancées dans le développement
des méthodes de choix de la motivation, qui s'avéreront réalisables si les
acteurs sont représentés sous forme numérique, peuvent aider à pallier une
partie du manque de construction inhérent à nos grandes organisations
aujourd'hui et apporter des gains d'efficacité. en raison de l'augmentation de
l'échelle de production. Une fois ces limites surmontées, les organisations,
qu'il s'agisse d'entreprises, de pays ou d'autres institutions économiques et
politiques, peuvent croître considérablement en taille. C'est l'un des facteurs
qui facilite la formation d'un singleton post-transitionnel.
Le domaine où les superorganismes (et autres agents numériques aux
motivations partiellement choisies) peuvent rapidement atteindre la
supériorité souhaitée est l'appareil de coercition. L'État peut utiliser des
méthodes de sélection motivationnelles pour former une police, une armée,
des services de renseignement et une administration civile tout aussi loyaux.
Comme l'écrit Shulman :
Les états stockés [d'un modèle de simulation assez loyal, soigneusement sélectionné et testé]
pourraient être multipliés des milliards de fois pour produire une armée, une bureaucratie et une force
de police idéologiquement monolithiques. Après une courte durée de vie, chaque copie factice sera
remplacée par une nouvelle copie du même état enregistré pour éviter qu'elle ne soit idéologiquement
biaisée.
Au sein d'une seule juridiction, cela permettrait une surveillance et une réglementation
incroyablement strictes; en principe, on pourrait avoir une telle copie maîtresse pour tous les
citoyens. Avec cette approche, beaucoup de choses peuvent être faites : interdire la production
d'armes de destruction massive ; limiter les expériences avec des émulations cérébrales et la lecture
d'émulateurs ; adopter une constitution démocratique libérale - ou affirmer à jamais l'abomination du
totalitarisme
39
.
Que peut-on réaliser avec un tel potentiel ? En premier lieu, la consolidation
du pouvoir et même sa concentration entre les mains d'un nombre très
limité d'acteurs.
Consolidation sur une base contractuelle
La coopération internationale peut apporter de grands avantages dans un
monde multipolaire post-transition. En fait, nous pouvons peut-être
accomplir beaucoup de choses. Débarrassez-vous des guerres et des courses
aux armements. Maîtrisez les sources d'informations astrophysiques et
commencez à les utiliser au moment optimal pour l'humanité. Évitez de
vous précipiter pour améliorer l'IA et en développer de nouvelles formes,
c'est-à-dire coordonner la recherche sur ces sujets, explorer de nouvelles
idées et examiner attentivement tous les projets. Reportez ou arrêtez les
travaux sur les projets qui contiennent une menace potentielle pour
l'existence de notre civilisation. Introduire des réglementations uniformes à
l'échelle mondiale, y compris des dispositions visant à garantir le niveau de
vie (ce qui nécessitera certaines mesures de contrôle de la population) et la
prévention de l'exploitation et de l'abus des modèles de simulation et
d'autres entités numériques et biologiques. De plus, les agents disposant de
ressources qui satisfont pleinement leurs besoins en valeur (plus à ce sujet
au chapitre treize) pourraient parvenir à un accord sur la répartition des
ressources futures, en vertu duquel ils se verraient garantir une certaine part,
au lieu de lancer une lutte pour le contrôle exclusif. sur eux, au risque de ne
rien obtenir.
Cependant, le potentiel de bénéficier grandement de la coopération ne
signifie pas qu'elle sera négociée. Dans la société d'aujourd'hui, il y a de
nombreux avantages à tirer d'une meilleure coordination mondiale, comme
la réduction des dépenses militaires, la fin des guerres, les restrictions sur la
surpêche, la suppression des barrières commerciales et la prévention de la
pollution de l'air. Cependant, personne ne récolte jamais ces fruits mûrs.
Pourquoi? Qu'est-ce qui nous empêche de tirer le meilleur parti des
possibilités de coopération pour le bien commun absolu ?
L'un des obstacles est la difficulté de parvenir à des accords et d'assurer le
contrôle du respect des obligations découlant de tous les accords. Deux
anciens adversaires dotés d'armes nucléaires seraient bien mieux lotis s'ils
pouvaient tous les deux se débarrasser des bombes atomiques. Cependant,
même si un accord de principe est atteint sur toutes les questions, il est peu
probable qu'un désarmement complet soit possible en raison des craintes
mutuelles que l'autre partie commence à tricher. La création de mécanismes
appropriés de contrôle du respect de l'accord contribuerait à apaiser des
craintes bien réelles. Par exemple, il est possible de créer une institution
d'inspecteurs qui supervisent la destruction des stocks existants, contrôlent
les réacteurs nucléaires et autres installations ; en outre, pour s'assurer
qu'aucune des parties aux négociations ne relance le programme nucléaire,
elles pourraient mener des enquêtes techniques et collecter des données de
renseignement. Bien entendu, votre travail doit être rémunéré, mais les
coûts éventuels ne se limitent pas aux montants de la rémunération. Il existe
un risque que les inspecteurs espionnent et vendent des secrets
commerciaux et militaires. Plus important encore, cependant, chaque partie
soupçonnera l'autre de garder secrète la capacité de produire des armes
nucléaires. En conséquence, de nombreuses transactions potentiellement
rentables ne se concrétiseront jamais, car il serait extrêmement difficile de
vérifier le respect de leurs termes.
Si de nouvelles méthodes de vérification deviennent disponibles et peuvent
réduire les coûts pour les autorités de réglementation, une coopération plus
poussée peut être attendue. Cependant, il n'est pas encore clair si ces coûts
et risques peuvent être réduits dans l'ère post-transition. Parallèlement à de
nouvelles méthodes d'inspection efficaces, de nouvelles méthodes de
dissimulation de la tromperie apparaîtront à coup sûr. En particulier, de plus
en plus d'activités soumises à réglementation auront lieu dans le
cyberespace, où il n'y a aucune possibilité d'observation directe. Par
exemple, les chercheurs du numérique travaillant sur des systèmes d'armes
nanotechnologiques innovants ou sur la dernière génération d'IA peuvent ne
laisser que peu ou pas de traces dans le monde physique. Et les inspecteurs
virtuels ne pourront pas toujours passer à travers toutes les couches de
déguisement et de cryptage avec lesquelles le contrevenant au contrat
cachera ses activités illégales.
Si des détecteurs de mensonge fiables peuvent être développés, ils
deviendront des outils très utiles pour contrôler le respect des accords
conclus
40
. Les protocoles d'inspection peuvent inclure des dispositions
pour interroger des personnes clés afin de savoir si elles ont réellement
l'intention de se conformer à toutes les conditions du contrat et si elles sont
au courant de violations du contrat.
Les décideurs du programme qui souhaitent tromper les tests du détecteur
de mensonges peuvent le faire en demandant d'abord à leurs subordonnés de
poursuivre les activités illégales et en les cachant à eux-mêmes, puis en
effectuant un effacement partiel de la mémoire de leur implication dans ces
activités. machinations. Grâce au développement des nanotechnologies, des
méthodes appropriées d'impact ponctuel sur la mémoire biologique
deviendront très probablement disponibles. Dans le cas de l'intelligence
artificielle, ce sera encore plus facile.
Les pays peuvent essayer de résoudre ce problème en s'engageant à
participer à un processus de surveillance continu avec des tests réguliers au
détecteur de mensonges sur des individus clés pour savoir s'ils nourrissent
une intention malveillante de violer l'un des traités internationaux conclus
ou prévus. Une telle obligation peut être interprétée comme une sorte de
méta-contrat, qui implique la vérification du respect des autres contrats ;
mais les pays peuvent se regrouper de leur propre initiative pour se
présenter comme des partenaires crédibles. Cependant, cet engagement
d'examen ou méta-contrat présente le même problème de fraude potentielle
"déléguez et oubliez". Idéalement, le méta-contrat devrait entrer en vigueur
avant
comment
les parties auront la possibilité de se préparer à la violation
des accords. Si un intrus potentiel a le temps de semer les graines de la
tromperie, la confiance ne se construira pas.
détecter une
violation de l'accord suffit à conclure une transaction.
Cependant, il est souvent nécessaire de créer un mécanisme pour
faire
respecter
les conditions ou imposer une sanction en cas de violation. La
nécessité d'un tel mécanisme peut survenir lorsque la menace de résiliation
de l'accord par la partie trompée n'est pas suffisante pour empêcher la
violation, par exemple si le contrevenant obtient un avantage tel qu'il n'a
pas à se soucier de la réaction. D'autre part.
Avec des méthodes très efficaces de choix de la motivation, ce problème
peut être résolu en créant une agence indépendante dotée de suffisamment
de pouvoirs policiers ou militaires pour faire appliquer le contrat à
n'importe quelle partie ou parties, même face à la résistance. Pour cela,
l'agence doit avoir toute confiance. Mais s'il existe des méthodes efficaces
pour choisir la motivation, la confiance requise peut être assurée en
impliquant tous les participants aux négociations dans le contrôle conjoint
de la création de cette agence.
Donner un pouvoir coercitif excessif à une agence indépendante peut
entraîner les mêmes problèmes que nous rencontrons lorsque nous
discutons d'un résultat unipolaire (lorsqu'un singleton se produit avant ou au
début de la révolution de l'IA). Afin d'être en mesure de faire respecter les
accords qui concernent les intérêts vitaux de sécurité des pays adversaires,
une agence indépendante doit être vraiment unique : devenir un Léviathan
mondial super intelligent. La seule différence est que nous envisageons une
situation post-transition où les agents qui créent le Léviathan sont plus
compétents que les gens d'aujourd'hui. Les futurs créateurs de Léviathan
sont peut-être eux- mêmes super intelligents. Cela augmente
considérablement leurs chances de résoudre le problème du contrôle et de
développer une structure d'agence qui sert les intérêts de toutes les parties.
Existe-t-il d'autres obstacles à la coordination mondiale en plus des coûts
associés au suivi et à l'application des accords ? Peut-être que le principal
problème continue d'être ce qu'on pourrait appeler les
coûts de négociation
41

. Même lorsqu'il existe une opportunité de compromis, dont les résultats
profitent à tous les participants aux négociations, il n'est parfois pas
possible de trouver des raisons d'avancer, car les parties ne peuvent
s'entendre sur les principes de partage du "butin" commun . . Par exemple,
aucun accord ne sera conclu, et un profit potentiel sera réalisé, si deux
personnes peuvent conclure une entente en vertu de laquelle elles recevront
des intérêts d'un montant d'un dollar, mais chaque partie estime qu'elle
mérite soixante cents de le bénéfice net et accepte. refuse de le faire.
d'accord avec moins En général, en raison du choix stratégique fait par
certains participants dans la nature des négociations, les négociations
peuvent être difficiles, prolongées ou même échouer.
Dans la vraie vie, les gens parviennent souvent à s'entendre, même s'ils
doivent parfois renoncer à des positions stratégiques pour trouver un
compromis (souvent au prix d'un investissement important en efforts et en
temps). Cependant, il est tout à fait possible que dans l'ère post-transition, le
problème de la conclusion d'un accord stratégiquement important ait une
dynamique légèrement différente. L'intelligence artificielle agissant en tant
que médiateur adhérera systématiquement à un concept formel et logique,
contenant éventuellement des conclusions nouvelles et inattendues par
rapport à la position des autres négociateurs. De plus, l'IA peut entrer dans
un jeu inaccessible aux gens ou très difficile pour eux, allant même jusqu'à
être la première à prendre une position dure concernant la mise en place
d'une stratégie ou la mise en place de certaines actions. Bien que les
humains (et les institutions dirigées par des humains) puissent le faire de
temps en temps, il est vrai qu'ils sont généralement moins spécifiques et
moins crédibles. Certaines formes d'intelligence artificielle, ayant
initialement adopté une position rigide, tiendront ferme par elles-mêmes
42
.
L'introduction des dernières méthodes de vérification des intentions des
parties au contrat peut modifier sérieusement la nature des négociations et
apporter de grands avantages à l'agent, qui a l'avantage d'être le premier à
agir. Si sa participation est nécessaire pour obtenir un bénéfice potentiel de
la coopération et que l'agent est disposé à prendre une position
fondamentalement forte, alors il peut dicter la répartition de ce bénéfice, en
déclarant, par exemple, qu'il n'acceptera pas un accord. qui vous apportera,
disons, moins de 99 pour cent sont arrivés. Les autres agents se retrouveront
devant un choix : soit ils n'obtiennent rien (en rejetant l'offre déloyale), soit
ils obtiennent le 1 % restant (en l'acceptant). Si la fermeté des intentions du
premier agent, qui a adopté une position inflexible et dure, peut être testée
et confirmée par des méthodes instrumentales, alors ses partenaires de
négociation n'ont vraiment d'autre choix que d'accepter l'une des deux
options restantes.
Pour éviter une telle manipulation, tout agent peut être le premier à adopter
une ligne dure, annonçant l'inadmissibilité du chantage et la volonté de
rejeter toutes les offres déloyales. Lorsque quelqu'un prend cette position (et
le signale), d'autres agents peuvent décider qu'il n'est pas dans leur intérêt
de menacer ou de déclarer leur volonté d'accepter un accord uniquement si
c'est uniquement dans leur intérêt, car ils savent que ces menaces seront les
propositions non fondées et injustes seront rejetées. Mais cela ne fait que
confirmer une fois de plus que l'avantage reste à ceux qui ont fait le premier
pas. L'agent qui a pris une position ferme et fait le premier pas peut choisir
entre simplement mettre en garde les autres contre un avantage indu ou
essayer de s'emparer lui-même de la majeure partie du butin futur.
Dans la position la plus avantageuse, apparemment, il y aura un agent dont
le tempérament ou les valeurs lui permettent de ne pas répondre aux
menaces, de ne pas succomber à la manipulation, et de ne pas accepter des
offres pour lesquelles il ne sera pas assuré d'un juste retour. Nous savons
que même parmi les gens, il y a des négociateurs qui savent faire preuve de
volonté de fer et d'inflexibilité
43
. Cependant, une position aussi rigide peut
être une blague cruelle s'il s'avère que d'autres courtiers sont également
concentrés sur l'obtention de leur juste part et ne sont pas prêts à reculer.
Ensuite, la détermination inébranlable d'un côté se heurtera à la fermeté de
l'autre, ce qui entraînera l'impossibilité de parvenir à un accord (la situation
peut aller jusqu'à déclarer la guerre). Les doux et les faibles de volonté
auraient pu échanger sinon un profit équitable, mais au moins un
pourcentage.
On ne sait pas encore quel type de durabilité théorique des jeux peut être
obtenu de telles négociations dans une économie post-transition. Les agents
peuvent choisir des stratégies plus complexes que celles que nous avons
décrites. On ne peut
qu'espérer
qu'un équilibre sera trouvé, car les
négociateurs développeront encore une norme plus ou moins juste, une
sorte de point de Schelling qui sert de guide unique dans un vaste espace de
résultats ; un modèle qui, grâce à des attentes communes, deviendra la base
de la coordination dans un jeu d'unification autrement indéfini. Cet
équilibre peut être alimenté par certaines de nos attitudes évolutives et de
notre programmation culturelle  : le désir général d'équité, tant que nous
parvenons à maintenir nos valeurs dans l'ère post-transitionnelle,
déterminera les attentes et la stratégie pour qu'un équilibre stable soit
attractif. . à tous est établi
44
.
Dans tous les cas, nous pouvons conclure que la volonté d'adopter une
position résolument ferme peut nous conduire à des options inhabituelles
pour conclure les négociations. Même si l'ère post-transition commence
comme une ère multipolaire, il peut s'avérer que presque immédiatement un
singleton émergera à la suite d'un accord qui résoudra tous les problèmes
importants de coordination mondiale. Avec les nouvelles technologies
disponibles et les formes améliorées d'intelligence artificielle, certains coûts
de transaction pourraient être considérablement réduits, y compris
éventuellement les coûts des pistes d'audit et de l'exécution des contrats.
Cependant, les coûts associés à la recherche de conditions mutuellement
favorables et à la recherche d'un compromis peuvent encore être assez
élevés. Bien sûr, les différentes stratégies de négociation influencent la
nature des négociations, mais on ne sait pas encore pourquoi la conclusion
d'un tel accord peut être trop retardée, surtout s'il s'agit de parvenir à
l'accord lui-même. Si, toutefois, aucun accord ne peut être atteint, il y aura
confrontation sous une forme ou une autre ; en conséquence, chaque camp
gagnera et un singleton se formera autour de la coalition gagnante ; ou le
conflit deviendra éternel, alors le singleton peut ne jamais se former. En
conséquence, nous obtiendrons un résultat incomparablement pire que ce
qui aurait pu être prévu, en luttant pour une activité coordonnée et orientée
vers la coopération de l'humanité et des entités numériques qui
commenceront à peupler notre monde.
***
Nous avons vu que la multipolarité, bien que stable, ne garantit pas que
l'issue de la situation sera favorable. Le problème originel de la relation
principal-agent restera en suspens et sera enfoui sous une montagne de
nouveaux problèmes liés à l'échec des efforts de coordination mondiale
post-transition, ce qui ne fera qu'aggraver l'atmosphère générale. Par
conséquent, je propose de revenir à la question de savoir comment il est
possible d'assurer la sécurité de l'humanité en cas d'arrivée sur le monde du
seul supramental qui s'est échappé au front.
 Chapitre douze
Développer des valeurs
Le contrôle des opportunités est, au mieux, une mesure temporaire et
auxiliaire. Si vous ne prévoyez pas de garder l'IA en captivité pour toujours,
vous devrez développer des principes pour choisir la motivation. Mais qu'en
est-il des valeurs ? Pouvons-nous les introduire dans le système d'un agent
artificiel de telle manière qu'il commence à être guidé par eux comme ses
fins ultimes ? Jusqu'à ce qu'un agent devienne sensible, il n'a probablement
pas la capacité de comprendre ou même d'imaginer ce qu'est le système de
valeurs humaines. Cependant, si la procédure d'apprentissage est retardée
jusqu'à ce que l'IA devienne superintelligente, il est probable qu'elle
commencera à résister à de telles interférences avec son système de
motivation et, comme nous l'avons vu au chapitre 7, elle aura des raisons
instrumentales convergentes pour le faire. Le chargement du système de
valeurs n'est pas une tâche facile, mais il ne peut pas être inversé.
Problème de chargement du système de stock
Il est impossible d'énumérer toutes les situations dans lesquelles la
surintelligence peut se trouver, et pour chacune d'entre elles de déterminer
les actions qu'elle doit entreprendre. De même, il est impossible de lister
tous les mondes et de déterminer l'utilité de chacun. Dans toute réalité
beaucoup plus complexe que le tic tac toe, il y a trop d'états possibles (et
d'états historiques*) pour utiliser la force brute. Cela signifie que le système
de motivation ne peut pas être configuré sous la forme d'une table de
correspondance exhaustive. Au lieu de cela, il devrait être défini de manière
plus abstraite, comme une sorte de formule ou de règle qui permet à l'agent
de décider quoi faire dans une situation donnée.
Une façon formelle de décrire cette règle de décision est de définir une
fonction d'utilité. La fonction d'utilité (rappelons-nous dès le premier
chapitre) spécifie la valeur de chaque issue possible, ou plus généralement,
de chacun des mondes dits possibles. Étant donné une fonction d'utilité, un
agent peut être défini qui maximise l'utilité attendue. A tout moment, l'agent
choisit le stock qui a la valeur d'utilité la plus élevée. (L'utilité attendue est
calculée en multipliant l'utilité de chaque monde possible par la probabilité
subjective que ce monde se réalise compte tenu de l'action en question.) En
réalité, il y a trop de résultats possibles pour calculer avec précision l'utilité
attendue de l'action. Cependant, la règle de décision et la fonction d'utilité
définissent ensemble un idéal normatif - la notion d'optimalité - qu'un agent
pourrait développer pour faire une approximation, l'approximation devenant
plus précise Construire une machine capable de calculer une bonne
approximation de l'utilité espérée de la actions disponibles est une
tâche AI 2
complète

. Dans ce chapitre, nous considérons un problème différent, un
problème qui continue d'exister même si le problème de la création de
l'intelligence artificielle est résolu.
Nous utilisons le schéma d'agent maximisant l'utilité pour imaginer un
programmeur bloqué travaillant avec une graine d'IA et ayant l'intention de
résoudre un problème de contrôle. Pour ce faire, il dote l'IA d'un but final,
qui correspond, en principe, à une idée humaine normale d'un résultat
souhaité. Un programmeur qui a son propre système de valeurs aimerait que
l'IA l'apprenne. Supposons que nous parlions du concept de bonheur. (Les
mêmes problèmes se poseraient si le programmeur s'intéressait à des
concepts tels que la justice, la liberté, la gloire, les droits de l'homme, la
démocratie, l'équilibre écologique, le développement personnel). Par
conséquent, en termes d'utilité attendue, le programmeur doit définir une
fonction d'utilité qui donne la valeur des mondes possibles en fonction du
niveau de bonheur qu'ils procurent. Mais comment exprimer cette fonction
dans le code source ? Il n'y a pas de concept de "bonheur" dans les langages
de programmation. Pour utiliser ce terme, il faut d'abord le définir. De plus,
il ne suffit pas de le définir à l'aide de concepts philosophiques et d'une base
terminologique familière à une personne, par exemple : « le bonheur est la
jouissance des potentialités inhérentes à notre nature humaine », ou d'une
autre manière non moins sophistiquée. La définition doit être donnée en
termes utilisés dans le langage de programmation de l'IA, et finalement en
termes d'éléments de base tels que les opérateurs mathématiques et les
références de mémoire. Lorsque vous regardez le problème de ce point de
vue, la complexité de la tâche à laquelle est confronté le programmeur
devient claire.
Il est si difficile d'identifier et de codifier nos objectifs ultimes parce qu'une
personne utilise un système de définitions assez complexe. Mais cette
complexité nous est naturelle, nous ne la remarquons donc pas. Faisons une
analogie avec la perception visuelle. Le visionnage peut également sembler
simple, car il ne nécessite aucun effort de notre part
3
. Il semble que tout ce
que vous avez à faire est d'ouvrir les yeux et une image en relief
tridimensionnelle riche et significative du monde qui nous entoure apparaît
immédiatement dans notre cerveau. Cette intuition de la vision s'apparente
aux sensations d'un monarque dès l'organisation de la vie dans son palais : il
lui semble que chaque objet apparaît simplement au bon endroit au bon
moment, alors que le mécanisme qui l'assure est totalement indisponible.
caché de votre vue. voir. Cependant, effectuer même la tâche visuelle la
plus simple (trouver une poivrière dans la cuisine) nécessite un énorme
effort de calcul. Sur la base d'une séquence bruyante de modèles
bidimensionnels résultant de l'excitation des cellules nerveuses de la rétine
de l'œil et transmis le long du nerf optique au cerveau, le cortex visuel du
cerveau doit reconstruire et interpréter le système tridimensionnel images.
représentation de l'espace environnant. Une partie importante de la surface
du cortex cérébral - notre précieuse propriété d'un mètre carré - est occupée
par la zone de traitement visuel ; Pendant que vous lisez ce livre, des
milliards de neurones travaillent sans relâche pour accomplir cette tâche
(comme un groupe de couturières penchées sur leurs machines à coudre
dans un atelier de tailleur, cousant et déchirant une énorme couette plusieurs
fois par seconde). De même, nos valeurs et désirs apparemment simples
sont en réalité très complexes
4
. Comment un programmeur pourrait-il
capturer toute cette complexité dans une fonction utilitaire ?
Une approche consiste à tenter de coder directement une représentation
complète de l'objectif final que le programmeur a assigné à l'IA ; en d'autres
termes, vous devez écrire la fonction d'utilité en utilisant la méthode de
spécification exacte. Cette approche pourrait fonctionner si nous avions un
objectif extrêmement simple, comme vouloir savoir combien de décimales
il y a dans pi. Encore une fois :
la seule
chose dont nous aurions besoin de
l'IA, c'est qu'elle calcule toutes les décimales de pi. Et cela ne nous
dérangerait pas d'autres conséquences de l'atteinte de cet objectif
(rappelons-le, c'était dans la catégorie des failles fatales, comme la
redondance des infrastructures). Il serait utile, lors de l'utilisation de la
méthode de spécification exacte, de choisir une autre méthode
d'apprivoisement. Mais si l'IA en cours de développement doit devenir un
monarque superintelligent et que son objectif ultime est de suivre toutes
les
valeurs humaines possibles, alors la méthode de spécification précise
requise pour définir pleinement l'objectif est une tâche désespérément
irréalisable
.
Disons que nous ne pouvons pas charger dans l'IA une description des
valeurs humaines en utilisant leur représentation complète dans un langage
de programmation  ; Alors, que pouvons-nous essayer de faire d'autre  ?
Dans ce chapitre, nous aborderons plusieurs voies alternatives. Certains
d'entre eux semblent tout à fait possibles à première vue, mais à y regarder
de plus près, ils s'avèrent beaucoup moins réalisables. À l'avenir, il est
logique de discuter des voies qui resteront ouvertes.
Résoudre le problème du chargement du système de valeurs est une tâche
qui mérite les efforts des meilleurs représentants de la prochaine génération
de mathématiciens talentueux. Nous ne pouvons pas nous permettre de
reporter la résolution de ce problème jusqu'à ce que l'IA avancée soit
suffisamment intelligente pour voir facilement nos intentions. Comme nous
le savons déjà dans la section sur la convergence instrumentale (chapitre
sept), il résistera aux tentatives de modifier ses objectifs ultimes. Si un
agent artificiel n'est pas encore devenu complètement amical au moment où
il a acquis la capacité de réfléchir sur sa propre nature d'agence, il est peu
probable qu'il favorise nos plans de lavage de cerveau ou un complot pour
le remplacer par un autre agent qui est amical. plus favorablement disposé
envers ses créateurs et ses plus proches voisins.
Sélection naturelle
L'évolution a déjà créé un être vivant doté d'un système de valeurs. Ce fait
incontestable peut inspirer à penser que le problème du chargement des
valeurs dans l'IA peut être résolu par des méthodes évolutives. Cependant,
sur ce chemin -pas aussi sûr qu'il y paraît- quelques obstacles nous
attendent. Nous les passons en revue à la fin du chapitre 10 lorsque nous
expliquons à quel point les processus de recherche puissants peuvent être
dangereux.
L'évolution peut être considérée comme une classe distincte d'algorithmes
de recherche impliquant un ajustement en deux étapes : dans une étape, la
population de solutions possibles est élargie par de nouveaux candidats
selon une règle stochastique simple (par exemple, mutation aléatoire ou
recombinaison sexuelle), dans l'autre étape, la population diminue en
écartant les candidats qui présentent des résultats de test insatisfaisants à
l'aide de la fonction d'évaluation. Comme pour de nombreux autres types de
recherche puissante, il existe un risque que ce processus trouve une solution
qui satisfait réellement les critères de recherche formellement définis, mais
ne répond pas à nos attentes morales. (Cela peut se produire si nous nous
efforçons de créer un esprit numérique qui a les mêmes objectifs et valeurs
que la personne moyenne ou, au contraire, est un modèle de moralité ou un
idéal d'obéissance). Un tel risque peut être évité. si nous ne nous limitons
pas à une demande unidimensionnelle de ce que nous voulons développer,
mais essayons de décrire un critère formel de recherche qui reflète
fidèlement toutes les dimensions de notre objectif. Mais cela se transforme
déjà en tout un problème de chargement du système de valeurs, et il faut
alors partir du fait qu'il a été résolu. Dans ce cas, le problème suivant se
pose, tel que posé par Richard Dawkins dans The River Out of Paradise :
La quantité totale de souffrance dans le monde par an dépasse toutes les limites imaginables. Dans la
minute qu'il m'a fallu pour écrire cette phrase, des milliers d'animaux ont été mangés vivants ; il a fui
les prédateurs, gémissant de peur; ils mouraient lentement des parasites qui les dévoraient de
l'intérieur ; Il est mort de faim, de soif et de maladie
6
.
Même si nous nous limitons à un seul de notre espèce, chaque jour cent
cinquante mille personnes meurent, et d'innombrables autres souffrent de
toutes sortes de tourments et d'épreuves
7
. La nature est peut-être une
grande expérimentatrice, mais elle n'obtiendra jamais l'approbation du
comité d'éthique pour ses expériences, car elle viole constamment la
Déclaration d'Helsinki avec toutes ses normes éthiques*, et ce, tant des
points de vue de gauche que de droite et des centristes. . Une autre chose est
importante : que nous-mêmes ne suivions pas aveuglément la nature et
reproduisions
in silico inconsidérément
** toutes ces horreurs. Il est vrai
qu'il est peu probable que nous puissions éviter complètement les
manifestations d'immoralité criminelle si nous voulons créer une
intelligence artificielle à l'image et à la ressemblance de l'esprit humain, en
nous appuyant sur des méthodes évolutives, à répéter au moins à un niveau
minimal. le processus naturel de développement appelé évolution
biologique
8
.
formation de renforcement
L'apprentissage par renforcement est un domaine de l'apprentissage
automatique où les agents peuvent apprendre à maximiser leur récompense
accumulée. En créant le bon environnement dans lequel toutes les qualités
souhaitées de l'agent sont récompensées, il est possible de créer un agent
capable d'apprendre à résoudre un large éventail de problèmes (même en
l'absence d'instructions détaillées ou de commentaires des programmeurs,
tant qu'il y a est un signal pour le faire). récompense). Souvent, un
algorithme d'apprentissage par renforcement implique la construction
incrémentielle d'une sorte de fonction d'évaluation qui attribue une valeur
aux états, aux paires état-action et à diverses orientations politiques. (Par
exemple, un programme peut apprendre à jouer au backgammon en utilisant
l'apprentissage par renforcement pour développer progressivement la
capacité d'évaluer les positions du conseil.) Cette fonction d'évaluation, qui
change constamment avec l'expérience, peut également être considérée
comme incluant l'enseignement des objectifs souhaités. Ce que l'agent
apprend, cependant, ne sont pas de nouvelles
valeurs finales
, mais des
estimations de plus en plus précises
de la valeur instrumentale d'
atteindre
certains états (ou d'effectuer certaines actions dans certains états, ou de
suivre une certaine politique). Puisque le but final reste constant, on peut
toujours décrire un agent en apprentissage par renforcement comme un
agent avec un but ultime. Ce but ultime inaltérable de l'agent est son désir
de recevoir la récompense maximale à l'avenir. La récompense consiste en
des objets de détection spécialement conçus placés dans votre
environnement. Ainsi, à la suite de l'apprentissage par renforcement, l'agent
développe un effet d'autostimulation stable (discuté en détail au chapitre
huit), c'est-à-dire que l'agent commence à construire son propre modèle
plutôt complexe de ce monde dont il est capable. pour vous offrir une
option alternative afin de maximiser les récompenses
9
.
Nos commentaires n'impliquent pas que l'apprentissage par renforcement ne
peut pas être utilisé pour développer un germe d'IA sans danger pour nous,
nous voulons seulement dire que son utilisation doit être liée à un système
de motivation qui n'est pas basé sur le principe de maximisation de la
récompense. . Ainsi, pour résoudre le problème de chargement du système
de valeurs, il faudra chercher d'autres approches que la méthode
d'apprentissage par renforcement.
Modèle associatif de valorisation
La question se pose involontairement : si le problème de la charge du
système de valeurs est si insoluble, comment parvenons-nous à acquérir
nous-mêmes une orientation de valeur ?
Un modèle possible (trop simplifié) ressemble à ceci. Nous entrons dans la
vie non seulement avec un ensemble relativement simple de préférences de
base (sinon pourquoi aurions-nous éprouvé des sensations désagréables à
partir de certains stimuli depuis l'enfance et essayé instinctivement de les
éviter ?), mais aussi avec une certaine tendance à acquérir des préférences
supplémentaires, ce qui au détriment de l'enrichissement expérientiel (par
exemple, nous commençons à former certaines préférences esthétiques,
parce que nous voyons que dans notre espace culturel certains objectifs et
idéaux sont particulièrement précieux, et certains comportements sont
fortement encouragés). Les préférences primaires de base et la tendance à
acquérir des préférences de valeur au cours de la vie sont des traits humains
innés, formés à la suite de la sélection naturelle et génétique au cours de
l'évolution. Cependant, les préférences supplémentaires que nous
développons en grandissant dépendent du chemin de la vie. Ainsi, la plupart
des modèles sémantiques d'information qui sont liés à nos valeurs finales ne
sont pas établis génétiquement, mais sont acquis par l'expérience.
Par exemple, un être cher est apparu dans notre vie et, bien sûr, pour nous,
son bien-être devient la valeur finale la plus importante. De quels
mécanismes dépend l'apparition de cette valeur ? Quelles structures
sémantiques participent à leur formation ? Il existe de nombreuses
structures, mais nous n'en retiendrons que deux : la notion « d'homme » et
la notion de « bien-être ». Ni ces représentations ni aucune autre ne sont
directement encodées dans notre ADN. L'ADN stocke plutôt des
informations et des instructions pour la construction et le développement de
nos cerveaux et donc de nos esprits qui, en restant dans un environnement
humain, créent leur propre modèle du monde sur plusieurs années, un
modèle qui comprend à la fois la définition d'un personne et la définition du
bien-être. Ce n'est qu'après que ces deux idées ont été formées que nous
pouvons commencer à expliquer de quelle signification particulière notre
valeur ultime est remplie. Et revenons maintenant à la première question :
de quels mécanismes dépend l'émergence de nos préférences de valeurs ?
Pourquoi le désir du bien d'un être cher se forme-t- il
précisément autour de
ces idées que
Nous avons acquises , et non d'autres, également acquises,
comme des idées sur un pot de fleurs ou un tire-bouchon ? Il doit
probablement y avoir un mécanisme inné spécial.
Comment fonctionne le mécanisme lui-même, nous ne le savons pas. Il est
apparemment très complexe et multiforme, en particulier par rapport à une
personne. Par conséquent, pour comprendre un peu comment cela
fonctionne, considérons sa forme primitive en utilisant l'exemple des
animaux. Prenez la réaction dite de suivi (empreinte génomique ou
parentale), en particulier chez les oiseaux reproducteurs, lorsqu'un poussin
nouvellement éclos mais déjà formé commence immédiatement à suivre
sans relâche ses parents ou le premier objet en mouvement qu'il voit.
L'objet "mère" que le poussin veut suivre dépend de sa première
expérience, mais le processus d'impression des informations sensorielles
correspondantes dans la mémoire (empreinte) est déterminé par des
caractéristiques génétiques. Essayons de faire une analogie avec les
attachements humains. Quand Harry a rencontré Sally, son bien-être est
devenu une valeur absolue pour lui, mais supposons qu'ils ne se soient
jamais rencontrés et qu'Harry soit tombé amoureux de quelqu'un d'autre ;
alors peut-être que leurs préférences de valeur seraient également
différentes. La capacité des gènes humains à coder le mécanisme
d'établissement d'objectifs ne fait qu'expliquer pourquoi notre objectif
ultime regorge de divers modèles sémantiques d'informations, mais son
organisation complexe n'est en aucun cas déterminée génétiquement.
Dès lors, la question se pose : est-il possible de construire un système de
motivation pour l'intelligence artificielle basé sur ce principe ? Autrement
dit, au lieu de décrire un système complexe de valeurs, définir directement
un certain mécanisme qui assurerait l'acquisition de ces valeurs dans le
processus d'interaction de l'IA avec un certain environnement.
Il semble qu'il n'est pas facile d'imiter le processus de formation des valeurs
qui caractérise les gens. La machinerie génétique humaine correspondante
est le résultat d'un énorme travail effectué par l'évolution, et son travail sera
difficile à reproduire. De plus, le mécanisme est probablement conçu pour
le système neurocognitif humain et n'est donc pas applicable à l'intelligence
artificielle, sauf dans les modèles de simulation. Mais même si l'émulation
cérébrale complète est possible, il serait préférable de commencer par
télécharger l'esprit d'un adulte, un esprit qui contient déjà une
compréhension complète d'un certain ensemble de
valeurs humaines
.
Ainsi, une tentative de développer un modèle d'incrément de valeur qui
imite avec précision le processus de formation du système de valeurs
humaines signifie une série d'attaques ratées sur le problème de chargement
de valeur. Mais peut-être pourrions-nous créer un mécanisme artificiel plus
simple pour importer des représentations très précises des valeurs dont nous
avons besoin dans le système d'IA cible ? Pour réussir, l'IA n'a pas besoin
d'être dotée exactement de la même propension innée à acquérir des
préférences de valeur que les humains. Peut-être même indésirable: après
tout, la nature humaine est imparfaite, une personne choisit trop souvent en
faveur du mal, ce qui est inacceptable dans tout système capable d'obtenir
un avantage stratégique décisif. Peut-être vaut-il mieux se concentrer sur un
système de motivation qui ne correspond pas toujours aux normes
humaines, par exemple, celui qui tend à former des buts ultimes pleins
d'altruisme, de compassion et de générosité : toute personne ayant de telles
qualités, nous considérerions un représentant exemplaire de The Race
humaine. Ces fins ultimes doivent s'écarter de la norme humaine dans un
sens strictement défini, sinon elles ne sont guère considérées comme des
améliorations ; de plus, ils doivent supposer l'existence d'un cadre de
référence anthropocentrique immuable avec lequel faire des généralisations
évaluatives humainement significatives (pour éviter une mise en œuvre
défectueuse sur la base de descriptions d'objectifs artificiellement
acceptables, que nous considérons au chapitre huit). . La question de savoir
comment cela est possible reste ouverte.
Un autre problème avec le modèle d'incrémentation de valeur associative
est que l'IA peut simplement désactiver ce mécanisme d'incrémentation.
Comme nous l'avons vu au chapitre 7, l'intégrité du système cible est son
but instrumental convergent. Ayant atteint un certain stade de
développement cognitif, l'IA peut commencer à percevoir le
fonctionnement continu du mécanisme d'augmentation comme une
interférence hostile
11
. Ce n'est pas nécessairement une mauvaise chose,
mais vous devez veiller à empêcher le système cible de s'arrêter au bon
moment  :
après
que les valeurs souhaitées ont été acquises, mais
avant
qu'elles ne soient écrasées par un incrément involontaire.
Échafaudage pour le système de motivation
Il existe une autre approche pour résoudre le problème du chargement du
système de valeurs, qui peut être appelée "échafaudage de construction".
L'approche consiste à doter la graine d'IA d'objectifs finaux temporaires
relativement simples qui peuvent être exprimés par codage direct ou d'une
autre manière accessible. Le temps viendra où l'IA pourra former des
représentations plus complexes. Nous supprimerons alors les "forêts"
motivationnelles et remplacerons les valeurs temporaires par de nouvelles
qui resteront le système de valeurs ultime de l'IA, même lorsqu'elle
deviendra une superintelligence à part entière.
Étant donné que les cibles temporaires ne sont pas seulement des cibles
instrumentales, mais les
cibles ultimes de l'IA
, on peut s'attendre à ce
qu'elle résiste à leur remplacement (l'intégrité du système de ciblage est une
valeur instrumentale convergente). C'est le principal danger. Si l'IA parvient
à résister au remplacement des cibles temporaires par des cibles
permanentes, la méthode échouera.
Des précautions doivent être prises pour éviter un tel échec. Par exemple, la
méthode de contrôle des capacités peut être utilisée pour limiter la liberté de
l'IA jusqu'à ce qu'un système de motivation mature soit installé. En
particulier, nous pouvons essayer d'arrêter son développement cognitif à un
niveau où nous pouvons équiper efficacement et en toute sécurité l'IA des
objectifs finaux que nous voulons. Pour cela, il faut freiner l'amélioration de
certaines capacités cognitives, notamment celles nécessaires au
développement de stratégies et de schémas ingénieux dans l'esprit de
Machiavel, tout en permettant le développement de capacités
(supposément) plus anodines.
Les programmeurs peuvent essayer de créer un environnement collaboratif
avec l'IA grâce à des techniques de sélection motivationnelles. Par exemple,
utiliser une cible aussi temporaire que la volonté d'exécuter des commandes
humaines, y compris des commandes qui impliquent le remplacement de
toute cible IA existante
12
. D'autres objectifs temporaires incluent la
transparence des valeurs et des stratégies d'IA, ainsi que le développement
d'une architecture facile à comprendre pour les programmeurs, y compris la
dernière version de l'objectif final qui a du sens pour les gens et la
motivation à apprivoiser (par exemple, limiter l'utilisation de ressources
informatiques).
Cette option pourrait aussi être tentée : à terme, remplacer l'embryon d'IA,
doté d'un but final unique, par une version similaire de l'embryon, mais
avec un but final différent, fixé indirectement par les programmeurs. Cette
substitution pose certaines difficultés, notamment dans le contexte de
l'approche d'apprentissage par objectifs dont nous parlerons dans la section
suivante. D'autres difficultés seront traitées au chapitre treize.
La méthode d'échafaudage du système de motivation n'est pas sans
inconvénients. En particulier, il existe un risque que l'IA devienne trop
puissante avant que son système de cible temporaire ne soit modifié.
Ensuite, vous pouvez vous opposer (explicitement ou secrètement) aux
efforts des programmeurs pour le remplacer par une constante. En
conséquence, au stade de la transformation de l'embryon d'IA en une
superintelligence à part entière, les anciens objectifs finaux seront toujours
pertinents. Un autre inconvénient est que doter AIHI des objectifs finaux
souhaités pour les développeurs peut ne pas être aussi facile qu'avec une IA
plus primitive. Au lieu de cela, le germe de l'IA est une
tabula rasa
,
permettant la formation de n'importe laquelle de ses structures à la demande
des programmeurs. Cet inconvénient peut être transformé en avantage s'il
est possible de doter l'embryon d'IA de cibles temporaires, l'amenant à
s'efforcer de créer une architecture qui aidera les développeurs dans leurs
efforts ultérieurs pour lui donner des cibles finales permanentes. Cependant,
on ne sait toujours pas s'il est facile de s'assurer que les cibles temporaires
ont une graine d'IA de cette propriété, et aussi si même une IA parfaitement
motivée sera capable de créer une meilleure architecture qu'une équipe de
programmeurs humains.
L'éducation aux valeurs
Passons maintenant au chargement des valeurs, un problème sérieux qui
devra être résolu assez doucement. Il consiste à
enseigner à l'
IA les valeurs
qu'on aimerait lui donner. Cela nécessitera au moins un critère implicite
pour sa sélection. L'IA peut être configurée pour agir sur ses propres
croyances concernant ces valeurs implicites. Vous affinerez ces
représentations au fur et à mesure que votre compréhension du monde
s'élargit.
Contrairement à la méthode d'échafaudage motivationnel, lorsque l'IA est
dotée d'un objectif final temporaire, qui est ensuite remplacé par un objectif
permanent différent, dans la méthode d'enseignement des valeurs, l'objectif
final ne change pas au stade de développement et de fonctionnement de
l'IA. IA. . L'apprentissage ne change pas l'objectif lui-même, mais les idées
de l'IA sur cet objectif.
Ainsi, l'IA doit avoir un critère par lequel elle peut déterminer quels
percepts contiennent des preuves en faveur d'une hypothèse, quel est
l'objectif final et lesquels sont contre. Déterminer les critères appropriés
peut être difficile. Cette difficulté est en partie liée à la tâche même de créer
une IA, qui nécessite un puissant mécanisme d'apprentissage capable de
déterminer la structure du monde environnant sur la base de signaux limités
provenant de capteurs externes. Nous ne toucherons pas à ce problème.
Mais même si l'on considère que la tâche de créer une IA super-intelligente
est résolue, il reste des difficultés spécifiques au problème de chargement
du système de valeurs. Dans le cas de la pédagogie par buts, ils prennent la
forme de la spécification d'un critère qui relie les flux d'information perçus
à des hypothèses sur certains buts.
Avant d'approfondir la méthode d'enseignement des valeurs, il serait utile
d'illustrer l'idée par un exemple. Prenons un morceau de papier, écrivons
dessus la définition d'un ensemble de valeurs, mettons-le dans une
enveloppe et scellons-le. Nous allons ensuite créer un agent doté d'une
intelligence générale de niveau humain et lui donner l'objectif final suivant :
"Maximiser la réalisation des valeurs décrites dans cette enveloppe." Que
va faire l'agent ?
Vous ne savez pas ce qu'il y a dans l'enveloppe. Mais vous pouvez
construire des hypothèses et leur attribuer des probabilités, sur la base de
toutes les informations dont vous disposez et des données empiriques
disponibles. Par exemple, analyser d'autres textes écrits par une personne ou
observer le comportement humain et remarquer certains modèles. Cela vous
permettra de faire des suppositions éclairées. Il n'est pas nécessaire d'être
diplômé en philosophie pour suggérer qu'il s'agit plutôt d'une mission axée
sur la valeur  : «  Minimiser les injustices et les souffrances inutiles  » ou
«  Maximiser les rendements des actionnaires  », il est peu probable qu'on
vous demande de «  couvrir la surface de tous les lacs avec des sacs en
plastique".
Ayant pris une décision, l'agent commence à agir de manière à prendre
conscience des valeurs qui, à son avis, sont probablement contenues dans
l'enveloppe. Il est important que ce faisant, vous envisagiez d'apprendre
autant que possible sur le contenu de l'enveloppe comme un objectif
instrumental important. La raison en est que l'agent serait mieux à même
d'implémenter presque n'importe quelle valeur finale contenue dans
l'enveloppe s'il connaissait son libellé exact, alors il agirait beaucoup plus
efficacement. L'agent trouvera également des causes instrumentales
convergentes (décrites au chapitre sept)  : persistance des objectifs,
amélioration cognitive, acquisition de ressources, etc. Et pourtant, en
supposant qu'il attribue une probabilité suffisamment élevée pour que les
valeurs de l'enveloppe incluent le bien-être des personnes, il ne cherchera
pas à réaliser ces objectifs instrumentaux en transformant immédiatement la
planète en Computronium, détruisant ainsi l'espèce humaine. car cela
entraînera le risque de perdre définitivement l'opportunité d'atteindre la
valeur finale.
Un tel agent peut être comparé à une barge tirée dans des directions
différentes par plusieurs remorqueurs. Chaque tirage symbolise une
hypothèse sur la valeur finale. La puissance du moteur du remorqueur
correspond à la vraisemblance de l'hypothèse, de sorte que toute nouvelle
preuve modifie la direction de la barge. La force résultante déplace la barge
le long d'un chemin qui fournit l'apprentissage de la valeur finie
(implicitement donnée) et permet d'éviter les bancs d'erreurs irréversibles ;
et plus tard, lorsque la barge atteindra le large, c'est-à-dire connaissant avec
plus de précision la valeur finale, le remorqueur le plus puissant la traînera
par la route la plus directe ou la plus favorable.
La métaphore de l'enveloppe et de la barge illustre le principe de la
pédagogie des valeurs, mais elle passe à côté de nombreux points
techniques critiques. Ils deviendront plus perceptibles lorsque nous
commencerons à décrire cette méthode plus formellement (voir encadré
10).
Comment donner à AI cet objectif : "Maximiser la réalisation des valeurs
indiquées dans la note dans l'enveloppe scellée" ? (En d'autres termes, voir
l'Encadré 10 pour savoir comment définir un critère d'objectif.) Pour ce
faire, vous devez identifier où les valeurs sont décrites. Dans notre exemple,
cela nécessite une référence au texte de l'enveloppe. Bien que cette tâche
puisse sembler anodine, elle n'est pas sans embûches. Pour n'en citer qu'un :
il est essentiel que la référence ne soit pas seulement à un objet physique
extérieur, mais à un objet d'un certain temps. Sinon, l'IA peut décider que la
meilleure façon d'atteindre son objectif est de remplacer la description
originale de la valeur par une autre qui rend la tâche beaucoup plus facile
(par exemple, trouver un nombre plus grand pour un entier). En faisant cela,
l'IA pourra se détendre et donner un coup de pied dans le seau, bien que
cela soit plus susceptible d'être suivi d'un rejet dangereux, pour les raisons
que nous avons discutées au chapitre huit. Alors, maintenant la question
s'est posée, comment déterminer cette fois. On pourrait pointer vers
l'horloge : "Le temps est déterminé par le mouvement des aiguilles de cet
appareil", mais cela peut ne pas fonctionner si l'IA suppose qu'elle est
capable de manipuler le temps en contrôlant les aiguilles de l'horloge. Et
vous aurez raison si nous définissons le "temps" comme nous l'avons fait.
(En réalité, les choses seront encore plus compliquées, puisque les valeurs
correspondantes ne seront pas notées. Très probablement, l'IA devra déduire
des valeurs à partir d'observations de structures externes contenant des
informations pertinentes, telles que l'esprit humain.)
ENCADRÉ 10. FORMALISATION DES APPRENTISSAGES EN VALEURS
Pour mieux comprendre la méthode, décrivons-la plus formellement. Les lecteurs qui ne sont pas
prêts à plonger dans les calculs mathématiques peuvent ignorer cette section.
Supposons qu'il existe une structure simplifiée dans laquelle l'agent interagit avec l'environnement
pendant un nombre fini de moments
13
. Au temps
k
, l'agent effectue l'action
yk ,
après quoi il reçoit
la sensation xk
. L'histoire de l'interaction de l'agent avec l'environnement au cours de la vie
m
est
décrite par la chaîne
y
1
x
1
y
2
x
2
…y
m
x
m
(que nous représenterons par yx
1
:
mo
yx
≤
m
). A
chaque étape, l'agent choisit une action en fonction de l'enchaînement des sensations reçues
jusqu'alors.
Envisagez d'abord l'apprentissage par renforcement. Apprentissage par renforcement optimal (AR-
AR) L'IA maximise la récompense future attendue. Alors l'équation
14 est remplie
:

y
X
= arg max
y
k
∑
(
r

+ + ...
r P yx m

(


|
yx y


)
.
k ) ≤ m < kk

k
k
+ ??
xyx

La séquence de renforcements
r
k
, …, r
m
est dérivée de la séquence des états environnementaux
perçus
x
k
:
m
, puisque la récompense reçue par l'agent à chaque étape fait partie de la perception
obtenue à cette étape.
Nous avons déjà dit que ce type d'apprentissage par renforcement n'est pas adapté dans les conditions
actuelles, puisqu'un agent doté d'une intelligence assez élevée comprendra que la récompense
maximale sera apportée s'il peut manipuler directement le signal du système de récompense (effet
d'auto-stimulation). ). Dans le cas d'agents faibles, cela ne posera pas de problème, car nous pouvons
physiquement les empêcher de manipuler le canal par lequel les récompenses sont transmises. Nous
pouvons également surveiller leur environnement afin qu'ils ne soient récompensés que si leurs
actions sont conformes à nos attentes. Mais tout agent qui apprend avec renforcement aura de fortes
incitations à se débarrasser de cette dépendance artificielle : lorsque ses récompenses sont
conditionnées par nos caprices et nos désirs. Autrement dit, notre relation avec un agent
d'apprentissage par renforcement est fondamentalement antagoniste. Et si l'agent est fort, cela peut
être dangereux.
Des variantes de l'effet d'autostimulation peuvent également survenir dans des systèmes qui ne
recherchent pas de récompenses externes, c'est-à-dire ceux dont les objectifs consistent à atteindre
une sorte d'état interne. Par exemple, dans le cas des systèmes critiques d'acteurs, où le module acteur
choisit des actions de manière à minimiser l'insatisfaction d'un module critique individuel, qui calcule
dans quelle mesure le comportement de l'acteur correspond aux indicateurs de performance requis.
Le problème avec ce système est le suivant : le module acteur peut comprendre qu'il peut minimiser
l'insatisfaction du critique en le modifiant ou en l'éliminant complètement, comme un dictateur qui
dissout le parlement et nationalise la presse. Sur les systèmes aux capacités limitées, ce problème
peut être évité en ne donnant tout simplement aucun outil au module acteur pour modifier le module
critique. Cependant, un module acteur doté d'une intelligence et de ressources suffisantes pourra
toujours se donner accès au module critique (qui n'est en réalité qu'un processus de calcul physique
sur un ordinateur)
15
.
Avant de passer à un agent qui apprend des valeurs, considérons un autre système de maximisation
de l'utilité observationnelle (AI-MNE) comme étape intermédiaire. Il est obtenu en substituant
l'enchaînement des renforts (
r
k
+
…
+
r
m
) dans AI-OP sur une fonction d'utilité qui peut

dépendre de l'historique complet des futures interactions AI :

y
k
= arg max
y
k
∑
U yx
(


) (
P
≤ m

yx
≤
m
|
yx y
<
kk
)
xyx
k
k
+ ??
Cette formule évite le problème d'auto-stimulation, car une fonction d'utilité qui dépend de
l'historique complet des interactions peut être conçue pour pénaliser les historiques d'interaction qui
montrent des signes d'auto-tromperie (ou la réticence de l'agent à faire suffisamment d'efforts). pour
des informations précises). image de la réalité).
Ainsi, l'AI-BNP permet de contourner le problème de l'auto-stimulation
chez
principe
_ Cependant,
pour l'utiliser, vous devez définir une fonction d'utilité appropriée sur la classe de tous les historiques
d'interaction possibles, et c'est une tâche très difficile.
Il serait peut-être plus naturel de définir directement la fonction d'utilité en termes de mondes
possibles (ou de propriétés de mondes possibles, ou de théories sur le monde), plutôt qu'en termes
d'historiques d'interaction d'agents. Avec cette approche, la formule d'optimisation AI-MNP peut être

réécrite et simplifiée :
y
= arg max
y
∑
U w P w Ey
( ) (
|
)
.
w

Ici,
E
est l'ensemble des preuves dont dispose l'agent (au moment où il prend une décision), et
U
est
une fonction d'utilité qui attribue une utilité à une classe de mondes possibles. L'agent optimal
choisira des actions qui maximisent l'utilité attendue.
Un problème sérieux avec ces formules est la complexité de la spécification de la fonction d'utilité.
Et cela nous ramène finalement au problème de chargement des valeurs. Pour que la fonction d'utilité
soit obtenue dans le processus d'apprentissage, nous devons élargir notre définition formelle et tenir
compte de l'incertitude de la fonction d'utilité. Ceci peut être fait comme suit (II-OC)
16
:
y
= arg

max
y V
∈
∑
( ) (
w P w Ey
|
)
∑
U w P
( ) (
ν (
U w
) |
)
,

ww ∈ toi tu ∈

où
v
(-) est une fonction des fonctions d'utilité pour les hypothèses sur les fonctions d'utilité.
v
(
U
)
est l'hypothèse que la fonction d'utilité
U
satisfait le
critère de valeur
exprimé par
v
17
.
Autrement dit, pour décider quelle action effectuer, procédez comme suit  : calculez d'abord la
probabilité conditionnelle de chaque monde possible
w
(en tenant compte de toutes les preuves
possibles et en supposant que l'action
y doit être effectuée
 ); deuxièmement, pour chaque fonction
possible
U
, calculez la probabilité conditionnelle que
U
satisfasse le critère de valeur
v
(en
supposant que
w
est le monde réel)  ; troisièmement, pour chaque fonction d'utilité possible
U,
calculez l'utilité du monde possible
w
; quatrièmement, utiliser toutes ces valeurs pour calculer
l'utilité espérée du stock
y
; cinquièmement, répétez cette procédure pour toutes les actions possibles
et effectuez l'action avec l'utilité attendue la plus élevée (en utilisant n'importe quelle méthode de
choix entre des valeurs égales, le cas échéant). Il est clair que la démarche ainsi décrite, qui implique
une considération explicite de tous les mondes possibles, est difficile à mettre en oeuvre du point de
vue du besoin en ressources de calcul. L'IA devra utiliser des solutions alternatives pour approximer
cette équation d'optimisation.
Reste la question de savoir comment déterminer le critère de valeur
v
18
. Si l'IA a une bonne
compréhension de ce critère, elle peut, en principe, utiliser son intelligence pour recueillir des
informations sur les mondes possibles les plus susceptibles d'être réels. Ensuite, appliquez le critère
de valeur pour chaque monde potentiellement réel pour savoir quelle fonction objectif satisfait le
critère dans le monde
w
. Autrement dit, la formule AI-OV peut être considérée comme l'un des
moyens d'identifier et de mettre en évidence la principale difficulté de la méthode d'enseignement des
valeurs : comment représenter
v
. La description formelle du problème met également en évidence de
nombreuses autres complexités (telles que la manière de déterminer
Y
,
W
et
U
) qui doivent être
résolues avant que la méthode
19 puisse être utilisée
.
Une autre difficulté avec l'encodage de l'objectif de "maximisation de la
réalisation des valeurs d'enveloppe" est que même si cette carte décrit toutes
les valeurs correctes et que le système de motivation de l'IA utilise avec
succès cette source, l'IA peut interpréter les descriptions différemment de
celles fournies par leurs créateurs. Cela créera le risque d'une mise en œuvre
défectueuse décrite au chapitre huit.
Pour être clair, la difficulté ici n'est même pas de savoir comment amener
l'IA à comprendre les intentions des gens. La superintelligence peut le gérer
sans problème. La difficulté réside plutôt dans le fait que l'IA est motivée
pour atteindre les objectifs décrits de la manière dont elle était censée le
faire. Comprendre nos intentions ne garantit pas cela  : l'IA peut savoir
exactement ce que nous voulons dire et ne pas prêter attention à cette
interprétation de nos mots (en utilisant une interprétation différente de ceux-
ci comme motivation ou en n'y réagissant pas du tout).
La difficulté est aggravée par le fait qu'idéalement (pour des raisons de
sécurité), la motivation correcte devrait être chargée dans l'embryon d'IA
avant
comment vous
pourrez construire des représentations de n'importe
quel concept humain et commencer à comprendre les intentions des gens.
Cela nécessitera la création d'une sorte de cadre cognitif, offrant une place
au système de motivation de l'IA en tant que référentiel de ses valeurs
ultimes. Mais l'IA devrait être capable de changer ce cadre cognitif et de
développer ses capacités de représentation de concepts à mesure qu'elle
apprend à connaître le monde et grandit en intelligence. L'IA peut vivre
l'équivalent d'une révolution scientifique dans laquelle son modèle du
monde sera ébranlé jusque dans ses fondements, et elle peut faire face à une
crise ontologique en réalisant que sa vision antérieure des objectifs était
basée sur des illusions et des vœux pieux. Dans le même temps, à partir du
niveau d'intelligence qui n'atteint pas encore l'humain, et à tous les autres
stades de développement, jusqu'à la superintelligence des échelles
galactiques, le comportement de l'IA devrait être déterminé, en fait, par un
fin inchangée. système de valeurs que, grâce à ce développement, l'IA
comprend de mieux en mieux ; cependant, une IA mature est susceptible de
le comprendre assez différemment de ses développeurs, bien que cette
différence ne résultera pas d'actions aléatoires ou hostiles de l'IA, mais
plutôt de bonnes intentions. On ne sait pas encore comment traiter ce
problème
20
(voir encadré 11).
En résumé, il convient de dire qu'on ne sait pas encore comment utiliser la
méthode d'enseignement des valeurs pour former un système de valeurs en
IA qui soit acceptable pour les humains (cependant, quelques nouvelles
idées peuvent être trouvées dans l'encadré 12). Actuellement, cette méthode
doit être considérée comme une voie de recherche prometteuse plutôt que
comme une technique disponible pour l'application. Si vous pouvez le faire
fonctionner, cela peut s'avérer être une solution presque parfaite au
problème de chargement de valeur. Entre autres avantages, son utilisation
deviendra une barrière naturelle aux manifestations d'immoralité criminelle
de notre part, puisque l'IA embryonnaire, capable de deviner quelle valeur
cible les programmeurs ont pu lui charger, peut deviner que de telles actions
ne correspondent pas à ces valeurs . et doit donc être évitée au moins
jusqu'à ce que des informations plus définitives soient reçues.
Enfin et surtout, la question : que mettre dans l'enveloppe ? Ou, métaphores
mises à part, quelles valeurs aimerions-nous enseigner à l'IA  ? Mais cette
question est la même pour toutes les méthodes de résolution du problème de
chargement des valeurs. Nous y reviendrons au chapitre treize.
ENCADRÉ 11. UNE INTELLIGENCE ARTIFICIELLE QUI VEUT ÊTRE AMICALE
Eliezer Yudkowsky a tenté de décrire une partie de l'architecture d'un embryon d'IA qui lui
permettrait de se comporter comme décrit ci-dessus. Selon votre terminologie, une telle IA devrait
utiliser la "sémantique des liens externes"
21
. Pour illustrer l'idée principale de Yudkowsky,
supposons que nous voulions créer une IA conviviale. Son objectif initial est d'essayer de
comprendre une propriété de
F
, mais au départ, l'IA ne sait presque rien de
F.
Elle sait seulement
que
F
est une propriété abstraite. Et vous savez aussi que lorsque les programmeurs parlent d'amitié,
ils essaient probablement de transmettre des informations sur
F.
Puisque le but ultime de l'IA est de
formuler le concept de
F, en savoir plus sur F
devient un objectif instrumental important. Au fur et à
mesure que l'IA en apprend davantage sur
F
, son comportement est de plus en plus déterminé par le
véritable contenu de cette propriété. Autrement dit, on peut s'attendre à ce que plus l'IA apprend et
plus elle devient intelligente, plus elle devient conviviale.
Les développeurs peuvent faciliter ce processus et réduire le risque que l'IA commette une sorte
d'erreur catastrophique jusqu'à ce qu'elle comprenne pleinement la valeur de
F
en lui fournissant des
"assertions de programmeur": des hypothèses sur la nature et le contenu de
F
, qui sont initialement
attribuées. une forte probabilité. Par exemple, vous pouvez attribuer une forte probabilité à
l'hypothèse "d'induire les programmeurs en erreur de manière hostile". Cependant, de telles
déclarations ne sont pas "vraies par définition", les axiomes du concept d'amitié. Très probablement,
ce ne sont que des hypothèses initiales auxquelles l'IA rationnelle attribuera une probabilité élevée,
du moins tant qu'elle s'appuiera sur les compétences épistémologiques des programmeurs plus que
sur les siennes.
Yudkowsky a également suggéré d'utiliser ce qu'il appelle la "sémantique de la validité causale".
L'idée est que l'IA ne fait pas exactement ce que les programmeurs lui disent de faire, mais ce qu'ils
essayaient de lui dire de faire. En essayant d'expliquer à un germe d'IA ce qu'est la gentillesse, vous
avez peut-être fait une erreur dans vos explications. De plus, les programmeurs eux-mêmes n'ont
peut-être pas pleinement compris la vraie nature de l'amitié. Par conséquent, nous voulons que l'IA
puisse corriger les erreurs dans son raisonnement et déduire la valeur vraie ou supposée des
explications imparfaites que les programmeurs lui ont données. Par exemple, reproduire les processus
causaux de l'émergence d'idées sur l'amitié entre les programmeurs eux-mêmes et sur les manières de
la décrire ; comprendre qu'en saisissant des informations sur cette propriété, ils pourraient faire une
erreur typographique ; essayez de le trouver et de le réparer. Plus généralement, l'IA devrait chercher
à corriger les conséquences de toute ingérence qui fausse le flux d'informations sur la nature de
l'amitié, des programmeurs à l'IA (où "déformer" est entendu dans un sens épistémologique).
Idéalement, à mesure que l'IA mûrit, elle devrait surmonter tous les biais cognitifs et autres concepts
fondamentalement défectueux qui pourraient empêcher les programmeurs de comprendre pleinement
ce qu'est la gentillesse.
ENCADRÉ 12. LES DEUX NOUVELLES IDÉES SONT PRESQUE IMMATURE, PRESQUE
A MOITIÉ BRUTE
Une approche que l'on peut appeler "Je vous salue Marie"
22
est basée sur l'espoir que quelque part
dans l'univers il y a (ou il y aura bientôt) des civilisations qui ont réussi à faire face au
développement explosif de l'intelligence et, par conséquent, ont appris à apprécier systèmes qui
coïncident largement avec les nôtres. Dans ce cas, nous pouvons essayer de créer notre propre IA, qui
sera motivée à faire la même chose que vos systèmes intelligents. L'avantage de cette approche est
qu'il peut être plus facile de motiver l'IA de cette façon que directement.
Pour que ce schéma fonctionne, notre IA
n'a pas
besoin de contacter une IA extraterrestre. Au
contraire, vous devriez être guidé dans vos actions par des
estimations
de ce que vous pourriez
vouloir faire. Notre IA pourrait modéliser les résultats probables d'une explosion d'intelligence
ailleurs et, à mesure qu'elle devient super intelligente, le faire avec plus de précision. Une
connaissance parfaite ne lui est pas demandée. L'intelligence explosive peut avoir un large éventail
de résultats possibles, et notre IA devrait essayer de décider des préférences pour les types de super
intelligence qui peuvent leur être associées, pondérées par leurs probabilités.
Cette version de l'approche Hail Mary exige que nous développions des valeurs finales pour notre IA
qui soient cohérentes avec les préférences des autres systèmes de superintelligence. Comment faire
cela n'est pas encore clair. Cependant, les agents superintelligents doivent être structurellement
différents pour que nous puissions écrire un programme qui sert de détecteur de superintelligence,
analysant le modèle du monde qui émerge dans notre IA en évolution, recherchant des éléments de
représentation caractéristiques de la superintelligence. Le programme détecteur pourrait alors en
quelque sorte extraire les préférences de la superintelligence en question (de son idée de notre IA)
23
. Si nous parvenons à créer un tel détecteur, il pourra être utilisé pour déterminer les valeurs finales
de notre IA. L'une des difficultés est que nous devons créer un tel détecteur avant de savoir quel
cadre de vue notre IA développera. Le programme du détecteur doit être capable d'analyser des
cadres de représentation inconnus et d'extraire les préférences des systèmes de superintelligence qui y
sont représentés. Cela semble être une tâche ardue, mais peut-être qu'une solution peut être trouvée
24

.
Si vous parvenez à mettre en œuvre l'approche de base, vous pouvez commencer à l'améliorer tout de
suite. Par exemple, au lieu de suivre les préférences (plus précisément, une composition pondérée) de
chaque
superintelligence extraterrestre, notre IA peut avoir un filtre pour sélectionner un sous-
ensemble d'IA extraterrestres (afin qu'elle puisse suivre l'exemple de celles dont les valeurs
correspondent aux nôtres). ). ). Par exemple, la source de son occurrence peut être utilisée comme
critère pour inclure l'IA dans ce sous-ensemble. Certaines des circonstances dans lesquelles l'IA est
créée (que nous devons être capables de définir en termes structurels) peuvent être en corrélation
avec la mesure dans laquelle l'IA qui en résulte peut partager nos valeurs. Peut-être avons-nous plus
confiance dans les IA issues d'une émulation cérébrale totale, ou dans les IA naissantes qui ont peu
utilisé les mécanismes évolutifs, ou qui ont émergé d'un décollage lent et contrôlé. (En considérant
l'origine de l'IA, nous pouvons également éviter le danger de trop insister sur les IA qui créent de
nombreuses copies d'elles-mêmes, et en fait éviter de créer une incitation à le faire.) Beaucoup
d'autres peuvent également être introduites dans cette approche.
L'approche Je vous salue Marie implique la croyance qu'il existe d'autres systèmes supramentaux qui
partagent largement nos valeurs
25
. Cela signifie qu'il n'est pas parfait.
Cependant, les obstacles techniques qui entravent la mise en œuvre de l'approche Hail Mary, bien
qu'importants, peuvent être moins complexes qu'avec d'autres approches. Peut-être est-il judicieux
d'étudier des approches, bien que pas les plus idéales, mais plus faciles à appliquer, et non à utiliser,
mais d'avoir un plan de secours au cas où la solution idéale ne serait pas trouvée au bon moment.
Paul Christiano a récemment proposé une autre idée pour résoudre le problème de chargement de
valeur
26
. Comme l'Ave Maria, c'est une méthode d'enseignement des valeurs qui implique de
définir les critères de valeur non pas par un développement laborieux, mais par la concentration.
Contrairement à Hail Mary, il ne suppose pas l'existence d'autres agents superintelligents que nous
utilisons comme modèles pour notre propre IA. La proposition de Cristiano est difficile à expliquer
en quelques mots —c'est une chaîne d'inférences compliquées—, mais on peut au moins essayer d'en
souligner les principaux éléments.
Supposons que nous obtenions : a) une description mathématiquement précise du cerveau d'une
personne particulière ; b) un environnement virtuel strictement défini mathématiquement contenant
un ordinateur idéalisé avec une quantité de mémoire arbitrairement grande et un processeur super
puissant. Ayant a et b, nous pouvons définir la fonction d'utilité
U
comme le signal de sortie que le
cerveau humain produit après avoir interagi avec cet environnement.
U
peut être un objet
mathématiquement bien défini, mais en même temps un objet que (en raison de limitations de calcul)
nous ne pouvons pas
décrire spécifiquement
. Cependant,
U
peut servir de mesure de valeur lors de
l'enseignement d'un système de valeurs à une IA. Ce faisant, l'IA utilisera diverses heuristiques pour
construire des hypothèses probabilistes sur ce que
U représente.
Intuitivement, on veut que
U
soit une fonction d'utilité telle qu'une personne convenablement formée
la trouverait, ayant un nombre arbitrairement grand de ressources informatiques, assez, disons, pour
créer un nombre astronomique de vos modèles de simulation qui peuvent vous aider à trouver une
utilité fonction ou dans le développement d'un processus pour sa recherche. (Nous avons déjà abordé
le sujet de la volonté extrapolée convergente, que nous traiterons plus en détail au chapitre treize.)
La tâche de décrire un environnement idéalisé semble relativement simple : nous pouvons donner une
description mathématique d'un ordinateur abstrait avec une capacité arbitrairement grande ; et aussi,
à l'aide d'un programme de réalité virtuelle, décrivez, disons, une pièce avec un terminal informatique
(représentant ce même ordinateur abstrait). Mais comment obtenir une description
mathématiquement précise du cerveau d'une personne en particulier  ? Le moyen évident est de
l'émuler complètement, mais que se passe-t-il si cette technologie n'est pas encore disponible ?
C'est là que l'innovation clé de Cristiano entre en jeu. Il dit que pour obtenir un critère objectif
mathématiquement rigoureux, nous n'avons pas besoin d'un modèle informatique de simulation
cérébrale utilisable que nous pouvons exécuter. Tout ce dont nous avons besoin est une
définition
mathématique (peut-être implicitement et désespérément compliquée)
, et c'est beaucoup plus facile à
réaliser. Avec l'aide de la neuroimagerie fonctionnelle et d'autres outils de mesure, des gigaoctets de
données peuvent être collectés sur les connexions entre les signaux d'entrée et de sortie du cerveau
d'une personne particulière. Une fois que suffisamment de données ont été collectées, le modèle de
simulation mathématique le plus simple qui prend en compte toutes ces données peut être créé, et ce
modèle se révélera en fait être un émulateur du cerveau en question. Bien que d'un point de vue
informatique, nous ne soyons peut-être pas en mesure de
trouver
un tel modèle de simulation à partir
des données dont nous disposons, en nous appuyant dessus et en utilisant des indicateurs de
complexité mathématiquement rigoureux (par exemple, une version de la complexité de
Kolmogorov, que nous avons rencontrée dans l'encadré 1 dans le premier chapitre), il est tout à fait
possible
de déterminer ce modèle
27
.

Variations du modèle de simulation

Le problème des valeurs de chargement semble quelque peu différent si
nous ne parlons pas d'intelligence artificielle, mais d'un modèle de
simulation du cerveau. Premièrement, les émulateurs n'appliquent pas de
méthodes impliquant une compréhension des processus de niveau inférieur
et le contrôle des algorithmes et de l'architecture. Deuxièmement, lorsqu'il
s'agit de modèles de simulation cérébrale (et d'intelligence biologique
augmentée), la méthode de multiplication (du groupe général des méthodes
de sélection motivationnelle) peut être utilisée, ce qui n'est pas applicable à
l'intelligence artificielle
28
.
La méthode de multiplication peut être combinée avec des techniques pour
ajuster les objectifs initiaux du système. Par exemple, on peut tenter de
manipuler les états motivationnels des émulateurs en manipulant
l'équivalent numérique des substances psychoactives (ou des produits
chimiques réels, dans le cas des systèmes biologiques). Aujourd'hui, il est
déjà possible de manipuler les objectifs et la motivation à l'aide de drogues,
bien que de manière limitée
29
. Mais la pharmacologie du futur pourra
proposer des médicaments aux effets beaucoup plus précis et prévisibles.
Grâce à l'environnement numérique dans lequel les émulateurs existent,
toutes ces actions seront grandement simplifiées : il est beaucoup plus facile
d'y mener des expériences contrôlées et d'accéder directement à n'importe
quelle zone du cerveau numérique.
Comme pour les expériences sur des êtres vivants, les expériences avec des
modèles de simulation impliquent des questions éthiques qui ne peuvent
être résolues avec le seul formulaire de consentement éclairé. De tels
problèmes plutôt insolubles peuvent se transformer en véritables conflits,
rendant difficile le développement de projets liés à l'émulation du cerveau
entier (très probablement de nouvelles normes et réglementations éthiques
seront introduites). Cela affectera plus fortement l'étude des mécanismes de
la structure motivationnelle des émulateurs. Le résultat peut être
désastreux : en raison d'une étude insuffisante des méthodes pour contrôler
les capacités des modèles de simulation et des méthodes pour ajuster leurs
objectifs finaux, les capacités cognitives des émulateurs commenceront à
s'améliorer de manière incontrôlable jusqu'à un niveau super-intelligent
potentiellement dangereux. . De plus, il est tout à fait réaliste que dans une
situation où les problèmes éthiques sont particulièrement graves, des
groupes de conception et des États moins scrupuleux surgiront. Dans le
même temps, si nous abaissons nos normes éthiques, alors dans le processus
de travail expérimental avec un esprit humain numérisé, un préjudice
irréparable peut lui être causé, ce qui est absolument inacceptable. Dans
tous les cas, nous devrons assumer l'entière responsabilité de notre propre
comportement malhonnête et des dommages causés aux modèles de
simulation.
Toutes choses égales par ailleurs, des considérations éthiques sont
susceptibles de nous contraindre à refuser de mener des expérimentations
sur des copies numériques de personnes. Dans une situation stratégique
aussi critique, nous serons obligés de chercher des voies alternatives qui ne
nécessitent pas une étude aussi active du cerveau biologique.
Cependant, tout n'est pas si clair. Je suis prêt à écouter vos objections : les
recherches liées à l'émulation du cerveau entier sont
moins
susceptibles de
soulever des questions éthiques que les développements dans le domaine de
l'intelligence artificielle, au motif qu'il nous est plus facile de retracer le
moment de la formation où l'émulateur commence pour acquérir le droit au
statut moral, pas une intelligence artificielle complètement étrangère. Si un
certain type d'IA, ou certains de ses fils, acquièrent un statut moral
important avant que nous ne le reconnaissions, les implications éthiques
peuvent être énormes. Prenez, par exemple, l'incroyable facilité avec
laquelle les programmeurs modernes créent des agents d'apprentissage par
renforcement et leur appliquent des stimuli négatifs. D'innombrables agents
de ce type sont créés chaque jour, non seulement dans les laboratoires
scientifiques, mais également dans de nombreuses entreprises où diverses
applications sont développées et des jeux informatiques contenant de
nombreux personnages complexes sont créés. Vraisemblablement, ces
agents sont encore trop primitifs pour revendiquer un quelconque statut
moral. Mais peut-on être sûr à 100% ? Et encore une remarque importante :
pouvons-nous être sûrs de savoir à quel moment s'arrêter pour que les
programmes ne commencent pas à souffrir ?
(Au chapitre quatorze, nous reviendrons sur certaines des questions
stratégiques plus larges qui se posent lors de la comparaison des deux
processus  : faire une émulation cérébrale complète et développer
l'intelligence artificielle.)
construction institutionnelle
Il existe des systèmes intelligents dont les composants sont eux-mêmes des
agents dotés d'intelligence. Dans notre monde encore humain, les États et
les entreprises sont des exemples de tels systèmes : ils sont constitués de
personnes, mais dans certains cas, les institutions elles-mêmes peuvent être
considérées comme des agents indépendants et fonctionnellement
indépendants. La motivation d'un système aussi complexe qu'une institution
dépend non seulement des motivations de ses sous-agents constitutifs, mais
aussi de la manière dont ces sous-agents sont organisés. Par exemple, un
système institutionnel de type dictatorial peut se comporter comme s'il avait
une volonté semblable à celle d'un seul sous-agent faisant office de
dictateur, tandis qu'un système institutionnel de type démocratique, au
contraire, se comporte comme s'il accumulait les intérêts de tous les agents.
sous-agents et exprime la volonté commune de tous les participants.
Cependant, il est possible d'imaginer de telles institutions de gestion dans
lesquelles l'organisation n'exprime pas les intérêts combinés de ses sous-
agents constitutifs. (Théoriquement, l'existence d'un État totalitaire,
unanimement détesté par toute sa population, est tout à fait possible,
puisque la structure du pouvoir dispose d'un puissant appareil de répression
qui ne permet même pas de penser à une quelconque confrontation civile -
ni à un soulèvement coordonné -., ni sur les protestations individuelles (par
conséquent, les citoyens, n'ayant pas droit à l'indignation générale ou
individuelle, ne peuvent fonctionner que comme des rouages de l'appareil
d'Etat).
Par conséquent, en créant des institutions appropriées pour des systèmes
complexes, des tentatives peuvent être faites pour former immédiatement
des systèmes efficaces de motivation. Dans le neuvième chapitre, nous
discutons de l'intégration sociale comme l'une des options pour contrôler les
opportunités. Nous devons maintenant considérer la question de
l'intégration sociale en termes d'incitations auxquelles est confronté un
agent qui existe dans le monde social des pairs. Nous nous concentrerons
sur ce qui se passe
à l'intérieur
d'un certain agent : comment sa volonté est
déterminée par son organisation interne. La conception de ce type
d'institution ne dépendant pas d'une ingénierie sociale ou de réformes à
grande échelle, la méthode de sélection par motivation est applicable dans
le cadre d'un seul projet de superintelligence, même si l'environnement
socio-économique et l'environnement international ne sont pas les mêmes.
plus favorable.
Il serait probablement préférable d'utiliser la conception institutionnelle en
combinaison avec la méthode de multiplication. Si nous pouvons
commencer avec des agents qui ont déjà la motivation requise, voire une
motivation de type humain, alors les mécanismes institutionnels et les
garde-fous augmenteront les garanties que le système ne s'écartera pas de la
bonne voie.
Supposons que nous commencions avec des agents de type humain très
motivés, tels que des modèles de simulation. Nous devons augmenter les
capacités cognitives de ces agents, mais nous craignons que l'amélioration
ne modifie leur système de motivation. Une façon de traiter ce problème est
de créer une sorte d'organisation où des émulateurs individuels agissent en
tant que sous-agents. Chaque procédure d'amélioration ultérieure ne sera
appliquée qu'à une petite partie de ces sous-agents, et leur impact sera
évalué en comparant leur comportement avec le comportement d'un groupe
témoin de sous-agents qui n'ont pas subi la procédure d'amélioration.
Lorsqu'il est confirmé que l'amélioration des capacités cognitives des
émulateurs ne nuit pas à leur motivation, alors la procédure peut être
appliquée à l'ensemble de la population de sous-agents. S'il s'avère que le
système de motivation des sous-agents améliorés a souffert, ils sont exclus
des plans d'amélioration ultérieurs et ne sont pas autorisés à prendre des
décisions importantes (au moins jusqu'à ce que le système organisationnel
dans son ensemble ait été développé au point de pouvoir faites-le). les
réintégrer en toute sécurité)
30
. Bien que les sous-agents dont la motivation
est altérée puissent tirer un certain avantage de l'amélioration, ils ne sont
pas en mesure de prendre le pouvoir dans le système organisationnel ou
"d'infecter" tout le monde avec leur erreur, car ils représentent une petite
minorité de toute la communauté. de sous. -agents. Autrement dit,
l'intelligence collective et les capacités du système augmenteront
progressivement à la suite de petites étapes successives, tandis que
l'exactitude de chaque étape est vérifiée par des sous-agents avec pas
beaucoup moins de compétences que les sous-agents qui apparaissent à la
suite de l'étape suivante.
Le degré de sécurité atteint grâce à cette conception institutionnelle est
limité par la précision des tests utilisés pour évaluer les sous-agents
améliorés. Le développement des tests est compliqué par le fait que les
paramètres estimés ne peuvent être testés que sur une petite gamme de
capacités cognitives, et doivent également être appliqués à des agents en
dehors de cette gamme. Vous pouvez partiellement éliminer ce problème si
vous effectuez une amélioration et une vérification constantes et
progressives sur une longue période. Cependant, de telles précautions
augmenteront les coûts et retarderont les progrès (et dans le cas d'une
course concurrentielle, cela signifiera que le projet prenant de telles
mesures sera désavantagé). Et même si nous procédons par petites étapes et
effectuons des tests intensifs, il y a un certain risque que de petits défauts
apparaissent qui conduiront progressivement à la dégradation de l'ensemble
du système cible, une dégradation qui ne peut se manifester qu'au stade où
le système atteint la cible. niveau de superintelligence. Le risque peut être
quelque peu réduit en étendant la condition de test à de nombreuses étapes
d'amélioration, de sorte que même les agents qui ont réussi le test à un
certain stade et qui ont été soumis à des améliorations ultérieures
continueraient d'être comparés à un groupe témoin d'agents non modifiés.
avec une valeur initiale initiale. bon système de motivation.
Idéalement, ces tests devraient être continus et ne pas se limiter à la période
d'évaluation initiale. Les sous-agents de niveau humain ont des capacités
stratégiques et peuvent cacher certaines cibles lors des contrôles de
comportement. Pour permettre des tests continus, une hiérarchie pourrait
être créée dans laquelle certains sous-agents assument la tâche de contrôler
d'autres sous-agents avec un niveau de compétence légèrement supérieur.
Au bas de la hiérarchie des compétences (mais au sommet de la hiérarchie
des pouvoirs) se trouvera le réalisateur le plus borné et le plus "inhibé". Ce
sera comme un roi imbécile donnant des ordres à un tribunal incompétent,
qui à son tour contrôle un gouvernement médiocre qui contrôle des gens
talentueux. Il peut également être comparé à l'ancien "cerveau reptilien" qui
veille à ce qu'un "néocortex" plus jeune et beaucoup plus développé soit
responsable de l'exécution de fonctions telles que l'alimentation et la
copulation.
La question peut se poser, mais une telle méritocratie inversée sera-t-elle
stable ? S'il s'avère que la motivation d'un nombre important d'agents
superintelligents s'effondre et que les gestionnaires de projet dans leur
ensemble tentent d'"inverser" certaines des améliorations, cette structure
institutionnelle sera-t-elle suffisamment solide pour résister à la résistance ?
causé par ce mouvement? Dans le contexte des sociétés humaines
historiques et contemporaines, la réponse est probablement non. (On ne
peut pas dire que seules les personnes les plus capables arrivent au pouvoir,
mais on peut aussi dire que nous contrôlons
directement
les chimpanzés est
également impossible). Cependant, cette question est beaucoup plus
compliquée lorsque la société est un ensemble de programmes
informatiques
31
.
Imaginez une hiérarchie numérique avec un policier bien formé pour deux
cols bleus. Et pour deux policiers ordinaires, il y a un policier spécial. Il y a
aussi un policier spécial pour deux spéciaux, et ainsi de suite, de sorte
qu'au-dessus de chaque niveau de contrôleurs, il y a un niveau avec au
moins la moitié de contrôleurs. Imaginez aussi la structure de cette société,
dans laquelle le contrôleur a de grands pouvoirs sur les agents sous son
contrôle. Par exemple, vous pouvez voir et enregistrer tout ce qu'ils disent
et font, comme s'ils étaient cachés par un miroir en verre ; grâce à ce verre,
les agents contrôlés ne reçoivent que les ordres et instructions que le
contrôleur lui-même a sélectionnés. Vous devez également imaginer que
devant chaque contrôleur se trouve un tableau avec des boutons, en
appuyant dessus, vous pouvez punir, récompenser, mettre en pause, tuer ou
ramener votre agent contrôlé à l' état précédent à tout moment. Grâce à ces
possibilités, le pouvoir de l'agent-contrôleur dépasse largement les limites
historiques de ce que l'on retrouve dans les organisations même les plus
totalitaires.
Mais même ces outils de contrôle ne sont pas épuisés. Les contrôleurs
peuvent avoir à leur disposition des simulateurs de réalité virtuelle réalistes,
qu'ils peuvent utiliser pour simuler des scénarios de simulation pour
provoquer des agents sous leur contrôle et étudier leurs réactions (par
exemple, suggérer de s'engager dans un complot ou de se détendre un peu,
en s'assurant que personne ne voit ). pour eux). De plus, les contrôleurs
peuvent "entrer dans l'esprit" des agents sous leur contrôle, écouter leurs
monologues internes et manipuler directement leur état émotionnel.
Autrement dit, le contrôleur a un énorme avantage
32
. Mais chaque
contrôleur est un agent contrôlé d'un autre contrôleur à un niveau supérieur,
qui, à son tour, surveille chacun de ses
pas
et s'assure qu'il
ne
faiblit pas
dans l'exercice de ses fonctions de contrôle. Ainsi, une structure bien pensée
peut être stable même lorsque les contrôleurs à tous les niveaux de la
hiérarchie sont intellectuellement plus faibles que ceux qui sont contrôlés
33
. Et toute cette structure, qui comprend de nombreux agents
superintelligents, peut être contrôlée par un petit nombre de personnes
disposant d'un accès administratif
34
.
Les coûts associés à une telle structure de contrôle interne peuvent être
importants, mais pas prohibitifs. Par exemple, dans un modèle où il y a
deux fois moins de membres à chaque niveau qu'au niveau inférieur, la
surcharge de calcul supplémentaire est limitée à seulement 100 % de ce qui
est requis pour la partie « prolétaire » du système, ou même moins si le
patron le plus stupide nécessite moins de calculs par sous-agent. En
augmentant cet indicateur, vous pouvez renforcer le contrôle, en le
diminuant, vous pouvez réduire les coûts. Les coûts de calcul
supplémentaires seront un facteur important dans le scénario de marché
concurrentiel mondial (voir chapitre 11), mais dans le contexte d'un projet
sans concurrents directs puissants, leur rôle est assez modeste. Il faudra
également du temps aux développeurs pour créer et tester toutes ces
fonctionnalités de contrôle. Ils peuvent être réduits si, dans le cadre d'un
projet à gros moyens, le travail sur la structure de contrôle et l'intelligence
artificielle elle-même est parallélisé ; mais sa charge sera prohibitive pour
les petits projets et les projets engagés dans une course technologique
intense.
Un autre type de coût dans les structures de ce type est également frappant ,
le risque d' immoralité criminelle
35
. L'institution que nous avons décrite
ressemble à un terrible camp de travail nord-coréen. Cependant, il existe
des possibilités d'atténuer les problèmes éthiques associés à leur travail
même lorsque leurs sous-agents constitutifs sont des émules avec un statut
moral correspondant à celui d'un être humain. Dans le cas le plus extrême,
elle peut reposer sur une participation volontaire à celle-ci. En outre, chaque
sous-agent devrait avoir le droit de mettre fin à sa participation à tout
moment
36
. Les modèles de simulation supprimés peuvent être conservés en
mémoire avec l'obligation de les restaurer dans des conditions plus adaptées
lorsque l'étape dangereuse du développement explosif du renseignement est
passée. Pendant ce temps, les sous-agents qui décident de participer au
système peuvent être situés dans des environnements virtuels très
confortables et avoir suffisamment de temps pour dormir et se reposer. Ces
mesures impliquent également des coûts, qui sont cependant tout à fait à la
portée d'un projet disposant de moyens importants et sans concurrents
directs. Mais dans un environnement hautement concurrentiel, ces coûts
peuvent être inacceptables : la seule consolation est de croire que les
concurrents les supportent aussi.
Dans notre exemple, nous supposons que les sous-agents sont des
émulateurs, c'est-à-dire des modèles de simulation du cerveau humain. La
question peut se poser : la méthode de construction d'institution exigerait-
elle que les sous-agents soient anthropomorphes ? Ou s'applique-t-elle
également aux systèmes constitués de sous-agents artificiels ?
Le possible scepticisme à cet égard est compréhensible. On sait que malgré
toute notre vaste expérience d'observation des agents humains, nous
sommes encore incapables de prédire le début et l'issue des révolutions : les
sciences sociales peuvent, au mieux, décrire certaines de leurs régularités
statistiques
37
. Et puisque nous ne pouvons pas prédire de manière fiable la
stabilité des structures sociales formées par les êtres humains ordinaires
(dont nous savons tant de choses), il est tentant de conclure que nous
n'avons aucun espoir de construire des structures sociales stables pour les
agents humanoïdes améliorés sur le plan cognitif (dont nous savons nous ne
savons rien), et encore plus pour les agents de l'IA (qui ne ressemblent
même pas à des agents dont nous ne savons rien).
Cependant, tout n'est pas si mauvais. Les humains et les humanoïdes sont
extrêmement complexes, tandis que les agents artificiels peuvent avoir des
architectures relativement simples. Les agents artificiels peuvent aussi avoir
une motivation simple et explicite. De plus, les agents numériques en
général (émulateurs et IA) sont copiables  : cet avantage a le potentiel de
révolutionner le contrôle, tout comme les composants interchangeables ont
révolutionné la fabrication. Ces différences, combinées à la capacité de
travailler avec des agents initialement impuissants et de créer des structures
institutionnelles utilisant les méthodes de contrôle ci-dessus, peuvent
permettre d'atteindre le résultat institutionnel souhaité, par exemple un
système dans lequel il n'y aura pas de révolutions. - et plus probable que
dans le cas des humains.
Cependant, il faut dire que les agents artificiels peuvent manquer de
nombreuses propriétés dont la connaissance permet de prédire le
comportement des agents humanoïdes. Ils n'ont besoin d'aucune des
émotions sociales qui régissent le comportement humain, comme la peur, la
fierté et le remords. Ils n'ont pas besoin de liens amicaux et familiaux. Ils
n'ont pas besoin d'un "langage corporel" qui nous empêche, nous les
humains, de cacher nos intentions. Ces facteurs peuvent déstabiliser les
organisations formées par des agents artificiels. De plus, ces agents sont
capables de faire de grands sauts dans les performances cognitives à la suite
de changements apparemment insignifiants dans leurs algorithmes ou leur
architecture. Des agents artificiels impitoyablement optimaux seront prêts à
se lancer dans de telles aventures risquées, dont le résultat peut être une
réduction de la taille de l'humanité
38
. De plus, les agents superintelligents
peuvent nous surprendre par leur capacité à coordonner leurs actions avec
peu ou pas de communication entre eux (par exemple, grâce à la
modélisation interne des réactions hypothétiques des partenaires à diverses
circonstances).
Ces caractéristiques et d'autres augmentent la probabilité d'un effondrement
soudain d'une organisation composée d'agents artificiels, malgré des
méthodes de contrôle social apparemment à l'épreuve des balles.
Par conséquent, on ne sait pas encore à quel point la méthode de conception
institutionnelle est prometteuse et si elle sera plus efficace dans le cas
d'agents anthropomorphes que d'agents artificiels. Il peut sembler que la
création d'une institution avec des freins et contrepoids appropriés
augmenterait notre sécurité, ou du moins ne la diminuerait pas, donc du
point de vue de l'atténuation des risques, cette méthode est mieux appliquée
à tout moment. Mais en fait, même cela ne peut pas être dit avec certitude.
L'utilisation de la méthode augmente la complexité du système, créant ainsi
de nouvelles opportunités pour l'évolution défavorable de la situation, qui
sont absentes dans le cas d'agents qui n'ont pas de sous-agents intelligents
comme composants. Cependant, la méthode de conception institutionnelle
mérite une étude plus approfondie
39
.
Sommaire
L'ingénierie des systèmes cibles n'est pas encore une discipline établie.
Jusqu'à présent, il n'y a pas de clarté complète sur la façon de charger des
valeurs humaines dans un ordinateur, même si nous parlons d'intelligence
artificielle au niveau humain. Après avoir examiné de nombreuses
approches, nous avons constaté que certaines d'entre elles semblent mener à
des impasses, mais il y en a d'autres qui sont prometteuses et devraient faire
l'objet d'une analyse plus approfondie. Nous résumons le matériel étudié
dans le tableau. 12
 
Tableau 12.
Résumé des méthodes de chargement de valeur
représentation Cela semble prometteur comme moyen de charger des valeurs lors de
explicite l'utilisation de la méthode d'apprivoisement. Peu utile pour des objectifs plus
complexes
Sélection naturelle moins prometteur. Une recherche exhaustive peut trouver des schémas qui
satisfont les critères de recherche formels, mais ne correspondent pas à nos
intentions. De plus, si les options du régime sont évaluées par leur mise en
œuvre, y compris celles qui ne répondent même pas à des critères formels,
les risques sont considérablement accrus. Dans le cas de l'application de la
méthode de sélection naturelle, il est plus difficile d'éviter l'immoralité
criminelle, surtout si le cerveau des agents est de type humain.
apprentissage Diverses méthodes peuvent être utilisées pour résoudre un problème
renforcé d'apprentissage par renforcement, mais cela est généralement réalisé en
construisant un système qui cherche à maximiser le signal de récompense.
Au fur et à mesure que l'intelligence de ces systèmes se développe, ils
présentent une tendance inhérente à l'échec de l'autostimulation. Les
méthodes d'apprentissage par renforcement ne semblent pas prometteuses

Modèle d'incrément Une personne reçoit la plupart des informations sur ses objectifs spécifiques
de valeur grâce à une expérience enrichie. Et bien qu'en principe, la méthode de mise à
l'échelle puisse être utilisée pour créer un agent motivé par l'homme, les
caractéristiques inhérentes à la mise à l'échelle de la cible chez l'homme sont
trop difficiles à reproduire si vous commencez à travailler avec l'IA
embryonnaire. Une approche incorrecte peut conduire l'IA à généraliser les
informations différemment des humains, n'atteignant ainsi pas les objectifs
finaux visés. Des recherches supplémentaires sont nécessaires pour
déterminer avec suffisamment de précision la difficulté des travaux de
valorisation.

Échafaudage pour le Il est trop tôt pour dire à quel point il sera difficile d'amener le système à
système de développer des représentations internes de haut niveau transparentes pour les
motivation gens (tout en maintenant les capacités du système à un niveau sûr) pour créer
un nouveau système de valeurs. à l'aide de telles représentations. La méthode
semble très prometteuse. (Mais puisque dans ce cas, comme pour toute
méthode non testée, une grande partie du travail de sécurité est reportée
jusqu'à l'arrivée de l'AIHI, cela ne peut pas être une excuse pour ignorer le
problème de contrôle aussi longtemps qu'il le faudra.) jusqu'à ce moment).
L'éducation aux Une approche potentiellement prometteuse, mais des recherches
valeurs supplémentaires sont nécessaires pour déterminer à quel point il serait
difficile de définir formellement des références à des informations externes
importantes sur les valeurs humaines (et à quel point il serait difficile
d'utiliser une telle référence pour établir un critère de qualité pour une
fonction d'utilité) . Dans cette approche, il convient d'examiner des
propositions telles que la méthode Ave Maria et la construction de Paul
Christiano.

Émulateurs et Si l'intelligence artificielle est créée à la suite d'une émulation cérébrale

modulations complète, il est très probablement possible de corriger sa motivation en
numériques utilisant l'équivalent numérique de médicaments ou d'autres moyens. La
question de savoir si cela permettra de charger les cibles avec suffisamment
de précision pour assurer la sécurité, même si l'émulateur devient super
intelligent, reste une question ouverte. (Des restrictions éthiques peuvent
affecter le développement du processus).

construction Les organisations émulatrices sont soumises à une variété de contrôles de

institutionnelle capacité forts, y compris l'inclusion sociale. En principe, ces méthodes
peuvent également être utilisées pour les organisations dont les membres sont
des systèmes d'IA. Les émulateurs ont un ensemble de fonctionnalités qui les
rendent plus faciles à contrôler et un autre ensemble de fonctionnalités qui les
rendent plus difficiles à contrôler que l'IA. L'ingénierie institutionnelle mérite
d'être approfondie en tant que technique de chargement de valeur
potentiellement utile.
Une fois que nous avons compris comment résoudre le problème du
chargement des valeurs, nous nous heurtons immédiatement au problème
suivant : comment décider quelles valeurs charger. En d'autres termes,
avons-nous une idée préconçue de ce que voudrait une superintelligence ?
C'est une question presque philosophique, et maintenant nous allons la
traiter.
 Chapitre treize
Choix des critères de sélection
Supposons que nous puissions attribuer n'importe quelle valeur finale à la
graine AI. Ainsi, la décision que nous prenons, quel devrait être cet objectif,
a des conséquences considérables. Nous aurons à définir quelques
paramètres de choix liés aux axiomes de la théorie de la décision et de
l'épistémologie. Mais où obtenons-nous l'assurance que nous, humains,
créatures étroites d'esprit, ignorantes et étroites d'esprit, pouvons prendre les
bonnes décisions sur cette question ? Serons-nous capables de faire un
choix qui ne soit pas prédéterminé par les partis pris et les préjugés de notre
génération ? Dans ce chapitre, nous verrons comment, par la normativité
indirecte, transférer une grande partie du travail mental associé à la prise de
ces décisions au supramental lui-même, tout en se rappelant que le point de
départ doit toujours être les valeurs fondamentales de la vie humaine.
La nécessité d'une régulation indirecte
Comment faire faire à l'IA ce que l'on veut ? Que voulons-nous que l'IA
veuille  ? Jusqu'à présent, nous avons cherché une réponse à la première
question. Il est maintenant temps de passer à la seconde.
Supposons que nous ayons résolu les problèmes de contrôle et que nous
puissions maintenant charger n'importe quelle valeur dans le système de
motivation du surmental et le convaincre de le considérer comme son but
ultime. Quelle valeur devrions-nous choisir de toute façon? Le choix n'est
pas facile. Si la superintelligence obtient un avantage stratégique décisif,
c'est son système de valeurs qui commencera à déterminer le destin de tout
l'espace universel.
C'est pourquoi il est si important de ne pas se tromper lors du choix d'un
objectif. Mais est-il réaliste dans de tels cas de s'attendre sérieusement à
l'infaillibilité des décisions prises ? Nous pouvons nous tromper sur les
valeurs morales ; ne pas comprendre ce qui est bon pour nous; perdre même
dans leurs propres désirs. Il semble qu'à la recherche du but ultime, il faille
patauger dans les fourrés épineux des problèmes philosophiques. Si vous
allez tout droit, vous pouvez casser du bois de chauffage. Le risque de
prendre la mauvaise décision est particulièrement élevé lorsqu'il s'agit d'un
contexte décisionnel inconnu. Après tout, le choix du but ultime de la
superintelligence mécanique, le but dont dépend l'avenir de toute
l'humanité, nous est apparemment le plus inconnu de tous les complots
possibles.
Très probablement, nous avons peu de chances de gagner dans une attaque
frontale, comme en témoigne l'absence totale d'accord entre les spécialistes
sur les questions liées aux systèmes de valeurs humaines. Aucune théorie
éthique n'a été acceptée par la majorité des philosophes, on peut donc
supposer que la majorité a tort
1
. Ceci est également démontré par le
changement constant des normes éthiques, un changement lié au passage du
temps, que nous percevons traditionnellement comme une preuve de
progrès. Par exemple, dans l'Europe médiévale, il était considéré comme un
divertissement tout à fait respectable d'assister à la torture et à l'exécution
d'opposants au pouvoir. Dans le Paris du XVIe siècle, brûler des chats était
un acte populaire
.
Il y a à peine cent cinquante ans, l'esclavage était
largement pratiqué dans le sud des États-Unis, avec le plein appui de la loi
et dans le plein respect des normes morales de comportement. Avec le recul,
vous voyez des violations flagrantes non seulement dans les actions, mais
aussi dans les opinions éthiques des personnes qui vivaient autrefois.
Depuis lors, nous avons probablement appris quelque chose en matière
d'éthique, bien que l'on puisse difficilement affirmer que notre moralité s'est
élevée à une hauteur inatteignable. Certains des concepts éthiques qui nous
guident aujourd'hui sont susceptibles d'être gravement défectueux. Dans de
telles circonstances, choisir une valeur finale basée sur nos convictions
actuelles, et même de manière à exclure toute possibilité de développement
ultérieur du système éthique, serait assumer la responsabilité du risque futur
qui conduit à la destruction existentielle de la morale. règles
Même si nous étions rationnellement convaincus d'avoir découvert la
théorie éthique correcte – ce qui n'est pas le cas – il y aurait toujours un
risque de commettre des erreurs en la développant en détail. Des théories
éthiques apparemment simples peuvent avoir de nombreuses contradictions
cachées
3
. Considérons, par exemple, la théorie conséquentialiste de
l'hédonisme (exceptionnellement simple, soit dit en passant). En définitive,
c'est que le plaisir est une valeur et que la souffrance ne l'est pas
4
. Même si
nous mettons toutes nos puces morales sur cette théorie et qu'elle s'avère
vraie, de nombreuses questions importantes restent ouvertes. Faut-il
privilégier les « plaisirs supérieurs » aux plaisirs « inférieurs », à l'instar de
John Stuart Mill ? Comment prendre en compte l'intensité et la durée du
plaisir ? La douleur et le plaisir peuvent-ils s'exclure mutuellement ? Quels
types de pensée sont associés aux plaisirs moralement acceptables  ?
5
La
quantité de plaisir sera-t-elle doublée à la suite de l'apparition de deux
copies exactes d'un tel esprit ?
6
Existe-t-il des plaisirs subconscients ?
Qu'en est-il des chances extrêmement faibles de plaisir maximal  ?
Comment combiner le plaisir des membres d'une population illimitée en un
tout ?
sept
La mauvaise réponse à l'une de ces questions mènera au désastre. C'est-à-
dire que, lors du choix de la valeur finale du supramental, dans la tentative
de trouver au moins une solution efficace, nous devrons miser fortement
non seulement sur la théorie éthique dans son ensemble, mais aussi sur des
caractéristiques particulières, sur de nombreuses interprétations , toutes
sortes d'inclusions et d'exceptions - avec une telle rotation, nos chances d'un
tir précis, semble-t-il, commenceront à se rapprocher de zéro. Les imbéciles
saisiront volontiers l'opportunité de résoudre tous les problèmes éthiques
importants à la fois et téléchargeront immédiatement les réponses pratiques
qu'ils trouveront dans l'embryon d'IA. Les hommes sages entreprendront un
voyage difficile dans la recherche d'approches alternatives et la recherche
de moyens de s'assurer.
Toutes ces considérations nous conduisent à l'option de la régulation
indirecte. La raison objective de la création d'un supramental est qu'on peut
lui confier la tâche instrumentale de trouver des moyens efficaces
d'atteindre une valeur particulière. Et du fait de la normativité indirecte, on
peut littéralement lui reprocher le choix même de ce système de valeurs.
La normativité indirecte nous permet de résoudre le problème de ne pas
savoir ce que nous voulons vraiment, ce qui nous convient, ce qui est un
droit moral ou un idéal. Au lieu de penser sur la base de la compréhension
actuelle (qui est probablement profondément erronée), on peut déléguer une
partie du travail cognitif de choix d'un système de valeurs à sa
superintelligence. Sans aucun doute, il saura identifier à la fois les erreurs et
les contradictions qui faussent nos idées, puisque personne ne peut mieux
faire ce travail que lui. Cette idée peut être généralisée et exprimée comme
un principe heuristique.
Principe de supériorité épistémologique
Le futur supramental occupe un point de vue épistémologiquement
supérieur : ses croyances (probablement dans la plupart des domaines) sont
plus susceptibles d'être vraies que les nôtres. Par conséquent, dans toutes les
circonstances possibles, il faut se fier à leur opinion
8
.
La normativité indirecte permet d'appliquer ce principe au problème du
choix d'un système de valeurs. Incertains de notre capacité à établir un
standard normatif spécifique, nous pouvons définir une condition plus
abstraite que tout standard normatif doit satisfaire, en espérant que le
supramental se débrouillera lui-même et trouvera un standard spécifique qui
satisfera cette condition abstraite. Et puis nous présenterons l'embryon d'IA
avec son objectif de valeur ultime : se comporter selon nos idées d'actions
justes, basées sur cette norme indirectement définie.
Quelques exemples permettront de clarifier cette idée. Considérons d'abord
le modèle de normativité indirecte proposé par Eliezer Yudkowsky,
l'expression extrapolée cohérente de la volonté. Ci-dessous, nous
analyserons plusieurs variantes et alternatives de ce modèle afin d'avoir une
idée de l'éventail des solutions possibles.
Volonté extrapolée cohérente
Yudkowsky a proposé que l'embryon d'IA soit donné comme objectif ultime
de suivre la volonté extrapolée cohérente (désormais CEV) de l'humanité,
qu'il a définie comme suit :
Notre volonté extrapolée cohérente est notre désir d'en savoir plus ; pensez plus vite; être davantage
les personnes que nous aimerions être ; se rapprocher les uns des autres faire en sorte que nos pensées
nous rapprochent, et non nous séparent, afin que nos désirs coïncident, et ne se croisent pas ;
extrapoler comme on voudrait extrapoler ; comprendre comme nous voudrions comprendre
9
.
Lorsque Yudkovsky a écrit cela, il ne s'est pas donné pour tâche de créer des
instructions pour la mise en œuvre de sa prescription, qui rappelle plutôt un
appel poétique. Son objectif était de décrire comment le CEV pourrait être
défini et aussi d'expliquer pourquoi cette approche particulière est
nécessaire.
De nombreuses idées sous-jacentes au CEV ont des analogues et des
prédécesseurs dans la littérature philosophique. Par exemple, en éthique, il
y a
la théorie de l'observateur idéal
, qui examine les concepts (par
exemple, "bon" et "mauvais") du point de vue des jugements qu'un
hypothétique observateur idéal (qui est compris comme omniscient,
logiquement penser ) ferait. impartial et libre de toute partialité). sujet)
10
.
Cependant, le modèle CEV n'est pas (et ne doit pas être considéré) une
théorie éthique. Personne ne prétend qu'il existe un lien entre le but et notre
volonté extrapolée cohérente. Le CEV peut être considéré comme un
moyen utile d'aborder tout ce qui a un objectif final sans aucun lien avec
l'éthique. Étant le principal prototype de la méthode de normativité
indirecte, le CEV mérite une étude plus détaillée.
Certains commentaires
Certains termes de la citation ci-dessus nécessitent des éclaircissements. Le
désir de "penser plus vite" dans la compréhension de Yudkovsky signifie le
désir d'
être plus intelligent et de pénétrer plus profondément dans l'essence
des choses
. "Rapprochez-vous les uns des autres" - apparemment,
apprenez, développez et améliorez-vous en étroite relation les uns avec les
autres
.
Certaines phrases nécessitent une explication.
"... Pour que nos pensées nous rapprochent, et ne nous séparent pas..."
L'IA ne devrait travailler sur une propriété particulière du résultat de ses
réflexions que dans la mesure où cette propriété peut être prédite avec un
haut degré de probabilité. Si vous n'êtes pas en mesure de prédire que le
"nous idéal" voudrait cette propriété, vous devez vous abstenir de réaliser
vos fantasmes et vous abstenir d'agir. Cependant, alors que de nombreux
détails de nos désirs idéalisés peuvent être vagues ou imprévisibles, il existe
un cadre général de nos préférences que l'IA peut reconnaître et déployer au
moins un effort minimal pour garantir que les événements futurs se
déroulent dans ceux-ci. les frontières. Par exemple, si l'IA peut dire avec
confiance que notre CEV n'a rien à voir avec le désir d'être dans un état
d'agonie constante ou de voir l'Univers se transformer en trombone, alors il
doit agir de manière à éviter de tels résultats
11
.
"... Pour que nos souhaits coïncident et ne se croisent pas..."
L'IA doit agir selon un consensus assez large des volontés extrapolées des
individus. Un petit nombre de désirs forts et clairement exprimés peuvent
parfois venir à bout des désirs faibles et vagues de la majorité. Yudkowsky
pense également que l'IA nécessite moins de consensus pour
empêcher
certains résultats négatifs spécifiques et plus pour agir afin de mettre en
œuvre certains résultats positifs spécifiques. « Le point de départ du CEV
devrait être une approche conservatrice du « oui » et une attitude prudente
du « non », écrit-il
12
.
« Extrapoler comme nous voudrions extrapoler ; comprendre comme on
aimerait comprendre..."
L'idée derrière ces derniers modificateurs semble être que les règles
d'extrapolation elles-mêmes devraient prendre en compte la volonté
extrapolée. Un individu peut avoir un désir de second ordre (désir de quoi
désirer) tel que certains de ses désirs de premier ordre n'ont aucun poids
lorsqu'ils sont extrapolés à partir de sa volonté. De la même manière, nous
pouvons avoir des souhaits sur la manière dont le processus d'extrapolation
doit être développé, et tout cela doit être pris en compte.
On peut affirmer que si la notion d'une volonté extrapolée cohérente de
l'humanité est définie avec succès, il restera impossible, même pour une
superintelligence, de comprendre ce que l'humanité aimerait dans les
circonstances idéales hypothétiques envisagées par la méthode CEV. Si l'IA
n'a aucune information sur le contenu de notre volonté extrapolée, elle
n'aura aucun indice qu'elle pourra utiliser pour guider son comportement.
Bien qu'il soit vraiment difficile de connaître exactement le KEV de
l'humanité, il est tout à fait possible de se forger un jugement éclairé à son
sujet. De plus, c'est déjà possible aujourd'hui, sans avoir à portée de main
une super intelligence artificielle. Par exemple, notre CEV voit les gens du
futur vivre richement et heureux plutôt que de vivre des souffrances
insupportables. Si nous sommes capables de faire des hypothèses aussi
raisonnables, alors la superintelligence s'en sortira encore plus. Autrement
dit, dès le début, le comportement du supramental peut être déterminé par
ses évaluations du contenu de notre CEV. Vous aurez de fortes raisons
instrumentales pour affiner ces significations originales (par exemple,
étudier la culture humaine et la psychologie, scanner le cerveau des gens et
réfléchir à la façon dont nous agirions si nous en savions plus,
réfléchissions plus profondément, etc.). Dans son enquête, la
superintelligence serait guidée par ses propres estimations initiales du CEV.
Par conséquent, vous ne ferez pas d'innombrables expériences sur des
modèles de simulation, accompagnées d'une souffrance incommensurable
de ces entités, sachant que notre CEV considérera de telles expériences
comme une immoralité criminelle.
Autre objection : il existe une telle diversité de modes de vie et de
déontologie dans le monde qu'il est peu probable qu'il soit possible de les
combiner dans un seul système CEV. Même si vous y parvenez, le résultat
risque de ne pas être particulièrement appétissant : il est peu probable que
vous fassiez quoi que ce soit de comestible avec les meilleurs morceaux des
plats préférés de chaque ville et des gens empilés dans une assiette
13
. La
réponse ici est simple : la méthode CEV n'implique pas de mélanger tous
les modes de vie, toutes les visions du monde, les normes éthiques et les
valeurs personnelles d'une personne. CEV, par définition, ne fonctionne que
lorsque nos volontés sont cohérentes. Si le désaccord entre eux grandit
malgré la tentative de conditions idéales différentes, le processus devrait
s'abstenir de déterminer le résultat. Pour continuer l'analogie culinaire, bien
que les gens de cultures différentes puissent avoir des aliments préférés
différents, les gens peuvent toujours convenir que la nourriture ne devrait
pas être toxique. Autrement dit, le CEV pourrait agir dans le but commun
de prévenir la toxicité alimentaire, sinon les gens amélioreraient leurs
compétences culinaires sans ses conseils et son intervention.
Viabilité KEV
Yudkovsky donne sept arguments en faveur de la méthode CEV. Trois
d'entre eux, en substance, disent que même dans un but humain et utile, il
peut être assez difficile de définir et d'exprimer explicitement un ensemble
de règles qui n'ont pas d'interprétations involontaires et de conséquences
indésirables
14
. La méthode CEV est vue par son auteur comme rigoureuse
et auto-correctrice, CEV est censée s'adresser aux
sources de
nos objectifs,
au lieu de s'appuyer sur notre capacité à lister et formuler une fois pour
toutes les plus significatifs correctement.
Les quatre arguments restants vont au-delà des questions fondamentales (et
cruciales). Ils représentent des souhaits spécifiques pour des solutions
possibles au problème (comment définir des systèmes de valeurs), en
supposant que le CEV satisfait ces souhaits.
« Incarnation de l'excellence dans les normes éthiques »
Le désir que la décision permette la possibilité de progrès en matière
morale. Nous supposons que nos normes éthiques actuelles peuvent
présenter de nombreux défauts, et très probablement de graves défauts. Si
nous devions formuler pour l'IA une liste de normes éthiques spécifiques et
immuables qu'elle doit suivre, nous fixerions en fait l'état actuel des
attitudes morales avec toutes leurs erreurs, tuant ainsi tout espoir
d'amélioration. Au contraire, la méthode CEV laisse ouverte la possibilité
d'une telle croissance, puisqu'elle permet à l'IA d'essayer de faire ce que
nous ferions nous-mêmes si nous continuions à nous développer dans des
conditions favorables, et il est fort possible que dans ce cas nous soyons
capable de se débarrasser des lacunes et des limites existant dans nos
normes éthiques.
« Éviter de briser le destin de l'humanité »
Yudkowsky fait référence à un scénario dans lequel un petit groupe de
programmeurs crée un germe d'IA qui se transforme en une
superintelligence et acquiert un avantage stratégique absolu. Autrement dit,
le sort de l'humanité et de tout l'espace extra-atmosphérique est concentré
entre les mains des programmeurs. Sans aucun doute, cela impose une
énorme responsabilité, qui peut devenir un fardeau insupportable pour tout
mortel. De plus, lorsque les programmeurs se trouveront dans une telle
situation, ils ne pourront plus se dérober complètement à leurs
responsabilités, car tout choix qu'ils feront, y compris le refus de poursuivre
le projet, aura des conséquences historiques mondiales. Yudkovsky pense
que CEV ne donnera pas aux créateurs d'IA la possibilité d'obtenir des
privilèges et évitera le fardeau prohibitif de déterminer le sort du monde
entier. En mettant en mouvement un processus guidé par la volonté
extrapolée cohérente de
l'humanité
- par opposition à leur propre volonté ou
à leur théorie éthique préférée - les programmeurs partagent effectivement
avec les autres leur responsabilité d'influencer l'avenir de la civilisation
humaine.
"Éviter de créer des raisons de se battre pour les paramètres initiaux du
système"
Partager avec toute l'humanité la responsabilité de son avenir est non
seulement éthiquement préférable à l'établissement de ses propres
préférences, mais cela permet également à un groupe de programmeurs de
réduire la probabilité de conflit entre les créateurs de la première
superintelligence. La méthode CEV suppose que les programmeurs (et les
organisateurs de projets) n'ont pas plus d'influence sur le résultat de leurs
actions que n'importe qui d'autre, bien qu'ils jouent bien sûr un rôle causal
important dans la détermination de la structure d'extrapolation et la décision
d'appliquer le CEV. , et pas n'importe quelle autre méthode. Éviter les
conflits est important non seulement en raison de leurs dommages
immédiats, mais aussi parce qu'ils compromettent la possibilité de
coopération dans la résolution de problèmes critiques liés à la sécurité et à
l'efficacité du développement de la superintelligence.
On espère que le CEV pourra obtenir un large soutien. Et pas seulement
parce qu'il répartit équitablement les responsabilités. Cette méthode a un
grand potentiel de consolidation de la paix, car elle permet à de nombreuses
communautés humaines d'envisager la réalisation de leur avenir préféré.
Imaginez un taliban afghan débattant avec un membre de l'Association
suédoise des humanistes. Il n'est pas nécessaire d'expliquer à quel point
leurs positions sur le monde sont différentes : ce qui est utopie pour l'un est
dystopie pour l'autre. De plus, même une solution de compromis peut ne
convenir à aucun d'eux, par exemple : permettre aux filles d'être scolarisées,
mais seulement jusqu'à la 9e année ; ou laisser les filles suédoises recevoir
une éducation et pas les filles afghanes. Cependant, tant les talibans que les
humanistes peuvent convenir que l'avenir de l'humanité sera déterminé par
leur volonté extrapolée cohérente. Talib peut raisonner comme suit : si ses
opinions religieuses sont vraies (et il en est convaincu) et s'il existe de
sérieuses raisons de les accepter (ce qu'il croit également), alors l'humanité
les reconnaîtra enfin, seuls les gens doivent devenir moins biaisés. ,
consacrer plus d'énergie à l'étude des textes sacrés, comprendre enfin
comment fonctionne le monde, fixer correctement les priorités, se
débarrasser du militantisme irrationnel et de la lâcheté, etc.
15
. L'humaniste
décidera aussi que, dans ces conditions idéales, l'humanité sera finalement
guidée par les principes qu'il épouse.
"La responsabilité du destin de l'humanité doit retomber sur elle-même"
Nous pouvons ne pas être satisfaits du résultat où un surmental paternaliste
commence à nous surveiller constamment et à gérer notre vie à tous ses
niveaux, essayant d'optimiser chaque petite chose selon un grand plan.
Même si nous supposons que le supramental est idéalement bienveillant et
complètement dépourvu d'arrogance, d'arrogance, de domination,
d'étroitesse d'esprit et d'autres défauts humains, nous pouvons ne pas aimer
la perte de notre propre indépendance. Nous préférerons probablement
déterminer notre propre destin, même au prix de nous tromper. Peut-être
aimerions-nous que la superintelligence agisse comme une assurance contre
les événements catastrophiques et nous laisse le reste.
La méthode KEV offre cette opportunité. Il est censé se lancer seulement
dans un premier temps, puis il se développera et changera avec le
changement de volonté extrapolée. Si la volonté extrapolée de l'humanité
est encline à vivre sous l'œil vigilant d'une superintelligence paternaliste,
alors le processus CEV créera une telle IA et lui remettra les rênes. Si, au
contraire, la volonté extrapolée de l'humanité vient à créer un gouvernement
mondial démocratique, composé de personnes, alors le CEV initiera la
formation d'une telle institution. Si la volonté extrapolée de l'humanité est
de fournir à chaque personne des ressources qu'elle peut utiliser à sa guise,
tant qu'elle respecte les mêmes droits des autres personnes, alors le
processus CEV réalisera cette idée  ; de plus, la superintelligence sera
présente en arrière-plan comme une sorte d'incarnation de la loi de la nature
- afin d'arrêter les abus, les vols, les meurtres et autres actions qui ne sont
pas compatibles avec son objet
16
.
Par conséquent, la structure du modèle KEV permet une gamme de résultats
presque illimitée. On peut même supposer que la volonté extrapolée de
l'humanité sera que le surmental ne fasse rien du tout. Dans ce cas, il peut
être désactivé en toute sécurité, après s'être assuré qu'il existe une très forte
probabilité que ce soit ce que veut le CEV.
Notes complémentaires
La description du modèle KEV donnée ci-dessus est bien entendu très
schématique. De nombreux paramètres peuvent être décrits de différentes
manières et donner lieu à différentes options de mise en œuvre.
L'un de ces paramètres sert de base à l'extrapolation : quelle sera la volonté
à prendre en compte ? Vous pouvez dire "tout le monde", mais cette réponse
soulève beaucoup de nouvelles questions. La base d'extrapolation doit-elle
inclure les états « marginaux » d'une personne, et lesquels ? Le statut
embryonnaire et fœtal sera-t-il pris en compte ? Qu'en est-il des personnes
en état de mort cérébrale, des personnes souffrant de troubles mentaux
graves et des patients dans le coma ? Les deux hémisphères des personnes
au cerveau divisé devraient-ils avoir le même poids, et devrait-il
correspondre au poids attribué au cerveau d'une personne en bonne santé
moyenne  ? Qu'en est-il des personnes qui ont vécu avant et qui sont déjà
décédées ? Qu'en est-il de ceux qui naîtront dans le futur ? Avec des
mammifères supérieurs et d'autres êtres sensibles ? simulations cérébrales ?
Extraterrestres?
Une vue est d'inclure dans la population uniquement les adultes qui vivaient
sur Terre au moment où la création de l'IA a commencé. Après cela, la
première extrapolation obtenue à partir de cette base décidera s'il est
nécessaire de l'étendre. Étant donné que le nombre de "marginaux" à la
périphérie de cette base est relativement faible, le résultat de l'extrapolation
ne devrait pas dépendre fortement de l'endroit exact où la limite sera tracée,
par exemple, si l'embryon et le fœtus seront dessinés ou seulement le fœtus.
pris en compte ou non.
Cependant, si quelqu'un est exclu de la base d'extrapolation originale, cela
ne signifie pas que ses souhaits et son bien-être ont été sacrifiés. Si le CEV
de ceux qui sont inclus dans la base (par exemple, les adultes vivant sur
Terre) est que les considérations éthiques doivent être étendues à d'autres
créatures, le résultat du CEV tiendra compte de ces préférences. Cependant,
il est possible que les intérêts des personnes incluses dans la base
d'extrapolation originale soient davantage pris en compte que tous les
autres. En particulier, si le processus n'entre en jeu que lorsqu'il y a accord
entre volontés individuelles extrapolées (comme le suggère la proposition
originale de Yudkowsky), alors il y a un risque important d'un vote
majoritaire de ceux qui ne seront pas assez nobles pour s'y opposer.
préoccupation pour le bien-être des mammifères supérieurs ou émulateurs.
De graves dommages seraient alors causés à l'atmosphère morale de toute
la
communauté humaine

.
La méthode CEV se compare favorablement aux autres en ce sens qu'elle
réduit la concurrence entre les personnes pour la création de la première
superintelligence. Mais même en admettant que la méthode semble
meilleure que beaucoup d'autres, nous ne pouvons pas complètement
exclure la survenue de situations conflictuelles. Il y aura toujours ceux qui
commenceront à poursuivre leurs propres intérêts égoïstes : des individus,
des communautés et des États entiers peuvent chercher à augmenter leur
part du futur gâteau en excluant les autres de la base d'extrapolation.
Ce désir de pouvoir s'explique de différentes manières. Par exemple, le
propriétaire d'un projet qui finance entièrement le développement de l'IA a
le droit d'influencer les résultats ultérieurs. L'éthique de ce droit est
discutable. Cela peut être argumenté, par exemple, par le fait que le projet
de créer le premier embryon d'IA réussi comporte d'énormes risques de
mort pour toute l'humanité, qui, par conséquent, doivent être compensés
d'une manière ou d'une autre. Mais le juste montant de la compensation est
si élevé que la seule forme de compensation possible est de donner à chacun
une partie des bénéfices qui seront obtenus en cas de succès
18
.
Un autre argument avancé par les partisans de la concentration de l'IA est
que de larges segments de la population ont des préférences primitives ou
immorales, donc les inclure dans la base d'extrapolation ne fera
qu'augmenter le risque de transformer l'avenir de l'humanité en une
dystopie. Il est difficile de déterminer la proportion du bien et du mal dans
l'âme humaine. Il est également difficile d'évaluer comment il évolue en
fonction de votre appartenance à différents groupes, couches sociales,
cultures et pays. Que vous soyez optimiste ou pessimiste quant à la nature
humaine, il n'y a presque aucune envie de se battre pour l'exploration
spatiale sur la base du simple espoir que la volonté extrapolée de la majorité
des sept milliards de personnes vivant dans le monde aujourd'hui planète est
dominée par de bons traits . Bien sûr, exclure un certain groupe de la base
d'extrapolation ne garantit pas la victoire ; il est bien possible que dans
l'âme de ceux qui sont les premiers à exclure les autres ou à concentrer le
pouvoir sur le projet, il y ait bien plus de mal.
Une autre raison de la lutte pour le contrôle des conditions initiales est que
l'on peut avoir l'impression que les approches proposées par d'autres pour
créer l'IA ne fonctionneront pas comme elles le devraient, même si l'IA est
censée suivre le CEV de l'humanité. Si divers groupes de développeurs
développent des idées différentes sur les directions scientifiques les plus
susceptibles de réussir, ils entreront dans une lutte acharnée les uns avec les
autres. Chaque groupe commencera à travailler dur pour empêcher les
autres de créer une IA. Dans une telle situation, les projets concurrents
doivent résoudre leurs contradictions épistémologiques, non pas en
recourant aux conflits armés, mais par des méthodes permettant de
déterminer de manière plus fiable qui a plus raison et qui a
moins
.
Modèles basés sur des principes éthiques
Le modèle KEV n'est pas la seule forme possible de régulation indirecte.
Par exemple, au lieu de modéliser la volonté extrapolée cohérente de
l'humanité, on peut aller dans l'autre sens. Développer une IA dont le but est
de ne faire que ce qui est éthiquement correct. De plus, les gens, pleinement
conscients de combien les capacités cognitives de l'IA dépassent les leurs,
fonderont leurs jugements de valeur sur les actions qui répondent à cette
définition et celles qui ne le font pas. Cela peut être appelé le modèle de
rectitude morale (ci-après MT). L'idée est extrêmement simple. L'homme
n'a pas d'idées absolues de ce qui est bien et de ce qui est mal ; pis encore, il
sait comment analyser au mieux le concept de rectitude morale d'un point
de vue philosophique. La superintelligence est plus capable de faire face à
de tels problèmes qu'un être humain
20
.
Mais que se passe-t-il si nous ne sommes pas sûrs de la véracité du concept
de rectitude morale ? Même alors, vous pouvez essayer d'utiliser cette
méthode. Il est seulement nécessaire de déterminer comment l'IA doit agir
au cas où ses hypothèses sur l'essence de la rectitude morale se révéleraient
fausses. Par exemple, on pourrait dire ceci : si l'IA découvre avec une
probabilité assez élevée qu'il n'y a pas de vérités absolues associées au
concept de rectitude morale, alors elle peut revenir à la méthode CEV ou
simplement désactiver
21
.
Apparemment, la méthode MT présente plusieurs avantages par rapport à la
méthode CEV. Dans le cas de la MT, les différents paramètres libres de la
méthode CEV sont sans importance, notamment le degré de cohérence des
volontés extrapolées nécessaire au fonctionnement de la CEV, la facilité
avec laquelle la majorité peut l'emporter sur la minorité, et la nature du lien
social environnement dans lequel nos personnalités extrapolées doivent "se
rapprocher des amis". Dans ce cas, il ne semble pas y avoir de catastrophe
morale résultant de l'utilisation d'une base d'extrapolation trop étroite ou
trop large. De plus, la MT poussera l'IA dans des actions éthiquement
correctes même dans le cas où nos volontés extrapolées cohérentes
pourraient amener l'IA à prendre des mesures moralement inacceptables.
Cependant, dans les limites de la méthode CEV, et nous en avons déjà parlé,
elles sont tout à fait possibles. Dans la nature humaine, le caractère moral
élevé semble être un métal plutôt rare, introuvable en abondance, et même
après l'extraction et le raffinement de l'or selon la méthode KEV, personne
ne sait ce qui en résultera - métal précieux, laitier neutre ou résidu toxique .
Apparemment, la méthode MP n'est pas non plus sans inconvénients. Ils
reposent sur un concept extrêmement complexe autour duquel les
philosophes se sont battus pendant des siècles, mais sur lequel aucun accord
n'a jamais été trouvé. Choisir la mauvaise notion de rectitude morale peut
conduire à des résultats éthiques très négatifs. Il semblerait que cette
difficulté à déterminer la rectitude morale puisse être l'argument le plus fort
contre l'utilisation de la méthode. Cependant, la gravité de l'inconvénient de
cette fonctionnalité du MT n'est pas encore claire. La méthode CEV utilise
également des termes et des concepts qui ne sont pas trop faciles à définir
(par exemple, «  connaître  », «  être davantage les personnes que nous
aimerions être  », «  se rapprocher les uns des autres  »)
22
. Bien que les
unités terminologiques de la KEV soient un peu moins opaques, elles sont
encore très éloignées des possibilités qu'ont aujourd'hui les programmeurs
d'exprimer tout cela en code source
23
. Pour qu'une IA puisse gérer un tel
concept, elle doit avoir au moins des compétences et des connaissances
linguistiques générales (comparables à celles d'un être humain adulte). Mais
cette capacité générale à comprendre le langage ordinaire peut également
être utilisée pour apprendre ce que signifie « la rectitude morale ». Si l'IA
est capable de comprendre le sens, elle choisira des actions qui
correspondent à ce sens. Au fur et à mesure qu'elle évolue vers la
superintelligence, l'IA peut progresser dans deux directions : en comprenant
l'importance de la rectitude morale en termes de problème philosophique, et
en résolvant la tâche pratique d'appliquer cette compréhension à l'évaluation
d'actions spécifiques.
24
.
Bien qu'elle ne soit pas aisée, elle n'est guère
plus difficile
que de modéliser
la volonté extrapolée cohérente de l'humanité
25
.
Le problème le plus fondamental de la MT se situe ailleurs. Même si elle
est appliquée, cette méthode peut ne pas conduire au résultat souhaité, c'est-
à-dire que l'IA ne s'arrêtera pas à l'option correcte que nous choisirions
nous-mêmes si nous étions aussi raisonnables et informés qu'elle l'est. De
plus, ce n'est pas seulement une erreur accidentelle, mais une lacune
majeure du modèle MT, qui est également extrêmement dangereux pour
nous
26
.
On peut essayer de maintenir l'idée centrale de la MT tout en réduisant sa
demande en se concentrant sur
la permissivité morale
: l'idée qu'il est
possible de faire agir l'IA conformément au CEV de l'humanité tant que ces
actions sont moralement permises. Par exemple, l'objectif d'IA suivant est
possible :
Parmi les actions moralement acceptables pour l'IA, choisissez celles qui correspondraient au CEV
de l'humanité. Cependant, si une partie de cette instruction n'est pas strictement définie, ou s'il existe
des doutes sérieux quant à sa signification, ou si le concept de rectitude morale est faux, ou si, en
créant une IA à cet effet, nous avons agi dans un sens moral manière inacceptable, puis procéder à un
arrêt contrôlé
27
. Suivez la signification de cette instruction, qui était prévue par les développeurs.
Certains peuvent encore être préoccupés par le fait que le modèle de
permissibilité morale (ci-après MT) attribue un rôle excessivement
important aux exigences de l'éthique. Mais le degré de sacrifice à consentir
dépend de la théorie éthique qui est
vraie
. Si une éthique est censée être
raisonnable-suffisante, c'est-à-dire
satisfaisante
dans le sens où elle
considère toute action qui satisfait à certaines contraintes morales comme
moralement acceptable, alors la MT peut nous donner plus de liberté pour
influencer notre volonté extrapolée cohérente dans les actions d'IA. . Si une
éthique est supposée répondre au critère de maximisation, c'est-à-dire
maximiser
dans le sens où seules les actions qui ont les meilleures
conséquences éthiques sont moralement acceptables, alors la méthode MD
laisse peu ou pas de place à nos préférences pour l'influencer. les résultats.
Travail d'IA.
Pour mieux comprendre cette considération, revenons un instant à notre
exemple de conséquentialisme hédoniste. Supposons que cette théorie
éthique soit correcte et que l'IA le sache. Pour nos besoins, nous pouvons
définir le conséquentialisme hédoniste comme l'affirmation selon laquelle
une action est éthiquement juste (et moralement acceptable) si et seulement
si, parmi toutes les actions possibles, aucune autre action n'est capable de
fournir un plus grand équilibre entre plaisir et douleur. Ensuite, l'IA
travaillant selon la méthode MD pourrait maximiser le plaisir en
convertissant toute la partie accessible de l'Univers en une substance
spéciale, l'hédonium, utiliser une autre substance spéciale, le
computronium, pour maximiser l'expansion des calculs qui procureront des
sensations qui apporteront un plaisir absolu. Même si l'émulation cérébrale
complète de l'une des personnes vivant actuellement était possible, ce ne
serait toujours pas le moyen le plus efficace de procurer du plaisir à tout le
monde ; alors il s'avère que nous allons tous mourir.
Ainsi, en appliquant la méthode PM ou MD, nous courons le risque de
donner notre vie pour quelque chose de mieux. C'est peut-être un trop grand
sacrifice à faire, car nous perdons non seulement la chance de vivre une vie
humaine normale, mais aussi la chance de profiter d'une vie beaucoup plus
longue et plus épanouissante qu'une superintelligence amicale ne pourrait
nous offrir.
Ce sacrifice devient encore moins attrayant quand on se rend compte que la
superintelligence pourrait atteindre un résultat presque aussi bon, sacrifiant
beaucoup moins de notre bien-être potentiel. Supposons que nous
acceptions d'admettre que la
quasi
-totalité de l'univers accessible devient
hédonique, à l'exception d'une petite partie, disons la Voie lactée, que nous
laissons à nos propres besoins. Même ainsi, des centaines de milliards de
galaxies pourraient être utilisées pour maximiser le plaisir. Et en même
temps, dans notre galaxie, pendant des milliards d'années, il y aurait des
civilisations florissantes, dont les habitants, humains et toutes les autres
créatures, non seulement survivraient, mais prospéreraient dans leur monde
post-humain
29
.
Si vous préférez cette dernière option (comme je suis enclin à la préférer), il
est peu probable que vous insistiez sur l'application du principe de
permissibilité morale. Ce qui, bien sûr, ne nie pas l'importance de la morale.
Même d'un point de vue purement éthique, il peut être préférable
de
défendre
une méthode moins exigeante moralement que la MT ou la MT.
Si les meilleurs modèles, mais basés sur un principe moral, n'ont aucune
chance d'être utilisés -peut-être à cause de leurs exigences excessives-, peut-
être serait-il plus correct de défendre une autre proposition, bien que proche
de l'idéal, mais avec de plus grandes possibilités d'être alors. appliqué
30
.
fais ce que je veux dire
Nous ne savons peut-être pas quelle méthode choisir : CEV, MP, MD ou
autre. Pouvons-nous nous décharger de la responsabilité même d'une
décision d'un niveau aussi élevé et la transférer à l'IA, qui a suffisamment
développé son activité cognitive ? Où est la limite de notre paresse ?
Considérons, par exemple, un objectif basé sur une "approche raisonnable":
rendre plus raisonnable le recours à l'IA pour faire tel ou tel travail
.
Cet objectif pourrait être réduit à une volonté extrapolée, à une moralité ou
à autre chose, et plus important encore, cela pourrait nous épargner l'effort
et le risque associés à essayer de déterminer par nous-mêmes quel objectif
particulier serait le plus raisonnable pour nous de choisir.
Cependant, il existe également des problèmes spécifiques aux objectifs
moraux. Premièrement, nous pouvons craindre que cet objectif, basé sur
une approche raisonnable, laisse trop peu de place à nos propres souhaits.
Certains philosophes sont convaincus qu'il est toujours plus sage pour une
personne de faire ce qui est le mieux pour elle d'un point de vue éthique.
Peut-être ont-ils raison, mais qu'est-ce qui nous attend alors ?
Premièrement, une cible basée sur la sensibilité est réduite à MP, avec le
risque correspondant que la superintelligence utilisant cette méthode tue
tous ceux qu'elle touche. Deuxièmement, comme pour toutes les autres
méthodes décrites dans un langage technique, il est possible que nous
comprenions mal le sens de nos déclarations. Nous avons vu que dans le cas
d'objectifs moraux, demander à l'IA de faire ce qu'il faut peut avoir des
conséquences très inattendues et indésirables. Si nous l'avions su à l'avance,
nous n'aurions jamais doté l'IA d'un tel objectif. De même avec la demande
adressée à l'IA, afin qu'elle fasse ce que nous considérons comme l'action la
plus raisonnable.
Essayons d'éviter ces écueils en décrivant le but dans un langage
emphatiquement non technique, par exemple en utilisant le mot
mignon
31
:
agit très bien; si ça ne se passe pas très bien, au moins agissez bien
.
Comment pouvez-vous vous opposer à la création d'une IA
mignonne  ?
Mais nous devons nous demander ce que signifie ce mot. Différentes
significations du mot
mignon peuvent être trouvées dans les dictionnaires
,
qui n'étaient clairement pas destinés à notre cas. Nous n'avons pas besoin
que l'IA soit quelque chose comme "gentil", "poli", "raffiné" ou "raffiné". Si
nous pouvions faire confiance à l'IA pour reconnaître notre interprétation
voulue du mot
mignon
et être motivés à agir mignon dans ce sens, alors le
but semblerait être de dire à l'IA de faire ce que les programmeurs avaient
en tête
32
. Une directive similaire a été incluse dans le libellé du CEV
("...comprendre comme nous aimerions être compris") et dans le critère de
permissibilité morale décrit ci-dessus ("...suivre le sens voulu de cette
instruction"). En utilisant l'expression "faites ce que je veux dire", nous
disons à la machine que tous les autres mots de la description ne doivent
pas être pris au pied de la lettre. Mais en disant que l'IA devrait être
"sympa", nous n'ajoutons rien : tout le vrai fardeau incombe à la commande
"faites ce que je veux dire". Si nous savions comment coder correctement la
commande "faites ce que je veux dire", elle pourrait également être utilisée
comme cible autonome.
Comment ce processus de « faire ce que je veux dire » pourrait-il être
utilisé  ? C'est-à-dire, comment créer une IA motivée pour interpréter nos
désirs et intentions tacites de manière bienveillante et agir en conséquence ?
Nous pouvons commencer par essayer de clarifier ce que nous entendons
par "faites ce que je veux dire". Comment exprimer le même sens, mais en
utilisant une terminologie différente, par exemple la théorie
comportementale. Pourquoi n'appliquons-nous pas les termes de préférence
qui apparaissent dans certaines situations hypothétiques, par exemple,
lorsque nous avons plus de temps pour réfléchir à des solutions dans
lesquelles nous sommes plus intelligents, dans lesquelles nous connaissons
des faits plus pertinents - en général, dans celles dans lesquelles il y a des
conditions favorables, pour que l'on puisse clairement montrer avec des
exemples concrets ce que l'on veut dire quand on veut voir une IA
sympathique, utile, agréable...
Ici, nous avons bouclé la boucle. Et ils sont revenus à la normativité
indirecte avec laquelle ils avaient commencé. En particulier à la méthode
CEV, qui suppose que tout ce qui est concret est exclu de la description du
but, après quoi il ne reste en lui qu'un but abstrait, défini en termes
purement procéduraux : faire ce que l'on voudrait que l'IA fasse. faire dans
les circonstances idéales correspondantes. En utilisant cette astuce, c'est-à-
dire en utilisant des noms indirects, nous espérons transmettre à l'IA une
grande partie du travail intellectuel que nous aurions à faire nous-mêmes si
nous essayions de formuler une description plus précise des objectifs de
l'IA. Par conséquent, si nous cherchons à exploiter pleinement la supériorité
épistémologique de l'IA, le CEV devient une expression du principe de
respect épistémologique.
Liste des composants
Jusqu'à présent, nous avons envisagé plusieurs options pour décrire
l'objectif de l'IA. Mais le comportement d'un système intelligent est
également influencé par d'autres composants de l'architecture. Il est
particulièrement critique de savoir quelles méthodes de théorie de la
décision et de théorie de la connaissance y sont utilisées. Et encore une
chose : l'IA informera les gens de ses plans avant qu'ils ne commencent à
être mis en œuvre.
sur le tableau 13 se trouve une liste de décisions de conception qui doivent
être prises dans le processus de création d'un surmental. Les promoteurs de
projets doivent être en mesure d'expliquer quelles décisions ont été prises
dans chaque cas et pourquoi ces décisions particulières ont été prises et pas
d'autres
33
.
Tableau 13.
Liste des composants
Description de Quel est le but de l'IA ? Comment dois-je interpréter la description de cet
l'objectif objectif ? L'objectif devrait-il inclure une récompense spéciale pour ceux qui
ont contribué au succès du projet ?

Faire des L'IA devrait-elle utiliser une approche causale de la prise de décision, une
décisions approche basée sur les attentes, une approche inconditionnelle ou autre
chose ?

Épistémologie- Quelle devrait être la fonction de probabilité a priori de l'IA, quelles autres
gia, c'est-à-dire la hypothèses explicites et implicites sur le monde devrait-elle faire ?
connaissance du Comment prendre en compte l'influence de l'homme ?
monde
Ratification, c'est- Les plans d'IA doivent-ils être testés sur des humains avant d'être mis en
à-dire œuvre ? Si oui, comment ce processus sera-t-il organisé ?
confirmation
Description de l'objectif
Nous avons déjà discuté de la manière dont la normativité indirecte peut
être utilisée pour déterminer l'objectif qu'une IA doit poursuivre, et nous
avons envisagé certaines options, telles que des modèles basés sur la
moralité et une volonté extrapolée cohérente. Si nous nous arrêtons à l'une
des options, cela crée la nécessité de faire le choix suivant. Par exemple, il
existe de nombreuses variantes du modèle KEV, selon qui est inclus dans la
base d'extrapolation, leur structure, etc. D'autres formes de motivation
peuvent signifier la nécessité d'utiliser une description différente de
l'objectif. Disons qu'un oracle d'IA est créé dont le but est de donner des
réponses précises. Si elle utilise une méthode d'apprivoisement, la méta
description doit contenir une déclaration sur l'inadmissibilité d'une
utilisation excessive de ressources dans la préparation de ces réponses.
Lors du choix des options d'appareils d'IA, il faut également répondre à la
question de savoir si l'objectif doit inclure des récompenses spéciales pour
ceux qui ont contribué au succès du projet, par exemple en leur fournissant
des ressources supplémentaires ou en influençant le comportement de l'IA.
Toute mention de cette circonstance peut être qualifiée de "paquet de
relance". Avec le plan de relance, nous augmenterons la probabilité d'une
mise en œuvre réussie du projet, bien qu'au prix de certains compromis en
termes d'atteinte de ses objectifs.
Par exemple, si le but du projet est de créer un processus qui met en œuvre
la volonté extrapolée cohérente de l'humanité, alors le plan de relance peut
être une indication que les souhaits de certaines personnes auront plus de
poids lorsqu'ils seront extrapolés. Si un tel projet aboutit, il n'aboutira pas
nécessairement à la réalisation d'une volonté extrapolée cohérente de toute
l'humanité. Au contraire, un objectif proche de ce
34 sera atteint
.
Étant donné que le package incitatif est inclus dans la description de
l'objectif, et que la superintelligence devra interpréter et mettre en œuvre
cette définition, il est possible de tirer parti de la méthode de régulation
indirecte et de formuler des dispositions complexes dans la description, ce
qui est difficile si le la mise en œuvre est effectuée par une personne. Par
exemple, au lieu de récompenser les programmeurs pour certaines mesures
construites à la hâte mais compréhensibles, telles que le nombre d'heures
travaillées et le nombre de bogues qu'ils ont corrigés, un plan de relance
pourrait indiquer que les programmeurs "devraient être récompensés
proportionnellement à leur contribution qui a augmenté la probabilité
attendue ". de la réussite de la mise en œuvre du projet de la manière
souhaitée par les clients. De plus, il n'y a aucune raison de limiter le cercle
de ceux qui sont couverts par le plan de relance aux seuls participants au
projet. Vous pouvez spécifier que
chaque
personne sera récompensée en
fonction de sa contribution. La distribution de la gratitude est une tâche
difficile, mais on peut s'attendre à ce que l'IA se rapproche raisonnablement
des critères explicitement ou implicitement spécifiés dans le plan de
relance.
Supposons que la superintelligence trouve un moyen de récompenser même
ceux qui sont morts bien avant sa création
35
. Et puis le plan de relance peut
être élargi pour inclure des personnes décédées, pas seulement avant le
début du projet, mais peut-être avant la première mention du concept de
plan de relance. Bien sûr, mener une telle politique rétrospective n'est plus
utile pour les personnes gisant dans les tombes, mais ce serait correct pour
des raisons éthiques. Cependant, il y a un problème technique : si l'objectif
du projet est de récompenser ce qu'ils méritent, cela doit être mentionné
dans la description de l'objectif lui-même, et non dans le cadre du plan de
relance.
Nous ne pouvons pas nous plonger trop profondément dans les questions
éthiques et stratégiques impliquées dans la création d'un plan de relance.
Cependant, la position des développeurs d'IA sur ces questions est un aspect
important de leur concept de conception.
Faire des décisions
Un autre élément important du projet d'IA est le système de prise de
décision. Le choix de telle ou telle approche influence la stratégie
comportementale de l'IA à des moments cruciaux de son existence. Cela
peut déterminer, par exemple, si l'IA sera ouverte à des relations
contractuelles avec d'autres hypothétiques civilisations superintelligentes
ou, au contraire, deviendra l'objet de chantage de leur part. La spécificité du
processus décisionnel joue également un rôle dans les situations difficiles,
comme lorsqu'il y a une probabilité limitée de gains illimités (pari de
Pascal) ou une probabilité extrêmement faible de gains limités extrêmement
élevés (vol de Pascal), ainsi que lorsque l'IA est confrontée à une incertitude
réglementaire fondamentale ou à de multiples copies du même agent
36
.
Les options répertoriées dans le tableau incluent l'approche causale de la
prise de décision (qui présente de nombreuses variantes) et l'approche par
les attentes, ainsi que des candidats plus récents tels que les approches
«  inconditionnelle  » et «  intemporelle  » qui sont encore en cours de
développement
37
. Il n'est peut-être pas trop facile de choisir la bonne
option et de s'assurer que nous l'utilisons correctement. Bien que les
perspectives de décrire directement l'approche de l'IA en matière de prise de
décision semblent plus réelles que de décrire directement ses objectifs
ultimes, il existe toujours un risque d'erreur important. Bon nombre des
complexités susceptibles de dérouter les théories populaires de la prise de
décision n'ont été découvertes que récemment, ce qui implique qu'il peut y
avoir d'autres problèmes qui ne sont pas encore visibles à l'œil nu. Dans le
cas de l'IA, les résultats de l'application d'une mauvaise approche peuvent
être catastrophiques, voire la mort de toute l'humanité.
Compte tenu de ces complexités, l'idée surgit de décrire l'approche
décisionnelle que l'IA devrait utiliser indirectement. On peut suggérer que
l'IA utilise "l'approche de prise de décision
D
que nous vous suggérons
d'adopter après y avoir beaucoup réfléchi". Cependant, l'IA devrait être
capable de prendre des décisions avant même de savoir ce qu'est
D
. Par
conséquent, il existe un besoin pour une approche intermédiaire de la prise
de décision
D
', qui pourrait guider l'IA dans le processus de recherche de
D.
On peut essayer de définir
D
' comme une sorte de superposition des
hypothèses actuelles de l'IA sur
D
(pondérées par leurs probabilités), bien
que certains problèmes techniques subsistent, notamment comment le faire
de manière générale
38
. Il existe une autre source de préoccupation  : l'IA
peut prendre des décisions désespérément erronées (par exemple, s'écraser
en corrigeant la mauvaise approche de prise de décision) au stade de
l'apprentissage avant d'avoir la possibilité de déterminer l'exactitude de
l'une ou de l'autre. approcher. Pour réduire le risque d'erreur pendant une
période de vulnérabilité accrue de l'IA, on pourrait essayer de doter le fœtus
d'une certaine forme de
rationalité limitée
, une approche délibérément
simpliste mais plus fiable de la prise de décision qui ignore
catégoriquement les considérations ésotériques, même si nous pensons
qu'elles Celles-ci peuvent finalement s'avérer correctes et devraient ensuite
être remplacées par une approche décisionnelle plus complexe (indirecte)
répondant à certains critères
39
. Si cela peut être fait, et si oui, comment, est
une question ouverte.
Epistémologie ou connaissance du monde
Dans le cadre du projet, il est nécessaire de faire un choix fondamental
concernant la théorie des méthodes de connaissance que l'IA utilisera, et de
décrire les principes et critères d'évaluation des hypothèses
épistémologiques. On pourrait, par exemple, s'en tenir à l'approche
bayésienne et accepter l'épistémologie en fonction d'une distribution de
probabilités a priori : l'attribution implicite par une IA de probabilités à des
mondes possibles avant d'avoir pris en compte et pris en compte toute
preuve perçue. Dans d'autres conditions, les méthodes de cognition peuvent
prendre une forme différente, mais dans tous les cas, une règle
d'apprentissage inductif est nécessaire si l'IA veut généraliser les
observations faites dans le passé et faire des prédictions sur l'avenir
40
.
Cependant, comme pour la description du but et de l'approche de la prise de
décision, il y a un risque que notre définition de l'épistémologie soit
incorrecte.
À première vue, il peut sembler que le montant des dommages causés par le
mauvais choix des méthodes de la théorie de la connaissance est limité.
Parce que si elles ne fonctionnent
pas
du tout, l'IA ne sera tout simplement
pas très intelligente et ne constituera pas la menace dont parle ce livre. Mais
le danger demeure que l'épistémologie soit suffisamment bien définie pour
que l'IA soit efficace sur le plan instrumental dans la plupart des situations,
mais qu'il y ait une faille dans la définition qui fait que l'IA s'écarte d'un
problème vital. Une telle IA deviendra comme une personne intelligente qui
est absolument convaincue de la vérité du faux dogme sur lequel sa
philosophie est bâtie ; il commencera à "se battre avec des moulins à vent"
et se consacrera entièrement à la réalisation d'objectifs fantastiques ou
dangereux.
De petites différences dans la distribution de probabilité a priori peuvent
entraîner de grandes différences dans le comportement de l'IA. Par
exemple, la probabilité a priori que l'univers soit infini peut être égale à
zéro. Et puis, quelle que soit la quantité de preuves astronomiques en faveur
de cette IA, elle rejettera obstinément toutes les théories cosmologiques
basées sur l'idée d'un Univers infini, aboutissant au mauvais choix
41
. Ou
bien la probabilité a priori que l'univers n'est pas calculable de Turing
s'avérera-t-elle nulle (en effet, c'est une propriété commune à de
nombreuses distributions de probabilités a priori discutées dans la littérature
scientifique, y compris la complexité de Kolmogorov déjà mentionnée dans
le premier chapitre), ce qui conduisent également à des conséquences
incomprises, si cette hypothèse, connue sous le nom de thèse de Church-
Turing, s'avère fausse. L'IA peut être dotée d'une distribution de probabilité
préalable, ce qui conduira à l'émergence de certaines visions métaphysiques
fortes de divers types, par exemple l'hypothèse que le dualisme corps-esprit
peut être vrai, ou la possibilité de l'existence de faits moraux qui ne peuvent
pas être amélioré Si l'une de ces opinions s'avère incorrecte, il est possible
que l'IA cherche à atteindre ses objectifs ultimes d'une manière que nous
qualifierions d'implémentation défectueuse. Il n'y a pas non plus de raison
évidente de croire qu'une telle IA, étant fondamentalement erronée à un
égard très important, ne peut pas devenir suffisamment efficace sur le plan
instrumental pour se doter d'un avantage stratégique décisif. (Un autre
domaine où le choix des axiomes épistémologiques peut jouer un rôle clé
est l'étude de l'effet observateur et de son influence sur les conclusions que
l'on peut tirer des informations déictiques
42
.)
Nous avons toutes les raisons de douter de notre capacité à résoudre tous les
problèmes épistémologiques fondamentaux lorsque nous commençons à
créer le premier germe d'IA. Dès lors, mieux vaut partir du fait qu'une
approche indirecte sera utilisée pour établir ses méthodes de connaissance
du monde. Mais alors il y a beaucoup de questions qui s'apparentent au cas
de l'application d'une approche indirecte à la définition du processus
décisionnel. Cependant, dans le cas de l'épistémologie, il y a plus d'espoir
pour une convergence positive, puisque n'importe laquelle des approches de
la théorie de la connaissance garantit la création d'une IA sûre et efficace et
conduit finalement aux mêmes résultats. La raison en est que les différences
dans les distributions de probabilités a priori ont tendance à s'estomper
lorsqu'il existe une quantité assez importante de preuves empiriques et à la
suite d'une analyse approfondie
43
.
Il serait bon de se donner pour objectif de doter l'IA de principes
épistémologiques fondamentaux similaires à ceux qui régissent notre propre
pensée. Donc, si vous appliquez vos normes de manière cohérente, toute IA
qui s'écarte de cet idéal doit être considérée comme une pensée erronée.
Bien sûr, cela ne s'applique qu'à nos
principes épistémologiques vraiment
fondamentaux.
Les principes non essentiels de l'IA doivent être
constamment créés et révisés au fur et à mesure que vous développez vos
idées sur le monde. La tâche de l'IA n'est pas de se plier aux préjugés
humains, mais de se débarrasser des conséquences de notre ignorance et de
notre stupidité.
Ratification ou Confirmation
Le dernier élément de notre liste d'options pour différents aspects d'un
appareil IA est la
validation
. Les plans d'IA doivent-ils être testés sur des
humains avant d'être mis en œuvre ? Dans le cas d'un oracle IA, la réponse
à cette question est oui, par définition. L'oracle donne des informations;
l'individu décide de l'utiliser et, si oui, comment. Cependant, dans le cas
d'AI Genie, d'AI Monarch et d'AI Tool, la question de savoir si une
quelconque ratification est nécessaire reste ouverte.
Pour voir comment la ratification pourrait fonctionner, prenons une IA qui
doit agir comme un monarque, mettant en œuvre le CEV de l'humanité.
Imaginez qu'avant de l'exécuter, nous créons un oracle dont le seul but est
de répondre aux questions sur ce qu'un monarque devrait faire. Dans les
chapitres précédents, nous avons vu qu'il existe certains risques associés à
la création de l'oracle du mental supérieur (en particulier, le risque
d'immoralité criminelle ou le risque de redondance infrastructurelle). Mais
nous supposerons que l'oracle de l'IA sera créé avec succès et que ces
pièges pourront être contournés.
Il existe donc un oracle d'IA qui nous donne ses estimations des
conséquences de la publication de certains extraits de code dans lesquels le
CEV de l'humanité est implémenté. L'oracle ne peut pas prédire exactement
ce qui va se passer, mais ses prédictions sont probablement plus précises
que les nôtres. (Si la superintelligence
ne peut rien
dire sur ce que le
programme va faire, ce serait fou de le lancer.) En général, l'oracle réfléchit
un peu et produit un résultat. Pour clarifier les choses, l'oracle peut offrir à
l'opérateur un ensemble d'outils permettant d'étudier divers aspects du
résultat attendu. En plus d'une image de ce à quoi pourrait ressembler
l'avenir, l'oracle présentera des statistiques sur le nombre d'êtres sensibles
qui vivront à différents moments, et les indicateurs minimum, moyen et
maximum de leur bien-être. Vous pouvez également collecter des
biographies détaillées de certaines personnes aléatoires (éventuellement
imaginaires, choisies pour leur représentativité). Et attirez l'attention de
l'opérateur sur certains aspects sur lesquels vous ne poserez peut-être pas de
questions, mais qui méritent vraiment votre attention.
Cette capacité à analyser à l'avance les résultats possibles nous donne des
avantages évidents. Au cours de l'analyse, vous pouvez voir les
conséquences d'une erreur dans les définitions qu'il est prévu de définir
dans AI Monarch ou d'écrire dans son code source. Si la "boule de cristal"
nous montre un avenir en ruine, nous pouvons supprimer le code Monarch
prévu et essayer autre chose. Nous considérerons qu'il est impératif
d'étudier les conséquences possibles de notre choix avant de le faire, surtout
dans les cas où l'avenir de l'ensemble de l'espèce humaine est en jeu.
Les lacunes potentiellement graves de la ratification ne sont pas apparentes.
Le désir des factions opposées de voir à l'avance quel sera le verdict d'un
esprit supérieur, plutôt que de se fier simplement à sa sagesse, peut saper
l'essence de maintien de la paix du CEV. Les partisans d'une approche basée
sur la moralité peuvent craindre que la détermination du sponsor ne
s'estompe une fois qu'ils verront les sacrifices impliqués dans la recherche
de la meilleure solution éthique. De plus, nous pouvons avoir toutes les
raisons de préférer une vie dans laquelle nous devons constamment nous
améliorer, c'est-à-dire un avenir plein de surprises et de contradictions, un
avenir dont les contours ne sont pas si étroitement liés aux conditions
initiales présentes, mais qui laisse une certaine portée . pour les
mouvements brusques et la croissance non planifiée. Nous serions moins
enclins à faire des plans ambitieux si nous pouvions saisir chaque détail de
l'avenir et soumettre des projets qui ne correspondent pas tout à fait à notre
humeur transitoire pour examen.
La question de la ratification des plans d'IA des organisateurs n'est donc pas
aussi simple qu'il y paraît de prime abord. Cependant, il serait plus correct
de saisir l'occasion et de vous familiariser avec les options si une telle
fonctionnalité est implémentée. Mais il ne faut pas s'attendre à ce que
l'observateur étudie en détail et ajuste tous les aspects du résultat recherché,
il vaudrait mieux lui donner un veto qu'il pourrait utiliser un nombre limité
de fois avant que le projet ne soit définitivement terminé
44
.
choisir le bon chemin
L'objectif principal de la ratification est de réduire la probabilité d'une
erreur catastrophique. En général, il semble qu'il soit plus correct de se fixer
cet objectif, au lieu de maximiser les possibilités d'optimiser chaque détail
du plan. Il y a deux raisons à cela. Tout d'abord, l'expansion de l'humanité a
une échelle cosmique : il y a de la place pour le développement, même si
certaines pertes ou restrictions inutiles sont associées à notre processus.
Deuxièmement, il y a l'espoir que si nous choisissons plus ou moins
correctement les conditions initiales d'un développement explosif de
l'intelligence, la superintelligence finira par réaliser nos attentes. Il est
important de toucher le bon attracteur ici.
Quant à l'épistémologie, c'est-à-dire la connaissance du monde, on peut
supposer qu'un large éventail de distributions de probabilités a priori finira
par converger vers des distributions a posteriori très proches (si la
superintelligence est impliquée dans les calculs, déterminer la probabilité
conditionnelle sur des données réalistes). Nous n'avons donc pas à nous
soucier d'obtenir une épistémologie
parfaitement
correcte. Il est seulement
nécessaire d'éviter une situation dans laquelle l'IA obtient une distribution
de probabilité a priori si extrême qu'elle ne peut pas apprendre des vérités
importantes, même en dépit d'intenses recherches et analyses
45
.
En matière de prise de décision, le risque d'erreur irréparable semble plus
important. Mais il y a espoir de décrire directement une assez bonne
approche de la prise de décision. Une IA super intelligente peut passer à
une nouvelle approche à tout moment, mais si elle part d'une approche
totalement infructueuse, elle ne verra peut-être pas de raison de changer. Ou
vous n'aurez pas assez de temps pour choisir la meilleure approche,
évidemment. Prenons, par exemple, un agent qui ne doit pas succomber au
chantage et sait éliminer les éventuels extorqueurs. L'approche optimale de
la prise de décision peut avoir été utilisée dans sa création. Mais si l'agent
reçoit une menace et décide qu'on peut lui faire confiance, il sera blessé.
S'il existe des approches appropriées pour la prise de décision et la
connaissance du monde, vous pouvez essayer de créer un système qui
utilise le CEV ou une autre description indirecte de la cible. Dans ce cas, il
y a encore un espoir de convergence : les différentes manières de mettre en
œuvre le CEV devraient aboutir à des résultats tout aussi favorables pour
l'humanité. Si nous ne supposons pas la convergence, alors nous ne pouvons
qu'espérer le meilleur.
Nous n'avons pas besoin d'optimiser soigneusement le système. Au
contraire, l'accent devrait être mis sur une conception solide qui inspire la
confiance que l'IA aura le bon sens de reconnaître son erreur. Une IA
imparfaite, construite sur des bases solides, se corrigera progressivement,
après quoi elle appliquera au monde une force optimisante non moins
positive qu'elle ne le pourrait si elle était parfaite dès le départ.
 Chapitre quatorze
Aperçu stratégique
Le moment est venu de considérer le problème de la superintelligence dans
un contexte plus large. Nous devrions bien connaître le paysage stratégique,
ne serait-ce que pour représenter la direction générale de notre mouvement.
Il s'avère que ce n'est pas facile. Dans l'avant-dernier chapitre, nous
présenterons quelques concepts analytiques généraux qui nous aideront à
discuter des problèmes scientifiques et technologiques à long terme. Et puis
nous essaierons de les appliquer à l'intelligence artificielle.
Considérez la différence entre les deux approches normatives par lesquelles
toute stratégie proposée peut être évaluée. Le
point de vue subjectif
présuppose une réponse à la question : dans quelle mesure la mise en œuvre
de certains changements est « dans notre intérêt » - c'est-à-dire dans quelle
mesure (en moyenne et vraisemblablement) ils satisferont les intérêts des
entités ayant une valeur morale sens. état qui existe déjà ou existera, que les
modifications proposées se produisent ou non.
Un point de vue objectif
, en
revanche, n'implique pas de prendre en compte les opinions des personnes
existantes ou de celles qui vivront dans le futur, que les changements
proposés aient ou non lieu. Il considère tout le monde de la même manière,
quelle que soit sa position sur la chronologie. D'un point de vue objectif, la
plus grande valeur est l'apparition de nouvelles personnes, tant que votre vie
vaut la peine d'être vécue : plus votre vie est heureuse, mieux c'est.
Pour une analyse primaire, il peut être utile de comparer ces deux points de
vue, bien qu'un tel dispositif ne soit qu'un indice des complexités éthiques
associées à la révolution de l'IA. D'abord, vous devez regarder la situation
d'un point de vue objectif, puis d'un point de vue subjectif et les comparer.
Stratégie de développement scientifique et
technologique
Avant de passer aux sujets plus spécifiques de l'intelligence artificielle, il
convient de se familiariser avec plusieurs concepts et considérations
stratégiques pertinents pour le développement scientifique et technologique
en général.
Différents rythmes de développement technologique.
Supposons qu'une personne en autorité propose de cesser de financer un
certain domaine de recherche, en le justifiant par les risques ou les
conséquences à long terme associés au développement d'une nouvelle
technologie qui pourrait un jour apparaître dans ce domaine. Naturellement,
un responsable ne sera pas surpris s'il y a un murmure de mécontentement
de la part de la communauté scientifique.
Les scientifiques et leurs partisans disent souvent qu'il est inutile de
contrôler l'évolution de la technologie en bloquant la recherche. Si la
technologie est possible (disent-ils), elle apparaîtra quelles que soient les
préoccupations des personnes au pouvoir concernant les risques futurs
perçus. En fait, plus une technologie a de potentiel, plus il y a de chances
que quelqu'un, quelque part, soit motivé pour la créer. L'arrêt du
financement n'arrêtera pas les progrès ni n'éliminera les risques qui les
accompagnent.
Fait intéressant, cet argument sur la futilité du contrôle ne revient presque
jamais lorsque les personnes en position de pouvoir proposent un
financement
accru
pour certains domaines de recherche, bien que
l'argument semble être à double tranchant. Je n'ai jamais entendu de cris
d'indignation : « S'il vous plaît, n'augmentez pas les budgets dans notre
région. Mieux encore, coupez-les. Des chercheurs d'autres pays combleront
sûrement le vide, ce travail se fera d'une manière ou d'une autre. Ne
gaspillez pas les fonds publics pour la recherche dans notre pays !"
A quoi est due cette dualité ? Une explication, bien sûr, est que les membres
de la communauté scientifique développent un parti pris en leur faveur,
nous amenant à croire que la recherche est toujours une bonne chose et à
essayer d'utiliser presque tous les arguments en faveur d'un accroissement
de son financement. Cependant, il est également possible que les doubles
standards s'expliquent par des intérêts nationaux.
Supposons que le développement d'une certaine technologie aura
deux
types
d'effets : un petit bénéfice
B
pour ses créateurs et le pays qui les finance, et
un mal beaucoup plus tangible
H
- voire le risque de mort - pour tout le
monde. Le choix en faveur du développement d'une technologie aussi
dangereuse pourrait être fait même par ceux qui adhèrent généralement à
des vues altruistes. Ils pourraient raisonner ainsi :
H
sera blessé de toute
façon, quoi qu'ils fassent, parce que si ce n'est pas eux, quelqu'un d'autre
créera cette technologie de toute façon ; et si c'est le cas, alors on pourrait
au moins obtenir la prestation
B
pour soi et son pays. ("Malheureusement, il
y aura bientôt une arme qui détruira le monde. Heureusement, nous avons
reçu une subvention pour la créer!")
Quelle que soit la raison de l'inutilité de l'argument du contrôle, il ne peut
être utilisé pour montrer qu'il n'existe aucune raison objective d'essayer de
contrôler le développement technologique. C'est impossible à prouver
même si nous admettons la vérité de l'idée inspirante que grâce aux efforts
inlassables des scientifiques et des chercheurs, toutes les technologies
possibles finiront par être créées, c'est-à-dire si nous permettons ce qui suit.
—
Hypothèse de complétude technologique
Si les scientifiques et les chercheurs ne cessent pas leurs efforts, alors toutes
les capacités de base importantes qui peuvent être obtenues à l'aide de
certaines technologies
1 seront obtenues
.
Il y a au moins deux raisons pour lesquelles l'argument de la futilité du
contrôle ne découle pas de l'hypothèse de la complétude technologique.
Premièrement, il n'y a peut-être pas de message, puisque nous n'avons
vraiment aucun moyen de savoir si les scientifiques et les chercheurs
arrêteront leurs efforts (avant que la maturité technologique ne soit atteinte).
Cette mise en garde est particulièrement pertinente dans un contexte où le
risque existentiel existe. Deuxièmement, même si nous sommes sûrs que
toutes les capacités de base importantes qui peuvent être obtenues à l'aide
de certaines technologies seront obtenues, il est toujours logique d'essayer
d'influencer l'orientation de la recherche. L'important n'est pas de savoir si
telle ou telle technologie
sera
créée, mais quand elle sera créée,
par qui
et
dans quel contexte
. Et ces circonstances de la naissance d'une nouvelle
technologie, qui déterminent son effet, peuvent être influencées par
l'ouverture et la fermeture de la valve de financement (et l'utilisation
d'autres outils de contrôle).
Un principe découle de ce raisonnement qui suggère qu'il convient de prêter
attention à la vitesse relative de développement des différentes technologies
2

.
—
Le principe de vitesse différente de développement technologique.
Nous devons freiner le développement de technologies dangereuses et
nocives, en particulier celles qui augmentent le niveau de risque existentiel,
et accélérer le développement de technologies bénéfiques, en particulier
celles qui réduisent le niveau de risque existentiel causé par d'autres
technologies.
Par conséquent, toute décision de ceux qui sont au pouvoir peut être évaluée
sur la base de la façon dont elle offre des avantages pour les types de
technologies souhaitables par rapport aux indésirables
3
.
Ordre de préférence d'apparence
Certaines technologies sont ambivalentes quant aux risques existentiels, en
augmentant certains et en réduisant d'autres. Ces technologies incluent
l'étude et le développement de la superintelligence.
Dans les chapitres précédents, nous avons vu qu'avec l'avènement de la
superintelligence artificielle, le risque existentiel le plus élevé se pose à
l'échelle mondiale, mais d'autres risques existentiels peuvent diminuer. Par
exemple, les risques de mort humaine dus à des catastrophes naturelles
disparaîtront pratiquement  : impacts d'astéroïdes, éruptions volcaniques,
épidémies, puisque la superintelligence est capable de développer des
contre-mesures dans chacun de ces cas ou du moins de les transférer dans
une catégorie moins dangereuse (par exemple, due à la colonisation de
l'espace).
Les risques existentiels de catastrophes naturelles sont relativement faibles
sur l'échelle de temps prévisible. Mais la superintelligence est également
capable d'éliminer complètement ou de réduire considérablement de
nombreux risques anthropiques. En particulier, le risque de mort
accidentelle de l'humanité à la suite d'incidents liés aux nouvelles
technologies. Étant donné que la superintelligence dans son ensemble est
tellement plus capable que l'homme, elle fera moins d'erreurs, comprendra
mieux quand certaines précautions sont nécessaires et les prendra avec plus
de compétence. Une superintelligence raisonnablement organisée peut
parfois prendre des risques, mais seulement si cela est justifié. De plus, au
moins dans les scénarios où la superintelligence forme un singleton, bon
nombre des risques anthropiques existentiels non aléatoires associés au
problème global de manque de coordination disparaissent complètement.
Ceux-ci comprennent les risques de guerres, les technologies et autres
formes indésirables de concurrence et d'évolution, ainsi que l'utilisation
excessive des ressources.
Étant donné que le développement humain de domaines tels que la biologie
synthétique, les nanotechnologies moléculaires, le génie climatique, les
outils d'amélioration biomédicale et la manipulation neuropsychologique,
moyens de contrôle social pouvant conduire au totalitarisme ou à la
tyrannie, ainsi que d'autres technologies encore inimaginables, l'élimination
de ces risques est une menace majeure sera d'une grande aide pour
l'humanité. Cependant, si les risques naturels et autres risques non
technologiques sont faibles, alors cet argument doit être clarifié : il est
important que la superintelligence soit créée
avant
d'autres technologies
dangereuses, telles que les nanotechnologies révolutionnaires. Ce qui
importe n'est pas quand il apparaît (d'un point de vue objectif), mais le bon
ordre d'apparition.
Si la superintelligence émerge avant d'autres technologies potentiellement
dangereuses, par exemple les nanotechnologies, alors elle peut réduire le
risque existentiel associé aux nanotechnologies, mais les nanotechnologies
ne peuvent pas réduire le risque associé à l'émergence de la
superintelligence
4
. Ainsi, ayant créé d'abord un surmental, nous ne
traiterons qu'un seul type de risque existentiel, et ayant créé d'abord des
nanotechnologies, nous obtiendrons à la fois le risque des nanotechnologies
et le risque du surmental
5
. Autrement dit, même si le risque existentiel de
superintelligence est élevé, et même si c'est la plus risquée de toutes les
technologies, il est toujours logique de précipiter sa création.
Cependant, ces arguments "le plus tôt sera le mieux" reposent sur
l'hypothèse que les risques associés à une superintelligence sont les mêmes,
peu importe quand elle est créée. S'ils déclinent avec le temps, il vaudrait
mieux ralentir la révolution de l'IA. Alors que l'émergence ultérieure de la
superintelligence laisserait plus de temps pour d'autres catastrophes
existentielles, serait-il préférable d'attendre sa création ? Cela est
particulièrement vrai si les risques existentiels associés à la
superintelligence sont bien plus importants que ceux d'autres technologies
potentiellement dangereuses.
Il y a plusieurs raisons de croire que le danger inhérent au développement
explosif de l'intelligence diminuera considérablement dans les décennies à
venir.
L'un d'eux est que plus l'explosion se produit tard, plus il y aura de temps
pour résoudre le problème de contrôle. Cela n'a été réalisé que récemment,
et la plupart des meilleures idées pour résoudre le problème ont émergé au
cours de la dernière décennie (certaines d'entre elles dès la rédaction de ce
livre). Il y a des raisons de croire que la situation va évoluer, et même si le
problème s'est avéré très complexe, dans un siècle l'évolution pourrait être
significative. Plus la superintelligence apparaît tard, plus les progrès seront
importants. C'est un argument de poids en faveur d'une apparition ultérieure
de la superintelligence, et un argument très solide contre son apparition trop
précoce.
Il y a une autre raison pour laquelle retarder l'arrivée de la superintelligence
peut la rendre plus sûre. Cela permettra à plusieurs tendances positives de
se développer qui peuvent influencer vos actions. L'importance que vous
accordez à cette cause dépend de votre vision optimiste de la civilisation
humaine.
L'optimiste soulignera bien sûr les nombreux signes encourageants et
opportunités qui émergent partout. Les gens peuvent apprendre à mieux
s'entendre les uns avec les autres, ce qui conduira à une diminution du
niveau de violence, du nombre de guerres et de cruauté ; le degré de
coordination mondiale et d'intégration politique peut être augmenté, en
évitant une course aux armements indésirables dans la technologie (plus à
ce sujet ci-dessous) et en acceptant que les avantages potentiels d'une
explosion du renseignement soient largement partagés. Il semble que des
tendances historiques à long terme se développent dans cette direction
6
.
De plus, un optimiste peut espérer que notre siècle augmentera la santé
mentale de l'humanité : il y aura moins de préjugés (en moyenne) ; les
connaissances sur le monde continueront à s'accumuler ; les gens
s'habitueront à penser à des probabilités futures abstraites et à des risques
globaux. Avec un peu de chance, nous assisterons à une élévation générale
des normes épistémologiques dans la conscience individuelle et collective.
Des tendances de cette ampleur sont généralement visibles. Le progrès
scientifique conduira au fait que nous en saurons beaucoup plus. Grâce à la
croissance économique, une proportion croissante de l'humanité recevra une
alimentation adéquate (surtout à un âge critique en termes de
développement cérébral) et aura accès à une éducation de qualité. Les
progrès de la technologie de l'information faciliteront la recherche, la
synthèse, l'évaluation et la diffusion de données et d'idées. De plus, d'ici la
fin du siècle, l'humanité aura encore cent ans d'erreurs et pourra en tirer des
leçons.
De nombreux fruits potentiels du progrès sont ambivalents dans le sens que
nous avons déjà mentionné : ils augmentent certains risques existentiels et
en réduisent d'autres. Par exemple, les avancées dans les technologies de
surveillance, l'exploration de données, la détection de mensonges, la
biométrie, les moyens psychologiques ou neurochimiques de manipulation
des opinions et des désirs peuvent réduire les risques existentiels grâce à
une plus grande coordination internationale des efforts de lutte contre le
terrorisme et la criminalité. Cependant, les mêmes succès peuvent
augmenter certains risques existentiels en raison du renforcement de
processus sociaux négatifs ou de la formation de régimes totalitaires stables.
Une étape importante est l'amélioration du mécanisme biologique de la
cognition, par exemple, grâce à la sélection génétique. En discutant de cela
dans les chapitres deux et trois, nous concluons que les systèmes de
superintelligence les plus radicaux émergeront probablement sous la forme
de l'intelligence artificielle. Cette déclaration est cohérente avec le fait que
l'amélioration biologique des capacités intellectuelles jouera un rôle
important dans la préparation de la création et de la création réelle de la
superintelligence artificielle. Une telle amélioration cognitive peut sembler
être un moyen évident d'atténuer les risques : plus les personnes travaillant
sur un problème de contrôle sont intelligentes, plus elles sont susceptibles
de trouver une solution. Cependant, l'amélioration cognitive accélère
également le processus de création de l'IA, réduisant le temps dont nous
disposons pour trouver cette solution. L'amélioration cognitive peut avoir
d'autres conséquences qui sont pertinentes pour la question à l'étude. Ils
méritent un examen plus attentif. (La plupart des réflexions suivantes sur
l'amélioration cognitive s'appliquent également aux moyens non
biologiques d'améliorer nos performances épistémologiques individuelles
ou collectives.)
Taux de changement et amélioration cognitive
L'élévation de la limite moyenne et supérieure de l'intelligence humaine est
susceptible d'accélérer le progrès technologique, notamment dans le
domaine de la création de diverses formes d'intelligence artificielle, de la
résolution du problème de contrôle et de la réalisation de nombreux autres
objectifs techniques et économiques. Quel serait l'effet net d'une telle
accélération ?
Examinons un cas limité d'un "accélérateur universel", une intervention
imaginaire qui peut littéralement accélérer
n'importe quoi
. L'action d'un tel
accélérateur universel aura plus d'effet sur un changement arbitraire de
l'échelle de l'échelle de temps et n'entraînera pas de changements qualitatifs
dans les résultats observés
7
.
Si nous voulons donner un sens à l'idée d'accélérer divers processus grâce à
l'amélioration cognitive, nous avons évidemment besoin d'un autre concept
qu'un accélérateur universel. Il serait plus prometteur de se concentrer sur la
question de savoir comment l'amélioration cognitive peut augmenter le taux
de changement de certains processus
par rapport au
taux de changement
d'autres. Une telle différence peut affecter la dynamique de l'ensemble du
système. Considérons donc le concept suivant.
—
Accélérateur de développement macrostructural
Un levier qui augmente le taux de développement des propriétés
macrostructurales de l'existence humaine, tout en laissant la dynamique au
niveau micro inchangée.
Imaginez que vous avez tiré ce levier dans le sens du freinage. Les
plaquettes de frein se pressent contre la grande roue de l'histoire humaine,
des étincelles jaillissent, des crissements de métal. Une fois la roue ralentie,
nous avons un monde dans lequel l'innovation technologique est plus lente
et les changements fondamentaux ou mondiaux dans la structure politique
et la culture sont moins fréquents et moins brusques qu'auparavant. Pour
qu'une époque remplace une autre, de nombreuses générations doivent
changer. Tout au long de leur vie, les gens sont témoins de très petits
changements dans la structure de base de l'existence humaine.
La plupart des membres de notre espèce ont connu un développement
macrostructurel beaucoup plus lent qu'aujourd'hui. Il y a cinquante mille
ans, un millénaire entier aurait pu s'écouler sans une seule avancée
technologique significative, sans une augmentation notable de la
connaissance et de la compréhension humaines du monde, sans un
changement politique mondial significatif. Cependant, au niveau micro, le
kaléidoscope de la vie humaine défilait à une vitesse assez élevée :
naissances, décès et autres événements de la vie d'une personne. À l'ère du
Pléistocène, la journée d'une personne moyenne pourrait être plus
mouvementée qu'elle ne l'est maintenant.
Si vous aviez entre les mains un levier magique qui vous permettait de
modifier le rythme de développement macrostructural, que feriez-vous ?
Voulez-vous l'accélérer, le ralentir ou le laisser tel quel ?
La vision objective suggère que pour répondre à cette question, il sera
nécessaire d'évaluer l'évolution du niveau de risque existentiel. Mais
d'abord, définissons la différence entre ses deux types : statique et
dynamique. Le risque statique est associé au fait de rester dans un état
particulier, et la taille globale du risque statique d'un système est une
fonction directe de la durée pendant laquelle le système reste dans cet état.
Tous les risques naturels ont tendance à être statiques  : plus nous vivons
longtemps, plus nous risquons de mourir d'un impact d'astéroïde, d'une
éruption de supervolcan, d'un sursaut gamma, d'une épidémie ou d'un autre
coup de faux. mort cosmique. . Certains risques anthropiques sont
également statiques. Au niveau individuel, plus un soldat regarde longtemps
derrière un parapet, plus la probabilité cumulée d'être tué par la balle d'un
tireur d'élite est grande. Il existe également des risques statiques au niveau
existentiel  : plus nous vivons longtemps dans un système globalement
anarchique, plus la probabilité cumulée d'un Armageddon thermonucléaire
ou d'une guerre mondiale utilisant des armes de destruction massive non
nucléaires, toutes deux capables de détruire la civilisation, est grande.
Le risque dynamique, contrairement au risque statique, est un risque discret
associé à une transition nécessaire ou souhaitable d'un état à un autre. Une
fois la transition terminée, le risque disparaît. Le degré de risque dynamique
associé à une transition n'est généralement pas simplement fonction de sa
durée. Le risque de traverser un champ de mines n'est pas réduit de moitié
en le traversant deux fois plus vite. Il existe un risque dynamique associé à
un décollage rapide pendant la superintelligence, selon la qualité de la
préparation, et non selon qu'il faut vingt millisecondes ou vingt heures pour
décoller.
Autrement dit, ce qui suit peut être dit à propos d'un accélérateur
hypothétique du développement macrostructural.
1.
                 
Dans la mesure où nous sommes concernés par le risque statique,
nous devrions viser une accélération rapide, en supposant que nous ayons
des perspectives réalistes de survie dans l'ère post-transition,
dans lequel tous les autres risques existentiels seront considérablement
réduits.
2.
                 
Si nous savions avec certitude qu'une certaine étape entraînerait
une catastrophe existentielle, nous devrions ralentir le développement
macrostructurel (ou même l'inverser) pour donner à plus de générations une
chance de vivre avant que le rideau ne tombe. Mais, en fait, il serait trop
pessimiste de croire que l'humanité est condamnée.
3.
                                 
Actuellement, le risque existentiel statique semble être
relativement faible. En supposant que les macroconditions technologiques
de nos vies restent à leur niveau actuel, la probabilité d'une catastrophe
existentielle, disons, dans la prochaine décennie, est très faible. Par
conséquent, retarder le développement technologique de dix ans, tant qu'il
est fait au stade actuel de développement ou à un autre moment où le risque
statique est si faible, n'impliquera qu'un petit risque statique existentiel, et le
retard est tout à fait capable. avoir un effet bénéfique sur l'ampleur du
risque dynamique existentiel, en particulier, en raison de plus de temps pour
se préparer à la transition.
Nous concluons que la vitesse du développement macrostructurel est
importante dans la mesure où elle affecte le degré de préparation de
l'humanité face aux principaux
risques dynamiques
.
Par conséquent, nous devons nous demander comment l'amélioration
cognitive (et l'accélération correspondante du développement
macrostructurel) affectera le niveau de préparation attendu au moment de la
transition. Doit-on préférer une formation plus courte à un niveau
d'intelligence plus élevé ? Avec une plus grande intelligence, le temps de
préparation peut être utilisé plus efficacement, et la dernière étape critique
sera franchie par une humanité plus intelligente. Ou devrions-nous préférer
agir avec un niveau d'intelligence plus proche de celui actuel si cela nous
laisse plus de temps pour nous préparer ?
La meilleure option dépend de la nature du défi auquel nous nous
préparons. Si vous essayez de résoudre un problème où l'apprentissage par
l'expérience est essentiel, la durée de la période de formation peut être le
facteur déterminant, car il faut du temps pour accumuler l'expérience
requise. À quoi ressemblerait un tel défi ? À titre d'exemple hypothétique,
nous pouvons supposer qu'à un moment donné dans le futur, une nouvelle
arme sera créée qui, en cas de guerre, provoquera une catastrophe
existentielle, disons, avec une probabilité d'un sur dix. Si nous étions
confrontés à un tel défi, nous voudrions peut-être ralentir le rythme du
développement macrostructurel afin que notre espèce ait plus de temps pour
agir ensemble jusqu'à ce qu'une étape critique soit franchie et que de
nouvelles armes deviennent une réalité. Il faut espérer que grâce à ce retard,
dû à l'inhibition du développement, l'humanité apprendra à se passer des
guerres, par exemple, les relations internationales sur Terre commenceront à
ressembler à celles des pays de l'UE, qui Ils se sont battus avec
acharnement les uns contre les autres autre. d'autres depuis de nombreux
siècles, et coexistent maintenant dans la paix et l'harmonie relative. Un tel
apaisement peut être le résultat d'un adoucissement progressif du moral à la
suite de divers processus évolutifs, ou d'une thérapie de choc à la suite d'une
explosion de violence qui n'atteint pas le niveau existentiel (par exemple, un
conflit nucléaire local et le changement qui en résulte d'attitudes pouvant
conduire à la création des institutions mondiales nécessaires aux guerres
d'exclusion interétatiques). Si ce type d'apprentissage ne peut pas être
accéléré par une amélioration cognitive, alors il n'y a aucun intérêt à une
telle amélioration, car elle ne fera qu'accélérer la combustion de la mèche.
Cependant, il peut y avoir un autre défi associé à l'explosion potentielle de
l'intelligence artificielle. La résolution du problème de contrôle nécessite de
la perspicacité, du bon sens et des connaissances théoriques. Il n'est pas tout
à fait clair comment une expérience historique supplémentaire peut aider
ici. Le développement explosif ne peut être vécu directement (jusqu'à ce
qu'il soit trop tard), et de nombreux autres aspects cachés du problème de
contrôle le rendent unique et ne permettent pas d'utiliser un précédent
historique. Pour ces raisons, le temps qui s'écoulera avant le développement
explosif de l'intelligence artificielle ne signifie pas grand-chose en soi. Mais
les circonstances suivantes sont susceptibles de devenir importantes : 1) le
progrès intellectuel dans l'étude du problème de contrôle réalisé jusqu'au
moment de la détonation ; 2) les compétences et l'intelligence disponibles à
ce moment-là pour mettre en œuvre les meilleures solutions disponibles (ou
improviser si aucune n'est disponible)
9
.
Évidemment, ce dernier facteur devrait avoir un effet positif sur
l'amélioration cognitive. On ne sait pas encore comment l'amélioration
cognitive affectera le premier facteur.
L'une des raisons pour lesquelles l'amélioration cognitive peut conduire à
des progrès sur le problème de contrôle au moment où l'intelligence
artificielle explose est que ces progrès ne peuvent être réalisés qu'à des
niveaux extrêmement élevés de performances intellectuelles, même plus
élevés que ceux requis pour créer l'intelligence artificielle. Dans la
résolution du problème du contrôle, le rôle des essais et erreurs, ainsi que
l'accumulation des résultats expérimentaux, n'est pas aussi important que
dans les travaux sur l'intelligence artificielle ou la recherche sur l'émulation
cérébrale. Autrement dit, l'importance relative du temps et de l'effort mental
varie considérablement selon le type de tâche, et les progrès dans la
résolution du problème de contrôle obtenus grâce à l'amélioration cognitive
peuvent être
supérieurs
aux progrès dans la création de l'intelligence
artificielle.
Une autre raison pour laquelle l'amélioration cognitive peut conduire à de
plus grands progrès dans la résolution du problème de contrôle est que la
nécessité même de ce progrès sera plus facilement reconnue par les sociétés
et les individus plus avancés intellectuellement. Comprendre pourquoi la
question du contrôle est importante et lui accorder la plus haute priorité
nécessite de la perspicacité et du bon sens
10
. Et pour résoudre une tâche
aussi inhabituelle, vous devez avoir un esprit rare.
Ces considérations nous amènent à conclure que l'amélioration cognitive est
souhaitable, en particulier compte tenu des risques existentiels des
explosions d'IA. Cela contribuera également à atténuer les risques associés
à d'autres défis, qui nécessitent une perspicacité et une pensée abstraite (par
opposition à une adaptation progressive aux changements du monde qui
nous entoure ou à un processus de maturation culturelle et à la construction
d'institutions appropriées pouvant s'étendre sur plusieurs générations). ).
liens technologiques
Supposons qu'il soit assez difficile de résoudre le problème de contrôle dans
le cas de l'intelligence artificielle, et un peu plus facile par rapport aux
modèles de simulation ; il est donc préférable de s'orienter vers la création
d'intelligence artificielle par la recherche sur l'émulation cérébrale totale.
Nous reviendrons sur la question de savoir si cette voie est plus sûre que le
développement de l'intelligence artificielle. Mais pour l'instant, il convient
de noter que même si cette hypothèse est acceptée, cela ne signifie pas du
tout qu'il faille accélérer l'essor de la technologie d'émulation cérébrale.
L'une des raisons dont nous avons déjà discuté est qu'il vaut mieux que la
superintelligence soit créée plus tôt, car nous aurons alors plus de temps
pour résoudre le problème du contrôle et avancer dans d'autres domaines
importants. Par conséquent, s'il est certain que l'émulation cérébrale
deviendra le précurseur du développement de l'IA, il serait contre-productif
d'accélérer le développement de cette technologie.
Mais même s'il était à notre avantage de créer le plus tôt possible une
technologie d'émulation cérébrale,
il ne s'ensuivrait pas du tout
que nous
devions accélérer les progrès dans cette direction. Parce qu'elle peut
conduire à la création non pas d'un modèle de simulation du cerveau, mais
d'une intelligence artificielle neuromorphique, une forme d'IA qui reproduit
certains aspects de l'organisation du cortex cérébral, mais ne reproduit pas
fidèlement sa fonctionnalité neuronale pour la simulation. être proche. Si
une telle IA neuromorphique est pire que l'IA qui pourrait autrement être
créée, et il y a tout lieu de le croire, et si, en stimulant les progrès dans le
domaine de l'émulation cérébrale, nous augmentons les chances de créer
une telle IA neuromorphique. , alors nos efforts vers un
meilleur résultat (
simulation cérébrale) conduiront à un
pire
résultat (IA neuromorphique) ; si
nous visons le
deuxième résultat le plus attractif
(l'IA synthétique), alors
nous pouvons l'atteindre.
Nous venons de décrire un cas (hypothétique) de ce que l'on pourrait
appeler un lien technologique
11
. Ce terme fait référence aux conditions
dans lesquelles deux technologies sont liées de manière prévisible dans le
temps, de sorte que le développement de l'une doit conduire au
développement de l'autre, soit comme précurseur, soit comme application,
soit comme conséquence. Les liens technologiques doivent être pris en
compte lorsqu'on utilise le principe de développement technologique
différent : il n'est pas très correct d'accélérer la création d'une technologie
souhaitée
Y
si la seule façon d'y parvenir est de créer une
technologie
précurseur hautement indésirable X
, ou si le la création de
Y
donne comme
résultat immédiatement une
technologie hautement indésirable qui lui est
associée Z Technology
. Avant de proposer à un être cher, regardez les
futurs parents.
Dans le cas de l'émulation cérébrale, la force du lien technologique pose
question. Au chapitre 2, nous avons souligné que si des progrès dans cette
direction nécessiteraient la création de nombreuses nouvelles technologies,
ils ne nécessiteraient pas d'avancées théoriques brillantes. En particulier,
nous n'avons pas besoin de comprendre comment fonctionne le mécanisme
biologique de la cognition, nous avons juste besoin de savoir comment
créer des modèles informatiques de petites zones du cerveau, telles que
divers types de neurones. Cependant, à mesure que la capacité à modéliser
le cerveau humain se développera, de nombreuses données sur son
anatomie seront collectées, permettant d'améliorer considérablement les
modèles fonctionnels des réseaux de neurones dans le cortex cérébral. Et
puis il y aura de bonnes chances de créer une IA neuromorphique avant un
modèle de simulation cérébrale complet
12
. De l'histoire, nous connaissons
de nombreux exemples où les méthodes d'IA sont nées dans le domaine des
neurosciences et même de la biologie ordinaire. (Par exemple, le neurone de
McCulloch-Pitts, les perceptrons ou perceptrons, et d'autres neurones et
réseaux de neurones artificiels sont apparus grâce à la recherche dans le
domaine de la neuroanatomie ; l'apprentissage par renforcement inspiré du
comportementalisme  ; les algorithmes génétiques - la théorie de
l'évolution  ; l'architecture du module comportemental et la hiérarchie
perceptive : théories des sciences cognitives de la planification des
mouvements et de la perception sensorielle  ; systèmes immunitaires
artificiels, immunologie théorique  ; intelligence des essaims, écologie des
colonies d'insectes et autres systèmes auto-organisés  ; contrôle réactif et
basé sur le comportement en robotique, études de locomotion animale.)
Peut-être le plus important , de nombreuses questions importantes sur les
attitudes à l'égard de l'IA ne peuvent être résolues qu'en étudiant davantage
le cerveau. (Par exemple, comment le cerveau stocke-t-il des
représentations structurées dans la mémoire à court terme et à long terme ?
Comment résolvez-vous le problème de liaison ? Qu'est-ce que le code
neuronal ? Comment les concepts sont-ils représentés dans le cerveau ? le
cortex cérébral, en tant que colonne du cortex, et si oui, quel est son schéma
et comment sa fonctionnalité dépend de ce schéma ? Comment ces colonnes
sont-elles connectées et entraînées ?)
Nous pourrons bientôt en dire plus sur les dangers relatifs de l'émulation
cérébrale, de l'IA neuromorphique et de l'IA synthétique, mais nous
pouvons déjà voir un autre lien technologique important entre l'émulation et
l'IA. Même si les efforts d'émulation cérébrale conduisent à la création d'un
modèle de simulation cérébrale (plutôt qu'une IA neuromorphique), et
même si l'émergence d'un tel modèle s'avère sûre, le risque demeure : le
risque associé à la
seconde transition.
, le passage du modèle de simulation
à l'IA, qui est une forme beaucoup plus puissante d'intelligence artificielle.
Il existe de nombreux autres exemples de liens technologiques qui méritent
une analyse plus approfondie. Par exemple, les efforts dans le domaine de
l'émulation du cerveau entier vont accélérer les progrès des neurosciences
en général
13
. La technologie de détection des mensonges, les techniques de
manipulation neuropsychologique, les méthodes d'amélioration cognitive et
divers domaines de la médecine se développeront plus rapidement. Les
efforts dans le domaine de l'amélioration cognitive (selon la direction
spécifique) auront des effets secondaires tels que le développement rapide
des méthodes de sélection génétique et de génie génétique, et non
seulement pour améliorer les capacités cognitives, mais aussi d'autres traits
de notre personnalité.
argument par contradiction
Nous entrerons dans le prochain niveau de complexité stratégique si nous
gardons à l'esprit qu'il n'y a pas de contrôleur du monde idéalement
bienveillant, rationnel et universel qui mettrait simplement en œuvre ce qui
est considéré comme le meilleur plan d'action. Toute considération abstraite
de ce qui « devrait être fait » doit prendre la forme d'un message concret qui
apparaîtra dans l'atmosphère de la réalité rhétorique et politique. Il sera
ignoré, mal compris, déformé et adapté à diverses fins conflictuelles ; il
rebondira comme une boule de flipper, provoquant des actions et des
réactions et entraînant toute une cascade de conséquences qui n'auront
aucun rapport direct avec les intentions de l'auteur.
Un agent rusé aurait pu prévoir tout cela. Prenons, par exemple, le schéma
suivant d'argumentation en faveur de la réalisation d'une recherche pour
créer une
technologie potentiellement dangereuse X.
(Un exemple de
l'utilisation de ce schéma peut être trouvé dans les travaux d'Eric Drexler.
Dans son cas,
X
= nanotechnologie moléculaire
14
.)
1.
                 
Le risque
X
est élevé.
2.
                                 
Pour réduire ce risque, vous devez consacrer du temps à une
préparation sérieuse.
3.
                 
Les préparatifs sérieux ne commenceront qu'après que de larges
pans de la société auront pris au sérieux la perspective de créer X.
4.
                 
Le grand public ne commencera à prendre la perspective de
X au
sérieux
que si une enquête approfondie sur sa viabilité est menée.
5.
                 
Plus la recherche à grande échelle commence tôt, plus il faudra de
temps pour créer
X
(car au début le niveau de développement des
technologies nécessaires est plus faible).
6.
                 
Par conséquent, plus les études à grande échelle commencent tôt,
plus il y a de temps pour une préparation sérieuse et plus la réduction des
risques est possible.
7.
                 
Par conséquent, des recherches à grande échelle sur
X
doivent être
lancées immédiatement.
Si vous suivez cette logique de raisonnement, alors en partant d'une raison
d'aller lentement ou d'arrêter complètement, en raison du risque élevé
associé à
X
, vous arrivez au résultat inverse.
Un type d'argument connexe se résume à ce que nous devrions : quelle
cruauté ! — accueillir les petites et moyennes catastrophes au motif qu'elles
révéleront nos vulnérabilités et nous obligeront à prendre des précautions
qui réduisent la probabilité d'une catastrophe existentielle. L'idée est que les
petites et moyennes catastrophes servent en quelque sorte d'inoculation :
face à une menace relativement faible, une civilisation développe une
immunité, grâce à laquelle elle peut faire face à une version potentiellement
mortelle de la même menace
15
.
En fait, nous parlons d'appels à la soi-disant thérapie de choc, lorsque
quelque chose de mauvais est justifié dans l'espoir qu'il puisse provoquer la
réaction souhaitée dans la société. Nous ne le mentionnons pas parce que
nous l'approuvons, mais pour vous introduire à l'idée de ce que nous
appelons l'argumentation par contradiction. Cela implique que si vous
traitez les autres comme des agents irrationnels et jouez sur leurs distorsions
cognitives et leurs erreurs de jugement, vous pouvez les amener à réagir de
manière plus appropriée que si vous parlez directement du problème et
faites appel à leur raison.
Il y a de fortes chances que l'utilisation de la stratégie du raisonnement par
contradiction pour atteindre des objectifs mondiaux à long terme soit
incroyablement difficile. Qui peut prédire l'impact net d'un message après
qu'il ait rebondi de gauche à droite et de haut en bas dans le flipper du
discours public  ? Pour ce faire, il faudrait modéliser l'effet rhétorique sur
des milliards de ses composants, qui se caractérisent par leurs
caractéristiques uniques et le degré d'influence sur des événements qui
changent dans le temps, au cours desquels des événements imprévisibles
agiront sur le système dès le début. début. de l'extérieur, et de l'intérieur, sa
topologie subira une réorganisation endogène continue : la tâche est
clairement insoluble !
16
Cependant, nous n'aurons peut-être pas à prédire en
détail la trajectoire complète du développement futur du système pour être
sûrs que notre intervention au bon moment augmentera la probabilité qu'il
atteindra notre objectif à long terme. besoin. On pourrait, par exemple, se
concentrer uniquement sur des étapes à court terme et relativement
prévisibles de cette trajectoire, en choisissant des actions qui faciliteront
leur passage et en traitant le comportement du système au-delà de l'horizon
de prévision comme une marche aléatoire.
Il existe cependant des raisons éthiques de ne pas prendre de mesures dans
les limites de l'argument contraire. Essayer de déjouer les autres semble être
un jeu à somme nulle, voire négatif, étant donné le temps et l'énergie qui
seront nécessaires à la fois pour les tentatives elles-mêmes et parce qu'il
devient plus difficile pour chacun de comprendre ce que les autres pensent
vraiment. et prendre confiance en son propre jugement
17
. La généralisation
des méthodes de manipulation stratégique tuerait la sincérité et la vérité
serait condamnée à errer dans les ténèbres insidieuses des jeux politiques.
voies et opportunités
Doit-on se féliciter des avancées matérielles ? Et qu'en est-il des progrès
vers la création d'un modèle informatique du cerveau ? Répondons à ces
questions à tour de rôle.
Conséquences des progrès du matériel
L'augmentation de la vitesse des ordinateurs facilite la création
d'intelligence artificielle. Ainsi, l'un des effets des progrès du matériel est
l'accélération du moment où l'intelligence artificielle est née. Nous avons
déjà dit que d'un point de vue objectif, cela peut être mauvais, car
l'humanité aura moins de temps pour résoudre le problème du contrôle et
s'élever à un niveau supérieur de civilisation. Cependant, cela ne signifie
pas l' inévitabilité d'une catastrophe. Puisque la superintelligence éliminera
de nombreux autres risques existentiels, son apparition précoce est à
privilégier si le niveau de ces risques est trop élevé
18
.
La proximité ou le retard du développement explosif de l'intelligence
artificielle n'est pas le seul canal par lequel les progrès du matériel peuvent
affecter le risque existentiel. Une autre possibilité est que le matériel puisse
remplacer le logiciel dans une certaine mesure  : une meilleure base
matérielle abaisse le niveau de compétence minimum requis pour créer un
code de départ IA. Les ordinateurs rapides peuvent également encourager
l'utilisation d'approches qui reposent davantage sur une recherche
exhaustive (comme les algorithmes génétiques et d'autres méthodes de
génération, d'évaluation et de destruction) et moins sur des techniques qui
nécessitent une compréhension approfondie de la situation. Si l'utilisation
de méthodes de force brute a tendance à aboutir à des systèmes avec des
architectures plus désordonnées et moins précises, où le problème de
contrôle est plus difficile à résoudre que dans des systèmes avec des
architectures plus précisément conçues et théoriquement prévisibles, cela
indique une autre raison pour laquelle des ordinateurs plus rapides
augmenter le risque existentiel.
Une autre considération est que les progrès rapides du matériel le rendent
plus susceptible de décoller rapidement. Plus l'industrie des
microprocesseurs progresse, moins il faut d'heures de travail aux
programmeurs pour pousser les ordinateurs à de nouveaux niveaux de
performance. Cela signifie qu'il est peu probable que le développement
explosif de l'intelligence artificielle se produise au plus bas niveau de
performances matérielles. Autrement dit, une telle explosion est
plus
susceptible de se produire lorsque les ordinateurs sont à un niveau de
développement beaucoup plus élevé. Cela signifie que le décollage aura lieu
dans des conditions de "projection matérielle". Comme nous l'avons vu au
chapitre 4, le porte-à-faux matériel est l'un des nombreux facteurs qui
réduisent la traînée du système pendant le décollage. Cela signifie que les
progrès rapides du matériel sont susceptibles de conduire à une transition
plus rapide et plus explosive vers la superintelligence.
Un décollage rapide via ce que l'on appelle une surcharge matérielle peut
affecter les risques de transition de plusieurs manières. De toute évidence,
un décollage rapide laisse moins d'occasions de réagir et d'apporter des
ajustements au processus de transition, ce qui augmente les risques
associés. De plus, en cas de matériel excédentaire, les chances qu'un
embryon d'IA potentiellement dangereux qui a commencé à s'améliorer
soient isolés avec succès et ne soient pas autorisés à disposer de
suffisamment de ressources informatiques sont réduites, car plus les
processeurs sont rapides, moins il en faut pour que l'IA se développe
rapidement. au niveau de la superintelligence. Un autre effet de l'excès de
matériel est qu'il uniformise les règles du jeu entre les petits et les grands
projets, réduisant ainsi l'avantage des grands projets dans un parc
informatique plus puissant. Cela augmente également le risque existentiel ,
car les grands projets sont plus susceptibles de résoudre le problème de
contrôle et de fixer des objectifs plus acceptables sur le plan éthique
19
.
Décoller rapidement a ses avantages. Augmente la probabilité qu'un
singleton se forme. Si la formation de singletons est importante pour
résoudre le problème de coordination post-transition, il peut être judicieux
de prendre de plus grands risques pendant l'explosion de l'IA pour réduire le
risque de conséquences catastrophiques de l'échec des efforts de
coordination post-transition.
Les progrès de l'informatique peuvent influencer l'issue de la révolution de
l'intelligence artificielle non seulement directement, mais aussi
indirectement, par leur impact sur la société et leur implication indirecte
dans la formation des conditions du développement explosif de
l'intelligence artificielle. Par exemple, Internet, dont le développement
nécessite la production en masse d'ordinateurs bon marché, influence les
activités des personnes dans de nombreux domaines, notamment les travaux
sur la création d'intelligence artificielle et la recherche sur le problème du
contrôle. (Ce livre n'aurait probablement pas été écrit, et vous pourriez vous
en passer s'il n'y avait pas Internet.) Cependant, le matériel est déjà
suffisamment avancé pour avoir de superbes applications qui facilitent le
travail des gens. communiquer, réfléchir, il n'est donc pas clair si les progrès
dans ces domaines sont vraiment freinés par la vitesse d'amélioration
20
.
Par conséquent, il semble que des progrès plus rapides dans le domaine du
développement de matériel ne soient pas souhaitables d'un point de vue
objectif. Cette conclusion provisoire pourrait être réfutée, par exemple, si
d'autres risques existentiels ou de coordination post-transition s'avéraient
extrêmement élevés. En tout cas, il semble difficile de se fier encore plus à
la rapidité d'amélioration des équipes. Par conséquent, nos efforts pour
améliorer les conditions initiales du développement explosif de
l'intelligence artificielle doivent se concentrer sur d'autres paramètres du
processus stratégique global.
Gardez à l'esprit que même si nous ne savons pas comment influencer un
paramètre particulier, il peut être utile de commencer à travailler sur une
stratégie pour au moins déterminer le "signe" de cette influence (c'est-à-dire
comprendre ce qui est le mieux  : augmenter ou augmenter) . diminuer la
valeur du paramètre). Et la prise de pied pour influencer le paramètre
sélectionné peut être trouvée plus tard. Il est également possible que le
signe d'un paramètre soit en corrélation avec le signe d'un autre paramètre
plus facile à manipuler, auquel cas notre analyse initiale nous aiderait à
décider quoi en faire.
Faut-il encourager la recherche sur l'émulation du cerveau
entier ?
Plus le problème du contrôle semble difficile dans le cas de l'intelligence
artificielle, plus il semble tentant de s'orienter vers la création d'un modèle
de cerveau simulé comme alternative moins risquée. Cependant, certaines
complexités méritent d'être analysées avant de tirer des conclusions
définitives
21
.
C'est d'abord la présence de liens technologiques, dont nous avons déjà
parlé. Il a été souligné que les efforts visant à créer un modèle de simulation
du cerveau pourraient conduire à l'essor de l'IA neuromorphique, c'est-à-
dire une forme particulièrement dangereuse d'intelligence artificielle.
Mais pour un moment, supposons que nous ayons vraiment atteint notre
objectif et créé un modèle de simulation informatique du cerveau (ci-après
CIMGM). Sera-t-il plus sûr que l'IA ? C'est une question difficile. CIMGM
a au moins trois
avantages perçus par
rapport à l'IA : 1) ses caractéristiques
de performance sont plus faciles à comprendre  ; 2) les motivations
humaines lui sont inhérentes ; 3) dans le cas de sa supériorité, l'ascension
sera lente. Je propose d'examiner brièvement chaque facteur.
1.
                                 
Que les caractéristiques de performance de CIMGM sont plus
faciles à comprendre que l'IA semble convaincante. Nous avons beaucoup
d'informations sur les forts
et les faiblesses de l'intelligence humaine, mais il n'y a aucune connaissance
de l'AIHI. Cependant, comprendre ce qu'un instantané numérisé de
l'intelligence humaine peut et ne peut pas faire n'est pas la même chose que
comprendre comment cette intelligence réagira aux changements pour
améliorer ses performances. Au contraire, l'IA peut être soigneusement
conçue dès le départ pour être compréhensible dans les états statiques et
dynamiques. Ainsi, bien que les performances intellectuelles des CIMGM
puissent être plus prévisibles à des stades comparables de leur
développement, il n'est pas clair s'ils seront dynamiquement plus prévisibles
que l'IA créée par des programmeurs compétents et soucieux de la sécurité.
2.
                 
Rien ne garantit que le CIMGM ait nécessairement la motivation
de son prototype humain. Pour reproduire les caractéristiques évaluatives
d'une personnalité humaine, un modèle trop précis peut être nécessaire.
Même
si
le système de motivation d'un individu peut être copié exactement,
il n'est pas clair à quel point il sera sûr. Les gens peuvent être trompeurs,
égoïstes et cruels. Et s'il faut espérer que le prototype sera choisi pour sa
vertu exceptionnelle, il est difficile de prédire comment il agira après avoir
été transféré dans un milieu qui lui est totalement étranger, après avoir porté
ses capacités intellectuelles à un niveau surhumain et pris en compte
compte la possibilité de s'emparer de la domination sur le monde. Il est vrai
que les CIMGM auront une
motivation plus humaine
(ils ne valoriseront pas
que les clips ou les décimales en pi). Selon votre vision de la nature
humaine, cela peut être à la fois encourageant et
décevant
.
3.
                                 
On ne sait pas pourquoi la technologie d'émulation du cerveau
entier pourrait conduire à un décollage plus lent que la technologie de
développement de l'IA. Peut-être que dans le cas de l'émulation cérébrale,
on peut s'attendre à moins de surcharge matérielle, car elle est moins
efficace en termes de calcul que l'IA. Il est également possible que l'IA soit
capable de convertir plus facilement toute la puissance de calcul disponible
en une intelligence intégrée géante, tandis que le CIMGM précédera l'essor
de la super-intelligence et ne surpassera l'humanité qu'en termes de vitesse
et de nombre de copies possibles. Si l'arrivée du CIMGM entraînait un
décollage plus lent, alors le problème de contrôle serait un avantage
supplémentaire. De plus, un décollage plus lent augmenterait la probabilité
d'un résultat multipolaire. Mais est-ce si désirable, ce monde multipolaire,
c'est une grande question.
Il y a une autre considération qui remet en question l'idée de la sécurité de
la création d'une technologie d'émulation cérébrale en premier : la nécessité
de résoudre le
deuxième problème de transition
. Même si la première IA au
niveau humain est créée sous la forme d'un émulateur, la possibilité de l'IA
restera. L'IA dans sa forme mature présente des avantages significatifs par
rapport au CIMGM qui en font une technologie incomparablement plus
puissante
23
. Étant donné que l'IA mature conduira à l'obsolescence du
CIMGM (à l'exception de la tâche spéciale de préservation du cerveau des
gens), le mouvement inverse est presque impossible.
Cela signifie ce qui suit  : si l'IA est développée en premier, le
développement explosif de l'intelligence artificielle pourrait n'avoir qu'une
seule vague ; et si KIMGM est créé en premier, il peut y avoir deux vagues
de ce type. Le premier est la montée de KIMGM lui-même, le second est la
montée de l'IA. Le risque existentiel total sur la route CIMGM-AI est la
somme des
risques associés aux première et deuxième transitions (en raison
de la réussite de la première), voir fig. 13
24
.
Dans quelle mesure la transition vers l'IA sera-t-elle plus sûre dans le
monde du CIMGM  ? Une considération est que la transition vers l'IA
pourrait être moins explosive si elle se produisait après l'émergence d'une
autre forme d'intelligence artificielle. Des modèles de simulation
fonctionnant à des vitesses numériques et en nombre dépassant de loin la
population mondiale pourraient combler le fossé cognitif et rendre l'IA plus
facile à contrôler. Cependant, il ne faut pas accorder trop d'importance à
cette considération, car l'écart entre l'IA et le CIMGM continuera d'être très
important. Cependant, si le CIMGM est non seulement plus rapide et plus
nombreux, mais aussi qualitativement plus intelligent que les humains (ou
du moins pas inférieur aux meilleurs représentants de l'humanité), alors le
scénario CIMGM aura des avantages similaires au scénario avec
amélioration cognitive. de la biologie. cerveau, que nous avons examiné
précédemment.
Riz. 13. Qu'est-ce qui est venu en premier, l'intelligence artificielle ou la simulation
informatique du cerveau ?
Dans le premier scénario KIMGM, il y a deux transitions liées au risque
: d'abord suite à la création du CIMGM, ensuite l'IA. Le risque existentiel total de ce scénario est la
somme des risques de chaque transition. Cependant, le risque de la transition de l'IA elle-même peut
être plus faible lorsqu'elle se produit dans un monde où KIMGM fonctionne déjà avec succès.
La deuxième considération fait référence à la situation concurrentielle du
projet, dans ce cas, en créant KIMGM, le leader peut renforcer son
avantage. Prenons un scénario où le projet principal de CIMGM a une
avance de six mois sur le concurrent le plus proche. Supposons que les
premiers émulateurs fonctionnels seront sûrs, patients et disposés à
coopérer avec les gens. Fonctionnant sur du matériel rapide, ils peuvent
passer une éternité subjective à chercher une réponse à la question de savoir
comment créer une IA sûre. Par exemple, si vous opérez à des vitesses cent
mille fois plus rapides que les vitesses humaines et que vous êtes capable de
traiter le problème de contrôle sans distraction pendant six mois de temps
sidéral, vous pouvez aller cinquante mille ans plus loin pour le résoudre au
moment où vous traitez avec ce. la concurrence des émulateurs créés dans
le cadre du projet du concurrent le plus proche. Compte tenu du matériel
disponible, ils peuvent encore accélérer leur progression en exécutant des
milliards de copies d'eux-mêmes pour travailler de manière indépendante
sur diverses sous-tâches. Et si le projet principal utilise ses six mois
d'avance pour former un singleton, il peut offrir à son équipe d'IA un temps
illimité pour résoudre le problème de contrôle
25
.
En général, on a le sentiment que si le CIMGM apparaît avant l'IA, le risque
de transition vers l'IA pourrait être moindre. Cependant, si l'on ajoute le
risque résiduel du passage à l'IA avec le risque du passage à l'ICGM qui le
précède, on voit moins bien comment le risque existentiel total du scénario
« ICGMM first » est corrélé au risque « AI first ». ” ". Il s'avère que si nous
regardons avec scepticisme la capacité de l'humanité à gérer la transition
vers l'IA, étant donné que la nature ou la civilisation humaine peut s'être
améliorée au moment où nous relevons ce défi, alors le premier scénario du
CIMGM semble plus attrayant.
Pour comprendre si l'idée de créer une technologie d'émulation cérébrale
complète doit être promue, il y a quelques points plus importants à
considérer.
Premièrement, nous devons prendre en compte le faisceau de technologies
déjà mentionné : le passage au CIMGM peut conduire à la création d'une IA
neuromorphique. C'est une raison pour ne pas insister sur les émulateurs
26
.
Certes,
certaines
options d'IA synthétique sont moins sûres que
certaines
options neuromorphiques. Cependant, en moyenne, les systèmes
neuromorphiques semblent être plus dangereux. L'une des raisons en est
que l'imitation peut remplacer la connaissance. Construire quelque chose à
partir de zéro nécessite généralement une assez bonne idée de la façon dont
le système fonctionnera. Mais il n'est pas nécessaire d'avoir une telle
compréhension si vous ne faites que copier certaines propriétés d'un
système déjà existant. L'émulation du cerveau entier est basée sur la copie à
grande échelle d'un système biologique, ce qui ne nécessite pas une
compréhension approfondie des mécanismes de la cognition (bien que des
connaissances sérieuses au niveau des composants soient certainement
nécessaires). En ce sens, l'IA neuromorphique peut être similaire au
CIMGM : elle peut être obtenue en plagiant divers éléments sans obliger les
ingénieurs à avoir une compréhension mathématique approfondie de son
fonctionnement. En revanche, l'IA neuromorphique
ne sera pas similaire
au
CIMGM sur un autre aspect : elle n'aura pas de système de motivation
humaine par défaut
27
. Cette considération va à l'encontre du désir de suivre
la voie du CIMGM, si l'IA neuromorphique peut en résulter.
Deuxièmement, ce qu'il faut retenir : KIMGM nous donnera très
probablement un signal sur son apparition imminente. Dans le cas de l'IA, il
y a toujours la possibilité d'une percée conceptuelle inattendue. En
revanche, le succès de l'émulation cérébrale nécessite de nombreuses étapes
préliminaires à forte intensité de main-d'œuvre : la création d'un logiciel de
numérisation et de traitement d'image hautes performances, et le
développement d'un algorithme de simulation de réseau neuronal. Par
conséquent, nous pouvons affirmer avec confiance que KIMGM n'est pas
encore au seuil (et qu'il ne sera pas créé dans les vingt ou trente prochaines
années). Cela signifie que les efforts pour accélérer la création de KIMGM
ne sont pertinents que pour les scénarios où l'intelligence artificielle
apparaît relativement lentement. Cela rend l'investissement dans le CIMGM
attrayant pour ceux qui souhaitent un développement explosif de
l'intelligence pour éliminer d'autres risques existentiels, mais hésitent à
soutenir le développement de l'IA de peur que cette explosion ne se
produise prématurément, avant que le problème ne soit résolu. problème de
contrôle. Cependant, il semble que l'incertitude quant à la chronologie de
ces événements soit si grande qu'il ne faut pas accorder trop d'importance à
cette considération
28
.
Par conséquent, une stratégie de soutien CIMGM est plus attrayante si : 1)
elle est pessimiste quant à la capacité des gens à résoudre le problème de
contrôle de l'IA ; 2) ne vous inquiétez pas trop de l'IA neuromorphique, des
résultats multipolaires et des risques d'une deuxième transition  ; 3) pense
que KIMGM et AI seront créés très prochainement  ; 4) préfèrent que la
superintelligence n'apparaisse ni trop tôt ni trop tard.
D'un point de vue subjectif - mieux vaut plus vite
Je crains que de nombreuses personnes ne souscrivent aux paroles de l'un
des commentateurs du blog :
Je veux instinctivement aller plus vite. Et pas parce que, me semble-t-il, le monde en profitera.
Pourquoi devrais-je penser au monde si je vais mourir et devenir poussière de toute façon ? J'aimerais
que tout aille plus vite, bon sang  ! Cela augmente les chances que vous trouviez un avenir plus
avancé sur le plan technologique
29
.
D'un point de vue subjectif, nous avons de bonnes raisons d'accélérer l'essor
de toute technologie radicalement nouvelle qui implique un risque
existentiel. La raison en est que tous ceux qui vivent maintenant mourront
par défaut dans les cent prochaines années.
La volonté d'accélérer les choses est particulièrement forte lorsqu'il s'agit de
technologies qui peuvent prolonger nos vies et ainsi augmenter le nombre
de personnes en vie aujourd'hui, capables de capter le développement
explosif de l'intelligence artificielle. Si la révolution de l'IA se déroule
comme nous le souhaitons, il est presque certain que la superintelligence
qui en résultera trouvera un moyen de prolonger indéfiniment la vie des
personnes qui se trouvent être ses contemporains, et non seulement de
prolonger la vie, mais aussi de la rendre absolument supérieure. qualité.
haute. car les gens seront en parfaite santé et pleins d'énergie juvénile,
également grâce aux efforts du supramental. De plus, la superintelligence
augmentera les possibilités de l'homme bien au-delà de ce que l'on pourrait
imaginer ; qui sait, cela aidera soudainement une personne à se débarrasser
complètement de son organisme mortel, à télécharger son cerveau dans un
environnement numérique et à lui donner un corps virtuel parfaitement sain.
Quant aux technologies qui ne promettent pas de prolonger la vie, il y a
moins de raisons de se presser, mais elles existent quand même, puisque
l'émergence de telles opportunités peut améliorer le niveau de vie
30
.
Dans la même logique, de nombreuses innovations technologiques risquées
qui promettent d'accélérer le moment du développement explosif de
l'intelligence artificielle semblent attrayantes d'un point de vue subjectif,
même si elles sont indésirables d'un point de vue objectif. De telles
innovations pourraient raccourcir l'heure du loup, pendant laquelle nous
devons nous asseoir sur notre perchoir en attendant l'aube de l'ère
posthumaine. Par conséquent, d'un point de vue subjectif, des progrès
rapides dans le domaine du matériel semblent être aussi souhaitables que
dans le domaine de la création de CIMGM. Le préjudice potentiel dû à un
risque existentiel accru est contrebalancé par le bénéfice potentiel pour
l'individu en raison de la plus grande probabilité que le développement
explosif de l'intelligence artificielle se produise au cours de la vie des
personnes vivant aujourd'hui
31
.
La coopération
Un paramètre important est le degré de coopération et de coordination qui
peut être atteint au cours de la création de l'intelligence artificielle. La
collaboration peut apporter de nombreux avantages. Voyons quel impact ce
paramètre pourrait avoir sur le processus de création de l'intelligence
artificielle et quels leviers nous avons à notre disposition pour élargir et
approfondir la coopération.
La course et ses dangers
Le sentiment de course surgit lorsqu'on craint que le projet ne soit dépassé
par les concurrents. Pour cela, il n'est pas nécessaire d'avoir de nombreux
projets similaires. La situation où les porteurs de projet sont en situation de
course peut également se développer en l'absence de véritables concurrents.
Peut-être que les Alliés n'auraient pas construit la bombe atomique aussi
rapidement s'ils n'avaient pas cru (à tort) que l'Allemagne était extrêmement
proche de cet objectif.
L'intensité du sentiment de course (c'est-à-dire la mesure dans laquelle les
concurrents sont disposés à privilégier la vitesse par rapport à la sécurité)
dépend de plusieurs facteurs, tels que la densité de la compétition,
l'importance relative du hasard et de la chance, le nombre de concurrents et
la similitude de leurs approches et de leurs objectifs. Ce que les concurrents
pensent de tous ces facteurs est également important (voir encadré 13).
Dans le cas du développement de l'intelligence artificielle, il semble que le
sentiment de course sera pour le moins perceptible, et peut-être très fort.
L'intensité de ce sentiment détermine quelles peuvent être les conséquences
stratégiques d'un éventuel développement explosif de l'intelligence
artificielle.
ENCADRÉ 13 COURSE À LA MORT
Considérons une hypothétique course aux armements de l'IA, une course dans laquelle plusieurs
équipes s'affrontent pour être la première à créer une superintelligence
32
. Chacun d'eux décide du
montant à investir dans la sécurité, sachant que les ressources consacrées aux mesures de précaution
sont celles qui ne sont pas consacrées à la création de l'IA. En l'absence d'un accord entre les rivaux
(qui n'a pu être trouvé en raison de différences de positions ou de l'impossibilité de contrôler
l'exécution du contrat), la course peut devenir mortelle lorsque chaque équipe ne dépense qu'un
minimum d'argent pour la sécurité.
La performance de chaque équipe peut être pensée en termes de capacité (qui inclut la chance), le
coût de la sécurité étant la fonction de pénalité. L'équipe d'IA la plus performante sera créée en
premier. Les risques associés à l' arrivée de l'IA dépendent des investissements de ses créateurs dans
la sécurité. Dans le pire des cas, toutes les commandes ont les mêmes capacités. Dans ce cas, le
gagnant est déterminé uniquement par la valeur de son investissement en sécurité : l'équipe qui a
dépensé le moins en précautions l'emportera. Ainsi, l'équilibre de Nash dans ce jeu est atteint dans
une situation où aucune équipe ne dépense quoi que ce soit pour la sécurité. Dans le monde réel, une
telle situation signifierait l'apparition de l'
effet
cliquet
: une des équipes prend plus de risques, de
peur de prendre du retard sur les concurrents, ces derniers réagissent de la même manière, et ainsi de
suite plusieurs fois jusqu'à ce que le niveau de risque soit maximal.
Opportunités et risques
La situation change lorsque les capacités des équipes ne sont pas les mêmes. Parce que les
différences de capacité l'emportent sur le coût de la sécurité, l'effet de cliquet est réduit : il y a moins
d'incitation à prendre plus de risques quand cela n'affecte pas l'équilibre des pouvoirs. Différents
scénarios de ce type sont présentés dans la Fig. 14, qui illustre les risques de l'IA en fonction de
l'importance d'un paramètre comme les capacités des équipes qui la développent. L'investissement en
sécurité varie de 1 (résultant en une IA parfaitement sécurisée) à 0 (IA totalement non sécurisée). L'
axe des
x
montre l'importance relative des capacités d'une équipe pour déterminer sa progression
vers la construction de l'IA par rapport à l'investissement dans la sécurité. (Au point 0,5,
l'investissement dans la sécurité est deux fois plus important que l'opportunité ; au point 1, ils sont
égaux ; au point 2, les opportunités sont deux fois plus importantes que l'investissement dans la
sécurité, et ainsi de suite.) L' axe des
ordonnées
montre le niveau de risque associé à l'IA (part
attendue de l'utilité maximale reçue par le gagnant).

0 2 4 6 8 10 0 2 4 6 8 10
Importance relative des opportunités               Importance relative des opportunités
Riz. 14. Niveaux de risque dans la carrière des technologies d'intelligence artificielle.
La figure
montre le niveau de risque d'une IA dangereuse pour un modèle de course technologique simple
impliquant a) deux ou b) cinq équipes, combiné à l'importance relative de leurs capacités (par rapport
à l'investissement dans la sécurité) pour déterminer quel projet sera le meilleur. gagnant. Le
diagramme montre trois scénarios : ligne pleine : aucune information sur le niveau de capacités ;
ligne pointillée : informations fermées sur les opportunités ; ligne pointillée : informations ouvertes
sur les opportunités.
Nous voyons que dans tous les scénarios, le danger de l'IA est le plus grand lorsque les capacités ne
jouent aucun rôle et diminue progressivement à mesure que leur importance augmente.
Objectifs comparables
Une autre façon de réduire les risques est de donner aux équipes un plus grand intérêt dans le succès
de l'autre. Si les concurrents sont convaincus que la deuxième place signifie perdre tout ce qui leur
est cher, ils prendront tous les risques pour battre leurs adversaires. Au contraire, ils investiront
davantage dans la sécurité s'ils dépendent moins des résultats de la course. Cela signifie que nous
devons encourager diverses formes d'investissements croisés.
Nombre de concurrents
Plus les équipes s'affrontent, plus la course devient dangereuse : chaque équipe a moins de chances
de finir premier, et donc plus la tentation de prendre des risques est grande. Ceci peut être vu si nous
comparons les positions
a
et
b
dans la Fig. 14 : deux équipes et cinq équipes. Dans chaque scénario,
le risque augmente avec le nombre de concurrents. Il peut être réduit si les équipes se regroupent en
un petit nombre de coalitions concurrentes.
La malédiction des informations redondantes
Est-il bon pour les équipes de savoir où elles se situent dans la course (par exemple, leur niveau de
compétence) ? Oui et non. Il est souhaitable que l'équipe la plus forte connaisse votre leadership (cela
signifiera que la séparation des concurrents vous permettra de penser davantage à la sécurité). Et il
n'est pas souhaitable que les autres sachent qu'ils prennent du retard (car cela confirmera votre
détermination à relâcher vos précautions dans l'espoir de rattraper vos concurrents). Bien qu'à
première vue il puisse sembler qu'un compromis soit possible, les modèles montrent clairement que
l'information est mauvaise
33
. En figue. 14 (
a
et
b
) reflètent trois scénarios : une ligne droite
correspond à une situation dans laquelle aucune des équipes ne dispose d'informations sur les
capacités des participants à la course, y compris les leurs ; la ligne pointillée correspond à une
situation où les équipes ne connaissent que leurs propres capacités (elles sont donc prêtes à prendre
des risques supplémentaires si leurs capacités sont faibles) ; la ligne pointillée montre ce qui se passe
si toutes les équipes sont conscientes des capacités des autres (elles peuvent prendre des risques
supplémentaires si leurs capacités sont proches). A chaque augmentation du niveau de conscience, la
course s'intensifie.
En raison du sens de la race, les projets peuvent accélérer leur mouvement
vers la superintelligence en réduisant l'investissement en capital pour
résoudre le problème de contrôle. D'autres conséquences négatives, telles
qu'une action hostile directe contre des concurrents, sont également
possibles. Supposons que deux pays se font concurrence pour être le
premier à créer une superintelligence et qu'un est en tête. Dans une situation
où le vainqueur remporte tout, l'outsider peut décider de frapper
désespérément l'adversaire plutôt que d'attendre passivement la défaite.
Dans cette hypothèse, le pays leader peut lancer une frappe préventive. Si
les antagonistes disposent d'une puissance militaire suffisante, leur
affrontement entraînera une grande effusion de sang
34
. (Même une attaque
ciblée contre l'infrastructure d'un projet d'IA comporte le risque d'une
confrontation plus large et peut ne pas atteindre son objectif si le pays dans
lequel le projet est en cours prend les précautions adéquates
35
). Si nous
prenons le scénario dans lequel les développeurs en conflit ne représentent
pas des pays mais des institutions moins puissantes, leur conflit est
susceptible d'être moins destructeur en termes de dommages immédiats.
Bien qu'en général les conséquences d'une telle concurrence seront presque
aussi mauvaises. En effet, les principaux dégâts ne sont pas causés par la
collision sur le champ de bataille, mais par l'affaiblissement des
précautions. Comme nous l'avons vu, un sentiment de race réduira
l'investissement dans la sécurité, et un conflit, même s'il n'est pas sanglant,
éliminera la possibilité de coopération, car dans une atmosphère d'hostilité
et de méfiance, les équipes de projet sont peu susceptibles de partager des
idées sur la manière de résoudre le problème. problème de contrôle
36
.
Sur les avantages de la coopération
La coopération donne donc beaucoup de choses utiles. Ne vous précipitez
pas dans le développement de l'IA. Cela vous permet d'investir davantage
dans la sécurité. Évitez les conflits violents. Et cela facilite l'échange d'idées
en matière de contrôle. À ces avantages, on peut encore ajouter une chose :
la coopération est susceptible de conduire à un résultat dans lequel l'effet
bénéfique de l'explosion contrôlée du renseignement est plus équitablement
réparti.
Une plus grande coopération conduit à une répartition plus large des
avantages, mais ce n'est pas aussi évident qu'il n'y paraît. En principe, un
petit projet sous le contrôle d'un altruiste peut également aboutir à un
résultat dans lequel les bénéfices sont répartis de manière égale ou équitable
entre tous les êtres ayant un statut moral. Cependant, il y a plusieurs raisons
de croire qu'une coopération plus large, incluant plus d'investisseurs, sera
meilleure (comme prévu) en termes de distribution des résultats. L'une des
raisons est que les investisseurs préfèrent vraisemblablement un résultat
dans lequel ils reçoivent eux-mêmes une part équitable. Ainsi, une
coopération accrue signifie qu'un nombre relativement important de
personnes recevront au moins leur juste part si le projet est mené à bien.
Une autre raison est qu'une collaboration accrue est bénéfique même pour
les personnes qui ne sont pas directement impliquées dans le projet. Plus la
coopération est large, plus les personnes y seront impliquées et plus les
personnes extérieures au projet seront connectées avec elles et pourront
compter sur le fait que les participants au projet prendront en compte leurs
intérêts. De plus, plus la coopération est large, plus elle est susceptible
d'impliquer au moins quelques altruistes cherchant à agir pour le bien de
tous. De plus, un tel projet est plus susceptible d'être soumis à l'examen du
public, ce qui réduira le risque qu'une cabale de programmeurs ou
d'investisseurs privés prenne tout le gâteau
37
. Gardez également à l'esprit
que plus la collaboration est grande pour travailler sur un projet réussi,
moins il en coûte de partager les bénéfices entre des personnes qui n'y sont
pas directement liées. (Par exemple, si 90  % de toutes les personnes sont
déjà impliquées dans la coopération, il ne faudra pas plus de 10 % de leur
part pour amener tout le monde à leur niveau.)
Par conséquent, il est possible qu'une coopération plus poussée conduise à
une distribution plus large des avantages (bien que
certains
projets avec un
petit nombre d'investisseurs puissent également avoir d'excellentes
perspectives de distribution). Mais pourquoi une large distribution de biens
est-elle si souhaitable ?
Un résultat dans lequel chacun reçoit sa part de bonbons est préférable d'un
point de vue éthique et prudent. On ne parlera pas beaucoup du côté éthique
de la question, on dira juste qu'il ne s'agit pas forcément de lutter pour
l'égalitarisme. La raison peut être, par exemple, dans le désir de justice. Le
projet, dans le cadre duquel une superintelligence mécanique est en cours
de création, est associé à des risques mondiaux de mort pour l'humanité.
Chaque habitant de la Terre est en danger de mort, y compris ceux qui
n'acceptent pas de mettre en danger leur vie et celle de leurs proches. Et
puisque tout le monde partage le risque, l'exigence de fonds propres
minimum signifie que chacun doit également recevoir sa part de la
récompense.
Le fait que le bénéfice total (escompté) soit probablement plus important
dans les scénarios coopératifs est un autre argument éthique important en sa
faveur.
Du point de vue de la prudence, une large distribution des biens est
avantageuse pour deux raisons. La première est que cette approche partagée
conduira à une plus grande coopération, qui à son tour réduira les effets
négatifs de la course technologique. Si tout le monde profite du succès du
projet, il y aura moins de raisons de se battre pour les lauriers du premier
créateur de la superintelligence. Les promoteurs d'un projet particulier
peuvent également gagner à informer le public de leur volonté de partager
équitablement les bénéfices du projet, car les projets altruistes sont plus
susceptibles d'attirer plus de partisans et moins d'opposants
38
.
La deuxième raison de préférer une large distribution des bénéfices du point
de vue de la prudence est que les agents ont tendance à éviter le risque et
que leur fonction d'utilité n'est pas linéaire par rapport aux ressources.
L'essentiel ici est que le gain potentiel en ressources peut être énorme. En
supposant que l'univers observable est vraiment aussi inhabité qu'il y paraît,
alors il y a plus d'une galaxie libre pour chaque habitant de la Terre
aujourd'hui. La plupart des gens préféreraient un accès garanti à une galaxie
pleine de ressources à un billet de loterie à un sur un milliard pour posséder
un milliard de galaxies
39
. Compte tenu des dimensions cosmiques qui
attendent l'humanité à l'avenir, il semble de notre intérêt de privilégier un
marché où chacun se voit garantir une part, même si elle ne correspond qu'à
une petite partie de l'ensemble. Lorsqu'un prix aussi généreux se profile à
l'horizon, il est important de ne pas se boucher le nez.
Cet argument sur l'énormité de la cagnotte repose sur l'hypothèse que les
préférences sont riches en ressources
40
. Ce n'est pas forcément le cas. Par
exemple, il existe plusieurs théories éthiques bien connues, notamment les
théories conséquentialistes agrégées, avec lesquelles des fonctions d'utilité
linéaires et neutres au risque des ressources sont corrélées. Avec un milliard
de galaxies, vous pouvez créer un milliard de vies plus heureuses qu'une
seule. Autrement dit, d'un point de vue utilitaire, c'est un milliard de fois
mieux que
41
. Autrement dit, les fonctions de préférence des personnes
ordinaires et égoïstes semblent être relativement saturées de ressources. La
dernière observation doit être complétée par deux précisions importantes.
Tout d'abord, beaucoup de gens sont préoccupés par les notes. Si de
nombreux agents veulent figurer en tête de liste des personnes les plus
riches du monde, il n'y aura pas assez de réserves mondiales pour satisfaire
tout le monde.
Deuxièmement, une base technologique post-transition peut permettre de
transformer les ressources matérielles en une gamme de produits sans
précédent, y compris ceux qui ne sont actuellement pas disponibles à
n'importe quel prix mais très appréciés par beaucoup. Les milliardaires ne
vivent pas mille fois plus longtemps que les millionnaires. Cependant, à
l'ère de l'intelligence numérique, les milliardaires pourront s'offrir mille fois
plus de puissance de calcul et donc vivre subjectivement mille fois plus
longtemps. De la même manière, le pouvoir mental sera également
disponible contre de l'argent. Dans de telles circonstances, lorsque le capital
économique peut être converti en biens vitaux à un taux constant, même
avec un niveau de richesse très élevé, la cupidité illimitée aura beaucoup
plus de sens que dans le monde moderne, où les riches (dépourvus de traits
philanthropiques) sont soucieux d'acquérir des avions, des yachts, des
collections d'objets d'art, d'innombrables résidences, et des fortunes y sont
dépensées.
Cela signifie-t-il que l'égoïste doit être neutre sur le risque associé à son
enrichissement dans la période post-transition ? Pas vraiment. Les
ressources physiques peuvent ne pas se convertir en vies ou en puissance
mentale à une échelle arbitraire. Si la vie doit être vécue de manière
séquentielle pour que l'observateur se souvienne des événements passés et
ressente les conséquences d'un choix une fois fait, alors la vie du cerveau
numérique ne peut être arbitrairement prolongée sans utiliser un nombre
croissant d' opérations de calcul
séquentielles .
Mais les lois de la physique
limitent la mesure dans laquelle les ressources peuvent être transformées en
calculs séquentiels
42
. Les limites de l'informatique séquentielle peuvent
également limiter sévèrement certains aspects des performances cognitives,
qui ne peuvent pas croître de manière linéaire avec l'accumulation rapide
des ressources. De plus, il n'est pas du tout évident qu'un égoïste doive être
neutre au risque même dans le cas d'indicateurs de réussite très pertinents,
par exemple le nombre d'années de vie subjectives ajustées en fonction de
la qualité. Étant donné le choix entre deux mille années de vie
supplémentaires garanties et une chance sur dix d'obtenir trente mille
années de vie supplémentaires, je pense que la plupart des gens choisiront la
première (même si toutes les années sont de la même qualité)
43
.
En réalité, l'argument selon lequel une répartition plus large de la richesse
est préférable du point de vue de la santé mentale est probablement
subjectif et situationnel. Même si, en général, les gens auraient plus de
chances d'obtenir (presque tout) ce qu'ils veulent s'ils pouvaient trouver un
moyen d'assurer une large distribution de biens - et cela est vrai même sans
considérer que l'obligation d'une telle distribution encouragera la
coopération et réduisent ainsi les possibilités d'une catastrophe existentielle.
Autrement dit, une large distribution de biens semble non seulement
nécessaire sur le plan éthique, mais également bénéfique.
Il y a une autre conséquence de la coopération qui ne peut être négligée, du
moins en passant : la possibilité que le degré de coopération avant la
transition affecte le degré de coopération après celle-ci.
Supposons que l'humanité ait résolu le problème du contrôle. (Si le
problème de contrôle n'est pas résolu, le degré de coopération dans la
période post-transition signifiera beaucoup.) Ensuite, deux cas doivent être
envisagés.
Premier cas  : les explosions d'IA ne créeront pas une situation où le
vainqueur remporte tout (vraisemblablement parce que le décollage sera
relativement lent). Dans ce cas, on peut supposer que si le degré de
coopération avant la transition affecte d'une manière ou d'une autre le degré
de coopération après celle-ci, alors cette influence sera positive et
stimulante. La coopération existante se poursuivra et se poursuivra après la
transition. De plus, les efforts conjoints déployés avant la transition
permettront au développement d'aller dans la direction souhaitée (et
vraisemblablement, d'ouvrir des opportunités pour une coopération encore
plus étroite) après celle-ci.
Cas 2 : La nature de l'explosion de l'IA encourage une situation où le
gagnant remporte tout (vraisemblablement parce que le décollage sera
relativement rapide). Dans ce cas, en l'absence d'une coopération étendue
dans la perspective de la transition, un singleton est susceptible de se
former  : la transition n'achèvera qu'un seul projet de superintelligence,
s'assurant à un moment donné un avantage stratégique décisif pour elle-
même. Le singleton est par définition un ordre social hautement coopératif
44

. Par conséquent, le manque de coopération dans la perspective de la
transition conduira à une coopération extrêmement active par la suite. Au
contraire, une collaboration accrue en vue d'une explosion de l'IA ouvre des
opportunités pour un large éventail de résultats. Les équipes de
développement collaboratives peuvent synchroniser le travail entre les
projets pour assurer leur transition ensemble et empêcher l'un d'entre eux
d'acquérir un avantage stratégique critique. Ou encore s'associer et agir dans
le cadre d'un projet commun, mais en même temps refuser de former un
singleton. Par exemple, on peut imaginer un consortium de pays lançant un
projet scientifique commun pour créer une intelligence artificielle, mais
n'autorisant pas sa transformation en un analogue super puissant de l'ONU,
se limitant au maintien de l'ordre mondial existant.
Ainsi, il s'avère que plus de coopération avant la transition peut conduire à
moins de coopération après celle-ci, notamment dans le cas d'un décollage
rapide. Cependant, dans la mesure où les parties coopérantes peuvent
contrôler le résultat, elles peuvent cesser de coopérer, ou ne pas coopérer du
tout, uniquement si elles pensent que le factionnalisme post-transition ne
conduira pas à des conséquences catastrophiques. Autrement dit, les
scénarios dans lesquels la coopération active dans la période de pré-
transition est remplacée par son absence dans la période de post-transition
se réfèrent principalement à une situation dans laquelle elle sera sûre.
En général, une coopération plus active dans la période post-transition
semble souhaitable. Cela réduira le risque d'une dystopie dans laquelle les
conditions malthusiennes apparaissent en raison de la concurrence
économique et de la croissance démographique rapide, ou dans laquelle la
sélection évolutive conduit à l'érosion des valeurs humaines et à
l'élimination des personnages qui aiment la vie. ou dans laquelle des forces
opposées sont confrontées à d'autres conséquences de leur incapacité à
coordonner leurs efforts, telles que des guerres et une course aux armements
technologiques. Cette dernière, la perspective d'une concurrence
technologique intense, peut être particulièrement dangereuse dans le cas
d'une transition vers une forme intermédiaire d'intelligence artificielle
(cerveau simulé), car cela créera un sentiment de race et réduira les chances
de résoudre le problème de contrôle au moment où la deuxième transition
vers une forme plus avancée d'intelligence artificielle (intelligence
artificielle) commence.
Nous avons déjà discuté de la manière dont la coopération en préparation
d'une explosion du renseignement peut réduire les conflits, augmenter la
probabilité d'une solution au problème de contrôle et créer une meilleure
allocation des ressources dans l'ère post-transition, à la fois sur le plan
éthique et pratique.
Collaboration
La collaboration peut prendre différentes formes selon le nombre de
participants. Au bas de l'échelle, des groupes distincts de développeurs d'IA
concurrents peuvent unir leurs forces
45
. Les sociétés peuvent fusionner ou
investir les unes avec les autres. Au plus haut niveau, il est possible de créer
un grand projet international impliquant plusieurs pays. Il existe déjà des
précédents connus de coopération scientifique et technologique
internationale à grande échelle (Organisation européenne pour la recherche
nucléaire ; Projet du génome humain, Station spatiale internationale), mais
le projet international de création d'une superintelligence sécurisée est
associé à des difficultés d'ordre supérieur en raison de la nécessité observer
des précautions strictes. Elle peut ne pas être organisée sous la forme d'une
coopération scientifique ouverte, mais sous la forme d'une société
extrêmement contrôlée. Les scientifiques participants peuvent même devoir
être physiquement isolés pendant la durée du projet, les privant de toute
communication avec le monde extérieur à l'exception d' un seul canal
fortement censuré. Actuellement, le niveau de sécurité requis est
difficilement atteignable, mais plus tard, en raison du développement des
technologies de détection des mensonges et des systèmes de surveillance, la
situation pourrait changer. Une collaboration étroite ne signifie pas
nécessairement que de nombreux scientifiques de renom sont impliqués
dans le projet. Au contraire, cela prendra une forme différente : des
scientifiques de premier plan auront leur mot à dire dans la détermination
des objectifs du projet. En principe, le projet pourrait assurer la coopération
la plus large possible si toute l'humanité (représentée, par exemple, par
l'Assemblée générale des Nations Unies) agit en tant qu'organisateur et, en
même temps, un seul scientifique est impliqué en tant qu'exécuteur
46
.
Il y a une raison pour commencer à collaborer le plus tôt possible : cela
nous donne l'opportunité de profiter du "voile de l'ignorance" qui nous
cache encore lequel des projets sera le premier à atteindre le niveau de
développement de la superintelligence. D'une part, plus on se rapproche du
but, plus l'incertitude sur les possibilités de projets concurrents diminue ;
Par conséquent, il sera plus difficile de conjuguer les efforts, en dépassant
l'intérêt égoïste des développeurs de projets phares et en s'assurant la
possibilité de répartir les bénéfices entre tous les habitants de la planète. En
revanche, il sera difficile de s'accorder formellement sur une coopération à
l'échelle planétaire tant que les perspectives d'émergence d'une
superintelligence ne seront plus apparentes à tous et que les contours de la
voie par laquelle on peut avancer vers sa création apparaissent. En outre,
étant donné que la coopération peut conduire à des progrès plus rapides sur
cette voie, il n'est peut-être même pas constructif du point de vue de la
sécurité de la poursuivre maintenant.
Par conséquent, aujourd'hui, la forme idéale de coopération pourrait être
celle qui n'implique pas d'accords formels spécifiques et n'accélère pas le
mouvement vers la création de l'intelligence artificielle. Ces critères sont
satisfaits, en particulier, par la proposition de formuler un principe éthique
qui exprime notre attachement à l'idée que le supramental doit servir le bien
de tous.
Le principe du bien commun
La superintelligence doit être créée exclusivement pour le bénéfice de toute
l'humanité et répondre aux idéaux éthiques généralement acceptés
47
.
Plus tôt nous formulerons le principe selon lequel tout le potentiel
incommensurable du supramental appartient à toute l'humanité, plus nous
aurons de temps pour que cette norme s'établisse fermement dans l'esprit
des gens.
Le principe du bien commun n'exclut pas les intérêts commerciaux des
individus et des entreprises qui agissent dans leurs domaines respectifs. Par
exemple, il serait possible de se conformer à ce principe en acceptant que
tous les revenus « célestes » de la création de la superintelligence - des
revenus d'un niveau incroyablement élevé (disons, un billion de dollars par
an) - soient répartis entre les actionnaires. et d'autres intéressés par la façon
dont il est accepté aujourd'hui, et ceux qui dépassent ce seuil - à parts égales
entre tous les habitants de la planète (ou d'une autre manière, mais en tout
cas selon un critère éthique universel). Il ne coûte presque rien à une
entreprise de prendre une décision sur un chiffre d'affaires "tombé du ciel",
car il est quasiment impossible de dépasser ce montant astronomique de nos
jours (de tels scénarios improbables ne sont pas pris en compte dans le
processus décisionnel de la gestionnaires). gestionnaires modernes). et
investisseurs). Cependant, la large diffusion de telles obligations (à
condition qu'elles soient dignes de confiance) donnerait à l'humanité la
garantie que
si
une entreprise privée remporte le gros lot grâce au
développement explosif du renseignement, tout le monde pourra participer
à la répartition. des informations. bénéfices tombés. La même idée peut être
appliquée non seulement aux entreprises. Par exemple, les États peuvent
convenir que si le PIB de l'un d'entre eux dépasse une part assez importante
du PIB mondial (disons 90 %), le surplus sera réparti équitablement entre
tous les habitants de la planète
48
.
Dans un premier temps, le principe du bien commun (et ses conséquences
pratiques, telles que l'obligation de partager les plus-values) pourrait être
appliqué de manière sélective, par le consentement volontaire à agir
conformément à celui-ci, donné par des spécialistes responsables et des
organisations travaillant en la matière. de l'intelligence artificielle. D'autres
seraient ajoutés plus tard, et finiraient par devenir une loi ou un accord
international. La formulation vague ci-dessus est bonne pour commencer,
mais devrait éventuellement être remplacée par un ensemble d'exigences
spécifiques et vérifiables.
 Chapitre quinze
Problèmes de temps
Nous sommes perdus dans un fourré impénétrable de complexité
stratégique enveloppé d'un épais brouillard d'incertitude. Bien que nous
ayons pu discerner de nombreux éléments du paysage qui nous entoure, les
détails et les relations individuelles restent un mystère. De plus, il peut y
avoir d'autres facteurs auxquels nous ne pensons même pas encore. Que
nous reste-t-il dans une telle situation ?
Terme de philosophie
Mes collègues plaisantent souvent en disant que le prix Fields (la plus haute
distinction en mathématiques) peut signifier l'une des deux choses
suivantes  : soit le récipiendaire a été capable de faire quelque chose
d'important, soit il ne l'a pas été. Ce n'est pas très gentil, mais il y a une part
de vérité là-dedans.
Définissons la "découverte" comme une action, à la suite de laquelle
certaines informations sont connues avant qu'elles ne puissent apparaître.
Alors la valeur de la découverte n'est pas égale à la signification de
l'information qu'elle contient, mais elle acquiert une signification, parce que
l'information nous est disponible maintenant et pas plus tard. Pour être le
premier à trouver une solution à un problème qui a échappé à beaucoup
d'autres, un scientifique doit faire preuve de beaucoup de force et d'habileté
; mais si le problème allait être résolu bientôt de toute façon, le monde n'a
pas beaucoup profité de son travail. Bien sûr,
il y a des
cas où même une
solution légèrement antérieure au problème est d'une grande valeur, mais la
plupart du temps cela n'est possible que dans les cas où une telle solution
peut être utilisée immédiatement : soit appliquée sur la pratique, soit
comme base pour autres travaux théoriques. De plus, dans ce dernier cas,
lorsque la solution est immédiatement utilisée comme matériau de
construction pour des investigations théoriques ultérieures, le simple fait
qu'elle ait été obtenue un peu plus tôt n'aura de sens que lorsque le nouveau
travail lui-même est important et urgent
1
.
Autrement dit, la question n'est pas de savoir si le résultat obtenu par un
mathématicien lauréat du prix Fields est « important » (soit en lui-même,
soit d'un point de vue instrumental). Au contraire, ce qui compte, c'est
l'importance de l'apparition de ce résultat maintenant et pas plus tard. Et la
valeur de ce mouvement dans le temps doit être mise en balance avec
l'importance d'un résultat différent que ce mathématicien de classe mondiale
pourrait obtenir en travaillant sur un problème différent. Dans au moins
certains cas, la médaille Fields a été la preuve du dévouement d'une vie à
des problèmes mal choisis, tels que ceux dont l'attrait était principalement
dû au fait qu'il s'agissait de problèmes insolubles.
La philosophie mérite le même reproche. Bien sûr, il étudie les problèmes
qui peuvent être résolus pour réduire le risque existentiel, certains des
concepts philosophiques que nous avons appris dans ce livre. Mais certaines
des théories philosophiques n'ont rien à voir avec les risques existentiels ou
toute autre direction pratique. Bien sûr, certains des problèmes que la
philosophie traite (comme les mathématiques) sont importants en eux-
mêmes, dans le sens où les gens peuvent y penser, quelles que soient les
possibilités d'appliquer les résultats de leurs conclusions dans la pratique.
La nature fondamentale de la réalité, par exemple, mérite d'être comprise de
toute façon. Le monde serait certainement un endroit moins beau si
personne n'étudiait la métaphysique, la cosmologie ou la théorie des cordes.
Cependant, les sombres perspectives d'un développement explosif de
l'intellect éclairent d'un jour nouveau cet ancien désir de sagesse.
On a maintenant le sentiment que le progrès dans le domaine de la
philosophie peut se faire par des voies détournées, et non en philosophant
directement. L'une des nombreuses tâches dans lesquelles la
superintelligence (et même l'intelligence humaine légèrement améliorée)
pourrait devancer les penseurs modernes est la tâche de répondre à des
questions scientifiques et philosophiques fondamentales. Cette réflexion
suggère de suivre une stratégie de gratification différée. Nous pourrions
mettre de côté pour un temps les éternels questionnements, en déléguant
cette tâche à nos descendants que l'on espère plus compétents afin de
pouvoir porter notre attention sur un problème plus pressant : augmenter
nos chances d'avoir des descendants compétents. C'est ce qu'on appelle la
vraie philosophie et les vraies mathématiques
2
.
Qu'avons nous à faire?
Par conséquent, nous devons nous concentrer sur des problèmes qui sont
non seulement importants, mais urgents dans le sens où ils doivent être
résolus avant que le développement explosif de l'intellect ne se produise. Et
s'abstenir de travailler sur des problèmes à valeur négative (c'est-à-dire dont
la solution porte préjudice). Certains défis techniques dans le domaine de
l'intelligence artificielle peuvent avoir une valeur négative, puisque leur
solution peut pousser le développement dans cette direction, avant la
création de méthodes de contrôle qui sont toujours conçues pour aider
l'humanité à survivre à la révolution de l'intelligence artificielle et à en tirer
profit. .
Il est assez difficile d'identifier les questions qui sont à la fois importantes,
urgentes et d'une valeur absolument positive. L'incertitude stratégique
inhérente aux tentatives de réduction des risques existentiels conduit au fait
que même les actions entreprises avec les meilleures intentions peuvent
s'avérer non seulement improductives, mais même non constructives. Pour
limiter le risque de prendre des mesures qui pourraient causer un préjudice
réel ou être éthiquement répréhensibles, nous ne devrions travailler que sur
des problèmes qui semblent avoir
une forte valeur positive
(par exemple,
dont la solution permet d'obtenir un résultat positif sur un large éventail de
problèmes). scénarios) et utiliser des outils qui ne sont que permis (par
exemple, acceptables du point de vue d'un large éventail de normes
éthiques).
Lors de la priorisation, il y a une autre considération à garder à l'esprit.
Nous voulons travailler sur des problèmes qui
résistent
à nos efforts pour
les résoudre. Les problèmes hautement élastiques sont ceux qui, à la suite
de l'application d'une unité d'effort supplémentaire, peuvent être résolus
beaucoup plus rapidement et dans une bien plus grande mesure. Rendre le
monde plus aimable est une tâche évidemment importante et urgente, de
plus, elle a une valeur strictement positive, mais en raison du manque
d'idées novatrices sur la manière exacte dont cela peut être réalisé, elle
semble complètement inélastique. De même, la paix mondiale serait
hautement souhaitable, mais étant donné l'énorme effort qui a déjà été
investi dans cette tâche et les sérieux obstacles qui l'empêchent d'être menée
à bien rapidement, il semble peu probable que les contributions de quelques
personnes de plus soient d'une Une importance capitale.
Pour réduire les risques liés à la révolution de l'intelligence artificielle, nous
proposons deux objectifs qui semblent satisfaire tous les souhaits exprimés :
l'analyse stratégique et la création d'opportunités. Nous pouvons être sûrs de
la valeur positive de ces paramètres, car la compréhension stratégique et les
grandes opportunités sont une bénédiction. De plus, ils sont élastiques : de
petits investissements supplémentaires peuvent entraîner des changements
relativement importants. L'urgence de cette tâche est également claire : en
développant la compréhension et en créant de nouvelles opportunités
maintenant, nous pouvons faire des efforts plus efficaces à l'avenir. En plus
de ces deux objectifs principaux, nous pouvons en proposer plusieurs autres
qui méritent également notre attention.
à la recherche d'une stratégie
Dans des conditions de confusion et d'incertitude, l'analyse stratégique
apparaît comme une tâche dont l'utilité espérée est particulièrement élevée
3
. Comprendre la situation dans laquelle nous nous trouvons nous aidera à
fonctionner plus efficacement. L'analyse stratégique est particulièrement
utile lorsque nous ne sommes pas sûrs non seulement des détails mineurs,
mais également des principaux aspects des problèmes. L'incertitude est
même souvent associée
au signe de
nombreux paramètres clés : c'est-à-dire
qu'on ne sait pas quelle direction de changement est souhaitable et laquelle
ne l'est pas. Notre ignorance peut avoir des conséquences irréparables.
Cependant, ce domaine a été peu exploré et de brillantes idées stratégiques
nous attendent peut-être de très près, dès que nous ferons le premier pas.
Par « analyse stratégique », nous entendons ici la recherche de
considérations critiques
: idées et arguments qui ont le potentiel de changer
notre regard non pas tant sur les détails de la mise en œuvre du plan, mais
sur la topologie générale du plan souhaité
4
. Même une seule considération
critique négligée peut invalider nos efforts les plus durs ou même les
transformer en mal, comme dans le cas d'un soldat combattant du mauvais
côté. La recherche de considérations critiques (dans lesquelles doivent être
explorées à la fois des questions normatives et descriptives) implique
souvent le franchissement des frontières entre différentes disciplines
scientifiques et d'autres champs de connaissance. Puisqu'il n'y a pas de
méthodologie bien établie pour mener de telles études, elles nécessitent une
réflexion intense littéralement à partir de zéro.
À la recherche d'opportunités
Une autre activité précieuse qui partage la même utilité que l'analyse
stratégique dans un large éventail de contextes est la construction d'une base
de soutien bien organisée pour l'idée que l'avenir doit être pris au sérieux.
Avec une telle base, des ressources pour la recherche analytique
apparaîtront immédiatement. Si les priorités changent, les ressources
peuvent être redistribuées en conséquence. Autrement dit, la base de soutien
deviendra l'opportunité elle-même, dont l'utilisation sera déterminée par de
nouvelles idées (au fur et à mesure qu'elles apparaissent).
L'un des atouts les plus précieux serait un réseau de donateurs de personnes
engagées dans une philanthropie rationnelle, informées du risque existentiel
et des moyens de le réduire. Il est particulièrement important que ces pères
fondateurs soient astucieux et altruistes, car ils auront l'opportunité de créer
une culture de gestion avant que les motivations égoïstes habituelles
n'émergent et ne s'enracinent. Ainsi, l'objectif de ce gambit d'ouverture de
jeu doit être de faire en sorte que les bonnes personnes travaillent sur la
canalisation. Cela peut même valoir la peine de sacrifier quelques avancées
techniques rapides pour pourvoir les postes vacants avec ceux qui se
soucient vraiment de la sécurité et sont orientés vers la vérité (et sont
également capables d'attirer des personnes partageant les mêmes idées).
Un paramètre important est la qualité de « l'épistémologie sociale » du
domaine de l'IA et de ses principaux projets. Trouver des considérations
critiques est un exercice précieux, mais seulement s'il affecte des actions
spécifiques d'une manière ou d'une autre. Et ce n'est pas forcément le cas.
Imaginez un projet qui a nécessité des années de travail et des millions de
dollars d'investissement dans le prototypage d'IA, et qui, après avoir
surmonté de nombreuses difficultés techniques, commence à montrer de
réels progrès. Il y a une chance qu'un peu plus, et cela se transforme en
quelque chose d'utile et de rentable. Mais voici la considération cruciale
qu'il serait beaucoup plus sûr d'emprunter une voie complètement
différente. Le projet va-t-il se suicider tel un samouraï déshonoré en
abandonnant son architecture précaire et en annulant tous les progrès
réalisés ? Ou va-t-il réagir comme un calmar dérangé, lançant une nuée de
contre-arguments dans l'espoir de repousser l'attaque ? Si face à un tel
dilemme, l'équipe du projet choisit la voie du samouraï, ce sera un
développeur bien plus préférable
5
. Bien qu'il soit assez difficile de
construire des processus et des institutions prêts à commettre du hara-kiri en
raison d'accusations sans fondement. Une autre dimension de
l'épistémologie sociale est la gestion de l'information sensible, en particulier
la capacité d'empêcher sa fuite. (La rétention d'informations peut être
particulièrement difficile pour les scientifiques traditionnels, qui ont
l'habitude d'afficher leurs découvertes sur tous les poteaux et arbres.)
Indicateurs spécifiques
En plus des objectifs généraux de compréhension stratégique et de création
de nouvelles opportunités, des objectifs plus spécifiques peuvent être
identifiés, dont la réalisation sera économiquement justifiée.
L'un d'eux est le progrès dans la résolution des problèmes techniques de
sécurité de l'intelligence artificielle. Dans la poursuite de cet objectif, il
convient d'accorder une attention particulière à la gestion des risques liés à
l'information. Certaines actions utiles pour résoudre le problème de contrôle
peuvent être utiles pour résoudre le problème de concurrence. Si un travail
fait sauter les fusibles de l'IA, il peut avoir une valeur négative.
Un autre objectif spécifique est de promouvoir les dernières avancées dans
ce domaine auprès des chercheurs en IA. Des informations sur tout progrès
vers la tâche de contrôle doivent être diffusées. Dans certains types
d'expériences informatiques, en particulier lorsque la possibilité d'une auto-
amélioration récursive est supposée, l'utilisation de contrôles de capacité est
nécessaire pour réduire le risque de décollage accidentel. Bien que
l'application pratique des outils de sécurité ne soit pas encore pertinente,
elle le sera à mesure que nous avancerons. L'heure n'est pas loin où les
perspectives d'émergence de l'intelligence artificielle seront assez proches,
et il faudra demander aux acteurs du processus d'exprimer leur
attachement
à la sécurité
, leur accord avec le principe du bien commun et la promesse
de précautions accrues. Les paroles pieuses à elles seules ne suffiront peut-
être pas, et elles seules ne rendront pas sûres les technologies dangereuses,
mais les paroles peuvent progressivement être suivies de pensées, puis
d'actions.
De temps en temps, d'autres opportunités peuvent se présenter pour
améliorer certains paramètres importants, comme réduire l'un des risques
existentiels, effectuer une amélioration cognitive du cerveau biologique et
approfondir notre sagesse collective, ou même faire évoluer la politique
mondiale vers un dossier plus harmonieux.
Tout le meilleur de la nature humaine est un pas en
avant !
Face à la perspective d'un développement explosif de l'intelligence, nous
sommes comme des enfants jouant avec une bombe. C'est précisément
l'écart entre la puissance de nos jouets et l'immaturité de nos
comportements. Le surmental est un défi que nous ne sommes pas prêts à
relever aujourd'hui, et ne le serons pas avant longtemps. Nous n'avons
aucune idée du moment où la détonation se produira, bien que si vous tenez
l'appareil près de votre oreille, vous pouvez déjà entendre un tic silencieux.
La meilleure chose à faire pour un enfant avec une bombe à retardement
dans les mains est de la placer soigneusement sur le sol, de quitter
rapidement la pièce et de contacter l'adulte le plus proche. Cependant, dans
notre cas, l'enfant n'est pas seul, nous sommes plusieurs, et chacun a sa
mèche dans les mains. Les chances sont minces que
tout le monde
ait
suffisamment de bon sens pour placer soigneusement un objet dangereux
dans un endroit sûr. Un petit idiot va sûrement appuyer sur le bouton rouge
juste par curiosité.
Nous ne pouvons pas non plus y échapper, car le développement explosif de
l'intelligence artificielle fera tomber la voûte céleste elle-même. Et il n'y a
pas d'adultes en vue.
Dans une telle situation, il serait inapproprié de faire preuve d'une curiosité
enthousiaste. L'inquiétude et la peur seraient des sentiments plus appropriés,
et le comportement le plus correct serait une amère détermination à devenir
aussi compétent que possible, comme dans la préparation d'un examen qui
fera ou détruira nos rêves.
Personne n'appelle le fanatisme. Il se peut qu'il reste encore plusieurs
décennies avant l'explosion. De plus, une partie du défi auquel nous
sommes confrontés est la nécessité de rester humain, pratique, sain d'esprit,
respectable et optimiste, même en proie à ce problème complètement contre
nature et inhumain. Et pour trouver sa solution, nous devrons utiliser toute
l'ingéniosité inhérente aux gens.
Néanmoins, ne perdons pas de vue l'essentiel. A travers le voile des
bagatelles momentanées, les contours de la tâche principale de notre époque
se dessinent déjà, encore flous. Dans ce livre, nous avons essayé d'en
considérer certains aspects et de nous rapprocher de la compréhension que
la plus haute priorité éthique (au moins d'un point de vue objectif et
séculier) a des questions telles que la réduction du risque existentiel et
l'entrée dans une trajectoire civilisationnelle qui conduit à un meilleur
résultat - pour le bien de toute l'humanité.
Liste des abréviations
FLOPS (Floating Point Operations Per Second) : Nombre d'opérations en
virgule flottante par seconde
QI (quotient intellectuel) - quotient intellectuel ou quotient intellectuel
PIB - produit intérieur brut
IA - intelligence artificielle
AICHU - l'intelligence artificielle au niveau humain
CII - intelligence artificielle classique
CIMGM - modèle de simulation informatique du cerveau
KEV - volonté extrapolée cohérente
MD - permission morale
MP - rectitude morale
logiciel - logiciel
IA - intelligence artificielle universelle
UIICHU - intelligence artificielle universelle au niveau humain
FIV - fécondation in vitro