/traduit à partir de http://www.wired.com/wired/archive/8.04/joy.html par michel roudot / *wired 8.

04 *-
avril 2000
pourquoi l'avenir n'a pas besoin de nous.
*nos techniques les plus puissantes du 21ème siècle - la robotique, le génie génétique et les
nanotechnologies - menacent de faire de l'homme une espèce en danger.* /bill joy/

dès le moment où j'ai commencé à être impliqué dans la création de nouvelles technologies, je me suis senti
concerné par leurs dimensions éthiques, mais c'est seulement en automne 1998 que je suis devenu
sérieusement conscient de l'importance des dangers qui nous attendent au 21e siècle. je peux dater le début
de mon malaise du jour où j'ai rencontré ray kurzweil, l'inventeur justement célèbre de la première machine
de lecture destinée aux aveugles et de beaucoup d'autres choses étonnantes. ray et moi étions tous deux
orateurs à la conférence telecosm de george gilder et je l'ai rencontré par hasard dans le bar de l'hôtel après
la fin de nos deux sessions. j'étais assis avec john searle, un philosophe de berkeley qui étudie la conscience.
tandis que nous parlions, ray s'est approché et une conversation a commencé, dont le sujet me hante jusqu'à
ce jour. j'avais manqué la conférence de ray et l'atelier suivant auquel ray et john avaient participé, et ils
reprenaient maintenant la discussion là où ils s'étaient arrêtés, ray disant que le taux d'amélioration de la
technique allait s'accélérer et que nous allions devenir des robots ou fusionner avec des robots ou quelque
chose comme ça, et john protestant que cela ne pouvait pas arriver, parce que les robots ne pouvaient pas
devenir conscients. bien que j'avais déjà entendu une telle conversation auparavant, j'avais toujours estimé
que des robots sensibles relevaient de la science-fiction. mais là j'entendais, de quelqu'un je respectais, un
argument fort selon lequel ils étaient une possibilité à court terme. j'étais déconcerté, particulièrement à
cause de la capacité prouvée de ray à imaginer et créer l'avenir. je savais déjà que de nouvelles techniques
comme le génie génétique et la nano-technologie nous donnaient le pouvoir de refaire le monde, mais un
scénario réaliste et imminent pour des robots intelligents me stupéfiait. il est facile de se lasser de telles
percées. nous entendons presque chaque jour aux informations parler de quelque avance technologique ou
scientifique. mais ceci n'était pas une une prédiction ordinaire. au bar de l'hôtel, ray me donna un "preprint"
partiel de son prochain livre /the age of spiritual machines,/ qui décrit une utopie qu'il prévoit - dans laquelle
les hommes atteignent une quasi-immortalité en devenant un avec la technologie robotique. en le lisant, mon
impression de malaise ne fit que s'intensifier; j'étais convaincu qu'il avait dû minimiser les dangers,
minimiser la probabilité d'un mauvais résultat en chemin. je me trouvai particulièrement troublé par un
passage détaillant un scénario /dys/topique : /le nouveau défi luddite/ /admettons d'abord que les
informaticiens réussissent à développer des machines intelligentes qui peuvent tout faire mieux que les
humains. dans ce cas tout le travail sera vraisemblablement fait par d'énormes systèmes fortement organisés
de machines et aucun effort humain ne sera nécessaire. deux cas seulement pourraient se produire. on
pourrait permettre aux machines de prendre toutes leurs décisions sans intervention humaine, ou bien le
contrôle humain des machines pourrait être conservé./ /si on permet aux machines de prendre toutes leurs
décisions elles-mêmes, nous ne pouvons pas faire de conjectures quant aux résultats, parce qu'il est
impossible de deviner comment de telles machines pourraient se comporter. nous affirmons seulement que le
destin de la race humaine serait à la merci des machines. on pourrait argumenter que la race humaine ne sera
jamais assez idiote pour remettre tout le pouvoir à des machines. mais nous ne suggérons aucunement que la
race humaine livrerait volontairement le pouvoir aux machines, ni que les machines se saisiraient
volontairement du pouvoir. ce que nous suggérons réellement est que la race humaine pourrait facilement se
permettre de dériver dans une position où elle dépendrait tant des machines qu'il n'aurait aucun choix réel, si
ce n'est accepter toutes les décisions des machines. comme la société et les problèmes auxquels elle fait face
sont devenus de plus en plus complexes et que les machines deviennent de plus en plus intelligentes, les
gens laisseront des machines prendre de plus en plus de décisions pour eux, simplement parce que les
décisions proposées par les machines apporteront de meilleurs résultats. finalement un stade pourra être
atteint auquel les décisions nécessaires pour maintenir le fonctionnement du système seront si complexes
que les gens seront incapables de les élaborer intelligemment. À ce stade les machines auront le contrôle
effectif. les gens ne seront même pas capables d'éteindre les machines, parce qu'ils dépendront tellement
d'elles que leur arrêt équivaudrait à un suicide./ /d'un autre côté il est possible que le contrôle humain des
machines puisse être conservé. dans ce cas l'homme moyen pourrait avoir le contrôle de certaines machines
privées, comme sa voiture ou son ordinateur individuel, mais le contrôle sur les grands systèmes de
machines sera dans les mains d'une élite minuscule - de la même façon qu'aujourd'hui, mais avec deux
différences. en raison de l'amélioration des techniques l'élite aura un contrôle plus grand sur les masses; et
comme le travail humain ne sera plus nécessaire les masses seront superflues, un fardeau inutile pour le
système. si l'élite est impitoyable elle pourra simplement décider d'exterminer la plus grande part de
l'humanité. si elle fait preuve d'humanité elle pourra utiliser la propagande ou d'autres techniques
psychologiques ou biologiques pour réduire le taux de natalité jusqu'à ce que la plus grande part de
l'humanité s'éteigne, laissant le monde à l'élite. ou, si l'élite consiste en libéraux au coeur tendre, ils peuvent
décider de jouer le rôle de bons bergers de la race humaine. ils s'occuperont de ce que les besoins physiques
de chacun soient satisfaits, que tous les enfants soint élevés dans des conditions psychologiquement
hygiéniques, que chacun ait un passe-temps sain pour le tenir occupé et que quelqu'un qui devienne
insatisfait subisse un "traitement" pour guérir son "problème". bien sûr, la vie sera à ce point sans but que les
gens devront être biologiquement ou psychologiquement modifiés soit pour supprimer leur pulsion de
dominance ou pour leur faire "sublimer" leur pulsion de dominance dans un passe-temps inoffensif. ces êtres
humains modifiés peuvent être heureux dans une telle société, mais ils ne seront très certainement pas libres.
ils auront été réduits au statut d'animaux domestiques./1 <#1> dans le livre, on ne découvre qu'en tournant la
page que l'auteur de ce passage est théodore kaczynski - unabomber. je ne suis aucunement un apologiste de
kaczynski. ses bombes ont tué trois personnes pendant une campagne de terreur de 17 ans et ont blessé
plusieurs autres. une de ses bombes a gravement blessé mon ami david gelernter, un des informaticiens les
plus brillants et les plus visionnaires de notre temps. comme beaucoup de mes collègues, j'ai senti que
j'aurais facilement pu être la cible suivante d'unabomber. les actions de kaczynski étaient meurtrières et, à
mon avis, d'un fou criminel. il est clairement un luddite, mais se limiter à cette affirmation n'écarte pas son
argument; aussi difficile qu'il soit pour moi de le reconnaître, il y a un certain mérite dans le raisonnement de
ce passage. je me suis senti contraint d'y faire face. la vision dystopienne de kaczynski décrit des
conséquences fortuites, un problème bien connu avec la conception et l'utilisation de la technique qui est
clairement en rapport avec la loi de murphy - "tout ce qui peut mal tourner, finit par tourner mal". en réalité,
c'est la loi de finagle, ce qui montre d'ailleurs que finagle avait raison). notre abus d'antibiotiques a mené à
ce qui est peut être le plus gros problème de ce type jusqu'ici : l'apparition de bactéries résistantes aux
antibiotiques et beaucoup plus dangereuses. des choses semblables sont arrivées quand les tentatives
d'éliminer des moustiques paludéens en utilisant le ddt ont entraîné leur résistance au ddt; les parasites
paludéens ont de même acquis des gènes "multi résistants aux médicaments"2 <#2>. la cause de beaucoup
de surprises de ce genre semble claire : les systèmes impliqués sont complexes, impliquant des interaction et
des rétroactions entre beaucoup de parties. n'importe quel changement dans un tel système provoque une
cascade de conséquences difficiles à prévoir; c'est particulièrement vrai quand des actions humaines sont
impliquées. j'ai commencé à montrer à des amis la citation de kaczynski dans /the age of spiritual machines;/
je leur remettais le livre de kurzweil, les laissais lire la citation et observais ensuite leur réaction quand ils
découvraient qui l'avait écrit. À peu près en même temps, j'ai trouvé le livre d'hans moravec /robot: mere
machine to transcendent mind./ moravec est un des leaders dans la recherche en robotique et fut un des
fondateurs du plus grand programme de recherche de robotique du monde, à l'université carnegie mellon.
/robot/ m'a donné plus de matière à essayer sur mes amis - matière qui supportait étonnamment
l'argumentation de kaczynski. par exemple : /le court terme (début des années 2000)/ /les espèces
biologiques ne réchappent presque jamais de rencontres avec des concurrents supérieurs. il y a dix millions
d'années, les amériques du sud et du nord étaient séparées par un isthme de panama submergé. l'amérique du
sud, comme l'australie d'aujourd'hui, était peuplée par des mammifères marsupiaux, y compris les
équivalents à poche de rats, de cerfs et de tigres. quand l'isthme connectant l'amérique du nord et du sud
émergea, il ne fallut que quelques milliers d'années pour que les espèces placentaires du nord, avec des
métabolismes et des systèmes reproducteurs et nerveux légèrement plus efficaces, déplacent et éliminent
presque tous les marsupiaux du sud./ /dans un marché complètement libre, des robots supérieurs
affecteraient sûrement les humains comme les placentaires nord-américains ont affecté les marsupiaux sud-
américains (et comme les humains ont affecté d'innombrables espèce). les industries robotisées rivaliseraient
vigoureusement entre elles pour les matériaux, l'énergie et l'espace, amenant progressivement le prix de
ceux-ci hors de portée des humains. incapables de se payer leurs besoins vitaux, les humains biologiques
seraient repoussés hors de l'existence./ /il y a probablement un peu de répit, parce que nous ne vivons pas
dans un marché complètement libre. le gouvernement contraint le comportement du marché,
particulièrement en imposant des taxes. judicieusement appliquée, la contrainte gouvernementale pourrait
aider les populations humaines à profiter des fruits du travail des robots, peut-être pour longtemps./ une
dystopie typique - et moravec ne fait que commencer. il continue en discutant comment notre travail
principal du 21e siècle sera "d'assurer une collaboration continue des industries robotisées" en passant des
lois décrétant qu'ils doivent être "gentils", 3 <#3> et en décrivant à quel point un humain pourrait être
sérieusement dangereux "une fois transformé en un robot superintelligent déchaîné". l'avis de moravec est
que les robots nous succéderont finalement - que l'humanité fait clairement face à son extinction. je décidai
qu'il était temps de parler à mon ami danny hillis. danny est devenu célèbre comme co-fondateur de thinking
machines corporation, qui a construit un super-ordinateur parallèle très puissant. malgré ma fonction actuelle
de directeur scientifique de sun microsystems, je suis plus un architecte informatique qu'un scientifique et je
respecte les connaissances de danny en sciences de l'information et physiques plus que celles d'aucune autre
personne de ma connaissance. danny est aussi un futuriste très apprécié qui pense à long terme - il y a quatre
ans il a lancé le long now foundation, qui construit une horloge conçue pour durer 10,000 ans, une tentative
d'attirer l'attention sur la vue pitoyablement courte de notre société. (voir "test of time ," /wired/ 8.03, page
78.) j'ai donc pris l'avion pour los angeles dans le but exprès de dîner avec danny et sa femme, pati. je
déroulai ma routine maintenant familière, débitant les idées et les passages que j'avais trouvés si inquiétants.
la réponse de danny - adressée spécifiquement au scénario de kurzweil des gens fusionnant avec des robots -
est venue rapidement et m'a tout à fait étonné. il a dit, simplement, que les changements viendraient
graduellement et que nous nous habituerions à eux. mais je suppose que je n'ai pas été totalement abasourdi.
j'avais vu une citation de danny dans le livre de kurzweil dans lequel il disait, "j'aime mon corps comme
n'importe qui, mais si je peux vivre 200 ans avec un corps de silicium, j'achète". il semblait qu'il était en paix
avec ce processus et ses risques associés, tandis que je ne l'étais pas. tout en parlant et en pensant sur
kurzweil, kaczynski et moravec, je me suis soudainement rappelé un roman j'avais lu il y a presque 20 ans /-
the white plague,/ de frank herbert - dans lequel un biologiste moléculaire est rendu fou par le meurtre
insensé de sa famille. pour se venger il élabore et dissémine une peste nouvelle et fortement contagieuse qui
tue largement, mais sélectivement. (nous avons de la chance que kaczynski était un mathématicien, et pas un
biologiste moléculaire). je me suis aussi souvenu du borg de /star trek,/ une ruche de créatures en partie
biologiques, en partie robotisées avec une forte tendance destructrice. des désastres comme le borg sont un
produit de base de la science-fiction, pourquoi alors ne m'étais je pas senti plus tôt plus concerné par de
telles dystopies robotiques ? pourquoi d'autres gens ne se sont ils pas sentis plus concernés par ces scénarios
de cauchemar ? une partie de la réponse se trouve certainement dans notre attitude envers la nouveauté -
dans notre biais vers la familiarité instantanée et l'acceptation inconditionnelle. habitués à vivre avec des
percées scientifiques presque de routine, il nous reste à nous habituer au fait que les techniques les plus
captivantes du 21ème siècle - la robotique, le génie génétique et les nanotechnologies - posent une menace
différente de celle des techniques qui sont apparues auparavant. spécifiquement, les robots, les organismes
génétiquement modifiés et les nanorobots partagent un facteur d'amplification dangereux : ils peuvent
s'auto-reproduire. une bombe explose seulement une fois - mais un robot peut en devenir plusieurs et on peut
en perdre rapidement le contrôle. beaucoup de mon travail pendant les 25 dernières années a concerné la
gestion de réseaux d'ordinateurs, où l'envoi et la réception de messages créent des occasions de réplication
explosive. mais alors que la réplication dans un ordinateur ou un réseau informatique peut être gênante, au
pire elle met hors de service une machine ou plante un service de réseau ou un réseau. l'auto-reproduction
non contrôlée dans ces techniques plus récentes fait courir un risque beaucoup plus grand : un risque de
dégâts substantiels dans le monde physique. chacune de ces techniques offre aussi une promesse indicible :
la vision d'une quasi-immortalité que kurzweil voit dans ses rêves robotiques nous pousse en avant;
l'ingénierie génétique pourrait bientôt fournir des traitements, sinon des franches guérisons, pour la plupart
des maladies; et la nanotechnologie et la nanomédecine peuvent viser encore plus de maux. utilisées
ensemble elles pourraient significativement prolonger notre durée de vie moyenne et améliorer notre qualité
de vie. pourtant, avec chacune de ces techniques, une séquence de petites avancées individuellement
raisonnables mène à une accumulation d'un grand pouvoir et, simultanément, d'un grand danger. qu'est-ce
qui était différent au 20ème siècle ? les techniques à la base des armes de destruction massive (adm) -
nucléaire, biologique et chimique (nbc) - étaient certainement puissantes et les armes une énorme menace.
mais la fabrication des armes nucléaires nécessitait, au moins pendant un certain temps, l'accès tant à des
matières premières rares - en fait, pratiquement indisponibles - qu'à de l'information fortement protégée; les
programmes d'armes biologiques et chimiques avaient aussi tendance à exiger des activités à grande échelle.
les techniques du 21ème siècle - génétique, nanotechnologie et robotique (gnr) - sont si puissantes qu'elles
peuvent couvrir des nouvelles classes entières d'accidents et d'abus. d'une façon particulièrement
dangereuse, pour la première fois, ces accidents et abus sont largement à la portée d'individus ou de petits
groupes. ils n'exigeront pas de grands équipements ou des matières premières rares. le savoir seul suffira à
leur utilisation. ainsi nous avons la possibilité non simplement d'armes de destruction massive, mais de
destruction massive permise par la connaissance (dmc), cette capacité de destruction énormément amplifiée
par le pouvoir d'auto-reproduction. je pense qu'il n'est pas exagéré de dire que nous sommes sur le point de
faire progresser la perfection du mal extrême, un mal dont les possibilités s'étendent bien au delà des armes
de destruction massive léguée aux etats-nations, jusqu'à fournir un pouvoir étonnant et épouvantable à des
individus extrémistes. rien dans la façon dont je m'étais impliqué dans l'informatique ne suggérait que j'allais
faire face à ces sortes de questions. ma vie a été dirigée par un besoin profond de poser des questions et de
trouver des réponses. quand j'avais 3 ans, je lisais déjà, mon père m'a donc emmené à l'école primaire, où il
m'a assis sur les genoux du principal pour lui lire une histoire. j'ai commencé l'école tôt, puis sauté un niveau
et me suis évadé dans les livres - j'étais incroyablement motivé pour apprendre. je posais des tas de
questions, au point de rendre souvent les adultes fous. adolescent j'étais très intéressé par la science et la
technique. je voulais être radio-amateur, mais n'avais pas l'argent pour acheter l'équipement. la radio-
amateur était l'internet de cette époque : provoquant une forte dépendance et tout à fait solitaire. questions
d'argent mises à part, ma mère freina des quatre fers - je ne serais pas radio-amateur; j'étais déjà assez
antisocial. je n'avais peut être pas beaucoup d'amis proches, mais je baignais dans les idées. arrivé au lycée,
j'avais découvert les grands auteurs de science-fiction. je me souviens particulièrement du /have spacesuit
will travel/ de heinlein et du /i, robot/ d'asimov/,/ avec ses trois lois de la robotique. j'étais enchanté par les
descriptions de navigations spatiales et voulus avoir un télescope pour regarder les étoiles; comme je n'avais
aucun argent pour en acheter ou faire un, je pris les livres sur la fabrication des télescopes à la bibliothèque
et les lus à la place. je m'envolais en imagination. les jeudis soir mes parents allaient au bowling et nous les
gosses restions seuls. c'était le soir du /star trek/ original de gene roddenberry et le programme me faisait
une grande impression. j'en vins à accepter sa notion que les humains avaient un avenir dans l'espace, dans
le style des westerns, avec de grands héros et des aventures. la vision de roddenberry des siècles à venir
comportait des valeurs morales fortes, incarnées dans des codes comme la directive principale : ne pas
s'immiscer dans le développement de civilisations technologiquement moins avancées. cela avait pour moi
un attrait incroyable; des gens moraux, non des robots, dominaient cet avenir et le rêve de roddenberry est
devenu une part du mien. j'excellais en mathématiques au lycée et quand je suis allé à l'université du
michigan comme étudiant en licence technique j'ai pris le programme d'études avancé des majors de
mathématiques. la résolution de problèmes mathématiques était un défi passionnant, mais quand j'ai
découvert les ordinateurs j'ai trouvé quelque chose de beaucoup plus intéressant : une machine dans laquelle
vous pouviez mettre un programme qui essayait de résoudre un problème, après quoi la machine vérifiait
rapidement la solution. l'ordinateur avait une notion claire du correct et de l'incorrect, du vrai et du faux. mes
idées étaient elles correctes ? la machine pouvait me le dire. c'était très séduisant. j'ai eu assez de chance
pour obtenir un travail à programmer les premiers super-ordinateurs et ai découvert la puissance étonnante
des grandes machines pour simuler numériquement des conceptions complexes. quand j'ai préparé mon
doctorat à l'uc berkeley au milieu des années 1970, j'ai commencé à rester travailler tard, souvent toute la
nuit, à inventer de nouveaux mondes à l'intérieur des machines. résoudre des problèmes. ecrire le code qui
demandait si fort à être écrit. dans/the agony and the ecstasy,/ le roman biographique d'irving stone sur
michel-ange, stone décrit de façon éclatante comment michel-ange sortit les statues de la pierre, "brisant le
charme du marbre", en taillant à partir des images présentes dans son esprit 4 <#4>. dans mes moments les
plus extatiques, le logiciel dans l'ordinateur apparaissait de la même manière. une fois que je l'avais imaginé
dans mon esprit je sentais qu'il était déjà là dans la machine, attendant d'être libéré. rester éveillé toute la
nuit semblait un prix modique à payer pour le libérer - pour donner forme concrète aux idées. après quelques
années à berkeley j'ai commencé à diffuser un peu du logiciel que j'avais écrit - un système d'instruction
pascal, des utilitaires unix et un éditeur de texte appelé vi (qui est toujours, à ma surprise, largement utilisé
plus de 20 ans plus tard) - à d'autres qui avaient aussi des petits pdp-11 et des mini-ordinateurs vax. ces
aventures dans le logiciel sont finalement devenues la version de berkeley du système d'exploitation unix,
qui est devenu un "succès désastreux" personnel - tant de personnes l'ont voulu que je n'ai jamais fini mon
phd. au lieu de cela j'ai obtenu un poste à la darpa pour mettre berkeley unix sur internet et le corriger pour
le rendre fiable et exécuter correctement des grandes applications de recherche. tout cela était beaucoup de
plaisir et très intéressant. et, franchement, je n'ai vu aucun robot ici, ou n'importe où ailleurs. cependant, au
début des années 1980, je me noyais. les versions d'unix étaient très couronnées de succès et mon petit projet
d'une personne eut rapidement de l'argent et un certain personnel, mais le problème à berkeley était toujours
l'espace de bureau plutôt que l'argent - il n'y avait pas de place pour lle personnel que le projet nécessitait,
aussi quand les autres fondateurs de sun microsystems apparurent je sautai sur l'occasion de les rejoindre.
chez sun, les longs horaires se continuèrent dans les premiers jours des stations de travail et des ordinateurs
individuels et j'ai apprécié de participer à la création des technologies avancées des microprocesseurs et des
techniques internet comme java et jini. de tout cela, je crois qu'il est clair que je ne suis pas un luddite. j'ai
toujours eu, au contraire, une croyance forte dans la valeur de la recherche scientifique de la vérité et dans la
capacité de la grande ingénierie à apporter le progrès matériel. la révolution industrielle a
incommensurablement amélioré la vie de chacun pendant les deux derniers siècles et j'ai toujours attendu
que ma carrière implique la construction de solutions valables à des problèmes réels, un problème à la fois.
je n'ai pas été déçu. mon travail a eu plus d'impact que je n'avais jamais espéré et a été plus largement utilisé
que je n'aurais pu m'y être raisonnablement attendu. j'ai passé les 20 dernières années à toujours essayer de
trouver comment rendre les ordinateurs aussi fiables que je voulais qu'ils le soient (ils n'y sont pas encore
vraiment) et comment les rendre simples d'utilisation (un but où j'ai eu encore moins de succès). malgré
quelques progrès, les problèmes qui restent semblent encore plus intimidants. mais tandis que j'étais
conscient des dilemmes moraux environnant les conséquences de la technologie dans des domaines comme
la recherche militaire, je ne m'attendais pas à être confronté à de telles problèmes dans mon domaine propre,
ou du moins pas si tôt. il est peut-être toujours difficile de voir l'impact le plus important quand vous êtes
dans le tourbillon d'un changement. l'échec à comprendre les conséquences de nos inventions tandis que
nous sommes dans le ravissement de la découverte et de l'innovation semble être une faute commune des
scientifiques et des technologues; nous sommes depuis longtemps poussés par le besoin de savoir qui est la
nature même de la recherche scientifique, sans nous arrêter pour remarquer que le progrès vers des
techniques plus récentes et plus puissantes peut acquérir une vie propre. je me suis depuis longtemps rendu
compte que les grandes avancées dans la technologie de l'information ne viennent pas du travail
d'informaticiens, d'architectes d'ordinateurs, ou d'ingénieurs en électronique, mais de celui de physiciens. les
physiciens stéphane wolfram et brosl hasslacher m'ont introduit, au début des années 1980, à la théorie du
chaos et des systèmes non-linéaires. dans les années 1990, j'ai appris sur les systèmes complexes par des
conversations avec danny hillis, le biologiste stuart kauffman, le nobel de physique murray gell-mann et
d'autres. plus récemment, hasslacher et l'ingénieur électronicien et physicien mark reed m'ont donné des
idées des possibilités incroyables de l'électronique moléculaire. dans mon propre travail, comme
coconcepteur de trois architectures de microprocesseur - sparc, picojava et majc - et comme concepteur de
plusieurs de leurs mises en oeuvre, il m'a été donné une connaissance profonde et de première main de la loi
de moore. pendant des décennies, la loi de moore a correctement prévu le taux exponentiel d'amélioration de
la technique des semi-conducteurs. jusqu'à l'année dernière je croyais que le taux des progrès prévus par la
loi de moore pourrait continuer seulement jusqu'à grossièrement 2010, quand quelques limites physiques
commenceraient à être atteintes. il n'était pas évident pour moi qu'une nouvelle technologie arriverait à
temps pour permettre à la performance de continuer à progresser sans à-coup. mais à cause du récent progrès
rapide et radical dans l'électronique moléculaire - où des atomes individuels et des molécules remplacent les
transistors dessinés par lithographie - et les techniques à l'échelle nanométrique associées, nous devrions être
capables de respecter ou excéder le taux de progrès de la loi de moore pendant encore 30 ans. d'ici 2030,
nous serons probablement capable de construire des machines, en quantité, un million de fois aussi
puissantes que les ordinateurs individuels d'aujourd'hui - suffisamment pour mettre en oeuvre les rêves de
kurzweil et moravec. quand cette énorme puissance informatique sera combinée avec les avancées
manipulatrices des sciences physiques et les découvertes nouvelles et profondes de la génétique, un énorme
pouvoir de transformation sera déchaîné. ces combinaisons ouvrent l'occasion de complètement reconcevoir
le monde, pour le meilleur ou pour le pire : les processus reproductifs et évolutifs qui étaient limités dans le
monde naturel sont sur le point de devenir le royaume des efforts humains. en concevant du logiciel et des
microprocesseurs, je n'ai jamais eu le sentiment que je concevais une machine intelligente. le logiciel et le
matériel sont si fragiles et les capacités à "penser" de la machine si clairement absentes que, même en tant
que possibilité, cela semblait toujours très lointain dans l'avenir. mais maintenant, avec la perspective d'une
puissance de calcul de niveau humain dans environ 30 ans, une nouvelle idée nait : que je sois peut être en
train de travailler à créer les outils qui permettront la construction de la technologie qui remplacera peut être
notre espèce. comment me sens-je en y pensant ? très inconfortable. ayant lutté toute ma carrière pour
construire des systèmes logiciels fiables, il me semble plus que probable que cet avenir ne se mettra pas au
point aussi bien que certaines personnes peuvent l'imaginer. mon expérience personnelle suggère que nous
avons tendance à surestimer nos capacités de conception. Étant donné le pouvoir incroyable de ces nouvelles
techniques, ne devrions nous pas demander comment nous pouvons au mieux coexister avec elles ? et si
notre propre extinction est un résultat probable, ou même possible, de notre développement technique, ne
devrions nous pas procéder avec beaucoup de précautions ? le rêve de la robotique est, d'abord, que des
machines intelligentes peuvent faire notre travail pour nous, nous permettant des vies de loisir, nous
permettant de retrouver l'eden. pourtant dans son histoire de telles idées, /darwin among the machines,/
george dyson avertit : "dans le jeu de la vie et de l'évolution il y a trois joueurs à la table : les êtres humains,
la nature et les machines. je suis fermement du côté de nature. mais la nature, je le soupçonne, est du côté
des machines". comme nous l'avons vu, moravec est d'accord, croyant que nous pourrions bien ne pas
réchapper de la rencontre avec l'espèce supérieure des robots. quand un robot aussi intelligent pourrait-il être
construit ? les avancées à venir dans la puissance informatique semblent le rendre possible avant 2030. et
une fois qu'un robot intelligent existe, il n'y a qu'un petit pas vers une espèce de robots - vers un robot
intelligent capable de faire des copies améliorées de lui même. un deuxième rêve de la robotique est que
nous nous remplacerons nous mêmes graduellement par notre technologie robotisée, atteingnant une quasi-
immortalité en téléchargeant nos consciences; c'est à ce processus que danny hillis pense que nous nous
habituerons graduellement et c'est lui que ray kurzweil détaille élégamment dans /the age of spiritual
machines./ (nous commençons à en voir des suggestions avec l'implantation de dispositifs informatiques
dans le corps humain, comme illustré sur la couverture de /wired/ 8.02.) mais si nous sommes téléchargés
dans notre technologie, quelles sont les chances que nous soyons ensuite nous-mêmes ou même humains ? il
me semble beaucoup plus probable qu'une existence robotique ne ressemblerait à l'humaine en aucun sens
que nous puissions comprendre, que les robots ne soient en aucune manière nos enfants, que sur ce chemin
notre humanité puisse bien être perdue. le génie génétique promet de révolutionner l'agriculture en
augmentant les rendements des récoltes tout en réduisant l'utilisation de pesticides; de créer des dizaines de
milliers de nouvelles espèces de bactéries, de plantes, des virus et d'animaux; de remplacer la reproduction,
ou la compléter, par le clonage; de créer des remèdes pour beaucoup de maladies, augmentant notre durée de
vie et notre qualité de vie; et encore bien plus. nous savons maintenant avec certitude que ces changements
profonds des sciences biologiques sont imminents et défieront toutes nos notions de ce qu'est la vie. les
techniques telles que le clonage humain ont en particulier éveillé notre conscience sur les questions morales
et éthiques profondes auxquelles nous faisons face. si, par exemple, nous devions nous reconstruire en
plusieurs espèces séparées et inégales par le pouvoir du génie génétique, alors nous menacerions la notion
d'égalité qui est la pierre angulaire même de notre démocratie. Étant donné le pouvoir incroyable du génie
génétique, ce n'est pas une surprise qu'il y a des problèmes significatifs de sécurité dans son utilisation. mon
ami amory lovins a récemment coécrit, avec hunter lovins, un éditorial qui fournit une vue écologique de
certains de ces dangers. parmi leurs soucis : le fait que "la nouvelle botanique justifie le développement de
plantes par leur succès économique, et non évolutionnaire". (voir "a tale of two botanies ", page 247). amory
a consacré sa longue carrière à l'efficacité dans l'utilisation de l'énergie et des ressource en prenant une vue
globale des systèmes construits par l'homme; une telle vue globale trouve souvent des solutions simples,
intelligentes aux problèmes sinon apparemment difficiles et s'applique utilement ici aussi. après la lecture de
l'éditorial de lovins, j'ai vu un éditorial de gregg easterbrook dans le /"new-york times"/ (19 novembre 1999)
sur les organismes génétiquement modifiés, sous le titre : "nourriture de l'avenir : un jour, le riz contiendra
de la vitamine a. À moins que les luddites ne gagnent." amory et hunter lovins sont ils des luddites ?
certainement pas. je pense que nous reconnaîtrions tous que le riz doré, avec sa vitamine a intégrée, est
probablement une bonne chose, s'il est développé avec le soin et le respect appropriés pour les dangers
probables liés aux échanges de gènes à travers la barrière d'espèce. la conscience des dangers inhérents au
génie génétique commence à grandir, comme reflété dans l'éditorial de lovins. le grand public est conscient
et gêné par les produits alimentaires génétiquement modifiés et semble rejeter la notion que l'on devrait
permettre à de tels produits alimentaires de ne pas être étiquetés. mais la technique du génie génétique en est
déjà très loin. comme les lovins le notent, l'usda a déjà approuvé environ 50 organismes génétiquement
modifiés pour une production illimitée; plus de la moitié du soja au monde et un tiers du maïs contiennent
maintenant des gènes d'autres formes de vie. bien qu'il y ait beaucoup de questions importantes ici, mon
principal souci avec le génie génétique est plus étroit : qu'il donne le pouvoir - que ce soit militairement,
accidentellement, ou dans un acte terroriste délibéré - de créer une peste blanche. les nombreux miracles des
nanotechnologies ont été d'abord été imaginées par le nobel de physique richard feynman dans un discours
qu'il donna en 1959, et qui fut par la suite publié sous le titre "il y a beaucoup de place en bas". le livre qui a
fait une grande impression sur moi, au milieu des années 80, était /engines of creation / d'eric drexler/,/ dans
lequel il décrit joliment comment la manipulation de la matière au niveau atomique pourrait créer un avenir
utopique d'abondance, où à peu près tout pourrait être fait à bon marché et presque n'importe quelle maladie
imaginable ou problème physique pourraient être résolus utilisant la nanotechnologie et l'intelligence
artificielle. un livre subséquent, /unbounding the future: the nanotechnology revolution/, que drexler
coécrivit, imagine certains des changements qui pourraient avoir lieu dans un monde où nous aurions des
"assembleurs" au niveau moléculaire. les assembleurs pourraient rendre possible l'électricité solaire à
incroyablement bon marché, des remèdes contre le cancer et le rhume de cerveau par l'augmentation du
système immunitaire humain, le nettoyage essentiellement complet de l'environnement, des super-
ordinateurs de poche incroyablement bons marché - en fait, n'importe quel produit serait manufacturable par
des assembleurs à un coût pas plus élevé que celui du bois - le vol spatial plus accessible que le voyage
transocéanique aujourd'hui et la restauration d'espèces éteintes. je me rappelle m'être senti confiant dans la
nanotechnologie après avoir lu /engines of creation./ en tant que technologue, il m'a donné une sensation de
calme - c'est-à-dire que la nanotechnologie nous a montré qu'un progrès incroyable était possible et en fait
peut-être inévitable. si la nanotechnologie était notre avenir, alors je ne me sentais pas pressé de résoudre
autant de problèmes aujourd'hui. j'atteindrais l'avenir utopique de drexler en temps voulu; je pourrais aussi
bien profiter plus de la vie ici et maintenant. cela n'a aucun sens, étant donné sa vision, de rester éveillé toute
la nuit, tout le temps. la vision de drexler m'a aussi apporté beaucoup de bon amusement. il m'arrivait de
temps en temps de décrire les miracles des nanotechnologies à d'autres qui n'en avaient pas entendu parler.
après les avoir taquinés avec toutes les choses que drexler décrit je leur donnais un devoir de maison :
"utilisez la nanotechnique pour créer un vampire; pour des crédits supplémentaires créez un antidote." avec
ces merveilles sont venus des dangers clairs, dont j'étais intensément conscient. comme je l'ai dit à une
conférence sur les nanotechnologies en 1989, "nous ne pouvons pas simplement faire notre science sans
nous inquiéter de ces questions éthiques" 5 <#5>. mais mes conversations suivantes avec des physiciens
m'ont convaincu que les nanotechnologies pourraient ne même pas fonctionner - ou, au moins, qu'elles ne
fonctionneraient pas dans un avenir prévisible. peu après je m'installai au colorado, et le centre de mon
travail se déplaça sur le logiciel pour internet, spécifiquement sur des idées qui sont devenues java et jini. et
puis, l'été dernier, brosl hasslacher me dit que l'électronique moléculaire à échelle nanométrique était
maintenant utilisable. c'était entièrement nouveau, au moins pour moi et je pense pour beaucoup de
personnes - et ça a radicalement changé mon avis sur la nanotechnologie. ca m'a renvoyé à /engines of
creation./ en relisant le travail de drexler après plus de 10 ans, je fus inquiet de me rendre compte à quel
point je m'étais peu souvenu de sa longue section appelée "dangers et espoirs", incluant une discussion sur la
façon dont les nanotechnologies peuvent devenir des "moteurs de destruction". en effet, dans ma deuxième
lecture aujourd'hui de cet avertissement, je suis frappé par la naïveté de certains des garde-fous proposés par
drexler, et à quel point je juge maintenant les dangers tellement plus grands qu'ils lui semblaient alors.
(ayant prévu et décrit beaucoup de problèmes techniques et politiques liés aux nanotechnologies, drexler a
fondé le foresight institute à la fin des années 1980 "pour aider à préparer la société aux techniques avancées
à venir" - particulièrement, les nanotechnologies). la percée qui permettra les assembleurs semble tout à fait
probable dans les 20 ans à venir. l'électronique moléculaire - le nouveau sous-domaine de la nanotechnique
où des molécules individuelles sont des éléments de circuit - devrait mûrir rapidement et devenir
énormément lucrative dans cette décennie, causant un grand investissement incrémental dans toutes les
nanotechnologies. malheureusement, comme avec la technologie nucléaire, il est beaucoup plus facile de
créer des utilisations destructrices que constructives des nanotechnologies. la nanotechnique a des
utilisations militaires et terroristes claires et vous n'avez pas besoin d'être suicidaire pour diffuser un
dispositif nanotechnologique massivement destructif - de tels dispositifs peuvent être construits pour être
sélectivement destructifs, affectant, par exemple, seulement un certain secteur géographique ou un groupe
humain génétiquement distinct. une conséquence immédiate du marché faustien pour l'obtention du grand
pouvoir de la nano-technique consiste en ce que nous courons un risque grave - le risque que nous puissions
détruire la biosphère dont toute vie dépend. comme drexler l'explique : /des "plantes" avec des "feuilles" pas
plus efficaces que les cellules solaires d'aujourd'hui pourraient rivaliser efficacement avec les plantes réelles,
remplissant la biosphère d'un feuillage non comestible. des "bactéries" omnivores dures pourraient rivaliser
efficacement avec les bactéries réelles : elles pourraient se répandre comme le pollen, se reproduire
rapidement et réduire la biosphère en poussière en quelques jours. des réplicateurs dangereux pourraient
facilement être trop durs, trop petits et se répandre trop rapidement pour être arrêtés - au moins si nous ne
nous y préparons pas. nous avons assez de difficultés à contrôler les virus et des mouches à fruit./ /parmi les
spécialistes des nanotechnologies, cette menace est maintenant nommée "le problème de la gelée grise (gray
goo)". bien que les masses de duplicateurs non contrôlés n'aient pas besoin d'être grises ou visqueuses, le
terme "la gelée grise" souligne que les duplicateurs capables d'effacer la vie pourraient être moins inspirants
qu'une simple espèce de chiendent. ils se peut qu'ils soient supérieurs dans un sens évolutionnaire, mais cela
n'implique pas de qu'ils soient de valeur./ /la menace de la gelée grise rend un point parfaitement clair : nous
ne pouvons pas nous permettre certaines sortes d'accidents avec des assembleurs qui se reproduisent./ la
gelée grise serait sûrement une fin déprimante à notre aventure humaine sur la terre, bien pire que le simple
feu ou la glace et elle pourrait provenir d'un simple accident de laboratoire.6 <#6> oops. c'est surtout le
pouvoir d'auto-reproduction destructrice dans la génétique, la nano-technique et la robotique (gnr) qui
devrait nous donner à réfléchir. l'auto-reproduction est, d'une part, le modus operandi du génie génétique,
qui utilise la machinerie de la cellule pour reproduire ce qu'il a conçu et, d'autre part le danger principal à la
base de la gelée grise dans la nano-technique. les histoires de robots pris d'un accès de folie furieuse comme
le borg, se reproduisant ou mutant pour échapper aux contraintes morales imposées par leurs créateurs, sont
bien établis dans nos livres et films de science-fiction. il est même possible que l'auto-reproduction puisse
être plus fondamentale que nous ne l'avions pensé et donc plus difficile - ou même impossible - à contrôler.
un article récent par stuart kauffman dans /nature/ intitulé "self-replication: even peptides do it" discute la
découverte qu'un peptide à 32 acides aminés peut "autocatalyser sa synthèse propre." nous ne savons pas à
quel point cette capacité est répandue, mais kauffman note qu'elle peut faire supposer "une voie pour l'auto-
reproduction de systèmes moléculaires sur une base beaucoup plus large que l'union des paires de base de
crick et watson". 7 <#7> en vérité, nous avons eu en main depuis des années des avertissements sur les
dangers inhérents à une connaissance répandue des techniques gnr - de la possibilité que la connaissance
suffise à permettre une destruction de masse. mais ces avertissements n'ont pas été largement rendus publics;
les discussions publiques ont été clairement inadéquates. on ne fait pas de profit en divulguant les dangers.
les techniques nucléaire, biologique et chimique (nbc) utilisées dans les armes de destruction massive du
20ème siècle étaient et sont en grande partie militaires, développées dans des laboratoires d'état. par
contraste, les techniques gnr du 21ème siècle ont des utilisations commerciales claires et sont développées
presque exclusivement par des entreprises privées. dans cet âge de mercantilisme triomphant, la technologie
- avec la science comme servante - produit une série d'inventions presque magiques qui sont les plus
phénoménalement lucratives jamais vues. nous sommes agressivement à la poursuite des promesses de ces
nouvelles techniques dans le cadre du système maintenant incontesté du capitalisme global et de ses diverses
motivations financières et pressions compétitives. c'est la première fois dans l'histoire de notre planète
qu'une espèce, par ses actions volontaires propres, est devenu un danger pour elle-même - aussi bien que
pour une quantité énorme d'autres. cela pourrait être une progression familière, qui s'est passée sur beaucoup
de mondes - une planète, nouvellement formée, tourne placidement autour de son étoile; la vie se forme
lentement ; un cortège kaléidoscopique de créatures se développe; l'intelligence apparaît, qui, au moins
jusqu'à un certain point, confère une énorme valeur de survie; et puis la technologie est inventée. il vient à
l'esprit de ces êtres qu'il y a des choses comme les lois de la nature, que ces lois peuvent être révélées par
l'expérience et que la connaissance de ces lois peut servir tant à sauvegarder qu'à prendre des vies, tous les
deux sur une échelle sans précédent. la science, ils le voient, accorde des pouvoirs immenses. en un éclair,
ils créent des inventions qui changent le monde. quelques civilisations planétaires font leur chemin, placent
des limites sur ce qui peut et ce qui ne doit pas être fait, et passent sans danger à travers le temps des périls.
d'autres, pas aussi chanceuses ou aussi prudentes, périssent. c'est de carl sagan, écrivant en 1994, dans /pale
blue dot,/ un livre qui décrit sa vision de l'avenir humain dans l'espace. je comprends seulement maintenant
combien sa compréhension était profonde et combien douloureusement sa voix me manque et me manquera.
avec toute son éloquence, la contribution de sagan n'était pas moindre que celle du simple bon sens - un
attribut dont, avec l'humilité, beaucoup des principaux avocats des techniques du 21ème siècle semblent
manquer. un souvenir de mon enfance est que ma grand-mère était fortement contre l'abus d'antibiotiques.
elle avait travaillé depuis avant la première guerre mondiale comme infirmière et avait l'attitude de bon sens
que la prise d'antibiotiques, à moins qu'ils ne soient absolument nécessaires, était mauvaise pour vous. ce
n'est pas qu'elle était un ennemi du progrès. elle avait vu beaucoup de progrès dans une carrière d'infirmière
de presque 70 ans; mon grand-père, diabétique, a profité énormément des traitements améliorés qui sont
devenus disponibles pendant sa vie. mais, comme beaucoup de personnes réfléchies, elle trouverait
probablement, maintenant, cela très arrogant de notre part de concevoir une "espèce de remplacement"
robotisée, alors que nous avons de façon évidente tant de problèmes à réaliser des choses relativement
simples et tant de problèmes à nous diriger - ou même comprendre - nous-mêmes. je comprends maintenant
qu'elle avait une conscience de ce qu'est l'ordre de la vie et de la nécessité de vivre avec et en respectant cet
ordre. avec ce respect vient une humilité nécessaire qui, avec notre culot du début du 21ème siècle, nous
manque pour notre malheur. la vision de bon sens fondée sur ce respect, est souvent juste, en avance sur la
preuve scientifique. la fragilité et les inefficacités claires des systèmes faits par l'homme que nous avons déjà
construits devraient nous donner à réfléchir; la fragilité des systèmes sur lesquels j'ai travaillé me rend
certainement humble. nous devrions avoir appris une leçon de la fabrication de la première bombe atomique
et de la course aux armements qui en a suivi. Ça n'a pas été un succès alors, et les parallèles avec notre
situation actuelle sont troublants. l'effort pour construire la première bombe atomique a été mené par le
brillant physicien j. robert oppenheimer. oppenheimer n'était pas naturellement intéressé par la politique
mais il est devenu douloureusement conscient de ce qu'il a perçu comme la grave menace du troisième reich
pour la civilisation occidentale, une menace sûrement grave en raison de de la possibilité qu'hitler pourrait
obtenir des armes nucléaires. stimulé par ce souci, il a apporté sa grande intelligence, sa passion pour la
physique et son leadership charismatique à los alamos et a dirigé un effort rapide et couronné de succès par
une collection incroyable de grands esprits pour rapidement inventer la bombe. ce qui est saisissant c'est
comment cet effort s'est poursuivi si naturellement après que l'impulsion initiale a été supprimée. À une
réunion, peu de temps après la victoire, avec quelques physiciens qui estimaient que l'effort devrait peut-être
s'arrêter, oppenheimer insista pour continuer. la raison qu'il invoqua semble un peu étrange : ce n'était pas à
cause de la crainte de grandes pertes humaines pendant l'invasion du japon, mais parce que les nations unies,
qui devaient bientôt être formées, devraient avoir la connaissance préalable d'armes atomiques. une raison
plus probable pour que le projet continue était l'élan qui s'était créé - le premier test atomique, trinity, était
presque à portée de la main. nous savons que dans la préparation de ce premier test atomique les physiciens
ont avancé malgré un grand nombre de dangers possibles. ils se sont initialement inquiétés, sur la base d'un
calcul par edward teller, qu'une explosion atomique pourrait mettre feu à l'atmosphère. un calcul révisé a
réduit le danger de détruire le monde à "trois chances sur un million". (teller dit qu'il fut plus tard capable
d'écarter entièrement la perspective d'une ignition atmosphérique). oppenheimer, pourtant, était
suffisamment inquiet du résultat de trinity pour prendre des dispositions pour une évacuation éventuelle de
la partie sud-ouest de l'état du nouveau mexique. et, bien sûr, il y avait le danger clair de commencer une
course aux armements nucléaire. un mois après ce premier test, couronné de succès, deux bombes atomiques
détruirent hiroshima et nagasaki. quelques scientifiques avaient suggéré que la bombe soit simplement
démontrée, plutôt que lancée sur des villes japonaises - disant que cela améliorerait énormément les chances
pour le contrôle des armements après la guerre - mais en vain. avec la tragédie de pearl harbor toujours
fraîche dans les esprits des américains, cela aurait été très difficile pour le président truman d'ordonner une
démonstration des armes plutôt que de les utiliser comme il l'a fait - le désir de rapidement finir la guerre et
sauvegarder les vies qui auraient été perdues dans n'importe quelle invasion du japon était très fort. mais en
fait la vérité primordiale était probablement très simple : comme le physicien freeman dyson le dit plus tard,
"la raison pour laquelle on l'a lancée était simplement que personne n'avait le courage ou la prévoyance de
dire non." il est important de comprendre à quel point les physiciens étaient choqués après le bombardement
de hiroshima, le 6 août 1945. ils décrivent une série d'ondes émotionnelles : d'abord, le sentiment
d'accomplissement parce que la bombe fonctionnait, puis l'horreur de tous ces gens qui avaient été tués et
ensuite le sentiment profond qu'à aucun prix une autre bombe ne devait être lancée. mais bien sûr une autre
bombe fut lancée, sur nagasaki, seulement trois jours après le bombardement de hiroshima. en novembre
1945, trois mois après les bombardements atomiques, oppenheimer se retranchait fermement derrière
l'attitude scientifique, disant, "il n'est pas possible d'être un scientifique à moins que vous ne croyiez que la
connaissance du monde et le pouvoir qu'elle donne, sont des choses qui ont une valeur intrinsèque pour
l'humanité, et que vous l'utilisez pour aider la diffusion de la connaissance et que vous n'en assumiez les
conséquences. " oppenheimer continua à travailler, avec d'autres, sur le rapport acheson-lilienthal, qui,
comme richard rhodes le dit dans son récent livre /visions of technology,/ "trouva une façon d'empêcher une
course aux armements nucléaires clandestins sans recourir à un gouvernement armé du monde"; leur
suggestion était une forme de renonciation au travail sur les armes nucléaires par les etats-nations au profit
d'une agence internationale. cette proposition a mené au plan baruch, qui fut soumis aux nations unies en
juin 1946, mais n'a jamais été adopté (peut-être parce que, comme rhodes le suggère, bernard baruch avait
"insisté pour surcharger le plan avec des sanctions conventionnelles", le condamnant ainsi inévitablement,
bien qu'il "aurait presque certainement été rejeté par la russie staliniste de toute façon "). d'autres efforts
pour promouvoir des étapes sensées vers l'internationalisation de la puissance nucléaire pour empêcher une
course aux armements se sont heurtés à la politique américaine et la méfiance interne, ou à la méfiance des
soviets. l'occasion d'éviter la course aux armements a été perdue et très rapidement. deux ans plus tard, en
1948, oppenheimer sembla avoir atteint une autre étape dans sa pensée, disant, "dans une sorte de sens brut
qu'aucune grossièreté, aucun humour, aucune exagération ne peut tout à fait éteindre, les physiciens ont
connu le péché; et c'est une connaissance qu'ils ne peuvent pas perdre." en 1949, les soviets firent éclater
une bombe atomique. avant 1955, tant les etats unis que l'union soviétique avaient testé des bombes à
hydrogène appropriées pour un bombardement aérien. et alors la course aux armements nucléaires
commença. il y a presque 20 ans, dans le documentaire /the day after trinity,/ freeman dyson récapitulait les
attitudes scientifiques qui nous avaient mené au gouffre nucléaire : "je l'ai senti moi-même. le scintillement
des armes nucléaires. il est irrésistible si vous les approchez comme un scientifique. de sentir que c'est là
dans vos mains, de libérer cette énergie qui alimente les étoiles, de la plier à votre volonté. d'exécuter ces
miracles, de soulever un million de tonnes de roche dans le ciel. c'est quelque chose qui donne aux gens une
illusion de pouvoir illimité et c'est, en quelque sorte, la cause de tous nos ennuis - cela, ce que vous pourriez
appeler l'arrogance technique, qui a raison des gens quand ils voient ce qu'ils peuvent faire avec leur
esprits". 8 <#8> maintenant, comme alors, nous sommes les créateurs de nouvelles techniques et les étoiles
d'un avenir imaginé, poussés en avant - cette fois par de grandes récompenses financières et la compétition
globale - malgré les dangers bien apparents, évaluant à peine à quoi cela ressemblera d'essayer de vivre dans
un monde qui est le résultat probable de ce que nous créons et imaginons. en 1947, le /bulletin of the atomic
scientists/ commença à mettre une horloge du jour du jugement dernier sur sa couverture. pendant plus de 50
ans, il a montré une évaluation du danger nucléaire relatif auquel nous avions fait face, reflétant le
changement des conditions internationales. les mains sur l'horloge se sont déplacée 15 fois et aujourd'hui,
s'élevant à minuit moins neuf minutes, elles reflètent le danger continu et réel des armes nucléaires. l'ajout
récent de l'inde et du pakistan à la liste de puissances nucléaires a augmenté la menace d'un échec de la non-
prolifération et ce danger a été reflété en déplaçant les mains tout près de minuit en 1998. en notre temps, à
combien de dangers faisons nous face, pas seulement de la part des armes nucléaires, mais de tous ces
technologies ? quelle est le niveau des risques d'extinction ? le philosophe john leslie a étudié cette question
et a conclu que le risque de l'extinction humaine est au moins de 30 pour cent, 9 <#9> tandis que ray
kurzweil croit que nous avons "plus de chance que jamais de nous en sortir", tout en avertissant qu'il "a
toujours été accusé d'être un optimiste". non seulement ces évaluations ne sont pas encourageantes, mais
elles n'incluent pas la probabilité de beaucoup de résultats horrifiants qui n'impliquent pas l'extinction. face à
de telles évaluations, quelques personnes sérieuses suggèrent déjà que nous nous déplacions simplement au-
delà de la terre aussi rapidement que possible. nous coloniserions la galaxie utilisant des sondes de von
neumann, qui sautent de système solaire à système solaire, se reproduisant en chemin. cette étape sera
presque certainement nécessaire dans 5 milliards d'années (ou plus tôt si notre système solaire est
désastreusement impacté par la collision menaçante de notre galaxie avec la galaxie d'andromeda d'ici 3
milliards d'années), mais si nous prenons kurzweil et moravec au mot cela pourrait être nécessaires au
milieu de ce siècle. quelles sont les implications morales de ceci ? si nous devons nous déplacer au-delà de
la terre aussi rapidement pour que l'espèce survive, qui acceptera la responsabilité du destin de ceux (la
plupart d'entre nous, après tout) qui seront laissés derrière ? et même si nous nous dispersons dans les
étoiles, n'est il pas probable que nous emporterons nos problèmes avec nous ou que nous nous rendions
compte, plus tard, qu'ils nous ont suivis ? le destin de notre espèce sur la terre et notre destin dans la galaxie
semblent inextricablement liés. une autre idée est d'ériger une série de protections pour défendre contre
chacune des techniques dangereuses. l'initiative de défense stratégique, proposée par l'administration reagan,
était une tentative de concevoir une telle protection contre la menace d'une attaque nucléaire de l'union
soviétique. mais comme arthur c. clarke, qui était au courant des discussions du projet, observait : "quoique
cela puisse être possible, à un coût énorme, de construire des systèmes de défense locaux qui laisseraient
seulement passer quelques pour cent de missiles balistiques, l'idée merveilleuse d'un parapluie national était
du non-sens. luis alvarez, peut-être le physicien expérimental le plus grand de ce siècle, me déclara que les
avocats de tels arrangements étaient ' des types très brillants sans aucun bon sens'". clarke continuait : "en
regardant dans ma boule de cristal souvent brumeuse, je soupçonne qu'une défense totale pourrait en effet
être possible dans un siècle environ. mais la technique que celà nécessiterait aurait, comme sous-produits,
des armes si épouvantables que personne ne s'inquièterait plus de quelque chose d'aussi primitif que des
missiles balistiques." 10 <#10> dans /engines of creation,/ eric drexler propose que nous construisions une
protection nanotechnologique active - une forme de système immunitaire pour la biosphère - pour nous
défendre contre les duplicateurs dangereux de toutes sortes qui pourraient s'échapper des laboratoires ou être
créés autrement par malveillance. mais le bouclier qu'il propose serait extrêmement dangereux - rien ne
pourrait l'empêcher de développer des problèmes d'autoimmunité et d'attaquer lui-même la biosphère. 11
<#11> des difficultés semblables s'appliquent à la construction de protections contre la robotique et le génie
génétique. ces techniques sont trop puissantes pour s'en protéger dans des délais pertinents; même s'il était
possible de mettre en oeuvre des protections défensives, les effets secondaires de leur développement
seraient au moins aussi dangereux que les techniques contre lesquels nous essayons de nous protéger. ces
possibilités sont donc toutes indésirables ou inaccessibles ou les deux. la seule alternative réaliste que je vois
est la renonciation : limiter le développement des techniques qui sont trop dangereuses, en limitant notre
poursuite de certaines sortes de connaissance. oui, je sais, la connaissance est bonne, comme l'est la
recherche de nouvelles vérités. nous avons recherché la connaissance depuis les temps anciens. aristote
ouvre sa métaphysique avec l'assertion simple : "tous les hommes par nature désirent savoir". nous avons,
comme une valeur de base de notre société, longtemps convenu de la valeur d'un accès ouvert à
l'information et reconnaissons les problèmes qui surgissent quand on tente de limiter l'accès à et le
développement de la connaissance. dans des temps récents, nous en sommes venus à révérer la connaissance
scientifique. mais malgré les précédents historiques forts, si l'accès ouvert à la connaissance et son
développement illimité nous mettent dorénavant tous dans un danger clair d'extinction, alors le bon sens
exige que nous réexaminions même ces croyances qui sont depuis longtemps fondamentales. c'est nietzsche
qui nous a avertis, à la fin du 19ème siècle, non seulement que dieu est mort, mais que "la foi en la science,
qui existe après tout indéniablement, ne peut pas devoir son origine à un calcul d'utilité; elle doit être
apparue /malgré/ le fait que la nocivité et la dangerosité du 'vouloir la vérité', et de 'la vérité à n'importe quel
prix' lui sont prouvées constamment". c'est ce nouveau danger auquel nous faisons maintenant entièrement
face - aux conséquences de notre recherche de la vérité. on peut certainement considérer la vérité que la
science recherche comme un substitut dangereux de dieu si elle est la cause de notre extinction future. si
nous pouvions nous mettre d'accord, en tant qu'espèce, sur ce que nous voulons, où nous allons et pourquoi,
alors nous rendrions notre avenir beaucoup moins dangereux - alors nous pourrions comprendre ce que nous
pouvons et devons abandonner. sinon, nous pouvons facilement imaginer une course aux armements se
développant sur des techniques gnr, comme il y en a eue avec les techniques nbc au 20ème siècle. c'est peut-
être le risque le plus grand, car une fois qu'une telle course commence, il est très difficile de la finir. cette
fois - à la différence du projet manhattan - nous ne sommes pas en guerre, faisant face à un ennemi
implacable qui menace notre civilisation; nous sommes pilotés, au lieu de cela, par nos habitudes, nos désirs,
notre système économique et notre besoin compétitif de connaître. je crois que nous souhaitons tous que
notre voie puisse être décidée par nos valeurs collectives, éthiques et morales. si nous avions atteint plus de
sagesse collective pendant les quelques derniers milliers d'années, un dialogue à cette fin serait plus
réalisable, et les pouvoirs incroyables que nous sommes sur le point de déchaîner seraient loin d'être aussi
effrayants. on pourrait imaginer que nous puissions être poussés à un tel dialogue par notre instinct de
conservation. les individus ont clairement ce désir, cependant en tant qu'espèce notre comportement ne
semble être pas en notre faveur. en traitant la menace nucléaire, nous nous parlions souvent malhonnêtement
à nous-même et l'un à l'autre, augmentant ainsi énormément les risques. que ça ait été politiquement motivé,
ou que nous ayons voulu ne pas penser à l'avenir, ou parce que faisant face à des menaces d'une telle gravité
nous ayons agi irrationnellement par peur, je ne sais pas, mais ce n'est pas de bon augure. les nouvelles
boîtes de pandore de la génétique, de la nano-technique et de la robotique sont presque ouvertes, cependant
nous semblons à peine l'avoir remarqué. les idées ne peuvent pas être remises dans une boîte; à la différence
de l'uranium ou du plutonium, elles n'ont pas besoin d'être extraites et raffinées et elles peuvent être
librement copiées. une fois qu'elles sont dehors, elles sont dehors. churchill remarqua, dans un compliment
de la main gauche célèbre, que les américains et leurs leaders "font invariablement la chose juste, après
avoir testé chacune des autres possibilités". dans ce cas, cependant, nous devons agir avec plus de plus
préscience, car faire la chose juste seulement à la fin peut signifier simplement perdre la possibilité de la
faire. comme thoreau l'a dit, "nous ne montons pas sur le chemin de fer; c'est lui qui monte sur nous"; et c'est
cela que nous devons combattre, de notre temps. la question est, vraiment, qui doit être le maître ?
réchapperons-nous de nos technologies ? nous sommes propulsés dans ce nouveau siècle sans aucun plan,
aucune commande, aucun frein. sommes-nous déjà partis trop loin sur la pente pour changer de cap ? je ne le
crois pas, mais nous n'essayons pas encore, et la dernière chance de prendre le contrôle - le point de non-
retour - s'approche rapidement . nous avons nos premiers robots familiers, aussi bien que des techniques de
génie génétique disponibles dans le commerce et nos techniques à échelle nanométrique avancent
rapidement. comme le développement de ces techniques s'avance par un certain nombre d'étapes, il n'est pas
nécessaire - comme c'est arrivé dans le projet manhattan et le test trinity - que la dernière étape pour prouver
une technologie soit grande et difficile. la percée vers l'auto-reproduction sauvage dans la robotique, le génie
génétique, ou la nano-technique pourrait venir soudainement, rejouant la surprise que nous avons ressentie
quand nous avons appris le clonage d'un mammifère. et pourtant je crois que nous avons vraiment des
raisons fortes et solides d'espérer. nos tentatives de prendre en compte les armes de destruction massive au
siècle dernier fournissent un exemple brillant de renonciation à considérer : l'abandon américain unilatéral,
sans conditions préalables, du développement d'armes biologiques. cette renonciation trouve son origine
dans la prise de conscience du fait que bien que cela nécessiterait un énorme effort de créer ces armes
épouvantables, elles pourraient alors être facilement dupliquées et tomber dans les mains de nations
scélérates ou de groupes terroristes. la conclusion claire était que nous créerions des menaces
supplémentaires pour nous-mêmes en poursuivant la conception de ces armes et que nous serions plus en
sécurité si nous ne la poursuivions pas. nous avons matérialisé notre renonciation aux armes biologiques et
chimiques dans la convention sur les armes biologiques de 1972 (bwc) et la convention sur les armes
chimique de 1993 (cwc). 12 <#12> quant à la considérable menace ininterrompue des armes nucléaires,
avec laquelle nous avons vécus depuis maintenant plus de 50 ans, le rejet récent par le sénat américain du
traité d'interdiction complète des essais nucléaires montre clairement que renoncer aux armes nucléaires ne
sera pas politiquement facile. mais nous avons une occasion unique, avec la fin de la guerre froide, de
prévenir une course aux armements multipolaire. en se basant sur les renonciations du bwc et du cwc,
l'abolition couronnée de succès des armes nucléaires pourrait nous aider à construire une habitude
d'abandonner les technologies dangereuses. (en réalité, en nous débarrassant de toutes sauf