Perchè il futuro non ha bisogno di noi

di Bill Joy
pubblicato su Wired aprile 2000
(trad. Tactical Media Crew)

Le nostre più potenti tecnologie del 21' secolo - scienze robotiche, ingegneria genetica e nanotecnologia - minacciano di far degli umani una specie a rischio

(Bill Joy, cofondatore e caposcienziato di Sun Microsystems, e' stato dirigente della commissione presidenziale sul futuro della ricerca IT, ed è coautore delle specifiche del liguaggio Java. Si può leggere anche del suo lavoro su: "Jini pervasive computing technology" in Wired 6.08. )

Dal momento che sono stato coinvolto nella creazione di nuove tecnologie, la loro dimensione etica mi ha preoccupato, ma è stato solamente nell'autunno del 1998 che sono diventato ansiosamente consapevole di quanto grandi siano i pericoli che ci si propongono nel 21' secolo. Posso dar inizio del mio sconforto al giorno in cui ho incontrato Ray Kurtzweil, il meritatamente famoso inventore della prima macchina per leggere, per ciechi, ed altre cose stupefacenti.
Ray ed io eravamo entrambi oratori alla conferenza George Gilder's Telecosm, e lo incontrai per caso nel bar dell'hotel dopo che le nostre sessioni erano finite. Ero seduto con John Searle, un filosofo dell'Università di Berkley che studia la percezione. Mentre parlavamo, Ray si avvicino e incomincio la conversazione, il soggetto , quello che a tutt'oggi mi perseguita.

Mentre avevo sentito già tali discorsi, avevo sempre pensato che i robot senzienti appartenessero al dominio della fantascienza. Ma ora, da qualcuno che rispettavo, stavo ascoltando la forte argomentazione che erano una possibilità a breve termine. Ero sconcertato, specialmente conoscendo la provata abilità di Ray di immaginare e creare il futuro. Sapevo già che le nuove tecnologie come l'ingeneria genetica e la nanotecnologia ci stavano dando il potere di rifare il mondo, ma un realistico ed imminente scenario di robot intelligenti mi ha stupito.

E' facile rimanere spossati da tali innovazioni. Sentiamo dalle notizie quasi tutti i giorni di qualche progresso tecnologico o scientifico. Tuttavia questa non era una predizione consueta. Nel bar del hotel, Ray mi diede una prestampa del suo prossimo libro "The Age of Spiritual Machines", che delineava l'utopia che prevedeva - una era in cui gli umani, diventando un tuttuno con la tecnologia robotica, si avvicinavano all'immortalità. Leggendolo, il mio senso di sconforto si intensificò; ero sicuro che stava capendo i pericoli, capendo la probabilità di un esito negativo lungo questo cammino.
Mi son trovato molto turbato da un passaggio che delinea uno scenario distopico.

La nuova sfida luddista

Se alle macchine è permesso di prendere le proprie decisioni, non possiamo fare alcuna congettura sul risultato, perchè sarà impossibile indovinare come tali macchine potranno comportarsi. Noi indichiamo soltanto come il destino della razza umana sarà alla mercè delle macchine. Si potrebbe obiettare affermando che la razza umana non sarebbe mai così stolta da consegnare tutto il potere alle macchine. Ma non stiamo altresì suggerendo che gli umani volontariamente consegnerebbero il potere alle macchine o che le macchine di proposito si impossesserebbero del potere. Quello che suggeriamo, è che la razza umana possa facilmente lasciarsi scivolare verso una posizione di totale dipendenza dalle macchine per cui non possa avere alternativa che accettare tutte le decisioni prese dalle macchine. Visto che la società ed i suoi problemi diventano sempre più complicati, e le macchine sempre più intelligenti, le persone lasceranno che le macchine prendano sempre più le decisioni per loro, semplicemente perchè decisioni fatte dalle macchine porteranno migliori risultati che quelle fatte dagli esseri umani. Si arriverà prima o poi ad uno stadio in cui le decisioni da prendere per mantenere il sistema saranno così complicate che gli esseri umani non saranno in grado di farle in modo intelligente. A quel punto le macchine avranno effettivamente il controllo. Le persone non saranno semplicemente in grado di spegnere le macchine, perchè ne saranno così dipendenti da far risultare lo spegnimento un suicidio.

D'altra parte è possibile che il controllo umano sulle macchine possa essere conservato. In questo caso l'uomo medio potrà avere controllo su alcune sue macchine private, come la sua macchina o il suo pc, ma il controllo dei grandi sistemi sarà nelle mani di una piccola élite - così com'è oggi, ma con due differenze. Per il miglioramento della tecniche, l'élite avrà un controllo maggiore sulle masse; e visto che il lavoro umano non sarà più necessario, le masse saranno superflue, un inutile fardello per il sistema. Se l'élite fosse spietata, allora potrebbero semplicemnte decidere di sterminare la massa dell'umanità. Se fosse compassionevole allora potrebbero utilizzare la propaganda, o altre tecniche psicologiche o biologiche per diminuire il tasso di nascita fino a che la massa si estingua, lascinado il mondo all'élite. Oppure, se l'élite consiste di liberali dal cuore tenero, potrebbero decidere di interpretare la parte del buon pastore nei confronti del resto del mondo. Saranno accorti che le necessità fisiche di ognuno siano soddisfatte, provvederanno a che tutti i bambini crescano in un ambiente fisicamente e psicologicamente igienico, che ognuno abbia un qualsiasi hobby per intrattenerlo, e che chiunque possa sentirsi insoddisfatto possa intrapprendere una “terapia” per curare il suo “problema”. Certamente la vita sarà così priva di scopo che le persone dovranno essere psicologicamente o biologicamente progettate per rimuovere il proprio bisogno per il processo di potere o di subliminare la loro ricerca di potere in qualche innocuo hobby. Questi esseri umani progettati potrebbero essere felici in tale società, ma non saranno certamente liberi. Saranno stati ridotti allo stato di animali domestici.(1)

Nel libro, non scopri fino a che non giri pagina che l'autore di questo passaggio è Theodore Kaczynski - l'Unabomber. Non sono un difensore di Kaczynski. Le sue bombe hanno ucciso tre persone durante la sua campagna diciasettennale di terrore ed ha ferito molti altri. Una delle sue bombe ha ferito gravemente il mio amico David Gelernter, uno dei più brillanti e visionari scienziati informatici del nostro tempo. Come molti dei miei colleghi, ho sentito di poter essere il prossimo bersaglio dell'Unabomber.
Le gesta di Kaczynski erano a mio avviso omicide e criminalmente folli. Lui è chiaramente un luddista, ma la semplice affermazione di questo non rigetta il suo discorso; benché mi sia difficile da accettare, ho visto dei meriti sui ragionamenti di questo singolo passaggio. Mi sono sentito costretto a confrontarmici.

La visione distopica di Kaczynski descrive consequenze involontarie, un problema ben noto con la progettazione ed uso della tecnologia, ed uno che è chiaramente relazionato alla legge di Murphy - “Se c'é qualcosa che può andare storto, lo andrà”.(In realtà, questa è la legge di Finagle, che in se stessa dimostra che Finagle aveva ragione). Il nostro abuso di antibiotici ha portato a quello che è forse il più grande problema fino ad ora: l'emergere di batteri molto più pericoloso e resistente agli antibiotici. Simili cose sono successe quando si è tentato di eliminare i moschito portatori di malaria con il DDT, facendoli acquisire una resistenza al DDT; parassiti malarici similarmente acquisiscono geni multi-medicine-resistenti.(2)

La causa di tante sorprese sembra chiara: I sistemi coinvolti sono complessi, coinvolgendo interazione e reazione tra le molte parti. Qualsiasi cambiamento a questo sistema produrrà effetti a cascata che sono difficili da prevedere; questo è specialmente vero quando sono coinvolte azioni umane.

Ho incominciato a mostrare ad amici l'estratto di Kaczynski da The Age of Spiritual Machines; davo loro il libro di Kurzweil, lasciandoli leggere il passo, e poi osservavo la loro reazione appena scoprivano chi l'aveva scritto. Più o meno nello stesso periodo, ho trovato il libro di Hans Moravec Robot: Mere Machine to Transcendent Mind. Moravec è uno dei leader nella ricerca robotica, e fu fondatore di uno dei più grandi programmi di ricerca sulla robotica alla Carnegie Mellon University. Robot mi diede altro materiale da provare sui miei amici - materiale sorprendentemente sostenitore delle teorie di Kaczynski. Ad esempio:

La breve corsa ( primi anni 2000)

In un mercato completamente libero, robot superiori sicuramente colpirebbero gli umani come i placentali Nord Americani colpirono i marsupiali Sud Americani (e come gli umani hanno colpito innumerevoli specie). Le industrie robotiche entrerebbero in competizione tra di loro fortemente per interesse, energia e spazio, incidentalmente portando il loro prezzo oltre le possibilità umane. Incapaci di permettersi tali necessità della vita, gli umani biologici sarebbero schiacciati via dall'esistenza.
C'è probabilmente ancora possibilità di respiro, giacchè non viviamo in un mercato completamente libero. I governi forzano comportamenti non atti al mercato, specialmente con l'accumulo delle tasse. Applicandolo con giudizio, la coercizione governativa potrebbe sostenere un alto stile di vita per le popolazioni umane frutto del lavoro dei robot per forse un lungo tempo.
Continua a focalizzare su come il nostro lavoro per il 21'secolo sarà di “assicurare la continua cooperazione dalle industrie robotiche” formulando leggi che decretino che essi siano “buoni”,(3) e a descrivere quanto seriamente pericoloso possa essere un umano “una volta trasformato in un robot super intelligente senza limiti”. L'opinione di Moravec è che prima o poi i robot ci succederanno - che gli umani evidentemente si affacciano all'estinzione.

Decisi che era ora di parlare al mio amico Danny Hillis. Danny divenne famoso come cofondatore della Thinking machines corporation, che costruì un super computer parallelo molto potente. Nonostante il mio attuale incarico di "Chief Scientist" - Capo scienziato - alla Sun Microsystems, sono più un'architteto di computer che uno scienziato, e rispetto molto il sapere sull'informazione e sulle scienze fisiche di Danny più che quello di qualunque altra persona. Danny è anche un futurista altamente considerato, che pensa a lungo raggio - quattro anni fa incominciò la Fondazione Long Now, che sta costruendo un orologio progettato per durare 10000 anni con la volontà di attrarre l'attenzione sulla pietosa corta durata di attenzione della nostra società.
Quindi sono andato a Los Angeles con il chiaro intento di cenare con Danny e sua moglie, Paty. Ho fatto la mia ormai familiare routine facendo trottare le mie idee ed i passaggi che trovavo così fastidiosi. La risposta di Danny - mirata specificatamente allo scenario, di Kurzweil, di umani che si fondono con i robot - venne rapidamente e mi stupì alquanto. Disse, semplicemente, che i cambiamenti sarebbero avvenuti gradualmente e che ci saremmo abituati.
Ma credo che ero del tutto stupito. Avevo visto una citazione di Danny nel libro di Kurzweil la quale diceva, “amo il mio corpo come chiunque altro ma se posso essere 200 con un corpo di silicone, mi va bene”. Sembrava che lui fosse in pace con questo processo e con i rischi annessi, mentre io no.

Parlando e pensando su Kurzweil, Kaczynski e Moravec, improvisamente mi sono ricordato di un romanzo che avevo letto quasi più di venti anni fa - The White Plague, di Frank Herbert - nel quale un biologo molecolare impazzisce per l'insensato omicidio della sua famiglia. Per vendicarsi costruisce e dissemina una piaga altamente contagiosa che uccide in maniera vasta ma selettiva. (Siamo fortunati che Kaczynski era un matematico e non un biologo molecolare). Mi era venuto alla mente anche i Borg di Star Trek, un misto di creature in parte biologiche ed in parte robotiche con un forte senso distruttivo. Disastri da “Borg” sono il soggetto per eccellenza della fantascienza, quindi per quale motivo non mi ero preocupato prima per tali distopie robotiche? Perchè altre persone non erano turbate da questi scenari da incubo?
Parte della risposta sicuramente è nella nostra attitudine verso il nuovo - nella nostra tendenza all'instantanea familiarità e accettazione acritica. Abituati a vivere con ormai scoperte scientifiche di routine, dobbiamo ancora arrivare al fatto che le tecnologie del 21' secolo, robotica, ingegneria genetica e nanotecnologia, pongono una nuova minaccia rispetto alle tecnologie venute prima. Specificamente, Robot, organismi progettati e nanobots condividono lo stesso pericolo: possono auto-replicarsi. Una bomba è fatta esplodere una volta sola - ma un bot può diventare molti e velocemente essere incontrollabile.

Molto del mio lavoro negli ultimi 25 anni è stato mirato al computer networking, dove il mandare e ricevere messaggi crea l'opportunità per la replicazione incontrollabile. Tuttavia mentre la replicazione in un computer o in una rete di computer può essere un danno, al peggio disabilita una macchina o la rete o un servizio di rete. L'incontrollata auto-replicazione in queste tecnologie più moderne incorre in un rischio maggiore: il rischio di un danno sostanziale nel mondo fisico.
Ciascuna di queste tecnologie offrono una promessa non detta: la visione di vicina immortalità che Kurzweil vede nei suoi sogni robotici ci porta avanti; l'ingegneria genetica presto potrebbe portare trattamenti, se non cure complete, per la maggioranza delle epidemie; e la nanotecnologia e la nanomedicina possono indirizzarsi ad ancora più malattie. Insieme potrebbero in maniera significativa aumentare la nostra soglia di vita e migliorare la qualità della nostra vita. Tuttavia, con ciascuna di queste tecnologie una sequenza di piccoli, individualmente sensibili passi in avanti portano ad un accumulo di enorme potere ed in concomitanza quindi ad un grande pericolo.
Qual'era la differenza nel 20' secolo? Certamente le tecnologie dietro le armi per la distruzione di massa (Weapons of Mass Destruction, WMD) - nucleare, biologica e chimica (NBC) - erano potenti e le armi una minaccia enorme. Ma costruire armi nucleari richiedeva, almeno per un periodo, accesso a entrambi rari - ed in effetti non disponibili - materiali primari ed informazioni altamente protette; i programmi per armi biologiche e chimiche anche tendevano ad aver bisogno di attività su grande scala.

Le tecnologie del 21' secolo - genetica, nanotecnologia, robotica (GNR) - sono così potenti che possono proliferare una intera nuova classe di incidenti e abusi. Ancora più pericoloso, per la prima volta, questi incidenti ed abusi sono largamente alla portata di individui o piccoli gruppi. Non richiederanno grosse infrastrutture o materiali primari. Il solo sapere ne permetterà l'uso.
Così abbiamo la possibilità non solo di armi per la distruzione di massa ma anche del sapere'abilitato alla distruzione di massa (Knowledge-enabled Mass Destruction, KMD), e questa distruttività enormemente amplificata dal potere della auto-replicazione.
Credo non sia affatto un'esagerazione l'affermare che siamo sulla soglia per l'ulteriore perfezionamento del male, un male le quali possibilità si aprono ben al di là delle armi di distruzione di massa lasciate alle nazioni-stato, verso un sorprendente e terribile conferimento di potere di individualità estreme.

Niente nel modo in cui sono stato coinvolto con i computer faceva presagire che avrei dovuto confrontarmi con tali questioni.
La mia vita è stata guidata da una profonda necessità di fare domande e trovare risposte. Quando avevo 3 anni, già leggevo, quindi mio padre mi portò alle scuole elementari, dove sedevo sulle gambe del preside e gli leggevo una storia. Ho incominciato scuola presto, più tardi ho saltato un anno, e mi sono rifugiato nei libri - ero incredibilmente motivato ad imparare. Facevo molte domande, spesso conducendo gli adulti a distrarsi.
Da adolescente ero molto interessato alla scienza ed alla tecnologia. Volevo diventare un operatore di “baracchini” ma non avevo i soldi per le attrezzature. I baracchini erano l'internet dell'epoca: assuefazione e vita solitaria. Ma tralasciando l'aspetto monetario, mia madre si impuntò perchè io non lo diventassi, ero già abbastanza asociale. Forse non ho avuto delle strette amicizie, ma ero pieno di idee. Per le superiori avevo già scoperto i grandi scrittori di Fantascienza. Ricordo specialmente il libro di Heinlein Have Spacesuit Will Travel e I, Robot di Asimov con le sue tre leggi della robotica. Ero incantato dalle descrizioni dei viaggi spaziali e desideravo avere un telescopio per osservare le stelle; visto che non avevo i soldi per comprarne o costruirne uno, presi dei libri dalla biblioteca per almeno leggere come costrurli. Mi confortavo con la mia immaginazione.
I giovedì sera i miei andavano al bowling, e noi ragazzi rimanevamo a casa. Era la notte di Star Strek, l'originale di Gene Roddenberry, mi meravigliava tanto. Accettai la nozione che gli esseri umani avevano un futuro nello spazio, tipo West, con grandi eroi ed avventure. La visione di Roddenberry riguardo al futuro era di un forte senso morale, impersonificato nel Direttivo Primario: non interferire nello svilluppo di civilizzazioni tecnologicamente inferiori. Questo mi affascinava, “etici” esseri umani, e non robot, dominavano il futuro, ed ho fatto del sogno di Roddenberry parte del mio.
Ho brillato in matematica alle superiori, e quando sono andato all'università del Michigan come studente undergraduate di ingegneria, ho preso la carriera di matematica avanzata. Risolvere problemi matematici era un tipo di confronto eccitante, ma quando ho scoperto i computer, ho trovato qualcosa di molto più interessante: una macchina in cui potevi immettere un programma che tentasse di risolvere un problema, per il quale, dopo, la macchina ti avrebbe dato una soluzione. Il computer aveva una chiara nozione di corretto ed incorretto, di vero e falso. Le mie idee erano giuste ? La macchina me lo poteva dire. Questo era molto seduttivo.
Ero stato abbastanza fortunato di trovare lavoro programmando i primi supercomputer e scoprire la sorprendente capacità di queste grandi macchine di simulare numericamente progetti complessi.
Quando frequentavo la graduate school alla Università di Berkeley, incominciai a rimanere alzato fino a tardi, spesso tutta la notte, inventando nuovi mondi dentro le macchine, risolvendo problemi, scrivendo il codice che lottava per non essere scritto.

Nel romanzo biografico di Irving Stone su Michelangelo, The Agony and the Ecstasy, Stone descrive vividamente come Michelangelo liberava le statue dalla pietra, “rompendo l'incantesimo di marmo”, modellando dalle immagini della sua mente. (4) Nei miei momenti di maggiore estasi, il software nel computer emergeva nello stesso modo. Una volta che l'avevo immaginato, sentivo che era tutto già nella macchina, in attesa di essere liberato. Rimanere in piedi tutta la notte sembrava un prezzo veramente modico per liberarlo - per rendere concrete le idee.
Dopo qualche anno alla Berkeley, incominciai a distribuire alcuni dei software di mia creazione - un sistema istruzionale in Pascal, utilità Unix ed un editor di testo chiamato "VI" (che è, con mio stupore, ancora largamente usato dopo 20 anni) - da altri che avevano simili PDP-11 e VAX minicomputers. Queste avventure software ad un certo punto confluirono nel sistema Unix della Berkeley, che divenne un mio personale “disastroso successo” - talmente tanta gente lo voleva, che non ho finito la mia laurea. Invece ottenni un lavoro per la Darpa mettendo il Berkeley Unix in Internet aggiustandolo per essere solido ed inoltre in modo che potesse far girare grosse applicazioni di ricerca. Questo è stato tutto un gran divertimento e soddisfazione, e francamente non vedevo alcun robot né qui né ovunque vicino.
Ancora, agli inizi degli anni 80, stavo in alto mare. Le distribuzioni di Unix avevano molto successo ed il mio piccolo progetto presto aveva denaro e collaboratori, ma il problema alla Berkeley non erano i soldi ma lo spazio, non c'era posto per l'aiuto di cui il progetto aveva bisogno, per cui, quando gli altri fondatori della Sun Microsystems apparvero, mi fiondai per unirmi a loro. Alla Sun, le lunghe ore si protrassero fino ai primi giorni delle worksations e dei personal computers, ed avevo gioito della partecipazione nella crezione di processori avanzati e di tecnologie per Internet quali Java e Jini.
Da tutto ciò, confido che sia chiaro che non sono un luddista. Il mio lavoro ha avuto molto più impatto di quello sperato ed è stato utilizzato molto di più di quanto ragionevolmente mi aspettavo. Ho ancora passato gli ultimi 20 anni a capire come rendere i computer affidabili quanto io mi aspetto che essi lo siano (e non sono ancora così) e a come renderli semplici da usare (un obiettivo ancora relativamente meno raggiunto).
Nonostante un po' di progresso, i problemi che rimangono sembrano ancora più scoraggianti.
Tuttavia mentre ero consapevole dei dilemmi morali riguardo alle consequenze tecnologiche in campi come la ricerca sulle armi, non mi aspettavo di dover confrontare tali dilemmi nel mio campo, o almeno non così presto.
Forse è sempre difficile vedere l'impatto grande quando sei coinvolto nel vortice più piccolo proprio del cambiamento. Sembra una comune colpa di scienziati e tecnologicisti di non capire le consequenze delle proprie invenzioni mentre siamo rapiti dalla scoperta; siamo stati guidati per molto tempo dall' estremo desiderio di sapere, che è la natura della ricerca scientifica, non fermandoci a notare che tecnologie più nuove e potenti possono prendere vita propria.

E' da molto che ho realizzato che la information technology non fa i suoi passi più grandi grazie agli scienziati di computer, agli architetti di computer o agli ingegneri elettronici, ma ai fisici. I fisici Stephen Wolfram e Brosl Hasslacher mi introdussero, nei primi anni 80, alla teoria del caos ed ai sistemi non lineari. Negli anni 90, ho appreso dei sistemi complessi dalle conversazioni con Danny Hill, il biologo Stuart Kauffman, il nobel per la fisica Murray Gell-Mann, ed altri. Recentemente, Hasslacher e l'ingegnere elettronico e fisico Mark Reed mi hanno introdotto alle incredibili possibilità dell'elettronica molecolare.
Nel mio lavoro, come co-disegnatore di 3 architetture di microprocessori - SPARC, picoJava e MAJC - e come disegnatore delle successive implementazioni, ho avuto modo di avere una profonda dimestichezza ed in prima persona della legge di Moore. Per decine di anni, la legge di Moore ha correttamente previsto il tasso di miglioramento della tecnologia a semiconduzione. Fino all'anno scorso, ho pensato che il raggio di avanzamenti previsto dalla legge di Moore potesse continuare fino al 2010 circa, quando alcuni limiti fisici saranno stati raggiunti. Non mi era affato ovvio che una nuova tecnologia sarebbe arrivata per permettere il tranquillo progresso dei risultati.
Ma dato il recente rapido e radicale progresso nell'elettronica molecolare - dove atomi e molecole individuali rimpiazzano transistor disegnati litograficamente - e nelle relazionate tecnologie nanoscalari, dovremmo essere in grado di arrivare o di superare il tasso di progresso della legge di Moore per altri 30 anni.
E' verosimile che per il 2030 saremo in grado di costruire, in quantità, macchine un milione di volte più potenti dei personal computer di oggi - sufficiente per implementare i sogni di Kurzweil o Moravec.

Visto che questo enorme potere computeristico si combina con il progresso della fisica sulla manipolazione e il profondo sapere sulla genetica, si sta liberando un potere immenso di trasformazione. Queste combinazioni danno la possibilità di ridisegnare il mondo, in meglio o in peggio: i processi di replicazione e di evoluzione che fino adesso erano confinati al mondo naturale stanno per diventare dominio degli sforzi umani.
Nel progettare i software e i microprocessori, non ho mai avuto la sensazione che stavo disegnando una macchina intelligente. Il software sono l'hardware sono così fragili e le capacità per una macchina di "pensare" sono così chiaramente assente che, anche come possibilità, questo è sempre sembrato molto lontano nel futuro.
Ma ora, calcolando il livello del potere computeristico umano, in una prospettiva di circa 30 anni, una nuova idea si propone: che io stia lavorando per creare strumenti che permetteranno la costruzione di tecnologie che possono sostituire la nostra specie. Come mi sento per questo? Molto a disagio. Avendo faticato per tutta la carriera a costruire sistemi e software affidabili, mi sembra più che probabile che il futuro non si risolverà così bene come alcune persone possono immaginare. La mia personale esperienza mi suggerisce che tendiamo a sopravvalutare le nostre abilità di progettazione.
Dato l'incredibile potere di queste nuove tecnologie, non dovremmo chiederci come coesistere al meglio con loro? E se la nostra stessa estinzione è un probabilmente o anche possibile, effetto del nostro sviluppo tecnologico, non dovremmo procedere con grande prudenza?

Il sogno della robotica è, prima di tutto, che macchine intelligenti possano lavorare al posto nostro, permettendoci vite lussuose, ridandoci l'Eden. Tuttavia, George Dyson nella sua storia concernente tali idee, "Darwin Among the machine", ci avverte: "Nel gioco della vita e l'evoluzione ci sono tre giocatori: gli esseri umani, la natura, e le macchine. Sono fermamente dalla parte della natura. Ma la natura, sospetto, è dalla parte delle macchine". Come abbiamo visto, Moravec concorda, nel credere che sia probabile che non sopravviveremo allo scontro con la specie superiore dei robots.
Quanto presto potrebbe essere costruito un robot intelligente? Stando agli sviluppi tecnologici sembra che questo sia possibile entro il 2030. E una volta creato il robot intelligente, il passo per la specie Robot è breve, perchè un robot intelligente possa fare copie evolute di se stesso.
Un secondo sogno di robotica è che gradualmente ci rimpiazzeremo con la nostra tecnologia robotica, e scaricando le nostre coscienze raggiungendo quasi l'immortalità; è questo processo a cui Danny Hillis pensa che gradualmente ci abitueremo e che Ray Kurzweil elegantemente descrive nel suo libro "The Age of Spiritual Machines". (Stiamo cominciando a vedere intimazioni di questo nell'impianto di apparecchi computerizzati nel corpo umano, come illustrato nella copertina di Wired 8.02).

Ma se noi siamo scaricati nella nostra tecnologia, quali sono le possibilità che da li in poi rimarremo noi stessi o addirittura umani? A me sembra molto più probabile che l'esistenza robotica non possa essere in nessun senso come quella umana a noi comprensibile, che i robot non sarebbero in nessun senso i nostri figli, e che su questo percorso la nostra umanità possa essere perduta.
L'ingegneria genetica promette di rivoluzionare l'agricoltura incrementando la produzione del raccolto riducendo l'uso dei pesticidi; creando decine di migliaia di nuove specie di batteri ,piante, virus, e animali; sostituendo la procreazione o complementandola, con la clonazione; producendo cure per molte malattie, aumentando la nostra longevità e qualità della vita; e molto, molto di più. Adesso sappiamo con certezza che questi profondi cambiamenti nelle scienze biologiche sono imminenti e contrasteranno tutte le nostre nozioni sul senso della vita.
Tecnologie come la clonazione umana hanno alzato in particolare la nostra coscienza dei profondi problemi etici e morali. Se, per esempio, dovessimo ricostruire noi stessi in alcune specie separate e ineguali usando il potere dell'ingegneria genetica, allora potrebbe essere minacciata l'idea di uguaglianza che è la vera pietra miliare della nostra democrazia.
Dato il potere incredibile dell'ingegneria genetica, non ci sorprende che ci siano problemi di sicurezza significativi nel suo uso. Il mio amico Amory Lovins ha recentemente coscritto, insieme con Hunter Lovins, un editoriale che fornisce una visione ecologica di alcuni di questi pericoli.

Tra le preoccupazioni: "che la nuova botanica allinea lo sviluppo delle piante con il loro successo economico e non evolutivo".
(vedi "A Tale of Two Botanies," page 247.)
La lunga carriera di Amory è stata focalizzata su l'efficacia dell'energia e risorse accettando una visione di "sistema-intero" per sistemi di fattura umana; tale visione a "sistema-intero" spesso trova semplici e perspicaci soluzioni per problemi altrimenti apparentemente difficili, ed è applicato anche qui utilmente.
Dopo aver letto gli editoriali di Lovins, ho visto un articolo (op-ed) di Gregg Easterbrook sul New York Times (19 novembre 1999) dei raccolti manipolati geneticamente, titolato: " Cibo per il futuro: Un giorno il riso avrà in se la vitamina A. A meno che non vincano i luddisti".

Sono luddisti Amory e Hunter Lovins? Certamente no, credo che saremmo tutti d'accordo che il riso, con la suainnata vitamina A, è probabilmente una buona cosa, se sviluppato con la dovuta cura e rispetto per i probabili pericoli nel muovere i geni attraverso le barriere delle specie.
La coscienza dei pericoli inerenti all'ingegneria genetica sta cominciando a crescere, come riflette l'editoriale di Lovins. L'opinione pubblica è cosciente e preoccupata sul cibo geneticamente modificato, e sembra che respingere la nozione che a tali cibi possa essere permesso di essere non etichettati.

Ma la tecnologia dell'ingegneria genetica è già molto avanti. Come fanno notare Lovins, l'USDA ha già approvato circa 50 raccolte geneticamente modificate per distribuzione illimitata; più di metà dei semi di soia del mondo e un terzo del granturco ora contiene geni provenienti da altre forme di vita.
Mentre ci sono importanti questioni qui, la mia principale preoccupazione riguardo l'ingegneria genetica è ristretta: che da il potere - o militare, accidentale, o in un deliberato atto terroristico - a creare un "Piaga Bianca".

Le molte meraviglie della nanotecnologia furono per la prima volta immaginata dal fisico nobel Richard Feyman in un discorso che dette nel 1959, successivamente pubblicato sotto il titolo "There's Plenty of Room at the Bottom."
Il libro che mi colpì molto, verso la metà degli anni '80, fu "Engines of Creation" di Eric Drexler, dove descrive magnificamente come la manipolazione a livello atomico possa creare un futuro utopico di abbondanza, dove quasi ogni cosa possa essere prodotta a basso costo, e quasi ogni tipo di immaginabile infezione o problema fisico possa essere risolto usando la nanotecnologia e l'intelligenza artificiale.

Un libro successivo, "Unbounding the Future: The Nanotechnology Revolution", che Drexler coscrissse, immagina alcuni dei cambiamenti che potrebbero avvenire in un mondo dove avremmo "assemblatori" a livello molecolare. Gli assemblatori potrebbero rendere possibile a un incredibile basso-costo cure per il cancro a energia solare e cure per un comune raffreddore attraverso l'ampliamento del sistema immunitario umano, essenzialmente completare la pulizia dell'ambiente, creare incredibili economici supercomputer tascabili - infatti, qualsiasi prodotto potrebbe essere fabbricato dagli assemblatori ad un costo non maggiore di quello del legno - rendere viaggi spaziali più accessibili che i viaggi transoceanici di oggi, e ripristinare le specie estinte.

Ricordo di aver avuto una buona impressione della nanotecnologia dopo aver letto "Engines of Creation". Da tecnologico, mi ha dato un senso di calma - ovvero, la nanotecnologia ci dimostrava che incredibili progressi erano possibili, e di fatto forse inevitabili. Se la nanotecnologia era il nostro futuro, allora non mi sentivo costretto a risolvere così tanti problemi nel presente. Avrei raggiunto in tempo il futuro utopico di Dexler; a quel punto potevo godere al meglio la vita "qui e ora". Non aveva senso, data la sua visione, di rimanere in piedi tutta la notte, tutto il tempo.

La visione di Drexler portava anche molto divertimento. Occasionalmente mi ritrovavo a descrivere le meravigle della nanotecnologia ad altri che non ne avevano sentito parlare. Dopo averli stuzzicati con tutte le cose che aveva descritto Drexler, gli assegnavo di mio dei compiti per casa: "Usate la nanotecnologia per creare un vampiro; per punti extra, create anche l'antitodo".
Con queste meraviglie divennero chiari anche i pericoli, di cui io ero acutamente cosciente. Come dissi alla conferenza di nanotecnologie nel 1989, "Non possiamo solamente fare la nostra scienza e non preoccuparci dei problemi etici".(5) Ma la mia seguente conversazione con i fisici mi convinse che la nanotecnologia non poteva nemmeno funzionare - o, perlomeno non avrebbe funzionato in tempi brevi. Di li a poco, mi trasferii in Colorado, per uno lavoraccio che avevo iniziato, e il centro del mio lavoro si spostò sul software per Internet, specificatamente su le idee che divennero Java e Jini. Poi, la scorsa estate, Brosl Hasslacher mi disse che l'elettronica molecolare nanoscala era ora realizzabile. Questa fu una nuova notizia, almeno per me, e penso anche per molte altre persone - e ha cambiato radicalmente la mia opinione sulla nanotecnologia. Mi portò indietro alla "Engines of Creation". Rileggendo il lavoro di Drexler dopo più di 10 anni, fui sconcertato nel rendermi conto come fosse piccolo il ricordo della sua lunga sezione chiamata "Dangers and Hopes", "pericoli e speranze" inclusa una discussione di come le nanotecnologie possono diventare "macchine per la distruzione". Infatti, nella mia rilettura di questo materiale oggi, sono stupito di quanto naive sembrassero alcune proposte di difesa di Drexler, e di quanto più grandi giudico adesso essere i pericoli piuttosto di come li giudicava allora. (Avendo anticipato e descritto molti problemi tecnici e politici della nanotecnologia, Drexler iniziò al Foresight Institute negli anni '80 per "aiutare a preparare la società per anticipate tecnologie avanzate" - più importante, la nanotecnologia).
Rendere possibile un rapido progresso di assemblare sembra abbastanza probabile entro i prossimi 20 anni. L'elettronica molecolare - il nuovo sotto campo delle nanotecnologia dove molecole singole sono elementi di circuito - potrebbero maturare rapidamente e diventare enormemente lucrative entro questa decade, causando ampi incrementi di investimento in tutte le nanotecnologie.

Sfortunatamente, come con le tecnologie nucleari, è di gran lunga più facile creare utilizzi distruttivi che costruttivi per le nanotecnologie. Le nanotecnologie hanno chiari usi militari e terrorostici, e non c'è bisogno di essere suicidi per utilizzare un apparecchio nanotecnologicamente di massima distruzione - tali apparecchi possono essere costruiti per essere selettivamente distruttivi, colpendo, per esempio, solamente una certa area geografica o un gruppo di persone che sono geneticamente distinti.

Un'immediata conseguenza del Faustiano affare nell'ottenere il grande potere della nanotecnologia è che corriamo un grave rischio - il rischio che potremmo distruggere la biosfera dalla quale tutta la vita dipende.

Come spiegava Drexler:

Tra intenditori di nanotecnologie, queste minacce sono diventate note come "gray goo problem". Sebbene masse di replicatori incontrollati non debbano essere ne grigi o appiccicosi, il termine "gray goo" enfatizza che i replicatori capaci di cancellare la vita potrebbero essere meno coinvolgenti che una singola specie di erbacce. Potrebbero essere superiori in un senso evolutivo, ma questo non vuol dire che siano preziosi.
La minaccia "gray goo" rende perfettamente chiara una cosa: non possiamo permetterci certi tipi i di incidenti con assemblatori replicanti. "Gray goo" potrebbe sicuramente essere una fine deprimente della nostra avventura umana sulla terra, molto peggio del fuoco o del ghiaccio, o di un arginabile semplice incidente di laboratorio. (6)oops

E' sopratutto il potere di autoreplicazione distruttiva in genetica, nonotecnologia e robotica (GNR) che dovrebbero fermarci. L'auto-replicazione è il Modus Operandi dell'ingegneria genetica, che usa il meccanismo delle cellule per replicare le proprie architetture, e il primario pericolo sottostante al "gray goo" in nanotecnologia. Storie di robots "run-amuk" (che corrono qua e la presi da una pazzia sanguinaria) come i Borg, replicando o mutando per sfuggire alle limitazioni etiche imposte dai loro creatori, sono ben affermate nei nostri libri e film di fantascienza. E' anche possibile che l'auto-replicazione possa essere più necessaria di quanto pensiamo, e quindi più difficile - o anche impossibile - da controllare. Un recente articolo di Stuart Kauffman in "Nature", titolato "Self-Replication: Even Peptides Do It" trattava la scoperta che 32-peptidi-amino-acidi possono "autocatalizzare la propria sintesi". Non sappiamo come questa abilità possa diffondersi, ma Kauffman nota che ciò può far supporre "un percorso verso sistemi molecolari di auto-riproduzione sulla base molto più estesa del principio di accoppiamento di Watson-Crick. (7)

In verità, abbiamo avuto nelle mani per anni chiare ammonizioni dei pericoli inerenti alle vaste conoscenze delle tecnologie GNR - delle possibilità di conoscenza che permettessero da sole distruzioni di massa. Ma questi ammonimenti non sono stati ampiamente pubblicizzati; le discussioni pubbliche sono state chiaramente inadeguate. Non c'è alcun profitto nella pubblicizzazione dei pericoli.

Le tecnologie nucleari, biologiche e chimiche (NBC) usate nelle armi di distruzione di massa del 20esimo secolo furono e sono in gran parte militari, sviluppate e costruite nei laboratori statali. In netto contrasto le tecnologie GNR del 21° secolo hanno un chiaro utilizzo commerciale e le stanno sviluppando quasi esclusivamente le imprese private. In questa epoca della trionfante commercializzazione, la tecnologia - con la scienza come sua aiutante sta consegnando una serie di invenzioni quasi magiche che sono le più fenomenalmente lucrative mai viste. Siamo aggressivamente inseguiti dalle promesse di queste nuove tecnologie dentro l'attuale indiscusso sistema del capitalismo globale e dei suoi numerosi incentivi finanziari e pressioni competitive.
Questo è il primo momento nella storia del nostro pianeta in cui qualsiasi specie, a causa della propria azione volontaria, è diventata pericolosa per se stessa - tanto quanto ad un grande numero di altri.

Potrebbe essere una progressione familiare, trapelata in molti mondi - un pianeta, di nuova formazione, che placidamente si evolve intorno alla sua stella; la vita si forma lentamente; una processione caleidoscopica di creature si evolve; l'intelligenza emerge e, almeno fino ad un certo punto, conferisce un enorme valore di sopravvivenza; e allora la tecnologia è inventata.
Viene in mente che ci sono cose come leggi della natura, le quali possono essere svelate dagli esperimenti, e che la conoscenza di queste leggi può essere fatta sia per salvare e per prendere vita, sia su scale sconosciute. La scienza, lo riconoscono, concede immensi poteri. In un attimo essi creano dispositivi per l'alterazione del mondo. Alcune civiltà planetarie vedono il loro percorso, pongono limiti su ciò che si può e non si deve fare, e passano con sicurezza tempi pericolosi. Altri, non così fortunati o prudenti, periscono.

Questi era Carl Sagan, scrivendo nel 1994, in "Pale Blue Dot", un libro che descrive la sua visione del futuro umano nello spazio. Solo adesso mi sto rendendo conto come fosse profonda la sua intuizione, e come dolorosamente sento e sentirò la mancanza, della sua voce. Per tutta la sua eloquenza, il contributo di Sagan non fu meno di un semplice buon senso - un attributo che, assieme all'umiltà, sembrano mancare in molti dei difensori principali delle tecnologie del 21esimo secolo.

Ricordo durante la mia infanzia che mia nonna era fortemente contro l'abuso degli antibiotici. Aveva lavorato fino a prima della I Guerra Mondiale come infermiera e aveva il buon senso di pensare che prendere gli antibiotici, a meno che non fosse stato assolutamente necessario, facesse male.
Non che fosse una nemica del progresso. Aveva visto talmente tanto progresso in quasi 70 anni di carriera infermieristica; mio nonno, un diabetico, ha beneficiato moltissimo delle cure avanzate che diventavano disponibili durante la sua vita. Ma lei, così come molte altre persone equilibrate, penserebbe che sia di grande arroganza, ora, progettare una "specie di rimpiazzo" robotico, mentre abbiamo così tanti problemi a far funzionare cose relativamente semplici, e abbiamo così tante difficoltà a gestire - o addirittura a capire - noi stessi.

Ho realizzato ora che lei aveva una consapevolezza sulla natura dell'ordine della vita, e sulla necessità di vivere e convivere con questo ordine. Con questo rispetto diviene necessario un'umiltà che siamo manchevoli, al nostro pericolo. La visione "di buon senso", impregnata in questo rispetto, è spesso giusta, in anticipo alla dimostrazione scientifica. La chiara fragilità ed inefficienza dei sistemi umani che abbiamo costruito dovrebbe dare a tutti noi una pausa; la fragilità dei sistemi sui quali ho lavorato certamente mi rende umile.

Avremmo dovuto imparare una lezione dalla fabbricazione della prima bomba atomica e dal risultato della corsa agli armamenti. Non facemmo bene allora, e il parallelismo della situazione corrente è preoccupante.

Lo sforzo per costruire la prima bomba atomica fu condotta dal brillante fisico J. Robert Oppenheimer. Oppenheimer non era evidentemente interessato nella politica ma diventò dolorosamente consapevole di ciò che egli percepiva come una minaccia grave alla civiltà occidentale a partire dal Terzo Reich, una minaccia sicuramente grave a causa della possibilità che Hitler potesse ottenere armamenti nucleari. Stimolato da questa preoccupazione, portò le sue caratteristiche di forte intelletto, passione per la fisica, e di leadership carismatica a Los Alamos e condusse un rapido e fruttuoso sforzo con l'incredibile unione di grandi menti per inventare velocemente la bomba.

Ciò che sorprende è come questi sforzi siano continuati così naturalmente dopo che era stato rimosso l'iniziale impeto.
In una riunione poco dopo il V-E Day con alcuni fisici che sentivano che forse gli sforzi dovevano essere finiti, Oppenheimer insistette per continuare. La sua dichiarata ragione sembrava un po' strana: non era per la paura di molte vittime dovute ad una invasione del Giappone, ma perché le Nazioni Unite, che da li a poco sarebbero state costituite, dovevano avere una pre-conoscenza delle armi atomiche. Una ragione più probabile per cui il progetto continuò è dovuta al momentum che lo costituì - il primo test atomico, Trinity, era quasi a portata di mano.

Sappiamo che preparando questo primo test atomico i fisici procedettero nonostante un gran numero di possibili pericoli. Inizialmente erano preoccupati, basandosi su un calcolo di Edward Teller, che un'esplosione atomica poteva incendiare l'atmosfera. Un calcolo rivisto, ridusse il pericolo di distruzione del mondo ad un terzo di un milione di possibilità. (Teller dice che più tardi era in grado di smentire completamente la prospettiva di combustione atmosferica). Oppenheimer, benchè fosse abbastanza preoccupato per i risultati di Trinity dispose per una possibile evacuazione della parte Sudovest dello Stato del New Mexico. E, naturalmente, c'era il chiaro pericolo di un inizio alla corsa di armi nucleari.
Entro un mese dal primo test di successo, 2 bombe atomiche distrussero Hiroshima e Nagasaki. Alcuni scienziati suggerirono che le bombe dovevano essere semplicemente dimostrate, piuttosto che buttate sulle città giapponesi - dicendo che questo avrebbe migliorato la possibilità di controllo delle armi dopo la guerra - ma senza alcun esito.
Con la tragedia di Pearl Harbor ancora fresco nelle menti americane, sarebbe stato molto difficile per il presidente Truman di ordinare una dimostrazione di armi piuttosto che usarle come ha fatto - il desiderio di finire velocemente la guerra e salvare le vite che sarebbero state perse in un'invasione del Giappone era molto forte. Ma, la sovrastante verità venuta era probabilmente molto semplice: Come disse il fisico Freeman Dyson più tardi: "La ragione per cui è stata buttata fu che nessuno ebbe il coraggio o la previsione di dire no".
E' importante rendersi conto come erano attoniti i fisici in seguito al bombardamento di Hiroshima, il 6 Agosto del 1945. Essi descrissero una serie di onde di emozioni: prima un senso di soddisfazione che la bomba aveva funzionato, poi l'orrore per tutta la gente che era stata uccisa, e ancora un convincente sentimento che per nessuna ragione un'altra bomba doveva essere buttata. Ma naturalmente un'altra bomba fu lanciata, su Nagasaky, solo tre giorni dopo il bombardamento di Hiroshima.
Nel novembre del 1945, tre mesi dopo il bombardamento atomico, Oppenheimer si pose fermamente dietro la posizione scientifica, dicendo: "Non è possibile essere uno scienziato senza credere che il sapere del mondo, e il potere che gli conferisce, è cosa di intrinseco valore per l'umanità, e che lo stai usando per aiutare l'espansione della conoscenza e sei disposto ad accettarne le conseguenze".

Oppenheimer cominciò a lavorare, con altri, al rapporto Acheson-Lilienthal, il quale, come disse Richard Rhodes in un suo recente libro, " Visions of Technology" - "Trovata una via per prevenire la corsa all'armamento nucleare clandestino senza risultare ai governi armati mondiali"; il loro suggerimento era di rinuncia del lavoro sulle armi nucleari per gli stati - nazione ad una agenzia Internazionale.
Questa proposta condusse al Progetto Baruch, il quale fu sottomesso alle Nazioni Unite nel giugno del 1946 ma mai adottato (forse perché, come suggeriva Rhodes, Bernard Baruch aveva "insistito nel seppellire il progetto di sanzioni convenzionali", per cui inevitabilmente rovinandolo, anche se sarebbe stato "quasi certamente rigettato in ogni caso dalla Russia Stalinista"). Altri sforzi per favorire passi intelligenti verso l'internazionalizzazione del potere nucleare per prevenire una corsa agli armamenti si condussero in contrasto sia con la politica statunitense e l'interna diffidenza, o sospetto dei Sovietici. L'opportunità di sfuggire alla corsa alle armi fu persa, e molto velocemente.
Due anni più tardi, nel 1948, Oppenheimer sembrava aver raggiunto un altro stato nel suo pensiero, dicendo: "In uno strano crudo senso che nessuna volgarità, nessun humor, nessuna dichiarazione può estinguere, i fisici hanno conosciuto il peccato; e questo è un sapere che non possono perdere".

Nel 1949, i Sovietici esplosero una bomba atomica. Dal 1955, sia gli USA che Unione Sovietica, testarono bombe all'idrogeno adatte al rifornimento aereo. E così iniziò la corsa alle armi nucleari.
Circa 20 anni fa, nel documentario "The Day After Trinity", Freeman Dyson riassunse le posizioni scientifiche che ci portarono al precipizio nucleare.
"Io stesso l'ho sentito. Lo splendore delle armi nucleari. E' irresistibile, se vieni a loro come scienziato. Sentirlo che è li, nelle tue mani, sentire questa energia che irrora le stelle, lasciandogli fare la tua preghiera.
Di fare questi miracoli, di alzare milioni di tonnellate di pietre verso il cielo. E qualcosa che da alla gente un'illusione di un illimitato potere, ed è, in alcun modo, responsabile di tutti i nostri guai - questo, che potreste chiamare arroganza tecnicistica, che soggioga le persone quando realizzano cosa possono fare con le loro menti.(8)

Oggi, come allora, siamo creatori di nuove tecnologie e stelle del futuro immaginato, guidati - questa volta da grandi ricompense finanziarie e competizioni globali - nonostante i chiari pericoli, difficilmente valutando come possa essere provare a vivere in un mondo che è il realistico risultato di ciò che stiamo creando e immaginando.

Nel 1947, The Bulletin of the Atomic Scientists cominciò a mettere il Doomsday Clock (l'orologio del giorno del giudizio) sulla sua copertina.
Per oltre 50 anni, ha dimostrato una valutazione dei pericoli relativi al nucleare che abbiamo di fronte, riflettendo le mutevoli condizioni internazionali. Le lancette dell'orologio sono state mosse 15 volte e oggi, a nove minuti a mezzanotte, riflettono il continuo e reale pericolo delle armi nucleari. La recente aggiunta dell'India e del Pakistan alla lista dei detentori del potere nucleare ha aumentato la minaccia di fallimento dell'obiettivo di nonproliferazione, e questo pericolo era apparso muovendo le lancette più vicino alla mezzanotte nel 1998.
Ai giorni nostri, quanti pericoli abbiamo di fronte, non solo dagli armamenti nucleari, ma da tutte queste tecnologie? Quanto è alto il rischio di estinzione?

Il filosofo Jhon Leslie ha studiato queste domande e ha concluso che il rischio di estinzione umana è almeno il 30% (9), mentre Ray Kurzweil crede che abbiamo "una migliore opportunità di farcela, con l'obiezione per cui è sempre stato accusato di essere ottimista. Non solo queste previsioni non sono incoraggianti ma non includono neanche la possibilità di alcuni orrendi risultati vicini all'estinzione.

Confrontati con tali asserzioni alcune persone serie suggeriscono di andarsene dalla terra al più presto possibile. Colonizzeremo la galassia utilizzando le sonde? di Von Neumann che passano da sistema stellare a sistema stellare. Per questo passo saranno necessari 5 miliardi di anni da ora (o al più presto se il nostro sistema solare sarà disastrosamente colpito dall'imminente collisione della nostra galassia con la galassia di Andromeda nei prossimi 3 miliardi di anni. Ma se prendiamo per buona la parola di Kurzweil e Moravec ciò potrebbe essere necessario per la metà di questo secolo.
Quali sono qui le implicazioni morali?
Se dobbiamo andarcene dalla terra così presto affinchè sopravviva la nostra specie, chi accetterà la responsabilità per il destino di coloro (alla fine quasi tutti noi) che saranno lasciati indietro?
Anche se ci sparpagliamo nelle stelle, non è probabile che ci porteremo i nostri problemi con noi o che più tardi ci raggiungeranno? Il destino della nostra specie sulla terra o il destino sulle galassie sembrano inestricabilmente congiunti.
Un'altra idea è di innalzare una serie di scudi per difendersi contro ciascuna delle tecnologie pericolose. L'Iniziativa di Difesa Strategica, proposta dall'Amministrazione Reagan, fu un tentativo di progettare uno scudo contro la minaccia di un attacco nucleare da parte dell'Unione Sovietica. Ma come osservò Arthur C. Clarke, interessato a trattare sul progetto: "Benchè fosse possibile, una immensa spesa per costruire sistemi di difesa locale che avrebbero lasciato passare "solo" una piccola percentuale di missili balistici, la più sollecitata idea di un ombrello nazionale era assurda-senza-senso.
Luis Alvarez, forse il più grande fisico sperimentale di questo secolo, mi fece notare che i difensori di questi schemi erano "tipi molto chiari con un senso non comune".
Clarke continuava: "Guardando dentro la mia sfera di cristallo spesso nebulosa, sospetto che una totale difesa potrebbe infatti essere possibile tra più o meno un secolo. Ma la tecnologia in questione produrrebbe, come un effetto collaterale, armi così terribili che nessuno perderebbe tempo con qualcosa come missili balistici primitivi". (10)

In "Engines of Creation", Eric Drexler propose che noi avremmo costruito uno scudo di difesa attivo nanotecnologico - una forma di sistema immunitario per la biosfera - per difendersi contro i pericolosi replicatori di ogni tipo che possono sfuggire dai laboratori o essere creati con malintenzione. Ma lo stesso scudo proposto sarebbe estremamente pericoloso - niente potrebbe impedirgli sviluppare problema autoimmuni e di attaccare la stessa biosfera. (11)

Simili difficoltà concernono la costruzione di scudi contro l'ingegneria genetica e la robotica. Queste tecnologie sono troppo potenti per crearsi uno scudo in tempo necessario.
Anche se fosse possibile implementare scudi di difesa, gli effetti collaterali del loro sviluppo sarebbero tanto pericolosi quanto le tecnologie da cui ci vogliamo difendere.
Tutte queste possibilità sono indesiderabili o irrealizzabili o entrambi. L'unica alternativa realistica che io vedo è la rinuncia: limitare lo sviluppo delle tecnologie che sono troppo pericolose, limitando la nostra aspirazione a certi tipi di conoscenza.
Si, lo so, il sapere è buono, visto che è la ricerca di nuove verità. Noi stiamo cercando la conoscenza da tempi antichi. Aristotele apriva la sua "Metafisica" con una semplice espressione: "Tutti gli uomini per loro natura desiderano sapere". Abbiamo come principio fondamentale nella nostra società, concordato a lungo sul valore dell'accesso libero all'informazione e riconosciuto quali problemi sorgono col tentativo di limitare l'accesso alla conoscenza ed il suo sviluppo.
Negli ultimi tempi, siamo arrivati ad onorare il sapere scientifico.
Ma nonostante i forti precedenti storici, se l'accesso allo sviluppo illimitato della conoscenza d'ora in avanti ci pone tutti in serio pericolo di estinzione, allora il buon senso richiede che rivediamo di nuovo le nostre basi, convinzioni a lungo sostenute.  Era Nietzsche ad ammonirci, alla fine del 19esimo secolo, non solo che Dio era morto ma che "la fiducia nella scienza, che tuttavia esiste innegabilmente, non può avere le sue origini da un calcolo di utilità; deve essere stata originata a prescindere dal fatto che l'inutilità e la pericolosità della volonta di "verità" "verità ad ogni prezzo" gli sia provata costantemente". Questo successivo pericolo con cui adesso ci imbattiamo completamente - le conseguenze della nostra ricerca di verità. La verità che la scienza ricerca può certamente essere considerata un sostituto pericoloso di Dio se è possibile che ci conduca alla nostra estinzione.
Se potessimo concordare, come specie, che cosa volessimo, dove vogliamo arrivare, e perché, allora il nostro futuro sarebbe molto meno pericoloso - allora potremmo capire che cosa possiamo e vorremmo abbandonare. Altrimenti possiamo facilmente immaginare la corsa agli armamenti sulle tecnologie GNR, così come è successo con le tecnologie NBC nel 20esimo secolo. Questo è forse il rischio più grande, una volta iniziata tale corsa, è molto difficile terminarla.
Questa volta - a differenza del Progetto di Manhattan - non siamo in guerra, di fronte ad un implacabile nemico che minaccia la nostra civiltà; siamo guidati, invece, dalle nostre abitudini, i nostri desideri, il nostro sistema economico, e la nostra necessità competitiva di sapere.
Credo che tutti desideriamo che il nostro destino sia determinato dai nostri valori collettivi, etici e morali. Se avessimo acquistato più saggezza collettiva nelle passate migliaia di anni, allora un dialogo verso questo fine sarebbe molto più pratico, e l'incredibile potere che stiamo per scatenare non sarebbe poi così preoccupante.

Uno tenderebbe a pensare che tale dialogo sarebbe condotto dal nostro istinto di auto conservazione.
Gli individui chiaramente hanno questo desiderio, però come specie il nostro comportamento sembra non essere a nostro favore. Confrontandoci con la minaccia nucleare, spesso abbiamo parlato in modo disonesto-sleale incrementando enormemente i rischi. Se questo era politicamente motivato, o perche abbiamo preferito non pensarci, o perché quando di fronte a tali minacce abbiamo agito irrazionalmente per la paura, io non lo so, comunque non è un buon presagio.
Il nuovo vaso di Pandora di genetica, nanotecnologia, e robotica è quasi aperto, però non lo abbiamo notato. Le idee non possono essere ricacciate nel vaso; a differenza dell'uranio o il plutonio, non devono essere minate o raffinate, e possono essere liberamente copiati. Una volta fuori, sono fuori. Churchill fece notare, in un suo famoso complimento "di sinistra", che il popolo americano e i loro leaders "invariabilmente fanno la cosa giusta, dopo che hanno esaminato ogni altra alternativa". In questo caso tuttavia, dobbiamo agire previdentemente, visto che fare la cosa giusta in ultima istanza potrebbe significare perdere la possibilità di fare qualsiasi cosa.

Come ha detto Thoreau, "Non viaggiamo sulle rotaie; sono le rotaie che viaggiano su di noi;" e questo è ciò che dobbiamo combattere, nel nostro tempo. La questione invece è:
Chi deve essere il dominatore? Sopravviveremo alle nostre tecnologie?

Siamo spinti avanti in questo nuovo secolo senza nessun piano, nessun controllo, senza freni. Siamo già andati troppo in la' per cambiare direzione?
Io non credo, ma non stiamo ancora provando, e l'ultima possibilità per affermare il controllo - il punto di infallibilità - si avvicina velocemente. Abbiamo i nostri primi robot domestici, come pure tecniche di ingegneria genetica commercialmente disponibile, e le nostre tecniche nanoscale stanno progredendo rapidamente.

Mentre lo sviluppo di queste tecnologie procede attraverso un grande numero di passi, non è dovuto che - come è successo nel Progetto Manhattan e nel Test Trinity - l'ultimo passo nel dimostrare la validità di una tecnologia sia grande e difficile. La rottura verso l'auto-replicazione selvaggia della robotica, l'ingegneria genetica, o la nanotecnologia potrebbe arrivare all'improvviso, ravvivando la sorpresa che sentimmo quando venimmo a conoscenza per la prima volta della clonazione dei mammiferi.
E ancora credo che non abbiamo una base forte e solida per sperare. I nostri tentativi di trattare con le armi di distruzione di massa nell'ultimo secolo sono un brillante esempio di rinuncia che ci fa riflettere: l'abbandono unilaterale statunitense, incondizionato, di sviluppo di armi biologiche.
Questa rinuncia emerse una volta realizzato, che mentre sarebbe stato un sforzo enorme creare queste terribili armi, avrebbero potuto da li in poi facilmente essere duplicate e cadere nelle mani di nazioni nemiche o gruppi terroristici.
La chiara conclusione fu che avremmo creato ulteriori minacce comprando queste armi, e che sarebbe stato più sicuro non comprarle. Abbiamo sussunto il nostro abbandono delle armi chimiche e biologiche nel 1972 con la Convenzione delle Armi Biologiche (BWC) e nel 1993 con la Convenzione delle Armi Chimiche (CWC). (12)

Per quanto riguarda la continua minaccia delle armi nucleari, con cui abbiamo vissuto ormai per circa più di 50 anni, il rifiuto del senato Statunitense del Comprehensive Test Ban Treaty chiarisce che l'abbandono delle armi nucleari non sarà politicamente facile. Ma abbiamo solo una opportunità, con la fine della guerra fredda, di contrastare una corsa alle armi multipolare.
In base agli abbandoni della BWC e CWC, il successo dell'abolizione di armi nucleari potrebbe aiutarci a costruire l'abitudine ad abbandonare tecnologie pericolose. (Attualmente, disfacendosi di tutte, tranne 100 armi nucleari, mondialmente - all'incirca l'intero potere distruttivo della II Guerra Mondiale - potremmo eliminare il pericolo di estinzione). (13)

Verificarne l'abbandono sarebbe un problema difficile, ma non irrisolvibile. Siamo fortunati ad aver già fatto parecchio lavoro importante nel contesto di BWC ed altri accordi. Il nostro principale compito sarà di applicare questo alle tecnologie che sono naturlamente molto più commerciali che militari. Il bisogno sostanziale è della trasparenza giacchè la difficoltà di verifica è direttamente proporzionale alla difficoltà di distinzione tra attività legittime e le restanti.

Francamente credo che la situazione nel 1945 era più facile di quella con cui ci confrontiamo ora: le tecnologie nucleari erano ragionevolmente separabili tra uso commerciale e militare, e il monitoraggio era facilitato dalla stessa natura dei test atomici e dalla facilità con cui poteva essere misurata la radio-attività.
La ricerca su applicativi militari poteva essere condotta in laboratori nazionali come Los Alamos, con i risultati mantenuti segreti al più lungo possibile.
Le tecnologie GNR non si dividono chiaramente in utilizzo commerciale o militare; dato il ,loro potenziale nel mercato è difficile immaginarne l'acquisto nei soli laboratori statali. Con la loro diffusa richiesta commerciale, costringere alla rinuncia richiederà un regime di verifica simile a quello per le armi biologiche ma ad una livello senza precedenti. Questo inevitabilmente aumenterà la tensione tra la nostra privacy ed il desiderio di informazioni proprietarie, e la necessità di verifica per proteggerci tutti.
Senza dubbio incontreremo una forte resistenza a questa perdita di privacy e libertà di azione.

La verifica della rinuncia di certe tecnologie GNR dovrà avvenire nel cyberspazio quanto nel mondo fisico. Il punto critico sarà di creare la necessaria trasparenza in mondo di informazioni di proprietà, presumibilmente provvedendo a nuove forme di protezione sulla proprietà intellettuale.
Verificare la messa a norma richiederà che gli scienziati e gli ingegneri, adottino un forte codice di condotta etica, richiamando il giuramento di Ippocrate, avranno il coraggio imporsi quando necessario anche ad un alto rischio personale.
Questo risponderebbe alla chiamata - 50 anni dopo Hiroshima - del Premio Nobel Hans Bethe, uno dei più anziani membri viventi del Manhattan Project, che dice "cessate il lavoro, desistete dal creare, sviluppare, migliorare e produrre armi nucleari o altre armi con la potenzialità di distruzione di massa".
Nel 21° secolo ciò richiede vigilanza, responsabilità personale da parte di coloro che lavorerebbero sia con tecnologie NBC e GNR per evitare l'imlementazione di armi di distruzione di massa e la distruzione di massa abilitata dal sapere.

Thoreau diceva anche che saremmo "ricchi in proporzione al numero di cose di cui possiamo fare a meno" Ognuno di noi cerca la felicità, ma sembrerebbe opportuno chiederci se dobbiamo rischiare così tanto, la totale distruzione, per acquisire ancora più sapere e più cose; il buon senso dice che c'è un limite alle nostre necessità materiali e che alcuni saperi sono troppo pericolosi quindi meglio dimenticati.
Non dovremmo nemmeno ricercare una vicina immortalità senza considerarne i costi, senza considerare il commisurato incremento del rischio di estinzione . L'immortalità, mentre forse è originale, non è certamente il solo possibile sogno utopico.
Recentemente ho avuto la fortuna di incontrare lo stimato autore Jacques Attali, di cui il libro "Lignes d'horizons" (Millennium, nella traduzione in inglese) ha aiutato a ispirare l'approccio Java e Jini dell'arrivo dei computer pervasivi, come descritti precedentemente in questa rivista. Nel suo nuovo libro "Fraternites", Attali descrive come i nostri sogni di utopia siano cambiati nel tempo:

"All'alba delle società, gli uomini videro il loro passaggio sulla terra come niente di più che un labirinto di dolore, alla fine della quale vi è posta una porta che conduce, attraverso la loro morte, alla compagnia degli Dei e dell'eternità. Con i giudei e poi con i greci, alcuni uomini osarono liberarsi dai comandamenti teologici e sognarono di una Città ideale dove sarebbe prosperata la libertà. Altri, notando lo sviluppo della società mercato, capirono che la libertà di qualcuno avrebbe potuto recare l'alienazione di altri, e cercarono l'Eguaglianza".

Jacques mi aiutò a capire come questi tre diversi obiettivi utopici esistono con molta tensione nelle nostre società di oggi. Poi prosegue descrivendo la quarta utopia, Fraternità, di cui il fondamento è l'altruismo. Fraternità da sola è associata a felicità individuale con la felicità di altri, fornendo la promessa di autosostentamento.
Questo ha cristallizzato il mio problema con il sogno di Kurzweil. Un approccio tecnologico all'eternità - una vicina immortalità attraverso la robotica - potrebbe non essere l'utopia più desiderabile, e la sua aspirazione porta chiari pericoli. Forse dovremmo riconsiderare le nostre scelte utopiche.
Dove possiamo cercare una nuova etica di base per situare il nostro percorso? Ho trovato le idee incluse nel libro "Ethics for the new Millenium", del Dalai Lama, molto utili. Mentre è molto conosciuto, ma poco ascoltato, il Dalai Lama dice che la cosa più importante è per noi condurre la nostra vita con amore e compassione per gli altri, e che le nostre società hanno bisogno di sviluppare una nozione più forte di responsabilità universale e della nostra interdipendenza; egli propone uno standard di condotta eticamente positiva per individui e società che sembrano consonanti con l'utopia di Fraternità di Attali.
Il Dalai Lama continua argomentando che dobbiamo capire cos'è che fa felice la gente, e ammette la forte evidenza che né il progresso materiale nè l'aspirazione del potere di conoscenza è la chiave - che ci sono limiti a quello che la scienza e l'aspirazione scentifica da sola può fare.
La nostra nozione occidentale di felicità sembra provenire dai Greci, che la definiscono come "l'esercizio del potere vitale lungo binari di eccellenza in una vita che comprenda il loro scopo". (15)

Chiaramente, dobbiamo trovare significative sfide e sufficienti scopi nella nostra vita se vogliamo essere felici nonostante ciò che verrà. Ma credo che dobbiamo trovare sbocchi alternativi per le nostre forze creative, al di la della cultura di crescita economica eterna; questa crescita è stata certamente una benedizione per centinaia di anni, ma non ci ha portato pura felicità e ora dobbiamo scegliere tra aspirazioni di libretà e sviluppo indiretto attraverso scienza e tecnologia con i pericoli che lo accompagna.(10)

E' passato più di un anno dal mio primo incontro con Ray Kurzweil e John Searle. Vedo intorno a me un motivo per avere la speranza nelle voci per la cautela e nella rinuncia e in quelle persone che ho scoperto preoccupate come me sulla nostra attuale condizione. Provo, anch'io, un profondo senso di responsabilità personale - non per il lavoro che ho già fatto, ma per il lavoro che dovrò ancora fare, al punto di confluenza delle scienze.
Ma molte altre persone che conoscono i pericoli tuttavia sembrano stranamente silenziose. Se sollecitate , se ne escono con "non c'è niente di nuovo" - come se la consapevolezza di ciò che potrebbe accadere fosse una risposta sufficiente. Mi dicono, ci sono università piene di bioetici che studiano questo, tutto il giorno. Dicono, "tutto questo è stato scritto da prima, e da esperti". Si lamentano, le tue preoccupazioni e i tuoi argomenti sono scarpe vecchie.

Non so dove questa gente nasconde la paura. Come architetto di sistemi complessi entro in questa arena come un generico. Ma questo dovrebbe diminuire le mie preoccupazioni? Sono consapevole di quanto sia stato scritto, detto e letto su questo in modo così autorevole. Ma questo significa che ha raggiunto persone? Questo significa che possiamo sminuire i pericoli che abbiamo davanti?
Il sapere non è un movente per non agire. Possiamo dubitare che il sapere sia diventata un'arma che maneggiamo contro noi stessi?
Le esperienze degli scienziati atomici dimostrano chiaramente la necessità di prendere responsabilità personali, il pericolo che le cose si muoveranno troppo velocemente, e il modo in cui un processo può prendere vita propria. Noi possiamo, come loro, creare problemi insormontabili in pochissimo tempo. Dobbiamo pensare di più in anticipo se non vogliamo essere sorpresi e colpiti dalle conseguenze delle nostre invenzioni.
Il mio continuo lavoro professionale è migliorare la affidabilità del software. Il software è uno strumento, e come progettista di tali strumenti devo sforzarmi a controllare gli utilizzi degli strumenti che faccio. Ho sempre creduto che facendo i software più affidabili, dati i suoi utilizzi, avrebbero reso il mondo più sicuro e un posto migliore; se dovessimo arrivare a pensare al contrario, allora sarei moralmente obbligato a fermare il mio lavoro. Posso immaginare che tale giorno arriverà.

Tutto questo non mi lascia arrabbiato ma un po' malinconico. D'ora in poi, per me, il progresso sarà alquanto agrodolce.
Vi ricordate la penultima e bellissima scena in "Manhattan", dove Woody Allen sta sdraiato sul suo lettino parlando al registratore? Sta scrivendo una piccola storia sulla gente che sta creando inutili neurotici problemi a se stessa, perché li trattiene dal confrontarsi con i più irrisolvibili e terrificanti problemi sull'universo.
Guida se stesso a chiedersi: "Perché la vita merita di essere vissuta?" e considera cosa vale la pena per loro: Groucho Marx, Willie Mays, il secondo movimento della Jupiter Symphony, la registrazione di Louis Armstrong di "Potato Head Blues", i film svedesi, l'educazione sentimentale di Flaubert, Marlon Brando, Frank Sinatra, le mele e le pere di Cezanne, i granchi a Sam Wo's, e, alla fine, il pezzo forte: la faccia del suo amore Tracy.

Ciascuno di noi ha le proprie cose preziose, e come le curiamo, localizziamo l'essenza della nostra umanità. Alla fine, è per la nostra grande capacità di avere cura che rimango ottimista nel credere che affronteremo i pericoli prodotti.
La mia immediata speranza è partecipare in una discussione molto più ampia sui problemi qui sollevati, con persone provenienti da diversi passati, modo non predisposto all'ansia o favorire tecnologie per il suo proprio interesse.
Come inizio ho doppiamente portato molti di questi problemi ad eventi sponsorizzati da l'Aspen Institute e ho separatamente proposto che l'Accademia Americana delle Arti e delle Scienze li prendesse come estensione del proprio lavoro con le Conferenze Pugwash. (Queste si tengono dal 1957 per discutere il controllo delle armi, specialmente delle armi nucleari, e per formulare regole fattibili).

E' una sfortuna che i meetings di Pugwash cominciati solo dopo il genio nucleare era uscito dalla lampada - all'incirca 15 anni dopo. Stiamo avendo anche un ritardo nell' indirizzare seriamente i problemi delle tecnologie del 21° secolo - la prevenzione del sapere abilitato alla distruzione di massa - e ulteriori ritardi sembrano inaccettabili.

Quindi sto ancora ricercando; ci sono ancora molte cose da imparare. Se siamo destinati ad aver successo o a fallire, sopravvivere o cadere vittime di queste tecnologie, non è ancora deciso.
Ed un altra volta rimango in piedi fino a tardi, sono circa le sei del mattino. Sto cercando di immaginare risposte migliori, per rompere l'incantesimo e liberarle dalla pietra.

1 The passage Kurzweil quotes is from Kaczynski's Unabomber Manifesto, which was published jointly, under duress, by The New York Times and The Washington Post to attempt to bring his campaign of terror to an end. I agree with David Gelernter, who said about their decision:

"It was a tough call for the newspapers. To say yes would be giving in to terrorism, and for all they knew he was lying anyway. On the other hand, to say yes might stop the killing. There was also a chance that someone would read the tract and get a hunch about the author; and that is exactly what happened. The suspect's brother read it, and it rang a bell.

"I would have told them not to publish. I'm glad they didn't ask me. I guess."

(Drawing Life: Surviving the Unabomber. Free Press, 1997: 120.)

2 Garrett, Laurie. The Coming Plague: Newly Emerging Diseases in a World Out of Balance. Penguin, 1994: 47-52, 414, 419, 452.

3 Isaac Asimov described what became the most famous view of ethical rules for robot behavior in his book I, Robot in 1950, in his Three Laws of Robotics:
1. A robot may not injure a human being, or, through inaction, allow a human being to come to harm.
2. A robot must obey the orders given it by human beings, except where such orders would conflict with the First Law.
3. A robot must protect its own existence, as long as such protection does not conflict with the First or Second Law.

Isaac Asimov descrisse ciò che divenne il più famoso punto di vista dei ruoli etici per il comportamento umano nel suo libro "IO, robot nel 1950", nelle sue tre leggi della Robotica: 1. Un robot non può arrecare nessun danno agli esseri umani, o attraverso inattività.

4 Michelangelo wrote a sonnet that begins:

Michelangelo scrisse un sonetto che inizia: Non ha l' ottimo artista alcun concetto Ch' un marmo solo in se non circonscriva Col suo soverchio; e solo a quello arriva La man che ubbidisce all' intelleto.

Stone translates this as:

The best of artists hath no thought to show which the rough stone in its superfluous shell doth not include; to break the marble spell is all the hand that serves the brain can do.

Stone describes the process: "He was not working from his drawings or clay models; they had all been put away. He was carving from the images in his mind. His eyes and hands knew where every line, curve, mass must emerge, and at what depth in the heart of the stone to create the low relief."

(The Agony and the Ecstasy. Doubleday, 1961: 6, 144.)

5 First Foresight Conference on Nanotechnology in October 1989, a talk titled "The Future of Computation." Published in Crandall, B. C. and James Lewis, editors. Nanotechnology: Research and Perspectives. MIT Press, 1992: 269. See also www.foresight.org/Conferences/MNT01/Nano1.html.

6 In his 1963 novel Cat's Cradle, Kurt Vonnegut imagined a gray-goo-like accident where a form of ice called ice-nine, which becomes solid at a much higher temperature, freezes the oceans.

7 Kauffman, Stuart. "Self-replication: Even Peptides Do It." Nature, 382, August 8, 1996: 496. See www.santafe.edu/sfi/People/kauffman/sak-peptides.html.

8 Else, Jon. The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb (available at www.pyramiddirect.com).

9 This estimate is in Leslie's book The End of the World: The Science and Ethics of Human Extinction, where he notes that the probability of extinction is substantially higher if we accept Brandon Carter's Doomsday Argument, which is, briefly, that "we ought to have some reluctance to believe that we are very exceptionally early, for instance in the earliest 0.001 percent, among all humans who will ever have lived. This would be some reason for thinking that humankind will not survive for many more centuries, let alone colonize the galaxy. Carter's doomsday argument doesn't generate any risk estimates just by itself. It is an argument for revising the estimates which we generate when we consider various possible dangers." (Routledge, 1996: 1, 3, 145.)

10 Clarke, Arthur C. "Presidents, Experts, and Asteroids." Science, June 5, 1998. Reprinted as "Science and Society" in Greetings, Carbon-Based Bipeds! Collected Essays, 1934-1998. St. Martin's Press, 1999: 526.

11 And, as David Forrest suggests in his paper "Regulating Nanotechnology Development," available at www.foresight.org/NanoRev/Forrest1989.html, "If we used strict liability as an alternative to regulation it would be impossible for any developer to internalize the cost of the risk (destruction of the biosphere), so theoretically the activity of developing nanotechnology should never be undertaken." Forrest's analysis leaves us with only government regulation to protect us - not a comforting thought.

12 Meselson, Matthew. "The Problem of Biological Weapons." Presentation to the 1,818th Stated Meeting of the American Academy of Arts and Sciences, January 13, 1999.
(minerva.amacad.org/archive/bulletin4.htm)

13 Doty, Paul. "The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilization." Nature, 402, December 9, 1999: 583.

14 See also Hans Bethe's 1997 letter to President Clinton, at www.fas.org/bethecr.htm.

15 Hamilton, Edith. The Greek Way. W. W. Norton & Co., 1942: 35.