::: {#26c6 .section .section .section—body .section—first .section—last} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn}
为什么未来不需要我们（2000） {#1e17 .graf .graf—h3 .graf—leading .graf—title name=“1e17”}
原文是计算机科学家比尔·乔伊（Bill Joy）于2000年4月在《连线》（Wired）杂志上发表的文章《为什么未来不需要我们》（Why the Future Doesn’t Need Us）。
我们最强大的二十一世纪技术 --- --- 机器人技术、基因工程和纳米技术 --- --- 正威胁着让人类成为濒危物种。
自从我参与创造新技术的那一刻起，它们的伦理层面就一直令我关切，但直到 1998 年秋天，我才焦虑地意识到，21 世纪摆在我们面前的危险是多么巨大。我可以把这种不安的起点追溯到我遇见雷·库兹韦尔的那一天 --- --- 他理所当然地享有盛名，是第一台盲人阅读机以及许多其他令人惊叹之物的发明者。
雷和我都是乔治·吉尔德的”Telecosm”大会的演讲者，在我们各自的场次结束后，我在酒店的酒吧偶遇了他。我正和约翰·塞尔，一位研究意识的伯克利哲学家，坐在一起。我们交谈时，雷走了过来，谈话就此展开，其主题至今仍萦绕在我心头。
我错过了雷的演讲以及随后他与约翰共同参加的小组讨论，而他们此刻正从中断处接着聊。雷说，技术进步的速度将会加快，我们将会变成机器人，或者与机器人融合，诸如此类；约翰则反驳说，这不可能，因为机器人不可能拥有意识。
尽管我以前也听过类似的说法，但我一直觉得有感知的机器人还停留在科幻领域。然而如今，从一位我尊敬的人口中，我听到了一个有力的论证：它们在不久的将来就有可能出现。尤其考虑到雷已经被证明具备想象和创造未来的能力，这令我大为震惊。我早已知道，诸如基因工程和纳米技术这样的新技术正在赋予我们重塑世界的力量，但关于智能机器人的一个现实且迫在眉睫的情景仍让我意外。
对这类突破，人们很容易产生麻木。几乎每天的新闻里我们都会听到某种技术或科学上的进展。然而这并不是普通的预言。在酒店的酒吧里，雷给了我一本他当时即将出版的书 The Age of Spiritual Machines 的部分预印本，其中勾勒了他所预见的一个乌托邦 --- --- 在人类与机器人技术合而为一之后获得近乎不朽。读完之后，我的不安感只会加剧；我确信他一定是在低估危险、低估沿着这条道路走下去出现糟糕结果的概率。
让我最为困扰的是一段描述反乌托邦情景的文字：
新卢德派挑战
首先，让我们假设计算机科学家成功开发出能够把所有事情都做得比人类更好的智能机器。在那种情况下，可以想见，一切工作都将由庞大且高度组织化的机器系统完成，人类不再需要付出任何劳动。可能发生两种情形。要么允许机器在无人监督的情况下自行作出全部决策；要么保留人类对机器的控制。
如果允许机器自行作出全部决策，我们无法对结果作出任何猜测，因为不可能预料此类机器会如何行为。我们只能指出，人类的命运将任由机器摆布。有人或许会辩称，人类绝不会愚蠢到把全部权力交给机器。但我们的意思既不是说人类会自愿把权力移交给机器，也不是说机器会故意夺取权力。我们的观点是，人类很可能会任由自己逐渐滑入对机器如此依赖的境地，以致在现实中别无选择，只能接受机器作出的所有决策。随着社会及其所面临的问题日益复杂，而机器也日益智能，人们会让机器替他们作出更多决策，单纯因为机器作出的决策比人类作出的能带来更好的结果。最终可能会到来这样一个阶段：为使系统维持运转所必需的决策复杂到人类已无法以理性方式作出。在那时，机器将处于事实上的控制地位。人们将无法仅仅把机器关掉，因为他们对机器的依赖已达如此程度，以至于关掉机器无异于自杀。
另一方面，人类对机器的控制也有可能得以保留。在这种情况下，普通人也许能够控制自己某些私人机器，比如他的汽车或个人计算机，但对大型机器系统的控制权将掌握在一小撮精英手中 --- --- 就像今天一样，但会有两个不同之处。由于技术改进，精英将对大众拥有更强的控制力；而且由于不再需要人类劳动，大众将成为多余之物，是系统的无用负担。如果精英冷酷无情，他们可能会干脆决定消灭大多数人类。如果他们有人道主义，他们可能会利用宣传或其他心理或生物技术来降低出生率，直到大多数人类灭绝，把世界留给精英。或者，如果这些精英由心软的自由派组成，他们可能会决定扮演其余人类的好牧人。他们会设法确保每个人的物质需求得到满足，所有儿童都在心理卫生的条件下被抚养长大，每个人都有一种健康的爱好让他忙碌起来，任何可能变得不满的人都要接受”治疗”，以治愈他的”问题”。当然，生活会变得如此毫无目的，以至于人们不得不在生物学或心理学上被工程化改造，要么消除他们对”权力过程”的需要，要么使他们将对权力的驱动力”升华”为某种无害的爱好。这样的工程化人类也许会在这种社会中感到幸福，但他们几乎可以肯定不会是自由的。他们将被降格为家畜的地位。
在书里，直到你翻过这一页，你才会发现这段文字的作者是西奥多·卡钦斯基 --- --- “独行炸弹客”（the Unabomber）。我绝不是为卡钦斯基辩护的人。他的炸弹在长达 17 年的恐怖活动中杀死了三个人，并伤害了许多其他人。他的一枚炸弹严重伤害了我的朋友戴维·格勒恩特，他是我们这个时代最杰出、最具远见的计算机科学家之一。和许多同事一样，我觉得我很容易就会成为”独行炸弹客”的下一个目标。
卡钦斯基的行为是杀戮性的，而且在我看来，属于刑事意义上的疯狂。他显然是一个卢德派，但仅仅这样说并不能驳倒他的论证；尽管让我承认这一点很困难，我还是在这段文字的推理中看到了某些道理。我觉得有必要直面它。
卡钦斯基的反乌托邦愿景描述了”意料之外的后果” --- --- 这是技术设计与使用中的一个众所周知的问题，并且显然与墨菲定律有关 --- --- “凡是可能出错的事都会出错。“（其实，这叫菲纳格尔定律，而这本身就表明菲纳格尔是对的。）我们对抗生素的过度使用已经导致了迄今可能是最大的问题：耐抗生素且更危险的细菌的出现。类似的事情也发生在用 DDT 消灭疟蚊的尝试上，这导致它们获得了对 DDT 的抗性；疟原虫同样获得了多药耐药基因。
许多此类令人惊讶的意外之因似乎很清楚：所涉系统十分复杂，包含诸多部件之间的相互作用与反馈。对这类系统的任何变动都会以难以预测的方式层层级联；在人类行为介入时尤其如此。
我开始把《灵魂机器的时代》（The Age of Spiritual Machines）中卡钦斯基的那段引文拿给朋友们看；我会把库兹韦尔的书递给他们，让他们读那段话，然后在他们发现作者是谁时观察他们的反应。大约同一时间，我读到了汉斯·莫拉维克（Hans Moravec）的《机器人：从单纯机器到超越心智》（Robot: Mere Machine to Transcendent Mind）。莫拉维克是机器人研究领域的领军人物之一，曾在卡内基梅隆大学创立了世界上最大的机器人研究项目。《机器人》这本书给了我更多可以拿来向朋友们”试验”的材料 --- --- 而这些材料竟然出人意料地支持卡钦斯基的论点。比如：
短期（2000 年代初）
生物物种在遭遇更强的竞争者时几乎从未能幸存。一千万年前，南美与北美之间被一条下沉的巴拿马地峡分隔。南美洲当时如同今日的澳大利亚，被有袋类哺乳动物所占据，其中包括带育儿袋的”鼠""鹿""虎”的对应物。当连接南北美的地峡隆起时，北方的胎盘类物种因其略为更有效的代谢、繁殖与神经系统，仅用几千年便取代并消灭了几乎所有南方的有袋类。
在一个完全自由的市场中，更优越的机器人必然会像北美胎盘类影响南美有袋类那样影响人类（也正如人类已影响了无数物种）。机器人产业将为物质、能量与空间彼此激烈竞争，并顺带把这些资源的价格推高到人类难以企及的地步。由于无力负担生活必需品，生物意义上的人类将被挤压至灭绝。
或许仍有一些回旋余地，因为我们并非生活在一个完全自由的市场中。政府会强制推行非市场行为，尤其是通过征税。若运用得当，这种政府强制力可以让人类长期以相当优渥的方式依靠机器人劳动的成果来维持人口。
这是一幅教科书式的反乌托邦景象 --- --- 而莫拉维克才刚刚进入状态。他接着讨论，我们在 21 世纪的主要工作将是通过立法规定它们必须”友善”，以”确保机器人产业继续合作”，并描述一个人”一旦被转化为一个不受限制的超级智能机器人”会有多么严重的危险。莫拉维克的观点是，机器人最终会接替我们 --- --- 人类显然面临灭绝。
我决定是时候与我的朋友丹尼·希利斯谈谈了。丹尼因共同创立思维机器公司（Thinking Machines Corporation）而成名，该公司建造了一台极为强大的并行超级计算机。尽管我目前在太阳微系统公司担任首席科学家，但与其说我是科学家，不如说是计算机架构师；在我所认识的人当中，我对丹尼在信息科学与物理科学方面的学识的尊重无人能及。丹尼还是一位备受推崇、着眼长远的未来学家 --- --- 四年前他创立了 Long Now 基金会，正在建造一座设计寿命为一万年的时钟，试图引起人们对我们社会可悲的短视的关注。
所以我特地飞到洛杉矶，与丹尼和他的妻子帕蒂共进晚餐。我按着自己已经熟悉的套路，把那些令我感到不安的观点和段落一一摆出来。丹尼给出的回答 --- --- 专门针对库兹韦尔关于人类与机器人融合的情景 --- --- 来得很快，也让我颇为意外。他只是简单地说，这些变化会逐步发生，而我们会习以为常。
不过我想我也并非完全感到意外。我在库兹韦尔的书里见过丹尼的一句话：“我和任何人一样喜欢我的身体，但如果我能以硅质之身活到 200 岁，我愿意。“看起来他对这一进程及其伴随的风险感到坦然，而我则不然。
在谈论和思考库兹韦尔、卡钦斯基与莫拉维克时，我突然想起了将近 20 年前读过的一部小说 --- --- 弗兰克·赫伯特的《白色瘟疫》（The White Plague） --- --- 书中一位分子生物学家因家人遭到毫无意义的谋杀而精神失常。为复仇，他构建并散播了一种新的、传染性极强的瘟疫，广泛杀戮但具有选择性。（我们很幸运，卡钦斯基是一名数学家，而不是分子生物学家。）我也想到了《星际迷航》里的博格 --- --- 一个由部分生物、部分机器人组成、带有强烈破坏倾向的蜂群体。类似博格的灾难是科幻的常见母题，那么为何我此前没有更担心这类机器人反乌托邦？为什么其他人也不更担心这些噩梦般的情景？
答案的一部分无疑在于我们对”新事物”的态度 --- --- 我们倾向于即时熟悉并不加质疑地接受。我们习惯了几乎成为常态的科学突破，却尚未正视这样一个事实：二十一世纪最具吸引力的技术 --- --- 机器人技术、基因工程和纳米技术 --- --- 所带来的威胁不同于以往的技术。具体而言，**机器人、工程化生物体和纳米机器人共享一个危险的”放大因子”：它们能够自我复制。**炸弹只能爆炸一次 --- --- 而一个机器人可以变成许多，很快就会失控。
过去 25 年里，我的大部分工作都与计算机网络有关，在那里消息的发送与接收为失控的复制创造了机会。但虽然在计算机或计算机网络中的复制会带来麻烦，最糟也不过是让一台机器失效，或让一个网络或网络服务瘫痪。而在这些更新的技术中，失控的自我复制带来的风险要大得多：它有可能在物理世界造成重大损害。
这些技术中的每一种也都蕴含着无尽的前景：库兹韦尔在其机器人梦想中所见的近乎永生的愿景推动我们前行；基因工程或许很快就能为多数疾病提供治疗，甚至彻底治愈；而纳米技术与纳米医学则能应对更多的病症。合在一起，它们可能显著延长我们的平均寿命，并提升我们的生活质量。然而，对于每一种技术，一系列细小、各自看来合理的进步，都会积累为巨大的力量，同时也伴随着巨大的危险。
20 世纪有什么不同？当然，大规模杀伤性武器（WMD） --- --- 核、生物和化学（NBC） --- --- 背后的技术十分强大，这些武器构成了巨大的威胁。但在至少一段时间里，制造核武器需要获取稀有 --- --- 事实上几乎不可获得 --- --- 的原材料和高度受保护的信息；生物和化学武器项目也往往需要大规模的活动。
21 世纪的技术 --- --- 基因技术、纳米技术和机器人技术（GNR） --- --- 强大到足以催生全新的事故与滥用类型。最危险的是，史无前例地，这些事故与滥用广泛落入个人或小团体的能力范围之内。它们不需要大型设施或稀有原材料。仅凭知识就能使用它们。
因此，我们面对的不仅是大规模杀伤性武器，还有由知识驱动的大规模毁灭（KMD），而这种破坏性又被自我复制的力量极大放大。
我认为，说我们正处在进一步臻于极端邪恶的关口上并不夸张 --- --- 这种邪恶的可能性远远超出了大规模杀伤性武器遗留给民族国家的范围，带来的是对极端个人一种令人惊骇和可怕的赋权。
-
我参与计算机的方式并没有任何迹象表明我将要面对这类问题。
我的一生被强烈的发问与求解需求所驱动。3 岁时我已经会读书了，所以父亲带我去了小学，我坐在校长的腿上给他读了一个故事。我提早入学，后来又跳了一级，并在书籍中逃离现实 --- --- 我对学习有着难以置信的动力。我问了很多问题，常常把大人问得不胜其烦。
青少年时期，我对科学与技术非常感兴趣。我想成为一名业余无线电爱好者（ham），但没有钱买设备。业余无线电是当时的”互联网”：非常令人上瘾，而且相当孤独。撇开金钱问题，我母亲也坚决反对 --- --- 我不可以玩业余无线电；我已经够不合群了。
我也许没有很多挚友，但我沉浸在思想之海。到了高中，我已经发现了那些伟大的科幻作家。我尤其记得海因莱因的《穿上航天服去旅行》（Have Spacesuit Will Travel）和阿西莫夫的《我，机器人》及其”机器人三定律”。我为对太空旅行的描写所着迷，想要一台望远镜来观星；既然我没有钱买或自己做一台，我就从图书馆借了关于自制望远镜的书来阅读，以此代替。我的想象在心中腾飞。
每逢周四晚上，父母去打保龄球，我们孩子就独自在家。那是吉恩·罗登贝瑞原版《星际迷航》播出的夜晚，这个节目对我影响很大。我开始接受它的观念：人类在太空中拥有一个”西部片式”的未来，充满伟大的英雄与冒险。罗登贝瑞对未来几个世纪的愿景承载着强烈的道德价值，这些价值体现在诸如”最高指令”（Prime Directive）之类的准则上：不干涉技术上较不发达文明的发展。这对我有着不可思议的吸引力；在这个未来里，占主导地位的是有伦理的人类，而不是机器人，我也把罗登贝瑞的梦想当作我自己梦想的一部分。
我在高中时数学成绩出众，进入密歇根大学攻读工科本科时，我选修了数学专业的高级课程。解数学题是令人兴奋的挑战，但当我发现计算机时，我找到了更有趣的东西：一种机器，你可以把试图解决问题的程序放进去，随后这台机器会迅速检验该解。计算机对对与错、真与假有清晰的观念。我的想法正确吗？机器可以告诉我。这极具诱惑力。
我很幸运地找到了一份为早期超级计算机编程的工作，并发现大型机器在数值模拟先进设计方面的惊人威力。20 世纪 70 年代中期我去加州大学伯克利分校读研时，开始熬夜，常常通宵，在机器内部发明新的世界。解决问题。编写那些似乎非写不可的代码。在欧文·斯通的米开朗基罗传记小说**《痛苦与狂喜》**（The Agony and the Ecstasy）中，斯通生动地描写了米开朗基罗如何把雕像从石头中”释放出来”， --- --- “打破大理石的魔咒”， --- --- 从他脑海中的形象雕刻而出。在我最狂喜的时刻，计算机中的软件也是以同样的方式显现出来的。一旦我在脑海中将其想象出来，我就觉得它已经在机器里了，只等着被释放。熬一整夜似乎是一个很小的代价，足以将它解放出来 --- --- 让这些想法获得具体的形态。
在伯克利的几年后，我开始把自己写的一些软件 --- --- 一个教学用的 Pascal 系统、Unix 实用程序，以及一个名为 vi 的文本编辑器（令我惊讶的是，二十多年后它仍被广泛使用） --- --- 寄给其他拥有类似的小型 PDP-11 和 VAX 计算机的人。这些软件上的冒险最终变成了 Unix 操作系统的伯克利版本，它成为我个人的一个”成功的灾难” --- --- 想要它的人太多，以至于我从未完成博士学位。相反，我找到了一份在 DARPA 工作的职位，让伯克利 Unix 接入互联网，并修复它使之可靠、并能很好地运行大型科研应用。所有这些都趣味无穷且回报丰厚。坦率地说，我在这里没有看到机器人，周遭也没有。
尽管如此，到 20 世纪 80 年代初，我已应接不暇。Unix 的多个发行版非常成功，我这一个人做的小项目很快就有了资金和一些员工，但在伯克利的问题一直是办公空间而不是资金 --- --- 项目所需的帮手没有地方容纳，所以当太阳微系统公司的其他创始人出现时，我立刻抓住机会加入了他们。在 Sun，漫长的工时延续到了工作站和个人计算机的早期年代，我也很享受参与创造先进的微处理器技术以及诸如 Java 和 Jini 等互联网技术。
从以上种种，我相信很清楚我并非卢德派。相反，我始终坚信科学对真理的探求之价值，以及伟大工程带来物质进步的能力。过去两百多年里，工业革命无法估量地改善了每个人的生活，而我一直期望自己的职业生涯能够一次解决一个真实问题，构建值得的解决方案。
我并未失望。我的工作产生的影响超出了我曾经的期望，被使用的广泛程度也超过了我合理能够预期的范围。**过去 20 年里，我仍在努力弄清如何让计算机达到我所期望的可靠性（它们离这个目标还远得很），以及如何让它们易于使用（这一目标相对而言成功更少）。**尽管取得了一些进展，但剩下的问题似乎更加艰巨。
不过，尽管我意识到在武器研究等领域，技术后果所引发的道德困境，但我没想到会在我自己的领域直面这类问题，或至少不会来得这么快。
或许当你身处变革的漩涡之中，总是很难看清更广泛的影响。当我们沉浸于发现与创新的狂喜之时未能理解自己发明的后果，似乎是科学家和技术人员的共同缺陷；长期以来，推动我们的是那种总括一切的求知欲 --- --- 这是科学探求的本性 --- --- 而未曾停下来注意到，通往更新、更强大技术的进步可能会获得某种”自我生命”，自行其是。
我早已意识到，信息技术的重大进步并非来自计算机科学家、计算机架构师或电气工程师的工作，而是来自物理学家。上世纪 80 年代初，物理学家斯蒂芬·沃尔夫勒姆（Stephen Wolfram）和布罗斯尔·哈斯拉赫（Brosl Hasslacher）向我介绍了混沌理论和非线性系统。在 1990 年代，我通过与丹尼·希利斯、生物学家斯图尔特·考夫曼（Stuart Kauffman）、诺贝尔奖得主物理学家默里·盖尔曼（Murray Gell-Mann）等人的交流，了解了复杂系统。最近，哈斯拉赫与电气工程师兼器件物理学家马克·里德（Mark Reed）一直在帮助我洞见分子电子学令人难以置信的可能性。
在我自己的工作中，作为三种微处理器架构 --- --- SPARC、picoJava 和 MAJC --- --- 的共同设计者，以及其若干实现的设计者，我得以对摩尔定律有深入而第一手的体会。数十年来，摩尔定律准确地预测了半导体技术改进的指数级速度。直到去年，我还认为摩尔定律所预测的进步速度可能仅能持续到大约 2010 年，届时将开始触及某些物理极限。我并不明确认为会有一种新技术能及时出现，以使性能得以平稳地继续提升。
但由于分子电子学 --- --- 在其中，单个原子与分子取代了通过光刻绘制的晶体管 --- --- 以及相关纳米尺度技术最近出现的快速而根本性的进展，我们应当能够在接下来的 30 年里达到或超过摩尔定律所预测的进步速度。到 2030 年，我们很可能能够批量制造出性能比当今个人计算机强大一百万倍的机器 --- --- 足以实现库兹韦尔和莫拉维克的梦想。
当这种巨大的计算能力与物理科学在操控能力方面的进展以及遗传学上新的、深刻的理解相结合时，巨大的变革力量正在被释放出来。这些结合为彻底重新设计世界 --- --- 无论是向好还是向坏 --- --- 打开了机会：迄今局限于自然界的复制与进化过程，即将成为人类努力的领域。
在设计软件与微处理器时，我从未有过自己在设计一种智能机器的感觉。软件与硬件是如此脆弱，而机器”思考”的能力又如此显然缺席，以至于即便只把它作为一种可能性来看，这一直都显得遥不可及。
但如今，随着在大约 30 年内实现与人类水平相当的计算能力的前景浮现，一个新的念头不禁跃然而生：**我或许正在致力于创造某些工具，使人们能够构建出可能取代我们物种的技术。**对此我有何感受？非常不安。在整个职业生涯中为构建可靠的软件系统而奋战之后，在我看来，这样的未来很可能不会像某些人想象的那样顺利。以我个人的经验来看，我们往往高估自己的设计能力。
鉴于这些新技术所具有的惊人力量，我们难道不该追问，如何才能与它们实现最佳共存吗？而如果我们自身的灭绝是技术发展的一种大概率 --- --- 甚至仅仅是一种可能 --- --- 的结果，我们难道不该格外谨慎地推进吗？
机器人的梦想首先在于：智能机器能够替我们完成工作，让我们过上闲适的生活，把我们带回伊甸园。然而，在乔治·戴森关于此类观念的历史著作 《机器中的达尔文主义》（Darwin Among the Machines） 中，乔治·戴森警告说：“在生命与进化的博弈中，桌旁有三位玩家：人类、自然与机器。我坚定站在自然一边。但我怀疑，自然站在机器一边。“正如我们所见，莫拉维克也同意这一点，他认为我们很可能无法在与更优越的机器人物种的遭遇中幸存。
这样一种智能机器人多久能被造出来？即将到来的计算能力提升似乎使其在 2030 年前后成为可能。而一旦有了智能机器人，迈向一个机器人物种只差一步 --- --- 迈向一种能够制造自身进化版复制体的智能机器人。
机器人的第二个梦想是：我们将逐步用机器人工程替代自身，通过下载我们的意识来实现近乎永生；这正是丹尼·希利斯认为我们会逐渐习以为常的过程，也是雷·库兹韦尔在 The Age of Spiritual Machines 中优雅细述的内容。（我们已经开始看到这一点的预兆，比如将计算机设备植入人体。）
但如果我们被下载进我们的技术里，那么此后我们仍然是我们自己、甚至仍然是人类的可能性有多大？在我看来，更有可能的是，机器人式的存在在我们所理解的任何意义上都不会像人类那样，这些机器人在任何意义上都不会是我们的”子女”，而在这条道路上，我们的人性很可能会丧失。
基因工程有望通过在减少农药使用的同时提高作物产量来革新农业；创造成千上万种新的细菌、植物、病毒和动物物种；以克隆取代或补充繁殖；为许多疾病创造治疗方法，从而延长我们的寿命并提高生活质量；以及远不止于此。我们如今可以确信，生物科学领域这些深刻的变革已迫在眉睫，并将挑战我们关于”生命是什么”的一切观念。
诸如人类克隆等技术尤其提升了我们对所面临的深刻伦理与道德问题的认识。比如，如果我们利用基因工程的力量把自己重新工程化为若干彼此分离且不平等的物种，那么我们就会威胁到民主之基石 --- --- 平等这一观念。
鉴于基因工程的惊人力量，它在应用中存在重大的安全问题也就不足为奇了。我的朋友阿莫里·洛文斯最近与亨特·洛文斯共同撰写了一篇社论，从生态学角度审视了这些危险中的一些。他们的担忧之一是：“新的植物学让植物的发展与其经济上的成功而非进化上的成功相一致。“（参见”A Tale of Two Botanies”）阿莫里的长期职业生涯专注于以整体系统视角来提升人造系统的能源与资源效率；这种整体系统视角常常能为原本看似棘手的问题找到简单而聪明的解决方案，在这里同样适用。
在读完洛文斯夫妇的社论后，我又在《纽约时报》（1999 年 11 月 19 日）上看到了格雷格·伊斯特布鲁克（Gregg Easterbrook）的一篇关于转基因作物的专栏，标题是：“未来的食物：总有一天，大米会内置维生素 A。除非卢德派赢了。“（Food for the Future: Someday, rice will have built-in vitamin A. Unless the Luddites win.）
阿莫里和亨特·洛文斯是卢德派吗？当然不是。我相信我们都会同意，只要在跨物种转移基因时以适当的谨慎和对潜在危险的尊重来开发，内置维生素 A 的”黄金大米”很可能是一件好事。
正如洛文斯夫妇的社论所反映的那样，公众对基因工程内在危险的意识开始增长。公众已经注意到、并对转基因食品感到不安，似乎也在否定这样一种主张：此类食品可以不进行标识。
但基因工程技术的发展已经非常深入。正如洛文斯指出的，美国农业部（USDA）已经批准了大约 50 种转基因作物的无限制释放；如今全球超过一半的大豆和三分之一的玉米都含有从其他生命形式中拼接进来的基因。
这里有许多重要议题，而我自己对基因工程的主要担忧更为狭窄：它赋予人们 --- --- 无论在军事上、意外中，还是在蓄意的恐怖行为中 --- --- 制造一场”白色瘟疫”的力量。
纳米技术的诸多奇迹最早由诺贝尔奖得主物理学家理查德·费曼在 1959 年的一次演讲中提出，后来以《There’s Plenty of Room at the Bottom》为题发表。对我在 80 年代中期影响很大的一本书是埃里克·德雷克斯勒（Eric Drexler）的《Engines of Creation》，他在书中优美地描述了：在原子层面操控物质如何能够创造一个物质丰裕的乌托邦未来，几乎任何东西都可以廉价制造，几乎任何可以想象的疾病或生理问题都能用纳米技术和人工智能来解决。
随后的一本书《Unbounding the Future: The Nanotechnology Revolution》，由德雷克斯勒合著，设想了在一个我们拥有分子层面”装配器”（assemblers）的世界里可能出现的一些变化。装配器可以让极其低成本的太阳能成为可能，通过增强人体免疫系统来治愈癌症和普通感冒，实现对环境的几乎完全净化，带来极其廉价的袖珍超级计算机 --- --- 事实上，任何产品都可以由装配器制造，其成本不会高于木材 --- --- 让太空旅行比当今的跨洋旅行更为触手可及，并使灭绝物种得以恢复。
我记得在读过《Engines of Creation》之后，对纳米技术感到很不错。作为一名技术人员，它带给我一种平静感 --- --- 也就是说，纳米技术向我们展示，难以置信的进步是可能的，而且也许是不可避免的。如果纳米技术是我们的未来，那么我就不会觉得当下必须迫切解决那么多问题。我终究会抵达德雷克斯勒所描绘的乌托邦式未来；那么我不妨此时此地多享受一点生活。按照他的愿景，老是通宵达旦就说不通了。
德雷克斯勒的愿景也带来了不少乐趣。我偶尔会向那些没听说过它的人描述纳米技术的奇迹。在用德雷克斯勒所描述的那些事吊足他们的胃口之后，我会布置一道我自己的作业：“用纳米技术创造一个吸血鬼；想要额外加分就再创造出一种解药。”
伴随这些奇迹而来的还有显而易见的危险，对此我十分敏感。正如我在 1989 年一次纳米技术会议上所说：“我们不能只是做科学而不去担心这些伦理问题。“但我随后与物理学家的对话使我相信，纳米技术也许根本行不通 --- --- 至少在短期内行不通。不久之后我搬到科罗拉多，去了我建立的一个”臭鼬工厂”，我的工作重心转向了互联网软件，具体来说，是那些后来发展为 Java 和 Jini 的理念。
随后，去年夏天，Brosl Hasslacher 告诉我，纳米尺度的分子电子学如今已经切实可行。对我来说（我想对许多人而言也是）这是新消息 --- --- 而它从根本上改变了我对纳米技术的看法。它把我带回去重读《Engines of Creation》。在时隔十多年后重读德雷克斯勒的作品时，我沮丧地意识到自己几乎不记得那部分冗长的章节《危险与希望》（Dangers and Hopes），其中包括关于纳米技术如何可能成为”毁灭之引擎”的讨论。事实上，如今重读这些带有警示意味的材料时，我震惊于德雷克斯勒的一些安全护栏设想竟显得如此天真，而我如今认为的危险程度比他当年看上去的判断还要大得多。（在预见并描述了纳米技术的许多技术与政治问题之后，德雷克斯勒于 80 年代后期创立了 Foresight Institute，“以帮助社会为预期的先进技术做好准备” --- --- 最重要的，便是纳米技术。）
在未来 20 年内出现促成装配器的关键性突破，似乎相当有可能。分子电子学 --- --- 纳米技术的一个新子领域，其中单个分子即为电路元件 --- --- 应会迅速成熟，并在本十年内变得极具利润，从而引发对所有纳米技术的大规模增量投资。
不幸的是，与核技术类似，为纳米技术创造破坏性用途要比创造建设性用途容易得多。纳米技术显然具有军事与恐怖主义用途，而且释放一种具有巨大破坏力的纳米技术装置并不需要你有自杀倾向 --- --- 此类装置可以被设计为具有选择性的破坏性，例如只影响某一特定地理区域，或影响一群在遗传学上有明显区别的人。
为获得纳米技术巨大力量而做出的这种浮士德式交易的直接后果，是我们将承担一个极其严重的风险 --- --- 我们可能会毁灭所有生命所依赖的生物圈。
正如德雷克斯勒所解释的：
“‘植物’长着’叶子’，其效率并不高于当今的太阳能电池，却能够胜过真正的植物，用不可食用的叶丛挤满整个生物圈。强韧的杂食性’细菌’能够胜过真正的细菌：它们可以像飞散的花粉一样传播，迅速复制，并在短短几天内把生物圈化为尘土。危险的复制体很容易变得过于坚韧、过于微小且传播过快，以至于无法阻止 --- --- 至少在我们毫无准备的情况下。我们连控制病毒和果蝇都已经够头疼了。”
在纳米技术的行家之间，这种威胁被称为”灰色黏液问题（gray goo problem）“。尽管失控的海量复制体未必真的是灰色或黏糊糊的，但”灰色黏液”这个术语强调的是：能够抹杀生命的复制体，可能还不如一种单一的 crabgrass 物种来得”鼓舞人心”。它们在进化意义上也许更”优越”，但这并不意味着它们有价值。
“灰色黏液”的威胁把一件事说得非常清楚：对于带有复制能力的装配器，我们承担不起某些类型的事故。
“灰色黏液”无疑会成为人类在地球上冒险历程的一个令人沮丧的结局，比起单纯的”火”或”冰”要糟糕得多，而它可能源于一次简单的实验室事故。哎呀。
最应让我们停下脚步的是，基因技术、纳米技术和机器人技术（GNR）中具有破坏性的自我复制能力。自我复制是基因工程的运作方式，它利用细胞的机器装置来复制其设计；在纳米技术中，自我复制也是”灰色黏液”的根本危险所在。像博格那样的失控机器人，通过复制或突变来逃脱其创造者施加的伦理约束的故事，在我们的科幻书籍和电影中早已屡见不鲜。甚至有可能，自我复制比我们以为的更加根本，因此更难 --- --- 甚至不可能 --- --- 控制。斯图尔特·考夫曼最近在《自然》杂志上发表了一篇题为”Self-Replication: Even Peptides Do It”（《自我复制：甚至肽也会》）的文章，讨论了一项发现：一条由 32 个氨基酸组成的肽可以”自催化其自身的合成”。我们不知道这种能力有多普遍，但考夫曼指出，这可能暗示着”一条远远超出沃森—克里克碱基配对基础的自我复制分子系统之途径”。
事实上，多年来我们一直掌握着关于 GNR 技术广泛知识所内含危险的明确信号 --- --- 即仅凭知识本身就能实现大规模毁灭的可能性。但这些警告并未得到广泛传播；公众讨论显然严重不足。宣扬这些危险并无利润可图。
20 世纪用于大规模杀伤性武器的核、生物和化学（NBC）技术过去、现在在很大程度上都是军事性的，由政府实验室开发。与之形成鲜明对比的是，21 世纪的 GNR 技术具有明确的商业用途，几乎完全由企业开发。在商业主义凯歌高奏的时代，技术 --- --- 以科学为侍从 --- --- 正带来一系列几乎如魔法般的发明，它们成为史无前例地利润惊人的事物。我们正积极在当下几乎不受质疑的全球资本主义体系及其多种金融激励与竞争压力之下，追逐这些新技术的承诺。
这是我们星球历史上第一次，有一个物种通过自身自愿的行动，成为对自己 --- --- 以及对无数其他物种 --- --- 的威胁。
这也许是一种在许多世界上都会上演的熟悉进程 --- --- 一颗新近形成的行星安静地绕其恒星公转；生命缓慢形成；千变万化的生物队列演化；智能出现，它至少在某种程度上赋予了巨大的生存价值；接着，技术被发明出来。他们逐渐意识到，自然界存在着所谓的”法则”，这些法则可以通过实验被揭示，而对这些法则的认识既可以拯救生命，也可以在前所未有的规模上夺走生命。他们认识到，科学赋予了巨大的力量。转瞬之间，他们创造出改变世界的装置。有些行星文明找到了出路，对可为与不可为之事设定界限，安全地度过了危险时期。另一些则不那么幸运或不那么谨慎，因而灭亡。
这段话出自卡尔·萨根，他在 1994 年写的《暗淡蓝点》（Pale Blue Dot）一书中描绘了他对人类在太空中未来的愿景。我直到现在才意识到他的洞见何其深刻，也何其切实地让我怀念、并将继续怀念他的声音。尽管辞采斐然，萨根的贡献至少也在于朴素的常识 --- --- 而这种品质，连同谦卑，似乎是许多二十一世纪技术的主要鼓吹者所欠缺的。
我记得在童年时，祖母坚决反对滥用抗生素。她在第一次世界大战之前就开始做护士，对此抱持一种常识性的态度：除非绝对必要，服用抗生素对你有害。
这并不是说她是进步的敌人。她在近 70 年的护理生涯中见证了许多进步；我祖父是糖尿病患者，他在有生之年从不断改进的治疗方法中受益良多。但她和许多头脑冷静的人一样，大概会认为我们如今着手设计一个机器人的”替代物种”是极度傲慢的 --- --- 在我们显然连让相对简单的事物良好运作都困难重重、连管理 --- --- 甚至理解 --- --- 我们自身都困难重重的情况下。
我现在意识到，她对生命秩序的本质以及与这种秩序共处并尊重它的必要性有着自觉。伴随着这种尊重而来的，是一种必要的谦卑；而我们以二十一世纪初那种技术傲慢为荣，缺少这种谦卑，后果不堪承受。建立在这种尊重之上的常识性观点，常常先于科学证据而正确。我们所建造的人造系统明显的脆弱性与低效性本应让我们所有人停下脚步；而我所从事的那些系统的脆弱性，当然也让我心生谦卑。
我们本该从第一枚原子弹的制造及随之而来的军备竞赛中吸取教训。那时我们做得并不好，而与当下处境的相似之处令人不安。
制造第一枚原子弹的努力由才华横溢的物理学家 J. Robert Oppenheimer 领导。奥本海默并非天性热衷政治，但他痛切地意识到他所认为来自第三帝国对西方文明的严重威胁 --- --- 尤其是希特勒可能获得核武器这一可能性使威胁无疑十分严重。在这一担忧的激励下，他把自己强大的才智、对物理学的热情以及富有魅力的领导才能带到洛斯阿拉莫斯，率领一批不可思议的杰出人才迅速而成功地发明了原子弹。
引人注目的是，在最初的推动力消失之后，这项工作却如此自然地继续了下去。欧洲胜利日（V-E Day）后不久的一次会议上，面对一些认为或许应该停止努力的物理学家，奥本海默主张继续。他陈述的理由看起来有些奇怪：并不是因为担心入侵日本会造成大量伤亡，而是因为即将成立的联合国应该事先了解原子武器。项目得以继续的更可能原因是已经积累起来的惯性 --- --- 第一次原子试验”Trinity”已近在眼前。
我们知道，在筹备这第一次原子试验时，物理学家们在存在大量潜在危险的情况下仍继续推进。起初，他们基于爱德华·泰勒的一项计算而担心原子爆炸可能点燃大气层。修订后的计算将”毁灭世界”的危险降至百万分之三的概率。（泰勒说，他后来能够完全否定大气点火的前景。）不过，奥本海默对”Trinity”的结果仍足够担忧，以至于他安排了对新墨西哥州西南部地区的可能疏散。当然，还存在引发核军备竞赛这一显而易见的危险。
在第一次成功试验后的一个月内，两枚原子弹摧毁了广岛和长崎。一些科学家曾建议应仅做爆炸示范，而非投向日本城市 --- --- 他们称这将大大提高战后军控的机会 --- --- 但无济于事。珍珠港惨剧在美国人心中依然记忆犹新，让杜鲁门总统下令示范而不是像后来那样使用这些武器将非常困难 --- --- 人们急于尽快结束战争并挽救在任何对日入侵中将会丧失的生命，这一愿望极为强烈。然而更根本的事实也许非常简单：正如物理学家弗里曼·戴森后来所说，“之所以把它投下，只是因为没有人有勇气或远见说不。”
重要的是，要认识到 1945 年 8 月 6 日广岛遭轰炸之后，物理学家们受到多大震动。他们描述了一连串的情绪波动：首先是原子弹奏效所带来的成就感，随后是对所有遇难者的恐惧与震惊，然后是一种坚定的感觉 --- --- 无论如何不应再投下一枚炸弹。然而，当然，仅仅在广岛遭轰炸三天之后，另一枚炸弹就投向了长崎。
1945 年 11 月，也就是原子弹轰炸后三个月，奥本海默坚定地站在科学立场上说：“除非你相信对世界的认识及其由此赋予的力量本身就是对人类具有内在价值的事物，并且你正在用它来帮助传播知识并愿意承担其后果，否则不可能成为一名科学家。”
随后，奥本海默与他人共同参与了《艾奇逊 --- 李连塔尔报告》（the Acheson-Lilienthal report）的工作，正如理查德·罗兹在他近著《技术的愿景》（Visions of Technology）中所说，该报告”找到了在不诉诸武装的世界政府的情况下防止秘密核军备竞赛的途径”；他们的建议是由各民族国家将核武器工作以某种形式让渡给一个国际机构。
这一提案催生了”巴鲁克计划”（Baruch Plan），该计划于 1946 年 6 月提交联合国，但从未被采纳（或许正如罗兹所言，是因为伯纳德·巴鲁克”坚持用常规制裁来加重这一计划的负担”，从而不可避免地注定了它的失败，尽管它”几乎可以肯定也会被斯大林主义的俄罗斯所拒绝”）。其他为推动将核能国际化、以防止军备竞赛的合理步骤所做的努力，要么在美国国内政治与内部不信任中受挫，要么遭到苏联的不信任。避免军备竞赛的机会迅速丧失了。
两年后的 1948 年，奥本海默似乎在思想上又进入了一个阶段，他说：“以某种粗糙的意义而言 --- --- 任何庸俗、幽默或夸张都无法彻底抹去 --- --- 物理学家们已经认识到罪；而这是他们无法失去的知识。”
1949 年，苏联引爆了原子弹。到 1955 年，美苏两国都已测试了可由飞机投送的氢弹。于是，核军备竞赛开始了。
将近 20 年前，在纪录片《三位一体之后的那一天》（The Day After Trinity）中，弗里曼·戴森这样概括把我们带到核深渊边缘的科学态度：
“我自己也有这种感受。核武器的光辉。若你以科学家的身份接近它们，这种吸引是不可抵御的。感到它就在你手中，释放那驱动群星的能量，让它听命于你。施展这些奇迹，把一百万吨的岩石举到空中。这会给人一种无限权力的幻觉，而在某种意义上，这正是我们所有麻烦的根源 --- --- 当人们看到自己的头脑可以做到什么时，你可以称之为技术上的傲慢，它便会攫住他们。”
如今，和当年一样，我们是新技术的创造者，也是想象之未来的明星，被 --- --- 这一次是巨大的经济回报与全球竞争 --- --- 所驱动，尽管危险昭然，却几乎不去评估一个现实的结果之世界会是什么样，而那个世界正是我们正在创造与想象的产物。
-
1947 年，《原子科学家公报》开始在封面上刊登”末日时钟”。五十多年来，它根据不断变化的国际局势展示我们所面临的相对核威胁评估。该时钟的指针已被调整 15 次，而今天停在距离午夜九分钟的位置，反映出来自核武器持续而真实的危险。印度和巴基斯坦最近加入核国家行列，增加了防扩散目标失败的威胁，这一危险在 1998 年通过将指针拨近午夜得到了体现。
在我们这个时代，我们究竟面临多大的危险 --- --- 不仅来自核武器，还来自所有这些技术？灭绝风险有多高？
哲学家约翰·莱斯利研究了这个问题，并得出结论：人类灭绝的风险至少为 30%；而雷·库兹韦尔则认为我们”度过难关的机会大于一半”，不过他也附带说明自己”总是被指责过于乐观”。这些估计不仅不令人鼓舞，而且并未将许多虽未达到灭绝却同样可怕的结局的概率计算在内。
面对这样的评估，一些严肃的人已经建议我们尽快超越地球本身。我们可以用冯·诺依曼探测器（von Neumann probes）来殖民银河系 --- --- 它们在恒星系统之间跳跃，并在前进的过程中复制自身。这一步几乎可以肯定会在 50 亿年后变得必要（或者更早 --- --- 如果我们的太阳系在未来 30 亿年内因银河系与仙女座星系即将发生的碰撞而遭到灾难性影响），但如果我们相信库兹韦尔和莫拉维克的话，这在本世纪中叶就可能变得必要。
这里的道德含义是什么？如果为了让这个物种存续，我们必须如此迅速地超越地球，那么那些被留下来的人（毕竟我们大多数人）之命运由谁来负责？即便我们四散群星之间，我们难道不会把自身的问题一并带去，或后来发现它们已跟随而至吗？我们这个物种在地球上的命运与我们在银河系中的命运似乎密不可分。
另一个想法是树起一系列”盾牌”来对抗每一种危险技术。里根政府提出的”战略防御倡议”（SDI）就是试图设计这样一面针对来自苏联核打击威胁的盾牌。但正如参与过相关讨论的阿瑟·C·克拉克所观察到的：“尽管也许可以以巨额代价建造一些地方性的防御系统，‘只’让几个百分点的弹道导弹漏网，但全国一体化的’伞形’防御的说法纯属无稽。或许是本世纪最伟大的实验物理学家路易斯·阿尔瓦雷斯曾对我说，这些方案的鼓吹者都是’非常聪明却毫无常识的人’。”
克拉克接着说：“透过我常常蒙尘的水晶球往里看，我怀疑在一百年左右的时间里，全面防御或许真的可能。但相关技术所带来的副产品将是可怕到极点的武器，以至于不会再有人去费心弄那种像弹道导弹那样原始的东西了。”
在《Engines of Creation》中，埃里克·德雷克斯勒提议我们构建一种主动的纳米技术”护盾” --- --- 一种生物圈的免疫系统 --- --- 用于防御各种可能从实验室逃逸或被恶意制造出来的危险复制体。但他所提出的这面护盾本身将极其危险 --- --- 没有任何东西能阻止它出现自身免疫性问题并转而攻击整个生物圈。
针对机器人技术和基因工程建立”护盾”同样存在类似的难题。这些技术过于强大，无法在我们所关切的时间尺度上以”护盾”完全防住；即便可以实施防御性护盾，其研发的副作用至少也会与我们试图防范的那些技术一样危险。
因此，这些可能性要么不可取，要么不可行，或兼而有之。我所能看到的唯一现实替代方案是”放弃”：通过限制我们对某些类型知识的追求，来限制那些过于危险的技术的发展。
是的，我知道，知识是好的，追求新真理也是好的。自古以来我们一直在追求知识。亚里士多德以一句朴素的话开启了他的《形而上学》：**“人皆天生渴求知识。“**在我们的社会里，信息开放获取的价值长期以来被视为基石性价值，我们也认识到试图限制知识的获取与发展会带来的问题。近些年，我们更是对科学知识顶礼膜拜。
但尽管有这些强有力的历史先例，如果此后对知识的开放获取与不受限的发展会让我们所有人清晰地面临灭绝的危险，那么常识要求我们连这些最基本、持久的信念也必须重新审视。
正是尼采在 19 世纪末警告我们：不仅”上帝已死”，而且”对科学的信仰 --- --- 毕竟它无可否认地存在 --- --- 不可能将其起源归功于功利的计算；它的起源必定是在这样一个事实面前依然产生的：‘求真意志’、‘不惜一切代价的真理’的无益与危险性不断被证明给它看。“我们如今正全面面对的，正是这种更进一步的危险 --- --- 我们求真的后果。如果科学所求之”真理”可能把我们引向灭绝，那么它当然可以被视为上帝的一个危险替代品。
如果我们能够作为一个物种就我们想要什么、要走向何方以及为何如此达成一致，那么我们的未来将会少许多危险 --- --- 那时我们或许就能明白我们可以、也应该放弃什么。否则，我们很容易想见，围绕 GNR 技术会出现一场军备竞赛，正如 20 世纪围绕 NBC 技术所发生的那样。这或许是最大的风险，因为一旦这样的竞赛开始，想要结束它就非常困难。此次 --- --- 不同于”曼哈顿计划”时期 --- --- 我们并未身处战争之中，没有一个不共戴天、威胁我们文明的敌人；相反，驱动我们的是习惯、欲望、经济体系，以及出于竞争而产生的求知需求。
我相信我们都希望我们的航向能由我们的集体价值、伦理与道德来决定。若在过去数千年中我们获得了更多集体智慧，那么围绕此目标的对话就会更具可行性，而我们即将释放的那股惊人之力也就不会如此令人不安。
人们大概会以为，我们的自我保全本能会把我们推向这样的对话。个体显然有这种愿望，然而作为一个物种，我们的行为似乎并不利于自身。在应对核威胁时，我们常常对自己、也彼此不诚实，从而大大提升了风险。这究竟是出于政治动机，还是因为我们选择不去超前思考，抑或是因为在面对如此严峻的威胁时我们因恐惧而非理性行事，我不得而知，但这可不是什么好兆头。
基因技术、纳米技术与机器人技术这几只新的”潘多拉魔盒”几乎已经开启，而我们似乎几乎没有注意到。观念无法再被装回盒子里；与铀或钚不同，它们不需要被开采与提炼，而且可以被自由复制。一旦放出，便是放出。**丘吉尔曾发表过一句著名而”挖苦式的恭维”，说美国人民及其领导人”总是在考察了所有其他备选之后，才会做正确的事”。**然而在此情形下，我们必须更有先见地行动，因为若只是最后才去做正确的事，可能就会丧失做这件事的机会。
正如梭罗所说：“我们并非乘坐铁路；铁路才是骑在我们身上”；而这正是我们在当下必须抗争的。问题确实在于：究竟谁来主宰？我们能在我们的技术面前幸存吗？
我们在没有计划、没有控制、没有刹车的情况下被推入这个新世纪。我们是否已经在这条道路上走得太远，以至于无法改道？我不这么认为，但我们尚未开始努力，而最后一次主张控制的机会 --- --- “失效保护点”（fail-safe point） --- --- 正迅速逼近。我们已经有了第一批宠物机器人，也有了可商业获取的基因工程技术，而我们的纳米尺度技术正在快速推进。尽管这些技术的发展会经过若干步骤，但并不必然像”曼哈顿计划”和”三位一体”试验那样，证明一项技术的最后一步非得既庞大又艰难不可。在机器人技术、基因工程或纳米技术中，实现野生（不受控制的）自我复制的突破可能会突然到来，重演我们得知一种哺乳动物被克隆时的那种惊讶。
然而我相信，我们确实拥有坚实有力的希望之基。我们在上个世纪应对大规模杀伤性武器的努力，为我们提供了一个值得思考的放弃（relinquishment）之光辉范例：美国无条件、单方面放弃生物武器的发展。这种放弃源于这样一种认识：尽管制造这些可怕武器需要巨大的努力，但从那之后它们很容易被复制，并落入流氓国家或恐怖组织之手。
显而易见的结论是：追求这些武器只会为我们自身增添威胁；如果不去追求它们，我们会更安全。我们已将对生物与化学武器的放弃体现在 1972 年《生物武器公约》（BWC）与 1993 年《化学武器公约》（CWC）之中。
至于我们已与之共处逾 50 年、仍在持续的核武器重大威胁，美国参议院最近否决《全面禁止核试验条约》（CTBT）表明，放弃核武器在政治上并不容易。但随着冷战结束，我们拥有一个独特的机会来避免一场多极化军备竞赛。以 BWC 与 CWC 的放弃为基础，成功废除核武器将有助于我们养成放弃危险技术的”习惯”。（事实上，只要在全球范围内除去 100 枚之外的所有核武器 --- --- 这大致相当于第二次世界大战的总破坏力，而且要容易得多 --- --- 我们就能消除这一灭绝性威胁。
对放弃行为的核查将是一个困难的问题，但并非无解之题。幸运的是，我们在 BWC 及其他条约的语境中已经做了许多相关工作。我们的主要任务将是把这些工作应用到那些天然地更具商业性而非军事性的技术上。在这里，真正的需求是透明性，因为核查的难度与区分被放弃活动与合法活动的难度成正比。
我坦率地认为，1945 年的情形比我们如今面临的更为简单：核技术在商业与军事用途之间可以合理区分，而监督也得益于原子试验的性质以及放射性易于测量这一事实。关于军事用途的研究可以在洛斯阿拉莫斯等国家实验室进行，其结果尽可能长时间地保密。
GNR 技术并不能在商业与军事用途之间作出清晰划分；鉴于它们在市场中的潜力，几乎难以想象只在国家实验室中追求它们。随着这些技术被广泛以商业方式推进，要实施”放弃”将需要类似于生物武器的核查机制，但其规模将前所未有。这无可避免地会在我们的个人隐私与对专有信息的需求，与为保护所有人而进行核查的需要之间引发紧张。对于这种隐私与行动自由的丧失，我们无疑会遭遇强烈的抵制。
对某些 GNR 技术”放弃”的核查不仅必须在实体设施中进行，也必须在网络空间中进行。关键问题将是，如何在一个充斥专有信息的世界里让必要的透明性可以被接受，推测之道在于为知识产权提供新的保护形式。
**合规核查还要求科学家与工程师采纳一套有力的伦理行为准则，类似于”希波克拉底誓言”，并且在必要时即使付出高昂的个人代价也要有勇气”吹哨”。**这将回应诺贝尔奖得主、仍在世的”曼哈顿计划”成员中最资深者之一汉斯·贝特在广岛之后 50 年发出的号召，即所有科学家应当”停止并放弃从事创造、开发、改进与制造核武器及其他潜在大规模杀伤性武器的工作。“14 在 21 世纪，这要求那些在 NBC 与 GNR 技术领域工作的人保持警惕并承担个人责任，以避免实现大规模杀伤以及由知识驱动的大规模毁灭。
梭罗还说过：“我们能负担得起置之不理的事物越多，我们就越富有。“我们各自追求幸福，但值得追问的是：为了获取更多的知识与更多的事物，我们是否需要承担如此之高的彻底毁灭风险；常识告诉我们，我们的物质需求是有界限的 --- --- 并且某些知识过于危险，最好予以放弃。
我们也不应在不考虑代价、不考虑与之相称的灭绝风险上升的情况下追求近乎永生。永生，也许是最初的、却绝非唯一可能的乌托邦之梦。
我最近有幸结识了卓越的作家与学者雅克·阿塔利（Jacques Attali），他的著作《Lignes d’horizons》（英文译名《Millennium》）曾如本刊先前所述，启发了 Java 与 Jini 面向”普适计算”时代的方法。在他的新书《Fraternités》中，阿塔利描述了我们对于乌托邦之梦的变迁：
“在社会的黎明时期，人们把自己在世间的行程视为不过是一座痛苦的迷宫，其尽头有一扇门，通过他们之死通向与诸神为伴与永恒。随着希伯来人、继而希腊人的出现，一些人敢于将自己从神学的要求中解放出来，去梦想一个自由得以繁荣的理想之城。另一些人则注意到市场社会的演进，明白某些人的自由将意味着他人的异化，因而他们追求平等。”
雅克帮助我理解了这三种不同的乌托邦目标如何在当今社会中彼此张力并存。他接着描述了第四种乌托邦 --- --- “博爱”（Fraternity），其根基是利他主义。唯有”博爱”将个人的幸福与他人的幸福相联结，提供自我维持的希望。
这使我对库兹韦尔之梦想的问题变得清晰：一种通向”永恒”的技术路径 --- --- 通过机器人技术实现的近乎永生 --- --- 也许并非最可取的乌托邦，而其追求显然带来危险。也许我们应当重新思考我们的乌托邦选择。
我们可以从何处寻求为我们的航向奠定新的伦理基础？我发现****的《Ethics for the New Millennium》（《新千年伦理》）中的思想很有帮助。或许众所周知却鲜被遵循的是，****主张：最重要的是我们要以对他人的爱与慈悲来度过一生，而我们的社会需要发展更为强烈的”普遍责任”与”相互依存”的观念；他为个人与社会提出了一套积极的伦理行为准则，这似乎与阿塔利的”博爱”乌托邦相契合。
****进一步主张，我们必须理解是什么使人们感到幸福，并承认有充分证据表明：无论是物质进步，还是对知识之力量的追求，都不是关键 --- --- 科学以及仅凭科学之追求所能达成之事是有其限度的。
我们对幸福的西方观念似乎源自希腊人，他们将其定义为**“在能为其提供施展空间的人生中，沿着卓越之道发挥生命力的实践。”**
很显然，若要在未来无论何种境况下获得幸福，我们需要在生活中找到有意义的挑战与足够的施展空间。但我认为，我们必须在永续经济增长的文化之外，为我们的创造力寻找替代性的出口；这种增长在过去几百年里大体而言是一种福祉，但它并未带来不掺杂质的幸福，而我们现在必须在通过科学与技术追求不受限制、无指向的增长与随之而来的明显危险之间作出选择。
自从我第一次与雷·库兹韦尔和约翰·塞尔相遇以来，至今已有一年多。我在周遭那些呼吁谨慎与放弃的声音中看到了希望，也在那些与我一样关切当下困境的人身上看到了希望。我也感到一种更强烈的个人责任感 --- --- 不是为我已经完成的工作，而是为我或许尚将在诸学科汇合处开展的工作。
但许多了解这些危险的人依然奇异地保持沉默。一旦逼问，他们就会搬出”这没什么新鲜”的反驳 --- --- 仿佛意识到可能发生什么就足以成为回应。他们对我说：有大学里充斥着整天研究这些问题的生命伦理学家。他们说：这些内容先前都有人写过，而且是专家写的。他们抱怨：你的担忧与论证早已是老生常谈。
我不知道这些人将他们的恐惧藏在何处。作为复杂系统的架构师，我以通才的身份进入这一领域。但这应当削弱我的关切吗？我知道有多少权威性的著述、讨论与讲座。然而这是否意味着它已经触达了公众？这是否意味着我们可以低估眼前的危险？
知道，并不能成为不行动的理由。难道我们还能怀疑，知识已经成为我们挥向自身的武器吗？
原子科学家的经验清楚地显示：我们需要承担个人责任；事态可能演变得过于迅速；一个过程能够获得自身的”生命”。我们也可能如他们那样，在转瞬之间制造出无法克服的问题。若不想再次被自己发明的后果所惊讶与震撼，我们就必须事先多加思考。
我持续的职业工作是改进软件的可靠性。软件是一种工具，作为造工具的人，我必须与这些工具被用来做什么的问题搏斗。鉴于软件有着多种用途，我一直相信让软件更可靠会让世界更安全、更美好；如果我将来相信事实相反，那么我在道德上就有义务停止这项工作。现在我可以想见，这样的一天也许会到来。
这一切并未让我愤怒，但至少让我有些惆怅。此后，对我而言，进步将多少是苦乐参半的。
你还记得《曼哈顿》中那个美丽的倒数第二个场景吗，伍迪·艾伦躺在沙发上对着录音机说话？他正在写一个短篇故事，讲的是人们如何为自己制造不必要、神经质的问题，因为这能让他们避免去面对关于宇宙那些更加无法解决、可怖的问题。
他引导自己提出这样一个问题：“生命为何值得活下去？“并思考对他而言让生命变得值得的东西：格劳乔·马克思、威利·梅斯、《木星交响曲》的第二乐章、路易斯·阿姆斯特朗录制的《Potato Head Blues》、瑞典电影、福楼拜的《情感教育》、马龙·白兰度、弗兰克·辛纳屈、塞尚笔下的苹果和梨、Sam Wo’s 的螃蟹，最后是压轴的一项：他所爱的特蕾西的脸庞。
我们每个人都有自己珍视的事物，而当我们关照它们时，我们便找到了人性之精髓。最后，正因为我们拥有强大的关怀能力，我仍然乐观地相信我们会直面眼前这些危险议题。
我当下的期望是参与一场更为广泛的讨论，由来自诸多不同背景的人共同参与，并且是在那些既不因惧怕也不因偏爱技术而预设立场的场合中开展。
作为起点，我已在阿斯彭研究所主办的活动上两次提出其中许多问题，并且另行建议美国艺术与科学院把这些议题作为其与普格沃什会议合作工作的延伸而纳入议程。（自 1957 年以来，普格沃什会议一直就军备控制，尤其是核武器，进行讨论并制定可行的政策。）
遗憾的是，普格沃什会议（Pugwash meetings）开始时，核魔已出瓶 --- --- 大约晚了 15 年。我们如今也姗姗来迟，才开始认真处理围绕 21 世纪技术、即防止由知识驱动的大规模毁灭的问题，而进一步的拖延似乎不可接受。
所以我仍在探寻；还有许多事情需要学习。我们究竟会成功还是失败，会幸存还是沦为这些技术的牺牲品，尚未有定论。我又熬夜了 --- --- 快到早上 6 点。我正努力想象更好的答案，去打破魔咒，把它们从石头中释放出来。 ::: ::: :::