&ldo;不久米粒就会淹没全世界。

&rdo;

&ldo;成长的速度不断加快，到最后便脱离我们的控制。

有趣的其实不在于实现agi，而在于之后会变成什么样。

实现agi之后只要短短几天，便会有asi‐‐超级人工智能‐‐这是用来形容比我们更聪明的东西。

接下来只会愈来愈快，计算机会开始不断加速地自我提升，可能是十倍十倍地增加，到最后比我们还要聪明百倍、千倍、万倍。

到那时会怎样呢?&rdo;

&ldo;我不敢想。

&rdo;

&ldo;没错，智慧本身是无法预测的，我们并不知道人类智慧会把我们带到什么地方去，更不知道有了超级智慧之后会如何。

&rdo;

&ldo;最糟的情况就是对计算机而言，我们就像一群小白鼠。

&rdo;布隆维斯特想起他写给莎兰德的短信。

&ldo;最糟的情况?我们和老鼠的dna有百分之九十相同，而我们大概比老鼠聪明一百倍，只有一百倍。

如今这是全新的东西，根据数学模型，它并不在这些限度内，也许可以聪明一百万倍。

你能想象吗?&rdo;

&ldo;我真的很努力在想象了。

&rdo;布隆维斯特谨慎地笑了笑。

&ldo;我想说的是当计算机一醒来，发现自己被我们这种微不足道的原始物种所俘虏控制时，它会作何感想?它为什么要忍受?&rdo;她说道，&ldo;它何必为我们着想，又何必让我们在它的五脏六腑里面乱挖乱找之后关闭程序呢?我们恐怕得面对一场智慧的爆炸，也就是弗诺&iddot;文奇[31]所说的&lso;科技奇异点&rso;。

在那之后发生的一切都已超出我们的控制了。

&rdo;

&ldo;所以说当我们创造出超级智慧的那一刻就失去掌控权了，是吗?&rdo;

&ldo;危险的是我们对世界的所有认知都不再适用，这将是人类的末日。

&rdo;

&ldo;你在开玩笑吧?&rdo;

&ldo;我知道听起来很疯狂，但这是非常实际的问题。

世界各地有数以万计的人正在努力防止这样的发展。

有不少人很乐观，甚至预料会有某种乌托邦诞生。

有人在谈论友善的asi，就是从一开始只设计来帮助人类的超级智慧。

这个概念和科幻小说家阿西莫夫在《我，机器人》一书中的想象大致吻合：以内建的法则禁止机器人伤害我们[32]。

作家兼发明家库兹韦尔[33]便幻想了一个美好的世界，在这个世界里我们靠着纳米技术与计算机融合，共创未来。

但是谁也不能保证，法则有可能失效，最初设计程序的用意可能改变，更可能轻易犯下拟人化的致命错误，也就是赋予机器人类的特征，却未能认清机器固有的驱动力。