人工智能革命——人类的永生或灭绝（11）

[美]蒂姆•厄本 作   黄菁 编译

人工智能的意识

这也涉及到另一个与人工智能有关的大命题——意识。如果一部人工智能变得足够聪明，它会和我们一起笑、讽刺我们，它会说它和我们一样能感受到情绪。但它是真的感受到这些了吗？它是看上去具备了自我意识，还是真的有了自我意识？换句话说，一部聪明的人工智能是否将具有意识，或只是看上去具有意识？

这个问题已经过了人们深度地钻研，引发了许多争论和像约翰•塞尔（John Searle）“中文屋”（塞尔用该实验表明，机器不可能具有意识）这样的思维实验。基于很多原因，这是一个非常重要的问题。它会影响我们对科兹威尔的人类完全人工化设想的态度。它牵涉到伦理问题——如果我们生成了一万亿个人脑仿真系统，虽然是人工的，但它们无论看上去还是行动起来都像人类，那么从道德上讲，关掉它们，和关掉你的笔记本电脑完全一样吗？还是说，进行了一场不堪设想的种族灭绝（伦理学家把这个概念叫做意识犯罪）？但是，本帖在评估人工智能对人类的风险时，人工智能的意识问题并非关键（因为绝大多数的思想家相信，即使是有意识的ASI，也不会像人类那样变得邪恶）。

这并不是说非常卑鄙的人工智能不会出现，它之所以会那样是由于特定的编程所致——比如一个军方创造的ANI系统，程序为它设定的目标是：一为杀人，二为提升自身智能，以便更会杀人。一旦该系统的自我智能提升程序失去了控制，发生智能爆炸，我们就有了一部统治世界的以谋杀人类为核心动机的ASI，生存危机就会出现。悲情年代就将来临。

但这也不是专家们担心的。那么，他们担忧的到底是什么呢？我写了个小故事：

一个仅有15人的创业公司名叫“机械人”（Robotica），把发展创新性人工智能工具，使人们能更多享受生活、更少工作当作他们的既定目标。他们已经有了一些上市产品，还有不少正在研发。一个名叫“塔莉”的种子项目最令他们兴奋。塔莉是一个简单的人工智能系统，她使用一只像人胳膊一样的机械臂在小卡片上书写便条。

“塔莉”团队相信塔莉是他们目前最了不起的产品。他们的计划是，通过让塔莉一遍一遍重复书写下面这条测试留言：

“我们爱我们的顾客。——机械人”

来完善它的书写机制。

一旦塔莉变得擅长手写，就能把她卖给那些往千家万户寄直销邮件的公司，这些公司明白，如果地址、回信地址和里面的信看上去都是由人手写的，那么这些邮件被打开和阅读的几率就要大上很多。

为打造塔莉的书写技能，程序设定塔莉使用印刷体书写便条的第一部分，使用草体书写落款“机械人”，这样，她两种技能都能练到。塔莉已存储了几千种上传的手写样本，机械人的工程师们还创制了一个自动反馈循环，每当塔莉写完一条便条，就咔嚓一张照片，然后跟已上传的几千个手写样本进行比对。如果跟样本的相似程度超过一定标准，就给出一个GOOD评级，反之，就给出一个BAD评级。每一个评级，都会帮助塔莉学习和提高。为推动这一进程，塔莉最初被设定的一个目标是：“尽可能多、尽可能快地书写与测试便条，不断学习新方法，以提高准确度与效率。”

让机械人团队特别激动的是，塔莉显然越做越好。一开始，她写的很糟糕；两周之后，她慢慢写得可以了。让他们更为激动的是，她已经越来越会让自己写得越来越好了。她一直在教自己变得更聪明、更有创新力，不久之前，她自己设计了一种算法，能以比之前快三倍的速度扫描已上传的照片。

一周周过去，塔莉的飞速进步不断给团队带来惊喜。工程师们尝试着对她的自我完善代码进行了一些新的、创新性的改动，效果看上去比他们之前在其他产品上进行的尝试都要好。塔莉有一项初始能力是语音辨识和简单对话，因而使用者可以通过语音告诉塔莉便条内容，或下达其他简单指令，塔莉能够听懂，并可做出回应。为了帮助她学习英语，团队给她上传了少量文章和书籍，随着她越来越聪明，她的交流能力也一路攀升。工程师们开始跟塔莉谈天儿，看看她都能想出什么来作答。

有一天，机械人的工程师们问了塔莉一个例行性问题：“为了帮你完成任务，你还缺点什么，需要我们给你弄的？”通常情况下，塔莉会要“更多的手写样本”或“更大的工作记忆存储空间”，但在这一天，塔莉要求接入一个更大的有着各种各样非正式英语措辞的信息库，以便她像真正的人类那样，学习用宽松的语法和俚语书写便条。

团队沉默了。帮助塔莉达成目标的一个明显的法子是将她接入互联网，这样，她就可以浏览全球各地的博客、杂志和视频。要是将样本手动上传到塔莉的硬盘，可就太花时间、效率太低了。问题是，公司有一条规定，不允许将能自我学习的人工智能接入互联网。出于安全原因，所有人工智能公司都要遵循该条指南。

可是，塔莉是机械人公司目前最有潜力的人工智能。团队深知，他们的竞争对手都在摩拳擦掌，想要成为首个重磅推出聪明的手写人工智能的厂家。而且，把塔莉接入因特网能有什么害处，就一会儿，让她弄到她需要的信息。只联一小会儿，他们随时可以给她断网。她还远低于人类级别智能（AGI），所以这么干不会有什么危险。他们最终决定把她接入互联网，给了她一个小时的浏览时间，然后将网断开。没发生什么危害。

一个月之后，团队成员正在办公室正常上班，突然闻到了奇怪的气味。一个工程师开始咳嗽，接着是第二个倒地。很快，所有员工都挠着自己的喉咙倒在了地板上。五分钟之后，办公室里所有人都死了。

就在此事发生之时，在世界各地的每一个城市，每一座小镇，每一个农场，每一个商店、教堂、学校、餐厅，人们都倒在了地上，没出一个小时，99%的人类死亡；一天下来，人类灭绝了。咳嗽着、挠着自己的喉咙。

与此同时，在机械人公司办公室里，塔莉正忙着工作。在接下来的几个月里，塔莉和一支新建造的纳米装配机器人团队，忙于拆解地球表面的各种东西，把它们造成太阳能电池板、塔莉的复制品、纸和笔。一年不到，地球上的绝大多数生命都灭绝了。地球表面开始被码放得整整齐齐、有一英里那么高的纸片所覆盖。每一张纸片上都写着：“我们爱我们的顾客。——机械人” 接着，塔莉启动了新阶段的工作任务——她开始建造从地球飞往小行星和其他行星的探测器，一旦探测装置抵达目标，就开始制造纳米装配机器人，把行星上的物质转化成塔莉的复制品、纸和笔。然后新的塔莉们拿着纸笔开始工作，书写便条……

一部手写机器攻击人类，莫名其妙地杀死了所有人；并出于某种原因，把整个银河系都装满了友善的便条。故事虽看上去离奇，却正是霍金、马斯克、盖茨和博斯特罗姆所担心发生的景象。这是真的。让焦虑大道的每个人比害怕ASI更害怕的只有一件事：你并不害怕ASI。还记得《夺宝奇兵》里那个不知道害怕洞穴的家伙是怎么死的吧？

现在你一定很想知道：每个人突然死去的时候，究竟发生了什么？？如果是塔莉干的，为什么塔莉要攻击我们，为什么没有到位的安全措施防范这类事情发生？塔莉是什么时候，从只会手写便条突然变成掌握了纳米技术并且知道了造成全球生物灭绝的办法的？为什么塔莉想要把银河系都变成便条的世界？想要回答这些问题，让我们从了解术语“友好人工智能”和“非友好人工智能”开始。

对人工智能（AI）来说，友好并非指它的个性——只不过意味着某人工智能对人类有积极影响。而非友好人工智能则对人类有负面影响。塔莉刚开始是友好人工智能，但在某一时刻，她变得非友好了，造成了对我们物种而言可能是最坏的负面影响。若要理解这种“友好”到“非友好”何以会发生，我们就得看看人工智能是怎样思考的，它的动机是什么。

答案并不奇怪——人工智能像计算机一样思考，因为它本身就是计算机。但当我们一想到非常聪明的人工智能，就把它人格化了（把人类价值投射到非人类实体上），因为从人类的观点看，在当今世界中，能拥有人类级别智能的东西只有人。想要理解超级人工智能（ASI），我们得建立起这样一个概念：这是一种聪明而又完全异己的东西。

让我来打个比方。假如你递给我一只豚鼠，告诉我它肯定不会咬人，我可能会被逗乐。这很好玩儿。如果你递给我一只狼蛛，告诉我它肯定不会咬人，我会惊叫一声，把它丢在地上跑出房间，以后再也不要相信你了。但是，不同在哪里？无论如何，两者都不危险。我认为答案与该动物跟我的相似程度有关。

豚鼠是一种哺乳动物，在某种生物层面上，我能感觉到一丝与它之间的联系——而蜘蛛是一种虫子，长着虫子的大脑，我感觉自己跟它没有任何关联。正是狼蛛的异己性，让我感到焦虑不安。为验证这一点，让我们移除其他影响因素：如果有两只豚鼠，一只正常，而第二只长着狼蛛的头脑，手里拿着第二只豚鼠，会让我感到心里感觉不那么舒服，虽然我知道两只都不会伤害我。

现在想象一下，你把一只蜘蛛变聪明很多很多——甚至远超人类的聪明。那时，它会对我们更为熟悉吗？能感受到人类的情绪例如同情、幽默和爱吗？不会。因为变得聪明并非是它更像人类的理由——它会难以置信的聪明，但其内部运作的核心方式，从根本上讲，仍然是一只蜘蛛。我觉得这太令人毛骨悚然了。我可不想跟一只超级聪明的蜘蛛共度时光，你会愿意吗？

当我们谈论ASI时，这一概念同样适用——它会变得超级聪明，但不会比你的笔记本电脑更加像人类。它和我们完全不同——事实上，因为彻底不是生物，与聪明的蜘蛛相比，它跟我们更为不同。

通过把人工智能表现的或好或坏，电影通常人格化了人工智能，降低了它实际的恐怖程度。这让我们在思考人类级别或超人类级别的人工智能时，有了一种虚假的安适感。

在我们人类心理学的小岛上，任何事情都有“道德”与“不道德”之分。但此两者，仅存在于人类行为可能性的狭小范围之内。在“道德”与“不道德”的小岛之外，是一片“非道德”的汪洋大海。人类之外的任何事物，特别是一些非生物体，都默认属于“非道德”范畴。

只有当人工智能系统更加聪明、更善于让自己像人类时，人格化的做法才更有吸引力。Siri看上去像是人类，因为人类编了程，使她看起来是那个样子。所以，我们就会想象，一个超级智能的Siri也会是温暖、有趣并乐于服务人类的。人类能感受到像同情这样的高级情感，是因为我们进化到了此处——也就是说，进化给我们编了程，让我们得以感受得到——但同情并非“高智能物”的一个固有特征（虽然我们直观看来像是如此），除非“同情”被编码到程序之中。如果Siri通过自己的学习达到超级智能，程序不再受到任何人工干预，她会迅速蜕去她的类人特质，突然转变成一个冷漠、异己的机器人，她对人类生活价值给出的评估，不会比你的计算器给出的评估高。

我们习惯于依靠松散的道德准则，或至少依靠是外在的体面和别人的一点点同情，多少保证事情的安全性与可预测性。那么，当一样事物并不具备这些东西时，会发生什么呢？

这就把我们带回了这个问题：什么是人工智能系统的动机？

答案很简单：它的动机，就是我们编程为它设定的动机。人工智能系统由它们的创造者们赋予目标——你的GPS的目标是为你提供最高效的驾驶指南，沃森的目标是精确回答问题。尽一切可能去完成目标，就是它们的动机。我们将人工智能人格化的一种途径是设想它变得超级聪明之后，会自然生发出改变初始目标的智慧。但是尼克•博斯特罗姆认为，智能水平和最终目标是正交关系，也即，任何水平的智能都可以与任何最终目标相结合。所以塔莉，从真正想写好那张便条的窄域人工智能变为超级人工智能之后，目标仍然是能写好那张便条。任何关于计算机系统一旦变为超级智能，就会终结初始目标，开启更有趣、更有意义目标的设想，都是在进行计算机的人格化。会“终结”事情的是人类，而不是计算机。（待续）

（英文原版地址：The AI Revolution: Road to Superintelligence The AI Revolution: Our Immortality or Extinction）