AI道德困境：机器是否应该拥有自主决策的能力？

yuange • 2024年11月24日 22:32 • 知识百科 • 阅读 244

专栏卷首语

Alpha Go和人类在棋盘上的对决已经结束，科幻美剧《西部世界》第一季也已落幕。但人类对于未来和未知的探索不会改变。以太资本不仅希望陪伴那些具有创新精神、企图改变未来的创业公司，更时刻关注可能对世界产生改变的技术。我们成立了人工智能专精小组来跟上这场革命。从今天开始，每周会由我们的投资经理为你精挑细选出人工智能领域的好文章，希望与你分享我们的视野，并希望和你一起向前。

《西部世界》第一季已经结束。从第一集开始，我就深深的意识到这是集合了3D打印、机器人、NLP（自然语言处理）、CV（计算机视觉）、人造皮肤等等高科技细分领域技术的神剧。其实现阶段以上所有方面技术的终极形态也不过如此。但试想一下以下可能：未来机器对话能达到10层、20层、100层；当CV数据积累到错误率更低的时候；对于随机事件的发生，其结果和影响结果所有因素都计算之时，真实的西部世界距离我们还会多远？最希望的还是这一天到来的时刻，真实的西部世界中，有中国AI领域创业者的产品在其中得到应用。

——推荐人：吴月忠

《西部世界》上周播出了第一季最终集，结局虽然褒贬不一，有人说神剧，有人说烂尾，但毫无疑问非常震撼。本文前半部分来自 futureoflife，作者采访了创造性 AI 和知觉研究的两位专家，从「AI能否有意识」以及「有意识的AI是否危险」的角度评论此剧。后半部分是《卫报》的评论，从机器人设计的角度分析剧中出现的机器人。

这部由《盗梦空间》导演克里斯托弗·诺兰的亲弟弟乔纳森·诺兰指导、电视剧界著名金主HBO投资拍摄的新剧从上映开始就备受关注，IMDb总评分高达9.2。根据Deadline统计，本季最后一集收视人数高达 220 万。而各平台上总观众数估计达到了 1200 万（仅限美国）。收视率甚至超过了《权利的游戏》。

「这些残暴的欢愉，终将以残暴结局。」——莎士比亚

HBO 播出的《西部世界》引起了大众对「强人工智能」的关注。如果你还没有看过《西部世界》，简单介绍一下：《西部世界》（Westworld）的故事设定在未来世界，在一个庞大的高科技主题公园中，环境类似美国的西部荒原。游客花费大量金钱来到这个主题公园，在那里，拟人的机器人「接待员」能让游客享尽情欲、暴力等欲望的放纵。游客可以杀死机器人，每次机器人「死亡」后，它的身体会被清洗，内存被擦除，然后再开始一个新的脚本。

这部剧上周末播出了第一季的最终集，毫无疑问结局是个大爆炸，但不用担心，本文没有剧透。

－只有一行代码确保机器人不会伤害人类－

《西部世界》剧集改编自美国科幻小说家、编剧迈克尔·克莱顿（Michael Crichton）的同名电影，克莱顿也是《侏罗纪公园》的编剧，他为该剧创作的故事线不禁让观众怀疑，在科学不断发展的未来，人类是否还能维持对世界的掌控？

原始版本电影中机器人是邪恶的，但在改编的剧集中，机器人被描绘成具有同情心，甚至可以说是最人性化的角色。

对公园的安全问题的担忧很快就浮现出来。公园由一个人监督，他可以对机器人进行任何他想要的程序更新，而不需要经过其他人的试运行或安全检查。机器人会记录下他们被虐待的痕迹。其中一个角色提到，程序中只有一行代码确保机器人不会伤害人类。

这些只是该剧涉及到的许多问题中的一部分，它触及到当前对真正的 AI 安全担忧：仅仅使用一个高级 AI 的「邪恶智能体」就能故意对人类造成伤害；软件里发生的小故障也可能引起致命事故；而且代码中也缺少冗余性和鲁棒性来确保人类的安全。

但该剧出现的许多安全和伦理方面的问题都取决于机器人是否有自主意识。实际上，该剧主要探讨的问题，也是最难的问题是：什么是意识？人类能否创造出有自主意识的智能体？如果能，我们能控制它们吗？我们想找到答案吗？

为了解决这些问题，我采访了乔治亚理工学院的 AI 研究员 Mark Riedl，他的研究方向是创造性 AI，以及提出著名的「知觉难题」（hard problem of consciousness）的纽约大学David Chalmers 教授。

－AI 能够感受疼痛吗？－

我先向 Riedl 提问，假如机器人被编程能够有痛觉，机器人能感受到多大程度的疼痛？Riedl 说：「首先，我不能容许对人类、动物，或者拟人化的机器人以及 AI 施行暴力。」然后他解释说，人类和动物的疼痛感受是一种「避免特定的刺激」的警告信号。

然而，对机器人来说，「最类似的可能是强化学习智能体，它们进行反复的试错学习。」根据它们特定的行为，AI 会得到积极或消极的奖励，并且会相应地调整其未来的行为。Riedl 认为消极的奖励并不像「疼痛感觉」，而更像「在电子游戏中失分」。

Riedl 说：「机器人和 AI 可以被编程，实现以类似人类的方式来表达疼痛，但这其实是错觉。造成这种错觉的原因之一是：机器人以一种可以理解的方式，将其内在状态传达给人类，并且引起人类的同情。」

Riedl 不担心 AI 会感觉到真正的痛苦，假如机器人的记忆每天晚上都会被完全删除，他认为那就像是什么也没发生过。但他也认为这其中存在可能的安全问题。为了让强化学习起效，AI 需要为积极的奖励进行优化。如果机器人的内存没有被完全删除——如果机器人开始记住在它身上发生的坏事，那么它可能会试图避开触发这些消极奖励的行为或人类。

Riedl 说，从理论上说，这些智能体能够学会提前计划，尽可能以最低的成本减少消极奖励的可能性。如果机器人不理解其避开消极奖励的行为可能带来的其他影响，这也意味着它们在提前采取行动阻止人类伤害它们。

但 Riedl 也指出，在可预见的未来，我们还没法造出拥有这些能力的，需要引起人类担忧的机器人。但假设这样的机器人出现了，消极奖励带来的问题可能对人类来说是潜在的威胁。

－AI 能有自主意识吗？－

Chalmers 的看法则有点不同。Chalmers 说：「我对意识的看法，也是大多数人对意识的看法——这些人无疑是有自主意识的。他们有相当丰富的情感体验，表现为可以感觉疼痛，思考问题，等等。他们不仅被动地对命令进行反应，还会思考自身的状态。他们在推理。很显然，人是有感情的。」

Chalmers 认为，不用试图找出什么能让机器人拥有意识，而应该思考机器人缺乏什么。最明显的是，它们缺乏自由意志和记忆力。但是，我们人类中也有很多人生活在无法打破的惯例中，也有许多人有严重的记忆问题，但没人会认为应该消灭掉这些人。

Chalmers 反问道：「在这部剧中，这些机器人被认为可以随意虐待，难道是因为这些机器人有缺陷，或者别的什么原因吗？」

《西部世界》中描绘的场景是不现实的，因为 Chalmers 认为二分心智理论（Bicameral-mind theory）不可能带来意识，哪怕对机器人来说也是如此。他说，「我认为作为一种理论它是无望的。机器人的意识，或者说机器人的自主意识，要比预编程的复杂得多。而编程让机器人直接监控它们自己的想法则要简单得多。」

任何情况下，虐待机器人都很容易对人类的安全造成威胁。我们冒险去创造没有自主意识的机器人，它们从消极反馈中吸取经验教训；或者我们无意中（或者比如在西部世界的情况下，是有意地）创造了有意识的机器人，最终将面对机器人的虐待和压迫。

在该剧第二集中，一个机器人「接待员」被问及她是否「真实」，她回答说：「如果你分辨不出来，真实还是不真实，重要吗？」

－云端的大脑：《西部世界》中的机器人设计都很糟糕吗？－

《西部世界》有多条时间线，不过故事的「当前」时间线应该是21世纪中期至后期，那时公园已经存在约35年。也就是说，西部世界主题公园出现在「近未来」，这意味着最早的「接待员」机器人（设计上比后面的版本更显机械性）是使用与我们现在的技术相差不远的技术造出的。

台式机处理器在黄金时期每年以指数级的速度飞速增长，在十多年前这个黄金时期结束。那样的处理器对构造人工智能来说非常不便，所以人们结合使用了两种策略。首先，建立大型服务器中心来收集并处理「大数据」，同时作为一种在线服务提供原始处理能力。第二，使用专门的显卡芯片来处理大型数据，事实证明它们比通用的处理器性能更好。

在这期间，消费者已经从台式机转移到移动设备或 laptop。这些设备需要依赖电池，而电池技术的升级并没有像我们想要的那么快，所以芯片制造商们关注更多的是芯片的能源效率而非原始性能。显然，节省能耗的另一种方法是减少在移动设备上处理的任务，而把更多任务放到云上处理。这样，移动设备成了一个低功耗的接口，通过这个接口，我们可以访问及使用存储于别的地方的数据和处理能力。

例如苹果的 Siri，亚马逊的 Echo 等智能助理，虽然它们似乎有物理实体，但它们的「大脑」在别处。我们通过便宜、可置换的设备与它们对话，而这些设备的作用只不过是继电器。这些设备把接收到的指令通过互联网传递给一个嗡嗡作响的黑盒子——世界各地的数据中心有成千上万这样的黑盒子，并等待读取回答。这很合理，所以为什么西部世界的接待员不能也使用这种方式？

　　图：CERN的一个服务器中心。如果我们现在想造「接待员」，他们的「大脑」应该是像这样的。

设想你正在设计第一个「接待员」机器人。你有一些很明确的要求。我们已经知道这些接待员会受到伤害。他们可以活动很长时间，而没有明显的充电方式。他们必须是安全的。假如他们偏离了脚本，需要有可控制的方法。他们需要进行定期的质量检查。他们绝对不允许离开公园，Delos 把这一点看得非常重要，接待员们体内被认为有基于感知位置的引爆物。

物理地给接待员安上「大脑」是毫无意义的。这会大大增加它们的能源消耗。物理上的伤害可以永久地改变角色，例如剧中 Clementine 被施行了额叶切除术。这会阻碍远程控制。管理人需要实际出现以进行诊断，而接待员必须要人工地进行训练。

然后是 Maeve 的故事线：她试图离开公园去往「大陆」（剧中一个场景可以看到她的编程中有这样的代码）。如果她的智能位于本地网络的服务器中，那么这整个「离开」的概念本身就不可能。当她走出最后一个无线路由器的覆盖范围，她的身体马上就会宕机。相比在机器人体内安置炸药，这似乎是更安全的解决方案。

在本地处理平衡、移动等自动控制功能可以理解，但是为什么要在接待员内部进行那么多的高级处理，而不是在通过网络连接的服务器上进行呢？我们知道这毕竟只是软件，不是某种黑盒。如果可以在未来的iPad上编辑他们的性格，应该也能够在服务器上运行他们。

我唯一能想到的技术原因是带宽。接待员有双眼视觉、立体声听觉和触觉。他们也有某种形式的本体感觉——一种对他们的身体部位的相对定位感觉。假如在同一个地方存储、传输几百个接待员的全部数据，可能会使无线网络瘫痪。但是既然 Delos 有能力构造有知觉的机器，他们应该能造出更好的路由器。

有一个我喜欢称之为「废话哲学」的观点。其中的关键词是「具身认知」（embodied cognition），即人类的智能需要与身体、感觉运动的技能以及环境紧密联系，换句话说，需要人的经验。

这很有道理，但在这里关系不大，因为这样的联系不依赖于物理位置。假如你的大脑放置在 Luton 的一个仓库，它通过超快速的网络连接和路由器让你说话，这种「人的经验」也没有实际的区别。除了你发现这个事实之后可能会觉得有点怪怪的。

也有另外两种可能性。一个是「因为情节需要」，这没什么好说的。更有趣的一个是：接待员不满足要求，因为他们不想满足这些要求。他们的创造者从一开始就打算让他们获得知觉能力和自主意识。如果没有自己的大脑，就不可能独立，可能这种想法超越了其他的所有要求。

谁知道呢？Jonathan Nolan 表示这部剧将在第二季探讨更多接待员的功能。看看他们的设计选择是否有意义，这会很有趣。毕竟，将来某天我们可能想建一个真正的西部世界主题公园。

▲转自新智元（ID：AI_era）

以太资本成立了AI专精小组

每周分享3-5篇深度的AI行业观察

同时，我们也开通了AI项目绿色BP通道

ytbp@ethercap.com

10位AI专精FA和50位AI领域投资人

随时为您待命

　　吴月忠

　　以太资本高级投资经理

　　【教育背景】哈工大航天本科，UFL EE 硕士，4年硅谷芯片设计经验