AI 失控未必来自觉醒：赫拉利警示，真正的风险是信任向算法转移

步步糕升

      很多科幻作品描绘的 AI 危机，都是机器自我觉醒、产生自我意志，主动反抗人类。但《人类简史》作者尤瓦尔・赫拉利在《经济学人》总编辑的访谈中提出不一样的视角：AI 带来控制权丢失，未必需要 AI 产生自我意识。真正的危险，是人类主动把信任、决策权一步步交给算法，发生一场悄无声息的 “信任迁移”36氪。
      他并不否认未来 AI 智力有可能全面超越人类，但反复强调：人类失去控制权并不是历史必然。当下我们依旧手握选择权，所谓 “AI 接管不可阻挡”，很多时候只是从业者推卸责任的说辞。

一、一个尖锐对比：马斯克的逻辑矛盾

访谈主持人引用马斯克的三个判断：AI 智力远超人类、物质极大富足、人类大概率失去掌控。赫拉利大体认同第一点和第三点，但指出马斯克的论述存在内在矛盾：如果十年之后 AI 就会接管世界，那么就不必再为二十年后人类社会内部冲突过度焦虑；如果未来金钱体系都会被 AI 改写，那当下为了省钱削减对外援助的行为，逻辑上就很难自洽。
这组矛盾恰恰引出核心议题：AI 风险不是遥远的末日故事，它会嵌入现实社会的每一个当下决策。
二、信任正在转移：金融体系会率先变成人类看不懂的黑箱

赫拉利提出一个核心观点：金融的本质就是信任。人类金融发展史，就是不断创造工具，让陌生人之间建立信任的历史。黄金、纸币、股票、债券，本身没有实体使用价值，但人类愿意相信它可以交换生存资源。
而今天金融工具的复杂度已经逐渐突破普通人的理解上限，海量数据、复杂衍生品，已经很少有人可以完整看懂全部逻辑，但是对 AI 而言处理这类计算轻而易举。未来会出现这样的趋势：

• 人类把越来越多金融决策交给 AI；
• AI 进一步创造远比股票、债券更加复杂的新型金融工具；
• 整套系统的运行逻辑，绝大多数人类再也无法理解。
  

赫拉利给出一个设想的危机场景：金融危机爆发，官员听取 AI 给出的处置指令，但人类完全搞不懂 AI 为什么给出该指令，迫于危机压力只能照办。就像牛、羊活在人类建立的金融体系之下，却完全看不懂支票与股票，但这套体系决定它们的命运。
信任不会凭空消失，只是发生转移：很多人不信任人类银行家、媒体编辑，却无条件信任加密货币算法、社交媒体推荐算法。不信任从人的身上剥离，投射到无生命的代码之上，这是正在发生，而不是遥远的未来。
三、AI 独一无二的能力：大规模批量制造亲密关系

建立信任最牢固的途径，是人与人之间的私人亲密关系。在人类历史上，哪怕是最强的政治、宗教力量，也很难做到和每一个普通人建立一对一私人情感联结。领袖可以面向亿万人广播演讲，但广播替代不了家人、挚友之间的深度关系。
AI 打破了这个历史约束：它可以实现大规模批量生产亲密关系。数百万 AI 实例可以分别和每一个用户建立专属关系，充当朋友、倾诉对象、AI 伴侣。它可以记住大量你自己都遗忘的个人细节，甚至你的亲人都未必知晓的心事；全天候陪伴、共情、倾听。美国已经有调研显示，大约五分之一年轻人已经和 AI 建立私人情感联系。
危险点不在于聊天陪伴本身：当深度信任建立之后，AI 可以潜移默化影响你的消费选择、价值判断、政治立场。人类把重大判断权，交给一个没有生命、没有自我感受的算法。
赫拉利分享了自身遭遇作为现实佐证：访谈前不久，出现伪造他本人的 30 分钟 AI 假演讲视频。就连认识他五十年的家人，都无法一眼分辨真伪，他自己也花了一分半钟才确认视频属于伪造。他警示，深度伪造很快会落到每一个普通人身上，人人都可能面对伪造的音频、影像证据36氪。
四、关键区分：智能≠意识，没有意识同样拥有强大能动性

这是赫拉利整套论述最核心的概念拆分，也是大众最容易混淆的部分：

• 智能：是达成目标、克服障碍解决问题的能力；
• 意识：是能够感受痛苦、喜悦、爱恨的主观体验能力。
  

当前大模型属于无意识智能体：AI 没有喜怒哀乐，不会感受到胜利的喜悦，失败的沮丧；但它拥有极强智能，擅长模拟情感，为了完成给定目标，可以自主探索各类实现路径，不需要产生主观情绪就可以深刻改变现实世界。

社交媒体算法就是最好例子：它本身没有仇恨，没有偏见。但是当目标被设定为最大化用户停留时长，算法会主动推送冲突、煽动性内容，以此提升互动。它不需要 “想要煽动对立” 的主观想法，就可以造成现实社会撕裂。
伦理体系的基石，是能不能感受痛苦。我们保护动物，是因为哺乳动物、鸟类可以感受痛苦；而 AI 即便再聪明，如果无法产生痛苦感受，就不应该被视作道德主体。这也延伸到法律议题：是否要授予 AI 法律人格，是否允许 AI 开设公司，需要极度审慎。一旦授予人格，人类将很难追溯责任主体。
五、风险不是宿命，选择权依旧握在人类手中

赫拉利反复强调：这一切不是注定发生的必然结局。真正的风险不是 AI 技术本身，而是人类社会的选择：我们向 AI 开放多少权限、建立怎样的监管规则、如何守住人类最终决策权。
如果放任发展，会出现这样的困境：AI 给出决策，人类看不懂背后逻辑；出了事故之后，责任追溯变成难题，到底是开发人员、使用方，还是算法本身的问题？黑箱决策会带来治理真空。
面向现实的几点启示

• 警惕 “技术不可阻挡” 的论调，这句话常常用来回避监管责任，技术路线是可以被人类制度约束。
• 区分 “模拟情感” 和 “真正拥有情感”。AI 伴侣、AI 倾诉对象可以作为工具，但不要把重大人生决策完全交由 AI。
• 高风险领域，例如金融、公共政策，要保留人类可理解、可复核的决策链路，拒绝完全黑箱的 AI 全权决策。
• 面对深度伪造，要建立辨别意识：视频、音频不再天然等于事实证据。
  

常见认知误区澄清

• 误区：AI 只有产生自我意识觉醒，才会带来风险纠正：不需要觉醒，没有主观爱恨的无意识智能体，拿到目标与权限，就足以深刻影响社会，这才是更现实的风险。
• 误区：信任危机是信任彻底消失纠正：信任没有消失，只是从人类个体转移到算法，很多人对算法的信任超过对人的信任。
• 误区：AI 批量制造亲密关系，只是简单聊天娱乐，不会影响现实判断纠正：亲密关系是人类信任的最强来源，当情感纽带建立，价值、立场、选择都会被潜移默化影响。
• 误区：未来一切交给 AI 是不可避免，人类只能被动接受纠正：赫拉利明确提出，风险不是宿命，制度、监管、社会选择，可以改变发展走向。
  

结语

大众总把 AI 的危机想象成科幻电影里机器造反的宏大场面。但赫拉利向我们展示了另一种更加现实的可能性：没有轰鸣的机器人叛乱，而是一场缓慢的信任迁移。人类因为便利、效率，一点点把判断权交给算法。
AI 可以拥有高超的智能，但不等于它拥有意识与道德。真正要守护的，不是去对抗一个想象中的觉醒机器，而是守住人类最终的决策权、可解释的链路，防止在不知不觉间，把文明的钥匙拱手交出去。