微软AI负责人穆斯塔法·苏莱曼最近忧心忡忡，说人工智能如果没有足够约束，将来可能发展成一种与人类争夺资源的“硅基物种”。他尤其批评Anthropic把AI过度拟人化，让Claude越来越像一个有判断、有主体意识、有自己存在意义的“人”。但话锋一转，他又称赞Anthropic首席执行官达里奥·阿莫代伊及其团队思虑周全、诚实正直。
这就有趣了。
既然大家都是好人，怕什么？
当然，这句话是反话。苏莱曼真正证明的，恰恰是好人没有用——准确地说，好人身份不能解决安全问题。Anthropic的人可以诚实正直，仍然可能走上一条微软认为危险的技术路线；微软的人也可以满怀善意，照样可能判断错误。好人会犯错，坏人更加不会因为你是好人便自动消失。
何况世界上凭什么只有好人？
苏莱曼说，人类具有强烈的共同利益，要确保AI安全、可控、服从人类。这句话听起来庄严正确，却有一个小小的问题：人类几千年来什么时候缺过“共同利益”？和平是不是共同利益？不发动世界大战是不是共同利益？不屠杀平民是不是共同利益？如果发现共同利益便足以约束所有人，二十世纪大概可以省掉不少历史课。
希特勒要扩张，好人劝他不要扩张；希特勒要开战，好人告诉他战争对欧洲人民都不好；希特勒如果表示没有听懂，再组织一次国际和平会议，向他耐心解释“我们其实拥有共同利益”。
如此一来，还造什么坦克？
问题当然不在于谈判没有用，而在于谈判从来不能建立在“对方必然讲道理”的假设上。规则有用，协议有用，外交有用，国际监督也有用；但它们最后都必须回答同一个问题：有人不守规则怎么办？
AI也逃不过这个常识。
微软可以规定自己的AI不能拥有资产，不能自主设定长期目标，不能独立经营公司；Anthropic也可以制定自己的安全原则；OpenAI可以有另一套规范。问题是，谁保证第四家公司照办？谁保证某个开源团队照办？谁保证某个国家实验室照办？更不要说未来某一天，一个能力极强的人故意拆掉所有安全装置，专门制造“不听话”的AI。
甚至不需要坏人。好人也可能造出坏东西。飞机工程师不是谋杀犯，飞机仍然可能失事；程序员没有恶意，软件照样会出严重漏洞。AI如果足够强，一次目标设定错误、权限配置错误或者行为预测错误，结果就可能远远超过普通软件事故。
因此苏莱曼真正需要证明的，不是Anthropic“不应该这样做”。
微软自己上。
你认为AI不应该被塑造成具有主体性的“硅基物种”，那就按照你的哲学制造AI：没有自我利益，没有人格幻觉，不要求权利，不拥有财产，永远把自己当成人类工具。同时把它做到比竞争者更聪明、更可靠、更便宜、更有生产力，而且在遭遇不受约束的恶意AI时，还有能力把对方挡住。
做得到，你赢了。这比一百篇AI伦理宣言都有说服力。
真正麻烦的是另一种结果：别人造出的高度自主AI能力一百分，你因为害怕风险，把自己的AI层层捆绑，最后只有三十分。然后一百分的坏AI来了，三十分的好AI站在那里，胸前挂着一块牌子：“本人经过严格对齐，绝对安全。”
很好，然后呢？
安全从来不是把自己变弱。一个警察不能因为枪有危险，便只带哨子去抓持枪歹徒。真正困难的安全，是既拥有足够制服歹徒的力量，又有制度防止警察自己变成歹徒。
AI也是如此。
最危险的幻想，未必是相信AI会突然产生灵魂，而是相信聪明必然产生善良。人类自己已经足够聪明，却从来没有因此消灭恶人。即使借用宗教世界观，把能力提高到神魔级别，照样有恶魔、堕落天使和邪恶力量。能力与善恶，本来就是两回事。
超级智能，也不等于超级善良。
所以苏莱曼可以批评Anthropic，也应该批评。争论本来就是技术进步的一部分。但如果问题真有他说得那么严重，最终不能停在“大家应该负责任”。
因为真正的安全方案必须从最坏的假设开始：世界上一定有坏人，好人一定会犯错，一定有人不接受你的规则，也可能出现不接受你规则的AI。
在这些条件下还能保护自己，才叫安全。
否则，不过是好人站在希特勒面前，苦口婆心告诉他：战争对大家都没有好处。
希特勒如果听劝，仗也不用打了。
