在OpenAI和Anthropic做过预训练研究的Jacob Coxon辞职了。他说，两家公司正在竞相奔向能够自我改进的超级智能，是在拿所有人的性命赌博。更值得注意的是，Anthropic仍在职的研究人员也公开呼应：他们确实相信，人工智能可能在未来十年内毁灭人类，而人类至今没有解决超级智能的控制问题。
这种警告当然不能当耳边风。但其中也隐藏着一个容易被忽略的前提：仿佛今天的危险来自人工智能突然学会作恶，而掌握它的人类原本都很善良。
现实显然不是如此。
汽车可以送人上班，也可以被醉汉开上人行道，被恐怖分子当作武器。枪可以用于自卫，也可以用于谋杀。互联网连接了世界，也让诈骗、勒索和极端主义跨越国界。技术本身能够帮助人，也能够放大使用者的善恶。人工智能首先面对的，恐怕不是它有没有“杀心”，而是本来就会犯罪、发动战争、追逐权力的人，会怎样使用它。
一个罪犯原来只能欺骗几十人，人工智能可以让他同时欺骗十万人；一个普通黑客原来没有能力攻击关键设施，人工智能可能替他寻找漏洞、编写程序；一个独裁政府原来需要庞大人力监视人民，人工智能可以自动识别、追踪和判断。即使人工智能永远服从命令，没有意识，也没有求生欲，它仍可能成为危险的放大器。
但这是否意味着应该停止研发？
如果汽车会撞死人，答案不是禁止汽车，而是设置驾照、道路规则和安全标准。可是人工智能又不同于汽车。一辆汽车只能在一个地点行动，一个模型却可以在几秒钟内复制无数份，同时攻击全球目标。汽车撞坏了可以扣押，模型权重一旦外泄，还能不能收回？普通工具的管理方法，足以约束这种可以复制、隐藏甚至协助制造下一代工具的技术吗？
即使美国决定暂停，又会出现另一个问题：中国、俄罗斯以及其他国家会不会跟着暂停？
如果美国公司接受严格限制，而对手继续训练更强的模型，世界可能仍然面对人工智能风险，只是最先进的能力落到更不透明、更难约束的政权手中。美国主动退出竞赛，究竟是在降低危险，还是在放弃阻止危险的能力？反过来说，如果每个国家都以“不能输给对手”为理由继续加速，那么竞赛本身是否必然把所有参与者推向他们明知危险的方向？
国际协议听起来合理，执行却异常困难。核材料难以制造，也较容易追踪；算法可以复制，模型可以秘密训练，芯片还可以走私。美国与盟国可以登记大型算力中心、限制高端芯片、审计危险能力，但怎样确认中共或其他政府没有秘密项目？如果无法核查，守规则的一方会不会反而受到惩罚？如果完全不立规则，第一次重大事故又可能由谁承担？
更难的问题是红线画在哪里。写作、翻译、医学研究当然不能与网络攻击、生物设计和自动武器一概而论。但模型能力往往是通用的：能够发现药物的系统，也可能帮助设计病原体；能够检查软件漏洞的系统，也能够发动攻击。我们究竟应该限制技术，限制权限，还是限制使用者？又由谁判断某项能力已经危险到不能公开？
Coxon未能证明人工智能一定会消灭人类，更无法证明灾难将在2030年前发生。但公司同样不能证明未来系统一定可控。这里没有一方握有完整答案，却有人继续投入数千亿美元，把能力向前推进。
人类不能因为最坏结果尚未发生，便假定它永远不会发生；也不能因为存在最坏可能，就把一项可能挽救无数生命的技术全部封存。停止可能输，竞赛也可能输；开放可能扩散危险，封锁又可能把优势送给最不受约束的人。
问题最终没有消失：如果人类并非天使，谁应该掌握越来越强的人工智能？如果没有任何国家值得完全信任，又由谁来踩下那道全世界都必须同时踩下的刹车？
