AI时代真正值得警惕的，未必是某一天机器突然造反，而可能是另一件更古老的事情：人类借机器之名，把本来不该集中的权力集中起来。
最近这幅图已经越来越清楚。Anthropic首席执行官达里奥·阿莫代伊不断警告前沿AI可能带来灾难性风险，主张放慢能力竞赛、加强安全测试和政府监管。Anthropic自己的政策文件更进一步：今天的模型需要透明和基本监督，能力继续提高，就需要外部测试、事故报告和更深入的政府监管；到了最高风险阶段，监管甚至可以接近核能和金融业。它还明确提出，政府应拥有阻止或威慑危险AI部署的法律权力。
问题是，Anthropic并没有因为这种技术如此危险而退出竞争。恰恰相反，它自己正在拼命向前跑。9月17日，它推出生命科学认证计划：普通Claude受到的某些生物学限制，经过Anthropic审核的科研机构可以放宽；申请者要接受研究资历、安全标准和伦理监督审查。换句话说，Anthropic一面告诉世界这种能力危险，一面继续发展这种能力，同时开始判断谁属于可以接触更强能力的“负责任者”。
谁又认证Anthropic自己属于负责任者？至少在相当程度上，是Anthropic自己。
此时，巴拉克·奥巴马又出现了。一个早在2017年就卸任的总统，今年仍在敦促民主党把AI治理提高到重要政治议程。据路透报道，奥巴马要求哈基姆·杰弗里斯推动AI政策讨论，并希望2028年的民主党总统候选人认真处理AI安全和经济影响。
奥巴马当然有权发表意见。问题从来不是退休总统应不应该闭嘴，而是一个已经不需要再接受总统选举检验的人，仍在利用自己的政治声望影响民主党的未来政策方向。这正好让Anthropic反复强调的“民主问责”显得没有口号那么简单。
更值得注意的是，双方的思路出现了一个天然接口。
Anthropic说，AI风险太大，单靠企业不行，政府必须取得法律权力；奥巴马等民主党政治人物说，AI风险太大，政府必须赶快介入。Anthropic还明确主张，美国及盟国民主国家必须保持最先进AI的领先，因为开发最先进AI的政治制度将塑造未来AI的规则和规范；它同时参与国际AI治理，希望影响跨境规则。
根本不需要假定阿莫代伊和奥巴马躲在某个房间里密谋。利益和理念自然可以汇流：AI巨头获得越来越高的行业准入门槛，政府获得越来越大的监管权；企业向政府提供最先进的技术能力，政府又决定哪些企业、研究者和国家能够接触这些能力。
然后把这个结构推到极端看看。
假如Anthropic这一路线成功，美国建立类似核工业的前沿AI监管；民主党或者任何未来政府获得审批、限制乃至阻止最先进模型部署的权力；美国再利用芯片、算力、盟国体系和国际协议，把自己的规则向世界推广。与此同时，最强大的AI越来越能够帮助政府分析海量资料、发现网络关系、执行行政任务、识别风险甚至影响公共传播。
那么问题来了：最后谁制衡谁？
政府告诉社会：“AI太危险，所以只有经过我们批准的人可以开发。”
领先企业告诉政府：“AI太危险，所以你必须阻止那些不够负责任的人开发。”
政府依赖领先企业判断什么叫危险；领先企业依靠政府建立的监管门槛阻止后来者；双方再使用越来越强的AI提高自己的能力。这便可能形成一个漂亮得令人害怕的闭环：
控制AI者获得更大的权力，更大的权力又帮助他控制AI。
最讽刺的是，Anthropic自己恰恰警告过：AI可能让少数公司或国家“锁定优势”，把其他人甩在后面。欧洲AI企业现在也已经公开提出类似质疑，认为美国企业的“减速”主张可能巩固既有巨头的优势，一些欧洲人士直接谈到“监管俘获”的危险。
那么同一套问题为什么不能问Anthropic自己？
奥巴马当了八年总统，现在已经卸任近十年，仍然积极影响民主党政治；阿莫代伊经营世界最重要的AI公司之一，却在告诉政府应该怎样管理整个AI产业。两个人当然都可以认为自己是在为人类负责。历史上真正危险的权力扩张，却从来不要求掌权者首先承认“我是坏人”。
恰恰相反，最容易获得公众授权的理由永远是：事情太危险了，你必须把更多权力交给我们。
因此，不必证明奥巴马有什么秘密阴谋，也不必证明阿莫代伊是野心家。只需要问一个制度问题：
如果他们全部得偿所愿——最强AI集中在少数“负责任”企业手中，政府取得前所未有的监管权，美国再把这套制度推广到世界——二十年以后，假如掌握这套机器的人不再是今天这些自称负责任的人，谁还能把权力拿回来？
如果回答只是“相信民主制度会纠错”，那未免太便宜。
美国过去几十年的历史已经说明，民主制度能够纠错，并不意味着每一次重大错误都能及时纠正，更不意味着造成错误的人一定承担与后果相称的责任。
AI可能把这种风险第一次放大到另一个量级。
所以AI时代最重要的安全问题，也许不仅是“怎样防止AI失控”，而应该再加一句：
怎样防止那些以防止AI失控为名取得巨大权力的人，最后变得无人可以制衡。
