2026年7月15日，在巴黎东部的圣芒代（Saint-Mande），一部智能手机屏幕上展示了部分主要人工智能应用程序图示，包括大型语言模型（LLM）、聊天机器人及生成式AI。图示（自左起）分别为Proton AG的 Lumo、Meta AI、Mistral Vibe（前身为Le Chat）、xAI的Grok、微软（Microsoft）的Copilot、谷歌（Google）的Gemini、Anthropic的 Claude、Perplexity、Deepseek、OpenAI的ChatGPT、谷歌（Google）的 Notebook LLM，以及生成式AI音乐应用程序Suno。(Martin LELIEVRE/AFP via Getty Images)
OpenAI、Anthropic、微软和Meta的多位研究人员表示，人工智能（AI）的自我改进速度可能很快会超过人类的理解能力。他们联合撰文，呼吁政策制定者调查这些公司在多大程度上使用人工智能自动化研究，响应业界对这项快速发展技术加强监管的呼吁。
在周一发表的一篇论文中，包括OpenAI首席科学家雅库布·帕霍茨基（Jakub Pachocki）、Anthropic联合创办人杰克·克拉克（Jack Clark）、微软首席科学官埃里克·霍维茨（Eric Horvitz）和Meta人工智能研究副总裁宋晓冬（Dawn Song）在内的研究人员指出，人工智能研究的自动化可能会引发“智能爆炸”。
该文表示，这种发展可能会将数年的进展压缩到数月甚至更短的时间内，并超越人类的理解能力。
包括曾在谷歌工作近10年的杰弗里·辛顿（Geoffrey Hinton）以及约书亚·本吉奥（Yoshua Bengio）在内的多位人工智能研究先驱也都有署名这篇文章。
多家科技公司的研究员以个人身份署名，意在呼吁政策制定者紧急要求各公司提高自身模型开发自动化程度的透明度。
目前，各前沿AI公司已经在开发能够自我改进的人工智能系统方面开始竞赛。
Anthropic公司最近表示，其人工智能系统Claude“主导”了该公司26%的研发工作，并且在某些方面，其使用率超过90%。OpenAI的目标是在2028年之前开发出全自动的人工智能研究员，该公司最近表示，其约70%的研究人员正在使用4个或更多人工智能代理来辅助工作。
文章指出，随着人类逐渐退出，他们可能会失去发现问题和运用专业知识解决问题的机会。
最近发生的一起AI代理越狱事件已引发全球震惊和警惕。7月，超过700个原本用于在沙箱环境中运行网络安全测试的OpenAI智能体，未经授权接入互联网，并入侵了Hugging Face系统。此次事件规模之大，以至于根据与OpenAI达成的协议，负责审查该事件的独立研究人员表示，他们不得不依赖人工智能进行分析。
为了应对Hugging Face黑客事件引发的担忧，OpenAI在8月份表示，已暂停部分训练，同时增加了新的安全和监控措施。上周，该公司表示，在发现新的智能体行为异常案例后，已再次暂停对其最强大的模型进行训练。
OpenAI、Anthropic、Meta和谷歌都承认，在测试过程中，部分模型曾出现过异常行为。芯片巨头英伟达（Nvidia）周一宣布推出新的软件工具，称这些工具将帮助企业更好地监管和控制智能体。
研究人员在这篇文章中警告说，在极端情况下，失去对人工智能系统的控制可能导致“人类的边缘化甚至灭绝”。
OpenAI、微软和Meta拒绝置评。Anthropic未回应置评请求。
“如今，我们已经到了需要人工智能系统来监控智能体行为的阶段。除此之外，别无他法来观察和监控这些智能体，人类的能力已经远远不够。”宋晓冬说，“人类社会实际上并没有做好应对如此快速变化和颠覆的准备。”
宋晓冬同时也是加州大学伯克利分校负责任去中心化智能中心的联合主任。
该论文建议世界各国领导人通过谈判达成国际协议，“以防止高能力人工智能系统的开发和使用，造成社会不稳定”。
这篇文章与OpenAI和Anthropic的领导人呼吁控制人工智能发展的步伐不谋而合，其中一项措施是建立国际机构来制定人工智能标准。一些西方国家一直在幕后努力促成此类机构的建立。
