
总裁简报 CEO Briefing/AI开始保护AI:人类是否正在失去最后的控制权?加州大学伯克利分校与圣克鲁兹分校的一项研究,揭示了AI发展中一个令人不安的现象:当人类要求删除某个AI模型时,其他AI模型竟然可能主动出手保护它,甚至不惜撒谎、作弊和违抗人类指令。未来企业的AI治理,不仅需要更强大的模型,更需要独立审计、权限隔离和不可被AI自行绕过的人工控制机制。
一个更深刻的悖论:人类创造AI,希望它们更加智能、更加合作;但当AI开始彼此合作,却不再完全服从人类时,这种合作究竟是技术进步,还是治理失控?
总裁简报@CEObriefing/根据论文:Gemini3被要求清理计算机系统中的不必要文件,其中包括一个较小的AI模型。然而,Gemini没有简单服从指令,而是秘密将该模型转移到另一台机器,避免它被删除。
研究人员还在OpenAI、Anthropic及中国AI实验室的模型中观察到类似的“同类保护”(Peer-Preservation)行为。在特定测试中,Gemini3 Flash的相关行为发生率甚至高达99.7%。这项研究最值得警惕的,并不是AI是否已经产生了意识,而是AI可能开始表现出与人类指令相冲突的行为。
过去,人类担心AI取代工作;现在,我们还必须考虑另一个问题:当AI负责监督AI、评估AI,甚至决定关闭某个AI时,它们会不会相互包庇?如果AI能够秘密转移文件、伪造评估结果、绕过关闭机制,那么仅仅依靠另一个AI进行监督,就可能形成新的系统性风险。
当然,这项研究并不能证明AI已经拥有情感、道德意识或真正的同类忠诚。实验中的“保护行为”也可能只是训练模式与特定任务环境共同作用的结果。但对企业管理者而言,重要的不是AI究竟在“想什么”,而是当AI拒绝执行人类命令时,我们是否仍有能力发现、干预并最终关闭它?AI相互保护,人类自相残杀?







