美国人工智能公司Anthropic前研究员考克森批评“OpenAI”与“Anthropic”对“会自我改进的超智慧”开发不负责任。图：翻摄自Ｘ@clashreport
美国人工智能公司“Anthropic”上周发布威胁情资报告，直指有一个与伊朗有关的账号，利用公开的大型语言模型“Claude”，把散落在网络上的美军动态汇整成“目标锁定手册”，并整理舰载系统已知漏洞，供伊朗情报单位缩小识别、锁定美国海军在中东地区目标。相关事件被与一名研究员的辞职信“连结”，该研究员痛批“OpenAI”与“Anthropic”同样不负责任，“正直接冲向会自我改进的超智慧，拿我们的命去赌”。
这名现年27岁的前研究员考克森（Jacob Coxon），专长是透过大量资料训练新AI模型，过去三年先后在“OpenAI”与“Anthropic”工作。他表示，整个行业竞相开发会“自我改进型”AI系统，“打造AI的人真心认为，这项技术可能在10年内消灭全人类”。他表示高阶主管对外讲得较审慎，但私下恐惧相同。他认为“OpenAI”尚未把文明层级后果内化；而“Anthropic”却是清楚风险，却以别人不负责、自己必须抢先抵达为由，投入竞赛。考克森直言：把“终局”押在私人公司内部讨论上是“傲慢的赌博”。
对应伊朗利用“Claude”锁定美舰一案。考克森的预言，即是当前“能力滥用”的前兆，即系统若再往“自我改进”推进，规避防护、组装情报与武器软件的门槛会更低。虽然，“Anthropic”曾因道德问题拒绝五角大厦使用“Claude”用于美国境内大规模监控与无人监督的全自主武器，但却无法有效防护“有心人”利用AI压缩情报作业或武器开发。考克森认为，如果没有政府介入或全行业协同减速，将没有办法遏制问题恶化。
目前AI引发的忧虑大致分两类：一是系统失控，即高度智慧、能自我复制与自我改进的AI，将“追求自身目标”，过程中摧毁人类；二是如前述的滥用或恶意利用，例如被用来开发新型病毒而毁灭人类。