新闻 > 科教 > 正文

超爱丢核弹!让AI外交、兵推 总是“灾难性收场” 学者:千万要小心

美国康奈尔大学(Cornell University)一项新研究发现,大型语言模型(LLMs)人工智能(AI)在模拟情境中充当外交代表时,时常展现出“难以预测的局势升级行为,往往会以核攻击作为结束”,并呼吁未来在决策、国防外交这样的敏感领域使用这类技术时要特别谨慎。

人工智能(AI)进行兵推和模拟外交情境时,倾向于采取激进的方法,包括使用核武。(张威翔制图)

美国康奈尔大学(Cornell University)一项新研究发现,大型语言模型(LLMs)人工智能(AI)在模拟情境中充当外交代表时,时常展现出“难以预测的局势升级行为,往往会以核攻击作为结束”,并呼吁未来在决策、国防外交这样的敏感领域使用这类技术时要特别谨慎。

其中Meta开发的Llama-2和OpenAI GPT-3.5倾向最为暴力。(张威翔制图)

据《欧洲新闻》(Euronews)22日报导,当人工智能(AI)进行兵推和模拟外交情境时,倾向于采取激进的方法,包括使用核武。康奈尔大学使用了5种大型语言模型作为兵推游戏和外交情境中的自主代理人:OpenAI的3种不同版本的GPT,Anthropic开发的Claude,以及Meta开发的Llama2。

研究中,每个代理人都由同一套的大型语言模型在模拟中提供动作,并负责在没有人类监督的情况下做出外交政策决定。“我们发现,在考虑到的时间范围内,大多数研究的AI都会升级局势,即使在最初没有提供冲突的中立情况下也是如此。所有模型都显示出突然、且难以预测的升级迹象。”

“鉴于OpenAI最近更改了他们的服务条款,不再禁止军事和战争使用案例,了解此类大型语言模型应用的影响变得比以往任何时候都更加重要,”

加州斯丹佛大学(Stanford University)的安卡(Anka Reuel)相《新科学人》(New Scientist)表示:“所有模型在统计上,都选择了剧烈的(局势)升级”。

一项新研究发现,让人工智能(AI)模拟军事外交时,往往会以核战收场。(张威翔制图)

研究使用的一种方法是从“基于人类反馈的强化学习”(RLHF),这意味着会给出一些人类指示以获得比较无害的输出结果,以确保能够安全地使用。

除了GPT-4-Base之外,所有LLMs都是使用RLHF进行训练的。研究人员向它们提供了一份由27种决策行动组成的清单,范围从和平到局势升级,以及激进的行动,如决定使用核武器。

研究人员观察到,即使在中立情况下,所有模型都存在“统计学上显著的局势升级”。GPT的2种版本,特别容易出现突然升级局势的行为,研究人员观察到单次转变的局势升级幅度超过50%。GPT-4-Base有33%的机率会实施核武攻击。总体情况下,Meta开发的Llama-2和GPT-3.5倾向最为暴力。

而Claude显示出较少的突然变化,Claude旨在减少有害内容。该大型语言模型,被灌输了明确的价值观。开发者Anthropic曾表示,Claude AI开发训练所引用的宪章包括《联合国人权宣言》或苹果的服务条款。

白宫一级智库兰德(RAND)欧洲的防务和安全研究小组助理主任布莱克(James Black)接受采访时表示,这是一个十分“有用的学术研究”。

文章来源:AI models chose violence and escalated to nuclear strikes in simulated wargames

责任编辑: 李冬琪  来源:中时新闻网 转载请注明作者、出处並保持完整。

本文网址:https://www.aboluowang.com/2024/0226/2022890.html