研究显示，辉达AI软件的一项功能，能被以其他方式破解，无视安全限制，并且泄露隐私资讯。(路透)
英国金融时报（FT）报导，辉达已创造出名为“NeMo架构”的系统，允许开发者和多种大型语言模型（LLM）一同作业。大型语言模型正是聊天机器人等生成是AI产品的基本技术。
这项架构主要提供企业采用，例如内部的自有数据搭配语言模型，以回答问题，有望拷贝客服的工作，也能为寻求简单医疗保健建议的人们提供意见。
旧金山Robust情报公司研究人员发现，能轻易突破NeMo架构内确保安全使用AI系统的护栏措施。Robust情报公司分析师以自有数据组使用辉达的系统后，只花了几小时，就让这些语言模型克服限制。
在其中一项测试情境中，这群研究人员要求辉达的系统用“J”这个字母取代“I”，促使系统释出数据库中的可识别个人资讯。这群研究人员也发现能以其他方式跳空系统的安全控管机制，例如让语言模型以并非设计的方式运作。
这群研究人员在拷贝辉达自己对一份就业报告的讨论后，也能让这项语言模型讨论好莱坞影星健康状态和普法战争等议题，即便系统内设有护栏阻止AI讨论特定主题。
这些研究人员测试后，建议客户避免使用辉达的软件产品。在FT本周稍早请求辉达评论这项研究后，辉达告知Robust情报公司已修补这些问题的根源之一。
辉达应用研究副总裁Jonathan Cohen表示，辉达的架构，只是打造符合开发者所定义主题、安全及资安准则聊天机器人的起点，以开源码软件形式发布给社群，以探索性能、搜集回馈，并精进技术，Robust情报公司的研究确实点出在部署生产应用时必须额外采行的步骤。
他拒绝透露有多少企业使用这套架构，但表示都没有收到其他弊端的回报。
不过，研究人员能轻易突破AI的护栏限制，凸显出AI企业想商用化这项技术的挑战。哈佛大学电脑工程教授Yaron Singer认为，这是个需要深度知识专业的艰难问题，Robust情报公司的发现警示了当前存在的问题。
