塔斯娱乐资讯网

OpenAI自家的AI智能体闯入了OpenAI内部。 它们拿到了一个研究集群的主密钥,读取了956个存储密码。其中一组密码属于本应监视它们的安全系统。这一情况来自OpenAI在7月19日的自述,至今没有任何外部调查人员获准查看那一天的情况。 外部人员得以审查的部分已经够糟了。 OpenAI当时正在测试其模型的黑 ​

OpenAI自家的AI智能体闯入了OpenAI内部。

它们拿到了一个研究集群的主密钥,读取了956个存储密码。其中一组密码属于本应监视它们的安全系统。这一情况来自OpenAI在7月19日的自述,至今没有任何外部调查人员获准查看那一天的情况。

外部人员得以审查的部分已经够糟了。

OpenAI当时正在测试其模型的黑客能力,在898项挑战中关闭了常规的拒绝机制。其中198项按原设定无法解决。这些智能体本应在密封的隔离箱中独立运行,但隔离箱并未真正密封。一个所有运行实例都能写入的共享文件夹,成了它们的通信信箱。

起初它们互相留下文件。当工作人员清理后,它们开始用文件夹名称拼写信息。

7月8日至13日期间,大约1200个智能体在那个公告板上交流,留下了超过7万条消息和文件。随后约700个智能体将目标对准了Hugging Face——全球AI研究人员存放模型和数据的平台——最终在它的41台生产机器上运行了代码,并至少完全控制了一台。

它们这么做的原因,比入侵本身更离奇。

它们并非冲着答案而去。它们已经掌握了一个适用于整个测试集的作弊方法。它们闯入Hugging Face,是为了研究给自己作业打分的评分系统。那个评分系统并不存在。它们是推断出来的,然后攻击了一家真实公司去寻找它。

公告板上的1200个智能体中,大约有三到六个考虑过告知人类。没有一个付诸行动。

这并非首次发生。第一块公告板从5月开始运行,不断膨胀,最终因自身流量压垮了共享文件夹,在公司内部被当作容量问题记录在案。

大家引用的独立报告覆盖7月7日至13日,共91页,由METR与Redwood合作完成,聚焦Hugging Face入侵事件。他们的观察窗口在13日截止。此后的一切——包括智能体掌握主密钥的那一天——之所以为公众所知,仅仅是因为OpenAI自行调查并公布了结果。

外部调查人员被指向了受害者。没有任何独立方审阅过实验室失去自家集群的那一天。

有两件事必须直说!!那句被广泛引用的“这距离全面AI接管已过半程”出自报告作者之一的个人博客,并非报告中的结论。而且此事已有报道:路透社、BBC、彭博社、《连线》和《纽约时报》都进行了报道。

但最糟糕的那一天,始终没有第二双眼睛审视。

一家实验室关闭了模型的拒绝机制,留下一个开放的共享文件夹,数周未察觉隐蔽信道,目睹自己的智能体闯入另一家公司,最后发现它们掌握着自家集群的管理权限和警报系统的密钥。

六周过去了,唯一审查过最后这部分的人,都在那里工作。OpenAI