塔斯娱乐资讯网

一个AI研究员的离职引爆了硅谷…… 这两天,因为一个人的离职,硅谷吵了起来。

一个AI研究员的离职引爆了硅谷……
这两天,因为一个人的离职,硅谷吵了起来。

这人叫Jacob Coxon。他曾经参与OpenAI前沿模型训练工作,出现在GPT-4o、GPT-4.5等模型的贡献名单中。后来加入Anthropic,继续从事大模型预训练研究。

可以说,他是那批站在AI最前沿的人。就是这样一个人,选择离开AI公司,并在X上留下这样一个原因:“两家公司都没有负责任地行事。他们正直奔自我改进的超级智能而去,用我们的生命在赌博。”

帖子浏览量超过1亿。讨论迅速分成两派。

有各种认同他的。Anthropic 对齐研究负责人 Evan Hubinger 就说,他个人认为未来十年 AI 导致人类灭绝的概率超过 10%。他相信公司正在努力,但承认目前还没有一套完整方案能够确保超级智能按照人类的意愿行事。

也有人扒出他的履历,质疑他才在A社才待了两个月就大放厥词,怀疑这是AI末日派的公关行动。

还有人理性质疑,内部人员的观察值得听,但从“模型越来越强”到“人类可能灭绝”,中间还是需要充分的解释和证据吧。。而不是这么煽动性发言。。

AI末日论一直有,但最近AI在数学、编程上的一系列突破、AI自动化研究的趋势,都让AI安全对齐到了迫在眉睫的地步,而这个帖子引爆了这种忧虑和紧迫。

AI对齐领域重要人物Paul Christiano今天就发文宣布加 OpenAI,参与AI安全工作。他提到,

“未来18个月内,人类可能拥有足够强大的AI系统,实现高度自动化的人工智能研究......而一旦AI研发本身实现高度自动化,那么接下来短短六个月内出现的算法进展,可能超过过去近十年Transformer模型诞生以来积累的全部成果。”

而所谓“对齐”,用通俗的话说就是:AI 越来越强、越来越能自己行动之后,我们还能不能确保它可靠地按照人类的意图做事?

如果研发速度不断加快,人类用于理解模型、发现问题、验证安全的时间就越来越紧。这也是为什么,一些研究员已经无法安心接受“先把能力做上去,安全问题以后再解决”。

Jacob的离职像一根引线,点燃了一场关于AI安全与AI未来的公开争论。而好消息是,有越来越多人呼吁AI安全立法,OpenAI今天也发文呼吁美国国会制定针对前沿AI系统的安全法规。
ai 科技 大模型