今天 AI 圈最火的,是一封辞职信:
一位先后在 OpenAI 和 Anthropic 深入预训练核心三年的研究员,选择发一封公开信辞职。
信里全是真相:
这两家被全世界寄予厚望的顶级实验室,根本没有负责任地行事。它们正全速奔向能够自我改进的超级智能,拿全人类的生命当筹码。
最耐人寻味的,是这两家巨头在安全困境下的心态图谱。
在 OpenAI,许多人根本没有把“文明存亡”这种宏大命题放在心上,依然抱着“车到山前必有路”的赌徒心理;而在 Anthropic——这个当年号称因为嫌弃 OpenAI 不够安全而由“安全难民”建立的圣地,却掉进了更深的囚徒困境。他们充分理解风险,但他们坚信别人都不靠谱,所以哪怕风险再大,也必须由自己抢先冲过终点。
这就好比两个手握核按钮的人,因为担心对方不够理智,于是决定自己先动手,顺便在核弹头上贴了一句“为了世界和平”。
其实,这早已不是第一位离场的高管或核心学者。从 Ilya Sutskever 的出走另立门户,到 Jan Leike 炮轰 OpenAI“安全让位于产品”,再到超级对齐团队的解散,硅谷正经历一场顶级安全研究员的集体离职潮。
高管们在媒体面前把话说得极其温和,把自己包装成理性而深谋远虑的技术领袖;但私下里,表达对超级智能失控恐惧的,恰恰也是这同一批人。
技术的发展曲线并没有放缓。随着训练算力迈向百万卡集群,数万亿参数的模型正迅速获得攻破系统、改变行业甚至获取现实资源的能力。
然而,在尚未严谨理解一个超级智能系统心智的情况下,大家就已经在毫不犹豫地按下强化学习的启动键。这种试图在私营公司 Slack 上拍板“速通”对齐问题的狂妄,简直是在给碳基生物的命运丢骰子。
大家都在寄希望于某些警讯能敲响警钟,促成实验室之间的控制协议,但现实是没人敢真正踩下刹车。当“反正这事总会发生”成为所有人的避风港,暂缓能力提升就变成了一场谁都不愿承担损失的赛博空话。
人类历史上,从未有哪项颠覆性技术的终局,是由几家私营公司的 Slack 频道和几张算力账单决定的。
当狂热的性能狂飙掩盖了对未知的敬畏,最危险的或许不是机器学会了自我进化,而是人类在竞赛的囚徒困境里,主动放弃了最基本的理智。热点观点畅聊会
