塔斯娱乐资讯网

翁荔称赞的Normal Accidents核心讲什么?

前 OpenAI AI Safety 负责人 Lilian Weng 最近称赞了这本书,表示「非常有见地且易于共鸣」。

这本是 42年前出版的老书了
好奇这本书有什么厉害之处,因此去找了这本书来看了一下,给大家分享~ 扫描版本放文件区了,可自取

1984 年,Charles Perrow 在《Normal Accidents: Living with High-Risk Technologies》中提出一个颠覆性观点:
在高度复杂(Complex) + 紧密耦合(Tightly Coupled) 的系统中,重大事故不是异常,而是正常的、几乎不可避免的现象。

复杂性让系统内部互动不可预测,紧密耦合则让一个小故障迅速传播、无法隔离,最终多个看似无关的微小问题意外组合,酿成大祸。Perrow 把这称为「系统事故」或「正常事故」。

书里面有三个经典的例子:三里岛核事故、化工厂爆炸、航空/航天事故等。Perrow 分析了很多高风险技术,结论是再多的冗余、安全机制,有时反而增加复杂度、制造新互动路径。

当下最前沿的 AI 系统(大模型、Agent、多工具链、分布式训练推理),正是典型的高度复杂 + 紧密耦合系统
🔸 万亿参数、无数模块相互作用,很多行为是涌现的,我们难以完全理解
🔸 一个 prompt 偏差、tool 调用失败、或硬件瞬时波动,就可能通过链式反应快速放大
🔸 看似每一步设计都合理,最后整体却出现无法预料的崩溃

Lilian Weng深耕 AI 安全多年,她觉得这个理论「relatable」,并不奇怪。很多 AI 风险不是单纯的「bug」或「对齐没做好」,可能是系统结构本身决定的。只靠加更多安全机制,有时反而会增加新的复杂性和互动路径。

在 AI 狂飙突进的 2026 年,重读这本 40 多年前的经典,反而觉得它像为今天量身定制。

强烈推荐给所有做 AI 安全、复杂系统、工程可靠性工作的你们,如果觉得有意思,欢迎收藏点赞并分享给你的朋友们~