所有大模型都在用的【残差】到底是什么？
以前看到 Residual、ResNet、Skip Connection 这些词，总感觉很头疼。
后来发现，它最核心的逻辑其实特别简单：
不要什么都从头学，只学“还差多少”。

举个很简单的例子。
你现在在 A，目标在 B。
从 A 到 B 还差的那一小段，就是“残差”。
所以可以粗略理解成：
残差 ≈ 想要的 - 现在的

而 ResNet 做了一件很聪明的事情：
它先把原来的输入直接保留下来，再让网络只学习“需要修改的那部分”。
也就是：
输出 = 输入 + 学到的修正
这也是那根著名的 Skip Connection（跳线） 在做的事情。
它就像给信息修了一条“近路”。
原来的东西不用每一层都重新加工一遍，可以直接送到后面，再和新学到的修改合在一起。

所以整个概念，三个词就搞定了：
残差 = 差距
跳线 = 近路
网络 = 只学要改哪里

这也是我很喜欢的一类工程思想：
不要每次推倒重来，保留已经正确的部分，只学习增量。

从这个角度看，ResNet 不只是一个神经网络结构，它背后的思想其实也很“工程”。

深度学习 ResNet 残差网络 大模型 LLM 神经网络 人工智能 AI学习 机器学习