蒸馏与deepseek的发展方向

a厂跳出来指控中国的大模型厂商蒸馏，引起了很多人的阴阳怪气。蒸馏是事实，但在目前的大环境和格局下，这既不奇怪也没什么可以指责的。所有大模型都是在蒸馏人类有史以来的信息，那么在蒸馏基础上二次蒸馏又有什么可以被指责的呢？单方面的用户条款也并没有禁止别人使用和蒸馏的权利。在人类历史中，所有的后进者都是在参考和学习前人的经验上进行的，甚至所谓的知识产权也只是人类历史上的阶段性产物，以及在立法上也是设置合理的约束，现阶段国际过严的知识产权保护是美英基于利益的产物。更何况在大国竞争格局下，为了竞争胜利，为了在ai领域能够跟上，蒸馏这点事委实算不上什么。当战争，谋杀，颠覆都广泛被美国使用时，这点事情有什么可说的。当然纯粹模仿蒸馏是不可能超过原型的，所以重要的是在跟住的同时，研究出自己的体系诀窍。这方面ds是堪当楷模的，从公开信息看，ds显然在基础算法上进行改进，试图解决n平方的算力消耗问题。我始终相信目前的llm在算法效率上应该能够有极大的改进空间（对比人脑的能耗），我也坚信会有新的底层模型替代目前的transformer。ds这种理想才是真正的方向和价值