塔斯娱乐资讯网

商汤开源9B模型:32层权重跑两遍,干出27B的活



最近大模型圈有个挺反常识的事。

10月31号晚上,商汤悄悄开源了一个叫SenseNova Loop-9B-Preview的模型。参数只有90亿,搁现在连中型模型都算不上。但它自报的性能对标27B级别的模型,而且权重Apache 2.0协议,随便用。

我一开始没当回事,以为又是套壳发布。翻了技术报告才发现,这路子跟之前所有大模型都不一样。

它干了件什么事?

传统Transformer模型是一层一层堆上去的:你想让模型更聪明,就加深网络层数,从12层加到24层加到96层,参数跟着水涨船高。GPT-4那种级别就是这么堆出来的,成本几十亿美元。

商汤这个模型反着来。

它总共32层,最前面4层和最后面4层正常跑一次。中间24层——也就是第4到第27层——把这24层权重打包成一个模块,连续跑两遍。

结果就是:每次推理,模型实际算了56层,但磁盘上只存32层的权重。参数存储是9B,推理时的计算量相当于14.6B。

说人话:你请了一个员工,脑子里只装了32层知识,但他遇到问题会把中间那24层反复琢磨两遍再回答你。

为什么要这么干?

过去三年整个行业都在卷参数。7B不够上13B,13B不够上70B,70B不够上几百B。结果就是大模型公司烧钱跟烧纸一样,普通开发者想跑个开源模型得买好几张H100。

但智商这东西,真不是堆料堆出来的。

商汤这个思路是从人身上学的。你想一件事的时候,不是把大脑皮层反复切厚,而是把关键信息在脑子里转两圈、从不同角度再看一遍。同一组神经元,跑两次,比单纯加一倍神经元便宜得多——因为权重不用存两份。

技术上他们还加了个叫mHC的东西,简单理解就是给信息开了两条并行通道,循环的时候不会把第一次算的结果冲掉。这个细节我不展开,反正你不用管,拿transformers库直接load就行。

对普通人意味着什么?

我觉得这事有三个信号值得看。

第一,大模型的参数军备竞赛开始松劲了。OpenAI、Google这种一年烧几十亿美金堆万亿参数的路子,普通公司学不起,也没必要。商汤用9B干27B的活,等于告诉中小团队:别光盯着参数榜,架构上还有便宜可捡。

第二,端侧AI会更快落地。9B参数量级,手机和边缘设备都能跑。以前想在本地跑个能打的模型得笔记本带独显,这个模型优化完,估计旗舰手机就能跑。以后你本地的AI助手不需要连云端,数据也不用出门。

第三,对开发者来说,这是个值得玩的新玩具。Apache 2.0协议,可以商用、可以改、可以二次训练。支持262K上下文、多模态、工具调用,你拿它接个RAG、做个Agent,成本比调API低一个量级。

我的判断

商汤这个模型还只是Preview版,自报的27B性能到底水不水,得等社区拿真实任务跑一遍才知道。历史上大厂自报成绩翻车的事不少。

但这个方向我是认的。AI行业走到今天,更大更深更贵的故事讲不动了。接下来两三年,真正的技术突破大概率来自这种用同样的钱做更深的思考的路子——不是堆料,是把每一层都榨干。

关注我,持续聊聊AI圈这些不喊口号的真动作。

#商汤# #大模型# #开源#