塔斯娱乐资讯网

阶跃今天憋出来一个大的!Step 5 Preview

阶跃今天(9 月 20 号)把 Step 5 Preview 端出来了,600B 总参、激活才 27B,激活比 4.5%。1M 上下文,原生多模态,Transformer 直接堆到 92 层。

阶跃的逻辑我倒觉得实在:
模型的"大"是手段不是目的。复杂 Agent 任务里多跳依赖一堆,工具调用又带来超长 Prefill,信息得沿深度一层层传——网络不够深,隐式推理就做不完。92 层极难训,数值爆炸、梯度尖峰分分钟教你做人,他们专门优化才稳住。

真正亮眼的,是它讲的"帕累托前沿"。图上蓝线压在分离点,右侧标 ~65% Cost。
翻译过来就一句大白话:同样聪明没它便宜,同样便宜没它聪明。跑完一道 AA 任务平均 0.71 美元,新的可用边界划出来了。

成本怎么压?双重稀疏——Sparse MoE 加 Sparse GQA,百万 token 时靠稀疏索引只挑相关历史。算法稀疏不等于系统更快,又用 Block-wise Token Merging 把索引成本降 8 倍。

10 月 15 号开源,现在产品和 API 已能用。
#ai #ai工具 #大模型 #阶跃