塔斯娱乐资讯网

决策模型杀到GPT-6身后!只差3分,速度快40倍、成本仅1/15

DecisionIndexv2把置信度算进得分:DrexMaxv1.1与GLiDEv1.2拿到73分,只比GPT-6Luna低3分,成本却是它的十五分之一,单项任务速度快四十倍。专业决策模型第一次有了独立的成本价值。

AI模型评测正在从“谁更聪明”转向“谁能以更低成本做出可靠决策”。ArtificialAnalysis最新DecisionIndexv2中,专业决策模型DrexMaxv1.1、GLiDEv1.2得分73,Mammoth27B得分72;通用模型ClaudeHaiku5.5(Max)为77,GPT-6Luna(Max)为76。

通用模型只领先3到4分,却付出了更高成本和更长耗时:GPT-6Luna(Max)每百万项任务约1530美元,是DrexMaxv1.1的15倍,单项任务耗时约40倍;ClaudeHaiku5.5(Max)每百万项任务约6240美元,单项耗时约为Drex的119倍。

对企业开发者来说,榜单真正传递的信号不是“通用模型没用了”,而是专业决策模型开始具备独立的成本价值:在文档审核、事实抽取、合规判断和工具调用等固定任务中,轻量模型可能比旗舰模型更适合规模化部署。

DecisionIndexv2测什么

新版DecisionIndex不只统计答对多少题,还把模型的置信度纳入决策得分。每道题得分为:

DecisionScore=50×(1+c–(p–c)^2)

其中,p是模型给出所选答案的概率,c表示答案是否正确,答对为1,答错为0。汇总后等价于:

DecisionScore=50×(1+Accuracy–BrierScore)

BrierScore用于衡量置信度校准。如果模型答错却非常自信,会受到更大惩罚;如果不确定时主动转人工或升级到更强模型,实际系统可能更安全。

DecisionIndexv2整合了AA-Paperclip、EvalSafe-ONET-AA、AA-Omniscience-Decision、HLE-MultiChoice、AA-Symmetry和When2Call,覆盖文档决策、事实抽取、知识掌握、推理、答案一致性和工具调用。

AA-Paperclip包含1500份简历、收据、发票及研究论文,每份文档有5道决策题和10道事实提取题,必须全部答对才算通过。新版还提高了私有数据集的占比,并移除已经接近饱和的测试项目。

专业模型只差1分,头部竞争已经很近

专业决策模型中,DrexMaxv1.1和GLiDEv1.2都拿到73分,Mammoth27B为72分。三款模型只差1分,说明专业模型在固定决策任务上的能力已经接近。

但综合得分接近,不代表每个维度相同。DrexMaxv1.1的单项答案正确率达到97%,但在Paperclip中只有71%的文档完成全部5道决策题,88%的文档完成全部事实抽取。模型可能“多数题答对”,却在整份文档级任务上失败。

AA-Symmetry则测试模型面对不同措辞时能否保持答案一致。Mammoth27B得分96,Elephant9B得分93;部分模型的高分与较高弃答率有关,因为它们面对不确定问题时更愿意承认不知道。

这对企业系统很重要:可靠决策模型不只要准确,还要知道什么时候应该停止、转人工或升级。

通用模型更强,但成本和耗时更高

ClaudeHaiku5.5(Max)和GPT-6Luna(Max)分别拿到77分和76分,领先专业决策模型3到4分。但性能差距带来了巨大的成本差异。

模型综合得分单项耗时每百万项任务成本
GPT-6Luna(Max)7611.34秒1530美元
ClaudeHaiku5.5(Max)7732.65秒6240美元
DrexMaxv1.173275毫秒102美元
Celeris-1.1Decision未列核心第一56毫秒14美元

Mammoth27B与GPT-6Luna(Max)只相差4分,但任务速度快118倍。对于每天处理百万级文档的业务,少量精度差距是否值得几十倍成本,需要用真实业务损失计算,而不是直接选择最高分模型。

调用方式可能比Token单价更重要

专业模型的成本差距超过60倍。Celeris-1.1Decision每百万项任务约14美元,DrexMaxv1.1约102美元,Clef则达到859美元。

差异不只来自Token单价,还来自文档输入是否复用。DrexMaxv1.1和Deciderv1.2处理同一份文档的多道题时,可以只计算一次文档输入;GLiDEv1.2和DeciderFlashv1.2则会为每道题重新输入整份文档。

在AA-Paperclip中,GLiDEv1.2每项任务平均需要约6.3万输入Token,DrexMaxv1.1只需要约9000。结果是GLiDE每百万项任务成本约780美元,接近Drex的8倍,尽管Token标价只高约33%。

这给开发者一个直接提醒:优化成本时,先看请求结构和缓存策略,再看每百万Token单价。相同文档的多轮问题应该复用输入,能够缓存的上下文不要重复发送,评测和生产都要记录真实Token消耗。

给企业的模型路由建议

可以把决策任务分成三层:

低风险高频任务:分类、字段抽取、规则匹配,使用低成本专业模型。

中等风险任务:文档审核、合规判断、跨文档分析,使用具备良好置信度校准的专业模型,低置信度时转人工。

高风险开放任务:复杂研究、异常案例和需要解释的决策,升级到通用旗舰模型或人工专家。

路由系统至少要保存模型版本、输入Token、缓存命中、输出、置信度、升级原因、人工结果和最终业务结果。没有这些数据,企业只能看到账单,无法判断模型到底省了多少钱或造成了多少返工。

国内开发者如果需要将决策模型或ClaudeCode等工具接入兼容API,可通过[Code80]https://code.ai80.vip/home配置endpoint;模型路由、数据权限、密钥隔离、预算和生产审计仍应由项目侧管理。

常见问题

专业决策模型已经超过通用大模型了吗?

没有。通用模型在综合得分上仍然领先,但专业模型在固定任务中的成本、速度和置信度校准可能更有优势。

DecisionScore为什么要加入置信度?

因为生产系统不仅需要答案,还需要知道答案是否可靠。模型答错却非常自信,会比明确表示不确定更危险。

为什么同样的Token单价,任务成本会差很多?

如果每道题都重新输入同一份文档,输入Token会重复计算。缓存和文档复用策略会显著影响最终成本。

企业怎样选择决策模型?

用真实业务数据比较准确率、文档整体通过率、置信度校准、响应时间、Token、人工升级率和错误损失,不要只看榜单总分。

什么时候应该升级到通用旗舰模型?

当任务开放性强、证据复杂、风险高或专业模型置信度不足时,可以升级到通用模型或人工专家,并记录升级原因。

国内开发者如何接入兼容API?

可以通过Code80了解接入方式,同时自行管理模型权限、密钥、数据留存、调用预算和审计日志。