塔斯娱乐资讯网

疯狂小米!MiMo居然开直播训练大模型!!

MiMo负责人罗福莉凌晨发文:
沉寂半年,团队只研究了一个问题——强化学习到底能扩展到多远。然后甩出个网址,V2.6的训练过程实时直播。花了多少钱、跑了多少步、奖励曲线涨没涨、哪块显卡出了故障,全部公开可查。

我点进去看了眼,成本数字肉眼可见地往上跳。一小时两万多人民币,两天烧掉800万人民币。

训练配置也吓人。一步处理20亿token,一次出1568道题、每题让模型试16遍,等于2.5万个虚拟程序员同时开工。注意,题目不是闲聊,是进真实代码仓库找bug、改代码、跑测试,代码任务占了三分之二,剩下分给视觉、网络安全和通用任务。后台一度同时开着6万多个执行环境。用大白话说,小米训练的不是更会聊天的机器人,是更能干活的员工。

有网友按吞吐速度反推,这波大概用了6000到8000张H100——注意是估算,官方没认过。Meta研究员Lucas Beyer看完总结得很直白:所谓扩展三个方向,翻译过来全是算力。

那效果说实话,还在爬坡。代码基准DeepSWE上,Pro从起点涨到63.72,Flash 60.77,对比头部模型的74.2还有距离。

顺带一提,罗福莉是原DeepSeek核心成员,这波操作颇有当年开源社区那味儿。

后面几周还会陆续开源细节,先蹲一个。#ai #ai工具 #大模型 #小米