小米MiMo大模型团队负责人罗福莉在X平台发文,首次对外披露MiMo-V2.6的强化学习(RL)训练进展。罗福莉表示,自MiMo-V2.5开源之后,团队近半年核心研究方向聚焦一个核心命题:强化学习究竟可以扩展到什么程度。目前MiMo-V2.6正处在强化学习训练中途阶段,团队从三大维度做规模化扩容:计算资源、训练环境与任务体系、奖励评估机制。
一、三大扩容方向技术细节
计算资源扩容
每一步训练约处理20亿Token;训练配置为1568个提示词(Prompt),每个提示词生成16条Rollout样本,采用全异步训练架构,单批次可产出25088条模型执行轨迹,大幅提升训练并行度。
训练环境与任务体系(多任务智能体RL)
采用多任务Agent强化学习方案,单次训练运行中混合接入多个测试框架,不再局限单一任务类型,让模型在多样化任务环境中学习,提升复杂任务、工具调用的泛化能力。
奖励评估机制升级(Grader Compute)
引入Agentic组内信用分配机制,配套测试案例与基于评分标准的奖励函数。简单来说,强化学习打分环节本身投入更多算力,精细化评估模型每一步动作的贡献,而不是只看最终结果好坏,优化智能体长链路任务的学习效果。
罗福莉同时透露:未来几周,团队会逐步开源本次训练的相关技术细节。
二、训练直播看板:MiMo-V2.6-Pro / MiMo-V2.6-Flash
随推文,罗福莉放出MiMo实时训练直播页面(mimo.xiaomi.com/rl/),对外直播大规模Agent强化学习实验全过程。看板实时展示训练步数、Token消耗、训练成本、样本数量、内部评测指标变化,包含两个版本:MiMo-V2.6-Pro、MiMo-V2.6-Flash。
训练页面数据直接取自真实训练日志,模型仍在训练,分数会出现正常波动、训练重启、显存故障等真实训练现象;
累计训练成本已经超过125万美元,训练峰值成本约每小时3.08万美元。
训练页面显示MiMo-V2.6系列模型即将推出。
三、核心背景解读
MiMo系列模型一直主打Agent智能体方向,上一代MiMo-V2.5已经具备强大工具调用、长上下文能力。本次V2.6重点不是基础基座预训练,而是强化学习规模化实验,核心目标探索如何依靠扩大RL规模,提升大模型完成真实复杂任务的能力,属于面向Agent时代的后训练技术探索。
这次公开实时训练过程,在国内大模型厂商中属于比较少见的开放做法,直接对外展示大模型强化学习昂贵、充满不确定性的真实训练过程。
四、一句话摘要
小米MiMo负责人罗福莉公开MiMo-V2.6正在进行大规模Agent强化学习训练,近半年研究强化学习的可扩展性,在计算、多任务训练环境、奖励打分三个方向扩容,开放实时训练看板,后续几周逐步开源技术细节。