塔斯娱乐资讯网

Harness:LLM能力迁移 📕摘要翻译:传统能力蒸馏通常要更新小模型参数。

Harness:LLM能力迁移
📕摘要翻译:传统能力蒸馏通常要更新小模型参数。这篇论文研究另一条路径:让强模型在测试时构建推理 harness,把能力迁移给不改参数的弱模型。强模型用 5% 数据做验证,经过多轮迭代完善 harness,再在完整测试集上评估。平均表现从 0.49 提升到 0.91,接近翻倍。

⭐文章亮点:收益主要来自把不稳定推理外置为确定性代码、按基准路由,并严格约束答案格式,而不是单纯让模型生成更长思路。强模型的推理投入越多,harness 质量越高,弱模型获得的增益也最大。

这项工作把知识迁移的对象从参数改成了推理流程。它说明一个强模型可以编写任务专用的执行结构,让弱模型在不重新训练的情况下获得更稳定的行为。

📚 英文题名: AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses🔗 arxiv id:2608.12307LLM LLM翰林院 ai 模型蒸馏