大模型实习独自升级Day21
今天开始优化自己的项目，也没再继续投了，再沉淀沉淀。
Lc写了一道子串类mid，下午一直在和gpt聊项目的优化，比如基线怎么定，baseline不应该只是端到端让学生模型跑一遍，更应该归因到模型能力的缺失，这关乎到数据集怎么造。然而怎么合数据也是令人头疼的问题，还没和gpt商量出确切方案。晚上复习了一下opd和gspo，在线策略蒸馏不需要教师轨迹，让教师打分并计算logporj即可。gspo对每个回答计算重要性权重，grpo对每个token计算重要性权重，主要区别就是优化粒度。然后看了看文心新发布的技术报告，感觉这个面试可能会问到。
算法岗 大模型学习 大模型入门 大模型实习 大模型