塔斯娱乐资讯网

针对FP8预训练与中训练的训练损失比BF16高5%的问题,可通过整理优化数据类型

针对FP8预训练与中训练的训练损失比BF16高5%的问题,可通过整理优化数据类型、适配FP8的训练方法,再结合业务流程做指令微调来解决。