塔斯娱乐资讯网

#AI大模型刷榜还有意义吗# 大模型的确都在刷榜,各个公司都不例外。 必须提出的是,其实闭源模型更有可能刷榜。开源模型如果刷榜,因为模型权重发布后是不能“在线更新”的,所以开源模型如果刷榜,到测试更新后,它的刷榜行为就会暴露。 但是闭源模型,作弊的机会更多。哪怕一个榜单今天1点发布, ​

AI大模型刷榜还有意义吗

大模型的确都在刷榜,各个公司都不例外。

必须提出的是,其实闭源模型更有可能刷榜。开源模型如果刷榜,因为模型权重发布后是不能“在线更新”的,所以开源模型如果刷榜,到测试更新后,它的刷榜行为就会暴露。

但是闭源模型,作弊的机会更多。哪怕一个榜单今天1点发布,闭源模型也可以及时训练adapter,2点就更新模型权重,只要动作足够快,完全可以在测试更新后,迅速更新模型来作弊,背答案而已,根本不难。甚至,假如跟测试发布者的内部人员勾结,完全可以提前更新好,然后完成一波“xx模型最强”的营销。

所以,闭源模型,无论分数多高,都应该假设它作弊,它分数高没有意义,无法验证它是否刷榜了。

还有,现在美国两大AI巨头的模型,你也没法判断,它是不是蒸馏了中国开源模型,然后通过堆更多算力来反超。毕竟中国模型都开源了,架构它们完全可以照抄。中国模型更新之前,anthropic和openai都没有便宜模型,中国开源模型发布几个月之后,它们就有了,那你说,它们有没有蒸馏和抄袭中国开源模型?

论蒸馏,闭源模型蒸馏开源模型的难度,越低于开源模型蒸馏闭源模型。前者是白盒蒸馏,后者是黑盒蒸馏,而且,还拿不到完整的思考内容,蒸馏个毛啊。所以论蒸馏,闭源蒸馏开源的嫌疑,远大于开源蒸馏闭源。

最后再说说,其实openai和anthropic的模型也就那么回事,所谓的解决数学难题,黑入某公司网站,都是它们的营销而已。国内有些贱骨头,别老把别人吹的牛逼当真理,挺恶心人的。

另外,抖音上有大批的账号,公然在没有证据的情况下,造谣国内大模型靠蒸馏国外模型得到能力,三人成虎,希望管理部门责成自媒体平台,处罚这类账号,不能对谣言不当回事,回头假的说多了,被人当成真的了。对于举报谣言的信息,平台必须认真处理,不能敷衍了事。