塔斯娱乐资讯网

捅咕的cache分层生效了,19 万 token 的前缀被显存挤出后,从内存恢复约 2.64 秒,重新计算约 50.1 秒,输出一致 ​

捅咕的cache分层生效了,19 万 token 的前缀被显存挤出后,从内存恢复约 2.64 秒,重新计算约 50.1 秒,输出一致 ​