捅咕的cache分层生效了,19 万 token 的前缀被显存挤出后,从内存恢复约 2.64 秒,重新计算约 50.1 秒,输出一致
捅咕的cache分层生效了,19 万 token 的前缀被显存挤出后,从内存恢复约 2.64 秒,重新计算约 50.1 秒,输出一致
阅读:0
点赞:0
捅咕的cache分层生效了,19 万 token 的前缀被显存挤出后,从内存恢复约 2.64 秒,重新计算约 50.1 秒,输出一致