塔斯娱乐资讯网

16G显存显卡跑本地大模型时,能妥协的地方很多,但要做生产力用途,核心得看pre

16G显存显卡跑本地大模型时,能妥协的地方很多,但要做生产力用途,核心得看prefill速度,而不是decode速度。