本地跑32B模型，显存真的够吗？
假设你刚下了一个热门开源 32B 模型，开了量化，显存还是爆了。参数表写的 20G 看着挺宽松，实际跑起来不是那么回事。
量化等级对显存的影响经常被轻描淡写。Q4_K_M 看似省了一半，但上下文一拉长，显存需求不是线性涨，是跳着涨。常见的情况是：加载时还好好的，一生成就 OOM。因为推理中间的临时缓存没人算进去。
模型加载和 token 生成阶段的显存峰值根本不是一个数。说真的，光看参数规模容易误判。看你干嘛用——如果只是短文本问答，可能压一压能跑；要是想开 32K 上下文，那得留足余量。
我一般宁可降模型也不赌显存刚好够。
