一张显卡放不下大模型,为什么多张 GPU 就能跑起来? AI大模型基础第81期:Tensor Parallel(张量并行)。 以一个 70B 参数的大模型为例,使用 FP16 精度,仅模型权重就需要约 140GB 显存,还没算 KV Cache、中间张量和运行时开销。 单张 24GB、40GB
一张显卡放不下大模型,为什么多张 GPU 就能跑起来?
AI大模型基础第81期:Tensor Parallel(张量并行)。
以一个 70B 参数的大模型为例,使用 FP16 精度,仅模型权重就需要约 140GB 显存,还没算 KV Cache、中间张量和运行时开销。
单张 24GB、40GB