塔斯娱乐资讯网

问大模型推理速度的帖子里,有人晒出8张GPU跑QWEN3.8-27B,单线程才7

问大模型推理速度的帖子里,有人晒出8张GPU跑QWEN3.8-27B,单线程才70到100tokens/s,并发加起来也才一千左右,这速度比我预想的慢好多啊。