塔斯娱乐资讯网

Qwen3.8 Flash Next如何提升性能 服务器上部署了Qwen3.8-

Qwen3.8 Flash Next如何提升性能
服务器上部署了Qwen3.8-Flash-Next-FP8,配置见图二,用了4张RTX PRO 5000卡,参数如下:
—tensor-parallel-size 4
—gpu-memory-utilization 0.92
—max-num-seqs 128
—max-num-batched-tokens 2048
—max-model-len 131072
—limit-mm-per-prompt ’{”image“:1}‘
—enforce-eager
目前速率是25tokens/s,请教一下大佬们如何提高性能呢