塔斯娱乐资讯网

今天满屏都是“国产AI芯片性能3倍”。但我想帮你算一笔没人算的账:216GB显存,到底能装下多大的大模型? 9月22日云栖大会,平头哥发布训推一体AI芯片真武V900:216GB显存、片间互联1200GB/s、原生支持FP8/FP4低精度,官方称单芯片性能是上一代M890的3倍,预计2027年第一季

今天满屏都是“国产AI芯片性能3倍”。但我想帮你算一笔没人算的账:216GB显存,到底能装下多大的大模型?
9月22日云栖大会,平头哥发布训推一体AI芯片真武V900:216GB显存、片间互联1200GB/s、原生支持FP8/FP4低精度,官方称单芯片性能是上一代M890的3倍,预计2027年第一季度量产售卖(据IT之家、潮新闻现场报道)。

216GB显存能装下什么?按FP8精度算,每个参数约占1个字节(FP8是IEEE 754标准的8位浮点格式,一个参数正好1字节),大约能装下2000亿参数;按更狠的FP4(半个字节存一个参数)算,能到4000亿级别(作者推算,仅算权重,不含KV缓存)。也就是说,单卡就能直接跑千亿级大模型的推理,不用把模型拆到多张卡上接力传数据。

这恰恰说明这代芯片的重心压在低精度算力密度上:性能涨了3倍,显存却只从M890的144GB涨到216GB,涨了50%。省显存靠的是压缩精度,不是堆容量。对推理来说,显存大小决定单卡能装多大的模型,这往往比峰值算力更决定实际产出。

当然,216GB是官方口径,实际可用容量、量化后的精度损失都是变量。而且现在发布不等于现在买到,量产要等到2027年一季度——对照5月公布的路线图,V900原计划2027年三季度才亮相,如今提前到了现在(据财新5月21日报道),但纸面发布到真正供货,中间仍隔着一个季度。
你猜,单卡装下2000亿参数的大模型,够不够日常AI应用跑?