相信大家都知道,今年装机那个艰辛。不仅仅显卡贵,内存、SSD甚至还涨了好几倍。现在是张口Token,闭口算力的时代。但是说到算力,几乎只有卷GPU的,倒是没有CPU啥事情。
同样是算力密集任务,为什么AI训练推理几乎是GPU的主场,CPU存在感很低;挖矿时代能诞生专用ASIC矿机,AI领域却很少出现同形态专用整机?这不是简单的性能强弱问题,而是计算负载特征、芯片架构、流片周期与软件生态共同决定的,下面结合量化数据展开分析。
深度学习的核心计算主体是GEMM通用矩阵乘法,属于典型的高算术强度、低分支的SIMD并行负载,这一特性直接决定了GPU的优势。CPU架构以低延迟串行执行为目标,芯片面积大量分配给乱序执行单元、分支预测、大容量缓存与控制逻辑,算术运算单元占比很低。以i9‑14900K为例,全核优化下FP16理论算力约2.6 TFLOPS,DDR5‑6400双通道内存带宽仅约100 GB/s;而同代RTX4090,第四代Tensor Core的INT8算力为1321 TOPS,GDDR6X显存带宽达到1008 GB/s,仅AI张量算力就达到这颗旗舰CPU的数百倍量级。在4096×4096规模矩阵乘法的公开测试中,充分优化后的GPU相比并行CPU可以实现40~50倍加速,矩阵规模越大,GPU的带宽与并行优势越明显。
这里要厘清一个常见误区:CPU不是不能跑AI,而是定位不同。在完整的AI链路中,CPU承担数据预处理、token解析、调度分发、网络通信、控制流分支、RAG检索逻辑等任务,属于异构计算里的控制节点。在小参数量7B以内模型、低并发推理场景,CPU搭配AVX‑VNNI指令集也可以完成推理,只是吞吐、显存带宽受限,不适合大规模训练与高并发推理。一台标准8卡H100训练服务器,依然会配置2颗多路至强CPU,负责集群调度,算力主体交给GPU。
挖矿ASIC的成功,根源在于PoW哈希算法是静态固化负载,以比特币SHA‑256为例,算法定型十几年没有改动,计算逻辑为固定整数哈希循环,不需要浮点、不需要灵活寻址。以蚂蚁S21为例,算力200 TH/s,能效约17.5 J/TH;而RTX4090跑SHA‑256仅约250 MH/s,算力差距达到80万倍,能效差距达到数千倍,硬件固化之后,单位功耗的算力收益极高,所以ASIC可以快速淘汰GPU挖矿。以太坊Ethash因为强依赖显存带宽,延缓了ASIC落地,但最终依然出现专用矿机,直到项目转为PoS。
而AI负载存在两个ASIC难以承受的约束:算法迭代周期短、计算精度组合多样。从CNN、Transformer、MoE、Mamba到扩散模型,网络拓扑、算子、访存模式持续迭代,芯片流片周期普遍在18~24个月,一旦流片完成,硬件电路无法修改。如果投入数亿成本流片一款只适配Transformer的ASIC,等到芯片量产,主流模型架构可能已经迭代,硬件直接面临大幅贬值。同时AI训练、推理需要兼容FP32、FP16、BF16、FP8、INT4等多种精度,不同任务对精度需求差异巨大,固定电路的ASIC很难覆盖。
但这不代表AI没有专用芯片,只是产品形态和比特币矿机完全不同。英伟达H100 SXM本身就是面向AI深度优化的DSA,FP8张量算力3958 TFLOPS,搭载HBM3显存带宽3.35 TB/s,NVLink互联带宽900 GB/s,支持多卡低延迟协同,本质是可编程AI加速芯片,保留CUDA编程模型的灵活性。谷歌TPU、昇腾、Groq LPU同样属于ASIC/DSA路线,但大多做成PCIe板卡、SXM模组,面向云厂商大规模部署,不面向零售市场,普通用户很难接触到,因此大众感知不强。
生态壁垒是巩固GPU地位的关键变量。CUDA生态经过十余年积累,cuBLAS、cuDNN、TensorRT、NCCL等算子库、分布式通信库已经高度成熟,PyTorch、TensorFlow等框架原生优先适配CUDA算子。迁移一套大模型训练栈到新硬件,算子适配、分布式bug调优成本极高。对比来看,挖矿只需要实现单一哈希算法,几乎不存在复杂软件栈迁移成本。
显存带宽是AI算力的隐形瓶颈,很多场景下带宽约束高于原始算力。H100的HBM高带宽显存,带宽是普通DDR内存的数十倍;大模型推理时KV缓存、权重参数持续读写,访存密集,这也是消费级CPU内存很难承载大模型的核心原因之一。
最后做边界总结:
1. 架构层面,GPU众核+张量核心适配GEMM并行负载,在AI典型算力任务上,相比高端CPU有几十至数百倍的吞吐优势,CPU负责控制与预处理,因此大众认知里算力几乎等于GPU;
2. 挖矿ASIC可行,是因为哈希算法永久固定,ASIC能效碾压GPU;AI算法持续迭代,硬编码ASIC风险极高,很难做成封闭式独立矿机;
3. AI专用加速芯片客观存在,但大多是可编程板卡形态,优先供给云厂商,零售市场仍是CUDA GPU为主;
4. 随着Agent智能体发展,大量工具调用、规划、分支逻辑回归CPU,异构协同的价值会进一步提升,CPU在AI链路里的作用并不会消失。