ai产业链

六、 AI 芯片架构演进：模型多样性、KV Cache、3D DRAM 与光互联

主持人（Guido）： 顺着这个话题往下聊，你如何看待 AI 芯片未来的演进？目前 Jensen 独占鳌头，统治力惊人；Google TPU 非常成功，但目前主要供 Google 自用或通过 GCP 出售，而且 TPU 产能也远远不够。未来我们会看到更多有竞争力的第三方芯片出现吗？

Mike Volpi： 肯定会的，我们所有人都希望看到那一幕，也都想投资这样的公司。

首先，我观察到一个非常有意思的趋势：大模型架构（Model Architecture）正在变得相当多元化。 有人在用 FP4、FP8 精度，有人在用包含海量专家的 MoE（专家混合模型），有人用较少数量的专家，有人在拼命推高参数量，有人则在做精简。我认为芯片设计与它所服务的目标模型之间存在着深刻的耦合关系（即软硬件协同设计，Hardware-Software Co-design）。 正因为模型架构会走向多元化，芯片架构也必然随之走向多元化——你可以针对特定的模型结构与任务负载，选择最契合的芯片架构。

其次，截至目前，推理强度（Reasoning Intensity）主导了芯片架构的演进方向。因为高强度推理意味着庞大的参数量与庞大的 KV Cache。 这要求内存（Memory）与计算芯片之间进行极高频、超大带宽的数据交换。

如果芯片之间只能通过四周边缘（Edges）进行通信，其连接通道数量显然远不如利用芯片的上下表面进行垂直堆叠互联。因此，我非常看好 3D DRAM 架构；而且近期兴起的**混合铜键合（Hybrid Copper Bonding）**技术更加令人兴奋，因为它能实现高得多的垂直互联密度。只要高 KV Cache 密集型的工作负载继续占主导——而且目前看来，最具高附加值的 AI 任务恰恰是深度推理（Reasoning-driven）任务——那么具备极致内存带宽的芯片架构就将占据显著优势。

我们投资了 Cerebras，Cerebras 在追求极致推理速度上做得非常出色。但前提是模型必须能装进它的片上 SRAM 里——如果装不下，你就需要级联很多片晶圆级芯片；而一旦数据跨出单颗 Cerebras 晶圆（Off-board / Off-chip），速度就会大打折扣，而且由于晶圆尺寸极大，跨芯片通信时的内存带宽反而会处于明显劣势。目前他们已经能在 Cerebras 芯片上跑大型模型（原文误听作 Sol），说明他们找到了塞进去的办法，但我猜 OpenAI 团队肯定也费了不少心血对模型进行裁剪优化，才能把它塞进片上内存。

主持人（Raghu）： 我们同样非常看好 3D 堆叠架构，但它的可制造性（Manufacturability）要复杂得多，尤其是热效应（Thermal effects）等散热难题。

Mike Volpi： 哈哈，我本科是学热力学方向的机械工程专业，所以“热量是我的老朋友”（笑）。

主持人（Guido）： 那你可是极少数敢这么说的人，TSMC 的先进封装部门和各大厂现在大概都想给你打电话了（笑）。

Mike Volpi： 玩笑归玩笑，我完全同意，这类 3D 芯片的封装将极其复杂，尤其是热管理特性。当你把逻辑芯片（Logic Die）和存储芯片（Memory Die）封装在同一个 Package 里时，虽然它们的热膨胀系数（CTE）相近，但逻辑芯片的发热量要大得多，如何把它们稳定地集成在同一封装内绝非易事（Non-trivial）。

主持人（Guido）： 另一种技术路线是不做紧耦合合封，而是保持计算与存储分离，通过**光学互联（Optical Interconnectivity）**将它们连接起来。你相信这条路线吗？

Mike Volpi： 我认为有戏，但光学器件是非常娇贵（Finicky）的东西，需要大量的实验打磨。当你给光学器件加热时，光子可不喜欢高温——一旦逻辑芯片温度飙升，超出了光学器件舒适的工作温区，就会引发各种光路偏移与连接故障。

因此我的核心观点是：只要能用铜缆（Copper）解决的地方，我一定优先用铜。

主持人（Raghu）： 哪怕是在 Scale-up（纵向扩展）机柜内部，你也倾向于用铜吗？

Mike Volpi： 不，在跨机柜或高密度 Scale-up 机柜层面是另一回事，光学能极大简化布线；我刚才说的是在服务器内部、模组级（Module level）的短距互联，能用铜就用铜。但一旦走到机架顶部交换机（Top-of-Rack，ToR）及更上层的网络，毫无疑问必须上光互联，因为铜缆的带宽和距离根本不够用。