DeepSeek的压力真是太极限了!它手里只有约2万张显卡,连openAI的1%都不到,却要扛下一周59万亿的token调用量,全球最高,比腾讯、openAI、claude加在一起还要多。这简直就是小马拉火车,只能硬挺着,难怪短短一个月内,服务器就崩了5次。
流量上涨的起点来自新版本模型上线之后,外部聚合平台上接入的请求持续增多,很多开发者把这个模型接入自己的工具,普通用户也大量转向网页端免费对话,两类请求叠加在一起,让后台负载快速走高。
硬件扩容的周期很长,采购、运输、上架、调试都需要时间,不可能跟着流量上涨同步增加资源,平台只能依靠现有的硬件集群承接全部请求。
平台本身同时承担三项任务,面向普通用户的免费对话服务、面向开发者的付费接口调用,还有下一代模型的持续迭代训练,三类任务会争抢同一批算力资源,在流量高峰时段,资源分配的矛盾会直接暴露出来。
模型本身的技术方案可以降低单位请求的资源消耗,缓存机制能够减少重复计算带来的开销,但长对话场景会持续占用显存,用户对话保持的时间越久,占用的资源就越难释放,大量长对话同时在线的时候,集群的可用资源会被持续挤占。
平台此前推出过分时段定价的规则,希望引导开发者把一部分请求挪到低峰时段运行,平衡全天的负载分布,只是流量上涨速度超出预期,价格调节起到的缓冲作用有限。
故障出现的时候,表现形式并不完全一样,一部分故障只是响应速度变慢,请求需要排队等待,还有一部分故障会造成接口和网页对话同时无法访问,故障恢复之后,平台会给付费接口用户发放补偿,免费用户一般不会收到补偿。
为了稳住基础服务,平台后续调整了免费用户的使用规则,不再保留长时间没有互动的对话记录,同时设置单次输入和连续使用的上限,减少免费侧对算力的占用,优先保障付费业务稳定运行。
这件事放在整个AI行业的竞争里,能看出当下行业竞争已经不再只看模型能力本身,算力供给能力正在变成核心门槛。
海外头部厂商起步更早,积累了长期稳定的硬件资源,还在自研配套芯片,形成稳定的供给链路,流量波动带来的冲击相对可控。
而国内这一批快速崛起的模型团队,大多是后发入场,硬件获取存在客观限制,想要用更少的硬件承接更大规模的用户请求,只能依靠模型架构、缓存调度、负载调度这些软件层面的优化,优化的上限由硬件总量决定。
很多人会把调用量排名直接等同于商业成功,实际上高调用量并不等于稳定盈利,免费流量带来大量消耗,对应的收入很少,流量越高,硬件和电力成本的压力就越重。
这次的情况也说明,AI行业的竞争不是一场一次性比拼,而是持续的供需匹配过程。
调用量快速上涨是市场认可模型效果的信号,但持续稳定提供服务,需要算力、调度、成本控制一起配合。
单纯依靠压缩服务额度来缓解压力,只能是短期办法,长期还是需要持续扩充硬件集群,搭建更完善的调度系统,区分不同优先级的请求。
其他厂商也会遇到类似的算力紧张问题,只是流量规模不一样,暴露问题的时间点不同。
未来行业会慢慢形成分层,一部分平台承接高稳定、高付费的企业需求,一部分平台承接海量的普通用户调用,不同路线对算力储备、定价策略、服务标准的安排都会不一样。
这次算力承压带来的一系列故障和限流调整,也是国产大模型走向规模化运营必须经历的阶段,团队要在用户需求、成本边界、硬件供给之间持续寻找平衡点,任何一个环节跟不上,服务稳定性就会受到影响。

