OpenAI推理成本砍半：几百张GPU扛住全球访客流量
你敢信？OpenAI最近靠纯软件优化，把模型推理成本直接干掉50%，连新芯片都没换。更夸张的是——这套方案用在ChatGPT未登录访客流量上后，原本要堆一大堆算力的场景，现在只需几百张英伟达GPU就能跑起来。
业内猜他们主要用了KV缓存复用、请求批处理、模型量化，还有把简单问题自动路由给轻量小模型这些老套路，但在亿级日活产品上硬挤出一半成本，确实是工程能力的体现。目前先铺在免费访客层，付费API和企业版还没完全跟上，但方向很明确：推理"电费"降了，API迟早跟降，竞品也会被迫跟进。
你在用ChatGPT或Claude写代码/做业务时，有没有感觉最近响应变快或额度宽松了？来评论区聊聊你观察到的变化AI成本对比 AI成本拆解 了