5月中旬,微软以Token(词元)账单难以为继为由,开始削减内部ClaudeCode授权许可。同时,Uber首席运营官公开表示,公司越来越难以为持续攀升的AI支出做出合理解释。他甚至为工程团队内部的浪费现象专门造了一个词tokenmaxxing(Token极大化)。据悉,Uber的CTO在一次时长两小时的内部演示中消耗了价值1200美元的token。
在大语言模型(如 ChatGPT、Claude)的语境下,Token 是 AI 处理文本信息的基本单位。AI 无法像人类一样直接阅读完整的句子,它必须先将输入的文字拆解成一个个小的离散片段,这些片段就是 Token(词元)。
换算比例:
在英文中,1 个 Token 大约等于 4 个字符或 0.75 个单词。
在中文中,由于切词机制不同,1 个 Token 大约对应 0.5 到 0.8 个汉字。
商业本质:它是 AI 时代的“流量”和“电费”。各大 AI 公司提供的 API 接口以及算力消耗,全部都是按照 Token 的数量来计价和分发结算的。
