跳到主内容

「token 数等于字数」错在哪?换算的误区

2026-10-18 发布 来源:我告诉你AI导航 阅读

用大模型算成本、估窗口,都绕不开 token。把它和字数画等号,是使用大模型时最常见的一笔糊涂账。

用大模型算成本、估窗口,都绕不开 token。把它和字数画等号,是使用大模型时最常见的一笔糊涂账。

误区一:一个 token 就等于一个字

错在哪:token 是分词碎片,不是字。中文里「人工智能」可能是一个 token,也可能被切成两个字;英文里一个长单词就可能占三四个 token。切法完全由模型的分词器决定。

正确说法:token 与字数之间没有固定比例,只能用目标模型的计数器实测。粗估时,中文按一字一点几个 token、英文按一词一个 token 起步,再校正。

误区二:中英文的换算比例一样

错在哪:默认一套比例走天下。中文一字常占一到两个 token,英文单词平均不到一个 token,代码和数字的密度又不同。同一段内容中英混排时,简单乘系数必然跑偏。

正确说法:分开估再汇总。中文部分按字估,英文部分按词估,代码按行估,最后加一点余量,比一把倍数尺靠谱。分词器差异可以看分词器造成的 token 价差。

估错的代价在两端都会出现:估多了,白白按更贵的档位付费;估少了,上下文被截断,模型答非所问。写批处理脚本时,建议留 10% 左右的余量,并显式处理超长输入,别让截断静默发生。

实践中的估法可以更细:中文按每个字 1.5 个 token 起步,英文按每个词 0.75 个 token 起步,数字和标点单独加。先按这个粗框算一版,再拿真实文本校准误差,比拍脑袋准得多。

内容类型粗估口径注意
中文每个字 1.5 个 token 起步标点单独加
英文每个词 0.75 个 token 起步长单词可能占三四个
代码按行估缩进与标点同样占位
思考内容单独列一行推理模式下同样计费

长文本的切分方式也会影响 token 总量。同一份文档,按段落切和按固定长度切,重复填充的部分不一样,最后喂进去的 token 数可能差出一成。做批处理时把切分策略固定下来,成本才可预测。

还有一个隐蔽项是「思考 token」。开启推理模式后,模型内部的推敲过程同样计入用量,账单可能成倍上涨。评估预算时要把这部分单独列一行,别等账单出来才发现。

省钱的空间常常在输入端。系统提示里冗长的身份设定、每次重复粘贴的背景资料,都是白花的钱。把公共部分前置、利用缓存,把变动部分后置,是批处理场景的常规优化。省下的每一分,都是纯利润。

误区三:token 数直接等于花的钱

错在哪:忽略计费结构。输入和输出分开计价,两者的单价往往不同;部分平台还有阶梯价、缓存命中折扣、按量套餐。同样的 token 数,账单可能差不少。

正确说法:算账要按输入 token 数乘输入单价、加输出 token 数乘输出单价来,再叠加缓存和套餐折扣。想省钱,先砍输入冗余,再约束输出长度。推理模型的思考 token 同样计费,可以看推理模型的使用误区。

  • 中文:一字约一到两个 token
  • 英文:一词平均不到一个 token
  • 代码:按行估,标点和缩进也占位
  • 计费:输入输出分开,单价不同

窗口也按 token 算,塞多少材料直接受换算影响,可以看上下文 128K 的换算误区。文心一言、秘塔AI搜索的计费说明里都能看到 token 口径,对照着读更好理解。

换个问法再问token换算三句

  • 怎么测自己的 token 数?:用平台自带的计算器或开源分词库,拿真实业务文本跑一遍,得出的数最可靠。
  • 上下文窗口按 token 算,怎么规划?:先测文档的 token 占用,再留足回答空间,别按字数直接塞。
  • 压缩提示词值得吗?:高频调用场景值得,删掉重复说明和客套,输入成本能降下一成到三成。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]