跳到主内容

缓存命中率 0% 到 90%:同一任务,账单差多少

2026-11-01 发布 来源:我告诉你AI导航 阅读

把命中率从 0 提到九成,DeepSeek V4-Pro 的月账单会降约六成,Kimi K3.1 Pro 降约五成——都不用换模型、不用改业务,只改提示词的结构。缓存是 API 账单里最容易被忽略的一项:它不改需求,只改提示词的顺序...

把命中率从 0 提到九成,DeepSeek V4-Pro 的月账单会降约六成,Kimi K3.1 Pro 降约五成——都不用换模型、不用改业务,只改提示词的结构。缓存是 API 账单里最容易被忽略的一项:它不改需求,只改提示词的顺序。站内入口见Kimi。

两家的缓存规则差在哪

Kimi 的规则写在定价页上:对重复的请求前缀自动启用上下文缓存,TTL 默认 5 分钟,另有 1 小时档;K3 系列的缓存写入按 TTL 档位单独计费,缓存命中的输入只按命中价收,不再重复收写入费。价格上,输入 ¥13、缓存写入 ¥13、缓存命中 ¥1.30(每百万 token)——命中价是输入价的十分之一。

DeepSeek 的价格表把输入拆成两行:CACHE HIT 与 CACHE MISS。V4-Pro 谷时是 $0.022 与 $0.66,峰时是 $0.044 与 $1.32;命中价约为未命中价的 3.3%。它没有单列「缓存写入」这一项。

两家都便宜得很,但结构不同,这决定了两件事。第一,Kimi 的写入要付一次满价输入,所以「前缀经常变」的用法在 Kimi 上代价更高;DeepSeek 的价格页没列这项,改前缀的边际成本只能从账单上观察,不能靠单价推算。第二,Kimi 的命中价是输入的 10%,DeepSeek 是 3.3%,命中率同样提升时,DeepSeek 的降幅更大。

一张表看清命中率对账单的影响

设一个 RAG 问答场景:每次输入 1.2 万 token,其中 1 万是固定知识前缀,输出 800 token,每月 5 万次。

命中率DeepSeek V4-Pro(峰时)Kimi K3.1 Pro
0%(前缀完全没命中)约 $950约 ¥10,520(折 $1,482)
50%(1 万前缀命中 5 千)约 $631约 ¥7,595(折 $1,069)
90%(1 万前缀命中 9 千)约 $376约 ¥5,255(折 $740)

从 0 到 90%,DeepSeek 降 60.4%,Kimi 降 50.0%。降幅的上限由输入占账单的比例决定:这个场景里输出只占一成多,所以输入部分的优化空间几乎等于全部空间。如果任务是长文生成(输出远大于输入),缓存能帮的就有限——这也是判断「该不该花力气做缓存」的第一道筛子。

还有一点值得单独算:命中率从 50% 提到 90%,DeepSeek 每月省 $255,Kimi 省约 $329。数字不大,但这是一次性改提示词结构就能拿到的,不需要重跑评测、不需要换模型。

三个让命中率上去的动作

第一,把固定内容放到最前面,变量放到最后。Kimi 的规则明写「重复的请求前缀」才会命中,所以顺序很关键:系统提示、知识库片段、示例对话放前面,用户这一次的问题放最后。反过来把用户问题放开头,后面再长的固定内容也命中不了。

第二,删掉前缀里的时间戳与随机数。常见写法是在系统提示里插「当前时间:2026-11-01 05:30:12」,或者给每次会话加一个随机 ID。这类内容一变,整段前缀就失效。把它们挪到用户消息里,或者只精确到日期。这一条改起来最便宜,省下的也最直接。

第三,把同一前缀的请求聚在一起跑。缓存有存活时间:Kimi 默认 5 分钟,长任务可用 1 小时档。如果同一批文档的请求散落在一天里,5 分钟早就过期了。批处理时按前缀分组、连续发送,命中率会明显不同——这与Batch API 是什么里讲的批处理思路是同一件事。

命中率上不去,先查这四处

  • 前缀里有没有每次都变的东西。时间、UUID、请求编号、用户昵称,任何一个都足以击穿缓存。
  • 固定内容是不是被拼接顺序打乱了。同一份知识,有人按「标题+正文」拼,有人按「正文+标题」拼,两种拼法在缓存眼里是两个前缀。
  • 两次调用间隔是否超过 TTL。Kimi 默认 5 分钟,隔十分钟再来,等于每次都从零开始。
  • 有没有多加了空格与换行。模板引擎自动缩进、换行符在不同系统下不一致,都会让前缀不一致。这一点最隐蔽,也最常见。

别为了缓存牺牲结构

有一种做法要提醒:为了凑命中率,把每次都要变的指令也塞进用户消息,结果模型对指令的遵循变差、输出质量下降。这不是省钱,是把成本转成了返工。判断标准很简单——改动之后跑同一批样本,通过率不能掉;掉了就说明省下的钱要用人工补回来。

还有一种反向情况:任务本身输出很长(比如生成长文、长报告),输入占比低,这时能省下的很有限,该做的是换档或改批量,思路见DeepSeek flash 与 pro 怎么选一篇。

信息来源与自查路径

  • Kimi 开放平台(platform.kimi.com 首页模型价格块、docs/pricing/chat):K3.1 Pro 输入 ¥13.00、缓存写入 ¥13.00、缓存命中 ¥1.30(每百万 token);「对重复的请求前缀自动启用上下文缓存」,TTL 默认 5 分钟、另有 1 小时档,K3 系列缓存写入按 TTL 档位单独计费,命中部分不再重复收写入费,核对时间 2026 年 11 月 1 日;
  • DeepSeek 定价页(api-docs.deepseek.com/quick_start/pricing):V4-Pro 1M INPUT TOKENS (CACHE HIT) 为 $0.022 谷时/$0.044 峰时,1M INPUT TOKENS (CACHE MISS) 为 $0.66/$1.32,1M OUTPUT TOKENS 为 $1.98/$3.96;峰时规则见脚注 (2),核对时间 2026 年 11 月 1 日;
  • 汇率与成本:本文按 1 美元 = 7.1 元折算,仅用于量级比较;三档命中率的月账单由上述单价乘算得出,不含重试与工具调用;
  • 站内条目:Kimi(工具页)、Batch API 是什么、DeepSeek flash 与 pro 怎么选。

命中率上去了、账单还是高,漏的可能是四笔不在缓存里的输入:文件抽取正文、系统提示、历史对话与按次计费的工具调用,拆法见API 账单总比估算高,多算在哪四笔。

缓存这件事的特别之处在于:它不改需求、不改模型,只改你写提示词的顺序。先花十分钟把前缀里的时间戳挪走,比研究哪家便宜更管用。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]