上周有人问我,某电商后台新上线的「AI 智能补货」值不值得开。我让他把补货建议里的商品名改掉一个字母再提交,系统照样给出了一整套补货量,还带置信度百分比。答案到这一步就清楚了:它算的是历史销量的移动平均,跟模型没什么关系。
「AI 加持」这类词已经通胀到没有信息量。这篇不讨论谁的技术更强,只讲怎么在两分钟内判断一个功能到底有没有用模型,以及这种判断在哪里会失灵。
「AI 加持」四个字,是怎么变成装饰的
一个词被用得足够多,就会从描述退化成装饰。智能、大模型驱动、算法加持,现在大多属于后者——它们出现在功能名、按钮文案、发布会 PPT 上,却很少出现在任何能被验证的位置。判断的成本因此转移到用户这边:你得自己找证据。
证据集中在三处:这个功能吃什么输入、出错时它怎么表现、它的输出你能不能追问依据。三处都问不出东西,剩下的就只有文案。至于模型本身会不会编,可以对照AI 为什么会一本正经地胡说那篇看,编造和伪装是两件不同的事,但都长着「很像」的脸。
六种话术,各自对应什么实现
| 宣传话术 | 实际是什么 | 怎么当场验 |
|---|---|---|
| AI 搜索 | 关键词匹配加同义词表,或叠了一层向量召回 | 搜一个错别字加同音词,再搜一句语义相近但用词完全不同的句子,看两次结果差多少 |
| AI 推荐 | 同分类同标签排序,按销量或点击加权 | 清掉浏览记录再刷新,整批推荐同时变脸的多半是规则;真模型通常还留着一点残余个性 |
| AI 生成 | 模板填空,字段来自表单 | 在表单里填一个自相矛盾的值,比如预算 0 元、周期负三天,看它能不能自洽地处理 |
| AI 审核 | 黑名单加正则匹配 | 提交一段没有敏感词、但语义明显越界的话,看它拦不拦 |
| AI 客服 | 决策树加常见问题库 | 问一个知识库里没有、但人答得上的问题,看它是兜圈子还是承认不知道 |
| AI 分析 | 固定指标的图表封装 | 问这个结论怎么算出来的,真模型能给推理路径,封装层只会把图表重念一遍 |
这六种伪装有一个共同点:换一个输入就露馅。它们只在标准样例上表现完美,输入一旦落在分支之外,要么报错,要么给出明显不匹配的答案。真模型也会错,但错的方式不一样,这一点后面单独说。
现场能做的三次试探
第一次是换输入。把标准样例换成模糊、有歧义、略微超纲的内容。规则引擎的边界是硬的,一碰就碎;模型的边界是软的,会给你一个不完美但说得通的答案。
第二次是问依据。为什么推荐这个、为什么判成这一类——真模型能说出它抓到了哪些特征,哪怕说得含糊;封装层只会把结论换个说法重复。这一条比换输入更可靠,因为话术可以包装输入输出,包装不了中间过程。接口层通常也会留下痕迹,AI API 调用时到底发生了什么那篇提过返回结构里能看出端倪。
第三次是看它敢不敢说不知道。信息不足时,模型倾向于加限定语,通常、多数情况下、取决于具体场景;伪装的功能反而斩钉截铁,因为规则命中就是命中,没有不确定性可言。
会出错,反而是真模型的证据
宣传里最假的一句是准确率百分之百。生成式模型的输出是从概率分布里采样出来的,同一个问题问两遍措辞都可能不同,出错属于设计的一部分。一个功能如果宣称从不犯错,要么它根本没在用模型,要么错误被藏起来了。
更该看的是出错之后产品怎么接:能不能人工修改、能不能看到它依据了什么、能不能整个关掉。这三项是产品成熟度的标志。一项都没有的功能,即使底层真的是模型,也不适合放进关键流程。
真模型也有它拿不准的地方
反过来也要防另一种误判:看到功能会犯错,就断定它是假的。两类错长得不一样。规则的错是「该命中却没命中」,边界清晰、可复现;模型的错是「看起来很像对的」,同一类问题这次对下次错,而且错得很流畅。后者更难防,因为它不会在你面前露出破绽。
这层不透明是结构性的,可解释性为什么难做那篇讲得比较透。落到使用上就是一句话:真模型适合放在有人复核的位置,不适合放在错了没人看的位置。
一个季度复查一次
功能的实现会变。上个月还是关键词匹配的搜索,这个月可能真的接了向量检索;反过来,为了省钱把模型换回规则的情况也不少。所以判断不是一次性的,每次它影响到你的工作流时,花两分钟重做那三次试探,比记住一个结论有用。
这套判断的实际价值不在打假,在分配注意力。真模型的功能值得花时间学怎么提问、怎么给约束;伪装的功能只值得当成一个快捷按钮,按一下就走,不必投入学习成本。
速查:两分钟分辨真假 AI 功能
- 去掉「AI」两个字,功能还完整成立,多半只是改了名
- 换一个模糊、有歧义、略超纲的输入,规则引擎当场露馅
- 问一句「你凭什么这么判断」,答不出中间过程的不是模型
- 宣称从不犯错的功能,要么不是模型,要么在藏错误
- 能改、能看依据、能关掉,三项齐全才适合进关键流程


