演示和签约之间，隔着一整套没问清的问题。屏幕上的 AI 三秒答完一段客服对话，语气得体、引用准确；上线三个月后，业务方开始抱怨答非所问，运维开始收到超时告警。落差通常不出在模型本身，而出在选型阶段没把条件问死。下面列五项签约前必须落到纸面的指标，每项给出该问什么、什么样的回答算不合格，最后说清哪些风险写进条款也转移不掉。
演示之所以好看，是因为题目是准备好的
供应商的演示环境通常做了三件事：挑的是模型擅长的样本、知识库是清洗过的、并发只有你一个人。这三件事在真实环境里全都不成立。你的数据脏、长尾问题多、高峰期几十个人同时用，表现自然不同。
这不说明演示在骗人，只说明它测的是上限，不是下限。选型要判断的是下限：在最差的那批输入上，它错到什么程度，错了之后系统怎么表现。
五项硬指标，怎么问、什么答案算不合格
| 硬指标 | 怎么问 | 什么答案算不合格 |
|---|---|---|
| 数据存放与用途 | 存在哪个区域、留存多久、能否按请求删除、是否进训练 | 「我们很安全」「按行业通用做法」，不给具体条款 |
| 能力边界与验收 | 把三个具体场景写进约定，附验收样本与不达标的处理 | 只报一个笼统准确率，不说口径、不说场景 |
| 退出与数据导出 | 导出格式、字段完整度、停服后保留多久 | 「随时能导」，追问格式只说 PDF |
| 计费与超量 | 按调用、token、坐席还是年费；超量是限流、加价还是停机；有无存储与导出费 | 报价单只有一行总价，超量条款含糊 |
| 故障责任与响应 | 响应时间、恢复时间、故障期费用、错误输出谁担 | 服务等级只在口头，书面约定里没有对应条款 |
销售的回答通常很流畅，流畅本身不是问题，问题是流畅的回答里没有可核对的成分。「支持私有化部署」可核对，「我们的安全性没问题」不可核对。把每个回答逼到一个能写进附件的句子上，是这五项的共同要求。
数据这一项，问不到细节就别往下谈
要问的是四个具体问题：数据存放在哪个区域、留存多久、能不能按请求删除、会不会进入模型训练。四个问题都有明确答案的供应商不少，答不上来的也不少。要警惕的是把「安全」当答案：等保、加密、权限，这些说的是防护措施，不回答数据去哪了。
涉及客户信息或经营数据的，训练用途这一条尤其要写死。默认拿去改进模型、事后才告知的做法并不少见，而数据一旦进了训练集，删除请求基本无法彻底执行。这一点值得在签约前用书面形式确认，而不是听一句口头承诺。调用接口时数据怎么流转，决定了你后面还能不能追查。
准确率只有落到场景和口径上才算数
「准确率 95%」这句话单独看没有意义。分母是什么、错到什么程度算错、在哪个数据集上测的，三个条件不交代，这个数字可以对应任何结果。客服场景里，把「退货」答成「换货」和答成「不知道」，严重程度差很远，但都可能被算成一次错误。
更实用的写法是把你要解决的三个具体场景列进约定，每个场景给一组验收样本，写明达到什么程度算通过、达不到怎么处理：是降价、是延长试用，还是可以退出。这样准确率才是一个能追责的条款。模型的置信度是否可信也值得问一句：它说「有把握」的时候，真的有把握吗。
有些风险，写进条款也转移不掉
供应商能承诺的是服务可用性和响应时间，承诺不了模型在你业务上的效果。数据分布会变，用户问法会变，三个月后同样的模型可能开始答偏，这叫数据漂移，条款里通常不会覆盖。
还有一类是输出本身的不确定性。同一个问题问两次，答案可能不同；它可能编出一个不存在的政策条款，语气还很肯定，这类凭空生成的答案在客服与法务场景里最难兜。这类错误的责任划分，多数约定写得很含糊，出事时容易扯皮。选型时至少要问清：错误输出的判定标准是什么、由谁判定、有没有人工复核环节。上线后效果为什么会慢慢变差，是采购阶段就该有预案的事。
两周试点，比十场演示可信
拿一批你自己的真实数据，跑两周，覆盖正常样本和你知道会出问题的那批难样本。记录三件事：通过率、响应时间、出错时的表现。第三件最容易被忽略——出错时是拒答、是胡说，还是给一个模糊的答案，决定了你后面要投多少人去兜底。
试点期间还要试一次退出：让供应商导出全部数据，看格式能不能用、字段全不全。这一步在签约前做，对方配合度最高；等到三年后想换，同样的请求会难很多。
速查：签约前必问
- 数据存哪、留多久、能否删、是否进训练，四条都要书面答案
- 三个业务场景写进附件，附验收样本与不达标处理
- 导出格式与字段清单，签约前实际导一次
- 超量是限流、加价还是停机，写进报价单
- 响应与恢复时间写进服务等级，口头不算
