拿不准两种 AI 提示写法哪种效果更好，与其猜，不如把 A、B 两版各跑几遍再比较——这就是 A/B 提示，一种用对照代替直觉的调优做法。
开门见山说定义
A/B 提示的操作分三步：固定任务和评判标准，只保留一处差异做两版提示；让同一模型分别生成若干次结果；按事先定好的标准比较，留下胜出版本。要点在「只改一处」——同时改语气、格式和示例，赢了也不知道该谢谁。讯飞星火这类支持多会话的工具，开两个窗口并排跑，几分钟就能完成一轮。为什么强调「同一模型」？不同模型之间的差异远大于提示写法的差异，混着比等于让短跑选手和游泳选手同场竞技，比出来的名次毫无意义。三步里最容易被跳过的是第二步的「若干次」：只跑一次就下结论，等于掷一次硬币定输赢，随机性会把判断带偏。所以预算宽裕就多跑，预算紧就挑关键模板跑。
像商店试卖两版
街边奶茶店上新，先做两批小样给熟客试喝，哪杯剩得多哪杯出局，再决定上哪款。A/B 提示同此逻辑：小规模先试，用结果说话。类比走不通的地方在于：奶茶偏好是稳定口味，模型输出却带随机性，同一提示跑两次结果都不同，所以每版要多跑几次看整体，别拿单次输赢下结论。还有一点不同：奶茶店试卖要真做两批货，A/B 提示的成本只是一轮对话时间，便宜到没理由跳过——所以别再凭感觉定稿，实测一遍再说。
比较时看什么
标准要在跑之前写死，否则比着比着就变成「都挺好」。常见维度有三类：准确度，该对的字段对不对；格式，是否按要求输出、能不能直接用；稳定度，跑五次里有几次达标。哪个维度优先，由任务性质定，定完就别中途改。若两版差异只在示例的有无或多少，胜负常常来自 few-shot 的模式匹配作用，看懂这点再归因。评判人也要固定：两个人标准不同，一人一个判法，结果就失去可比性。哪怕标准粗一点，统一也比精确更重要。
| 维度 | 看什么 | 怎么算过关 |
|---|---|---|
| 准确度 | 该对的字段对不对 | 字段全对 |
| 格式 | 是否按要求输出 | 拿到就能直接用 |
| 稳定度 | 跑五次里有几次达标 | 达标比例高 |
它常和谁搭配
A/B 的结论通常写进团队提示规范，成为大家的默认问法；过程和理由归入提示的文档化；每次比较的版本号和结果顺手记进迭代记录，下次不必重测。要分清的是，A/B 回答「哪版更好」，不负责回答「为什么更好」——后者要回到两版的具体差异逐条分析。重要的模板定稿前，不妨在 DeepSeek 和 Kimi 上各验证一轮再拍板。也别神化它：A/B 只能比较你列出来的两版，变不出第三版来，比较之前先各自打磨到位，别拿两个半成品比出个矮子里拔将军。
A/B 提示速查表
- 前提：任务、模型、标准全部固定
- 变量：只改一处，其余原样
- 次数：每版至少跑三次再看
- 产出：胜出版本连同理由记档
一句话带走：两版纠结不如实测，跑一次A/B提示见分晓。
聊聊A/B提示的常见疑问
- 两版可以差多处吗？：尽量只差一处，多处差异会让结果无法归因，想都试就分多轮。
- 用不同模型各跑一版算吗？：那是另一件事，A/B 提示默认同一模型、同一版本下比较提示写法。
- 每版要跑多少次？：三五次够日常判断，重要模板可以加到十次，看达标比例，比例高者胜出。
下次在两种写法之间摇摆，别再问身边人的感觉，把两版发出去跑一轮，数字会给答案。习惯了先固定标准、再控制变量，你看其他 AI 工具的评测时，也能一眼分辨哪些结论可信、哪些只是单次运气的截图。这个习惯，比任何调参技巧都值钱。
