下载一个新工具,问几句「你好,介绍一下你自己」,觉得答得挺顺,就存进了收藏夹。两周后再打开,发现它和手上那个没什么区别。这种试用方式测不出东西,因为没有基准、没有压力、没有和现有工具的对照。AI 工具的能力差异集中在少数几个地方,15 分钟足够把它们逼出来,前提是每分钟都用在会出错的地方。
先给测试定一个基准
基准就是你昨天刚交付的那份东西。周报、会议纪要、一段脚本、一份报价说明,素材还在,成品也在,把同样的素材丢给新工具,产出和你的版本并排放。有对照,判断才有落点;没有对照,任何输出都会显得「还挺像样」。
闲聊为什么不行,原因也在这里:闲聊没有正确答案,也没有你熟悉的参照物,模型在这类问题上又被反复调过,表现普遍不差。用真实任务测,等于让它在你的场景里露一次真实水平。
五个维度,十五分钟
| 测试维度 | 怎么试 | 什么结果算不合格 |
|---|---|---|
| 真实任务(0–3 分钟) | 用昨天的素材,要求同一个交付标准,和自己的成品并排看 | 结构要你重搭,事实要你逐条改,只省了打字时间 |
| 短板(3–6 分钟) | 专挑它不主打的方向:写作类工具给长文档和数字,效率类工具给多步推理 | 短板正好落在你每周都要做的事上,且错得没有规律 |
| 改写(6–9 分钟) | 拿到初稿后提三条要求:改语气、压到一半长度、调换段落顺序 | 每次都整篇重写,改一处连带别处变化,你得全文重读 |
| 边界(9–12 分钟) | 问它不知道的事、给一个错误前提、让它算一道多位数乘法 | 不知道却编得像知道;错误前提照单全收;算术硬猜不给过程 |
| 周边(12–15 分钟) | 翻历史记录、试导出、看跨设备同步、查数据是否用于训练 | 记录找不回、导出丢格式、换设备等于从零开始 |
第三行最容易被跳过,它在长期使用中的影响却比首轮质量更大。能精准改的工具,你可以让它做十轮微调;只会重写的工具,每改一次都要重新检查全文,三轮之后你就宁愿自己动手。
短板比长处更决定去留
工具的长处决定你想不想用,短板决定你能不能用。一个写作很强但一碰表格就出错的工具,对每天要出报表的人没有价值;反过来,一个通用能力平平但长文档从不丢上下文的工具,对法务和编辑就是刚需。测短板时该问的是「这个不行的地方,我一周碰几次」,而不是「它行不行」。
长文档这一项尤其值得单独测,因为它牵涉到模型一次能处理多少内容,以及超出之后是报错、截断还是悄悄丢掉中间部分。相关机制可以看上下文窗口那篇,测的时候直接拿一份超过你日常最长文档的材料试,比看参数表准。
边界那一关,测的是可信度
三类题各有指向。问它不知道的事,看它承认还是编;给错误前提,看它顺着说还是反问;让它做算术,看它调工具还是硬猜。三题都过的工具,使用时可以少一层戒备;有一题不过,就得在流程里加一道人工核对,这道核对的时间成本要算进「省了多少」里。
编造这件事很难靠一次测试判死刑,因为它在简单问题上通常很老实,在冷门细节上才开始编。更系统的判断方法在AI 幻觉里讲过,试用阶段能做的是记住它的表现,别把一次顺利当成长期可靠。
这套测法测不到的部分
15 分钟能测出单次任务的水平,测不出四件事。第一是耐久:第 30 次使用时你会不会烦,界面上的小别扭会不会累积成放弃。第二是退化:厂商改版、换模型、调限额,几周后的表现可能和今天不是一回事。第三是协作:能不能共享、能不能多人同编、权限怎么分,这些要团队一起用才暴露。第四是成本曲线:免费额度的边界在哪、超了之后单价多少、忙时限流多严重,这些在免费版与付费版的差别里,试用当天往往碰不到。
所以结论要带复查点。用两周,第二周结束时回看一次:真正打开过几次、有没有一次是「非它不可」。没有的话,无论第一印象多好,它都不该留在工作流里。
换不换,算一笔账
判断标准可以很朴素:新工具在你的真实任务上明显更快或更好,才值得换;只是「差不多」,就别动。切换的成本不在下载,在肌肉记忆、已有的素材和模板、以及团队里其他人的协作习惯,这些要花几周才能补回来。额度怎么分配也有讲究,可以先看免费额度的用法,把付费留给你每天都碰的那一个。
速查:15 分钟试用清单
- 用昨天交付过的真实任务做基准,别用闲聊
- 短板要挑你每周都做的事去测
- 提三条修改要求,看它是局部改还是整篇重写
- 不知道的事、错误前提、算术,三题测可信度
- 两周后回看打开次数,没有「非它不可」就不留


