数学推理：AI 对话这项能力怎么看

拿数学题测 AI，很多人只对答案：10 道对 9 道，就认为可以托付。这个结论不可靠。答案对可能只是题型见过，答案错也可能只是写法不同。真正要看的是它在第几步开始不稳定，以及错的那一步属于哪一类。

三档题，测三件不同的事

基础计算（四则、百分比、单位换算）测的是算术执行稳不稳，跟推理关系不大。多步应用题测的是链条完不完整：条件有没有全部用上，中间量有没有丢。文字题测的是读题，能不能从一段中文里把隐含条件拎出来，比如「每隔三天」和「三天后」并不是一回事。

三档不要混着出。混着出，你只知道总分，不知道边界在哪。每档 5 到 8 题，分开记分，错题按档归档，这样才看得出能力断在哪一层。

表格的用法是先跑基础档，对了再往上加，不要一上来就上文字题。基础的算术都不稳，上面两档的成绩没有意义。

答案对不算过，过程要能复核

要求它写出每一步，并在每步后面标出用到的是哪个条件。这个要求本身就能筛掉一批：过程含糊、突然跳到结论的，说明中间是靠模式匹配补的，换个数字就会崩。

复核有个省力的办法：自己挑一步代入。比如它算完总价再打折，你把折扣那步的数字换掉，让它只重算后面。能跟着改的，链条是连着的；改一处之后整段重写、答案飞到别处的，链条是断的。

还有一种情况要单独看：过程和答案都对，但用了题目没给的条件。这种「对得莫名其妙」的答案，在同类题上复现率很低，属于运气，不能计入通过。

四种失误，危险程度不同

中间步骤算错：常见，也容易发现。漏掉条件：题给 5 个用了 4 个，答案通常偏大或偏小，但看着合理。单位搞混：米和厘米、元和万元、小时和分钟，在长题里几乎不被察觉。答案对但过程错：危险，因为它会让人误以为方法可用，下次换题型就翻车。

让 AI 自己给错题归档也有用。把 5 道错题交给它，要求按上面四类归类并说明依据。它的分类准确度通常高于解题，因为分类只要求识别形态，不要求算对。

难度要和你的任务匹配

日常算账、核对报表、折算单位，基础档够用，重点看稳定性：同一题问三次答案是否一致。做需要多步推理的分析，比如按几个假设推一个区间，重点看多步档：条件是否用全，假设变化后结论是否跟着变。处理材料里的数据提取，看文字题档：它会不会先把口径复述一遍再算。

档位定高了是浪费，定低了是风险。判断标准很简单：把你实际要做的那类题抽 3 道交给它，3 道里错 1 道以上，说明这个档位不够，要么换工具，要么把任务拆小。

自查这一步值得单独做

算完追加一句「用另一种方法验算，或者把结果代回原题检查」，能捞回一部分错误。道理不复杂：换路径等于重新走一遍推理，前一次的错误在第二次不一定复现，两次不一致就会被你看见。

更硬的做法是要求可验证的中间值。比如算出总人数后，让它说明这个数是否满足整数约束、是否落在合理区间。能被约束卡住的答案，可信度高得多；一个什么约束都满足的漂亮结果，反而要警惕。

这些题型它稳定失效

需要作图或几何直观的题，它给的是文字描述，图形关系容易说得似是而非。条件超过 8 条的超长应用题容易丢条件，而且丢的那条不会出现在过程里，你只能逐条比对。涉及现行标准、税率、计价规则的题，它的记忆可能过期，补全与调试的分工那套思路可以借用：让它算，规则由你提供。

符号密集的推导同样不稳。多行公式里一个下标错位，后面全错，而文字读起来是通的。这类任务要把公式拆成小步，每步单独确认，不要一次要完整推导。

环境也会影响结果。网页版和本地部署的体验差异不只在速度上，同一道题在不同入口、不同上下文长度下可能给出不同答案。做评测时固定一个入口、每道题清空上下文，结果才有可比性。

如果目的是评估教学场景里的工具，分层教学的对照思路可以借鉴：按学生水平分档，看工具在每一档的表现，而不是只看一个平均分。

推理评测速查

• 三档分开记分：基础计算、多步应用、文字读题
• 要过程，每步标出用了哪个条件
• 错题按四类归档，答案对过程错优先处理
• 换路径验算一次，不一致就是有问题
• 固定入口、清空上下文，成绩才可比