跑分和体验有什么区别？边界一次说清

挑 AI 模型时，跑分表与亲手试用经常打架。先说结论：选型时跑分用来缩小范围，体验用来做最终拍板；分数差距明显时信跑分，分数接近时信自己的实测体验。跑分和体验的区别，从测什么、怎么测、什么情况下会背离三个角度看。

测的对象不同

跑分测的是划定边界内的能力：固定题集、固定判分，产出可比的数字。体验测的是真实使用：你自己的提示词、自己的文档、自己的工作流，产出的是顺手与否的感受。跑分覆盖的是普遍任务，体验落在你的具体任务上，两者测的东西并不重叠。

背离的三个常见原因

一是分布不匹配：榜单长文本占比高，而你日常以短问答为主，分数参考价值打折。二是缺长尾：罕见但关键的场合，榜单几乎不测，见长尾题目为什么重要。三是主观维度缺席：语气、格式习惯、追问衔接这些体验项，很多跑分根本不覆盖，通常要靠人评把关，见人评和机评有什么区别。

什么时候该信谁

分数差距明显时，跑分结论基本可信，直接选分数高的省事；分数接近时，跑分失去了分辨力，用自己攒的十几个高频任务实测一轮，比再刷十个榜单有用。自建题怎么攒见自建评测的题目从哪来；你的任务偏哪个领域，榜单也要对上口径，见通用榜和领域榜有什么区别。

把体验变成可记录的东西

体验不必停留在感觉：把日常高频任务列成清单，固定提示词，让 DeepSeek 和豆包各跑一遍，按贴题、准确、格式、追问表现四项记录，两周下来就是一张自己的体验表。它不能替代跑分，但能补上跑分缺的那一环；离线测完再放到真实使用里验证，两者差别见离线评测和在线实验有什么区别。

小样本体验测试怎么设计

体验没法全量测，得靠小样本聚焦。常见做法是找五到八个真实用户，各自完成三到五个典型任务，记录卡在哪、顺畅在哪、愿不愿意再用。人数不多，但任务要贴近真实场景，否则测出来的是演示效果。记录方式要统一，共用同一份观察表：任务完成与否、耗时、求助次数、印象最深的一处。跑完别急着下结论，把用户的原话和自己的判断分开记，前者是证据，后者是解释。多轮测试之间尽量保持人员稳定，换来换去会把个体差异误当成版本差异。

如果条件允许，把体验测试和跑分放在同一批用户上做，请他们先看分数再试用，记录预期被推翻的地方。这类对照最能暴露跑分测不到的东西，也方便向团队解释为什么两个指标会背离。

测试记录按版本归档，换版之后先跑同一批任务，前后对比才有意义。

两个指标都往同一方向走时，判断可以快一点；一旦背离，就按体验优先的原则处理。

跑分与体验对照表

• 跑分：题集固定，产出可比数字
• 体验：任务私有，产出顺手与否
• 分数差距大时信跑分，接近时信实测
• 高频任务清单是成本极低的体验量化

关于跑分和体验的三个常问问题

• 只看跑分选型会踩坑吗？：会，分布不匹配与长尾缺席都会让高分模型在你这儿失手，分数只能缩小范围。
• 体验能不能打分？：能，按固定维度记录并保持提示词一致，主观感受也能横向比较。
• 榜单排名每周都在变怎么办？：小名次变动多是噪声，关注长期趋势与自己在意维度的相对位置。