横评和纵向对比有什么区别？分界点在哪

读大模型评测文章常遇到两种打法：横评把同一时期的多个模型拉到同一起跑线比一轮，纵向对比盯着同一个模型逐个版本追踪。结论先说：要挑新工具、换供应商，用横评；已经在用某个模型、纠结要不要升级，用纵向对比。分界点就落在「换不换」这三个字上。

横评的价值在于公平：同一批题目、同一天、同一套判分口径，DeepSeek、Kimi、通义千问同台，名次一目了然。纵向对比的价值在于连续：同一模型从旧版到新版，哪些任务进步、哪些任务退步，看得清清楚楚。

两种对比对判分口径的容忍度也不一样。横评要跨模型排队，口径必须锁死：同一温度、同一判分器、同一批题，任何一个环节漂移，名次就该作废重跑；口径漂移最常见于判分器升级，换裁判模型之后，历史名次必须重新校准。纵向对比的对手是历史版本，口径漂移可以用同题重跑旧版来校正，灵活性略高，但记录必须完整，否则新旧数据对不齐，结论就成了糊涂账。

实操里还有个容易踩的坑：拿各家发布稿里的成绩当横评素材。不同厂商的选题、判分、时间点都不一样，拼在一起算不上同一起跑线，只是拼盘。要做横评，要么等可信机构统一口径的整轮结果，要么自建题集把候选挨个跑一遍。后者慢一点，但每一分都知道怎么来的，复盘时也说得清楚。

给一个落地建议：把两条线写进评测日历——横评排在选型窗口前两周，纵向对比排在每个版本发布后三天，再配一条触发规则：任何模型出现重大故障反馈时，临时加跑一轮针对性对比。日历加规则，评测才不会变成想起来才做的事；哪怕只维护一张表格、一个定时任务，也比临时抱佛脚强得多。

横评在比什么

横评回答的是「现在谁更强」。它的题目池要固定，判分要统一，跑分时间要靠近，否则名次就是错位比较。媒体榜单和机构报告大多是横评，适合选型初期圈定候选。

纵向对比在看什么

纵向对比回答的是「它变好了吗」。同一个模型隔几个月重跑同一套自建题集，进步与退步同时暴露：新版本作文更顺了，但抽取任务开始漏字段，这类发现只有纵向追踪能给。

分界点：换模型还是换版本

场景一换，工具就该换。采购新模型看横评，维护在用模型看纵向；预算有限的团队可以两条都留，横评半年一次，纵向每个版本一次。

两种对比混用会怎样

混用的典型错误是拿 A 模型的新版本和 B 模型一年前的旧版比名次，得出「A 更强」的判断。版本错位的横评没有意义，比之前先核对各模型的测试版本号与测试日期。

再带一句走：横评比的是现在，纵向对比护的是将来；两样都做齐的团队，模型升级才谈得上有底气。工具箱里两条线各留一个模板，随取随用。

延伸阅读：口径设计可看能力评测和风格评测有什么区别？；分数怎么用见基准分和实际任务有什么区别？选型不再纠结；读懂数字背后还有均分和分数分布有什么区别？适用场景分开讲、评测集和训练集的隔离有什么区别？与开源评测和闭源评测有什么区别？。

速查表

• 横评：多模型、同起跑线、管选型。
• 纵向对比：单模型、跨版本、管升级。
• 分界点一句话：换不换，决定看哪条线。

带走一句：买新看横评，守旧看纵向。

换个问法再问横评和纵向对比三句

• 半年前的横评还能用吗？：只能当历史参考，选型要重跑或找最近一轮结果。
• 自建题集能做横评吗？：能，而且更贴业务，前提是所有模型用同一套题和口径。
• 纵向对比要做几次才有意义？：至少跨两个版本，能看出趋势而非单点抖动。