单模型评测和组合评测有什么区别？

如今的 AI 应用常把多家模型串起来用，评谁就得分开说。结论先行：评单家模型的能力底座，用单模型评测；评一条由多家模型串起来的工作流，用组合评测；两套分数口径不同，不能放同一张榜上比。单模型评测和组合评测的差别，从对象、瓶颈、归因三个维度拆。

维度一：被评对象不同

单模型评测的对象是模型本身，题进、答出、打分，链路封闭。组合评测的对象是流水线：检索、规划、生成、校对各环节可能由不同模型承担，分数属于整条链，不属于其中任何一家。比如 DeepSeek 负责生成、Kimi 负责长文档摘要的链路，成绩是两家配合的结果。

维度二：瓶颈位置不同

单模型评测里，短板就是模型自身；组合评测里，短板可能在衔接处：上游输出格式不被下游理解、检索环节漏料，都会拖垮整链分数。定位瓶颈要用逐环节探针：先跑全链，再对可疑环节单测，锁定拖分的一段。单环节的判分口径，见客观题和主观题评测有什么区别。

维度三：归因与责任不同

单模型分数直接归到模型头上；组合评测的分数要拆解归因：是生成模型不行，还是编排逻辑有问题。归因不清的组合评测，会冤枉好模型也会放过烂链路。报告里应附链路图与各环节中间输出，做到分数可拆；链路分数要不要人工复核，抽检方式见自动判分和人工抽检有什么区别。

怎么选：看用途

模型选型、能力追踪用单模型评测，变量少、归因清；产品落地、方案验收用组合评测，因为它贴近真实交付形态。两者搭配的节奏：先单模型评出候选，再组合评测验证整链，最后上线前小流量试跑，线上与离线的差别见离线评测和在线实验有什么区别。另外链路长期用同一批验收题，分数会虚高，机理见评测污染和训练过拟合有什么区别；验收结果对外发布时的口径，见公开榜单和内部评测有什么区别。

工作流的链路拆解

组合评测的第一步是把工作流画成链路：哪几步由模型完成、哪几步是规则或检索、哪几步由人兜底。链路清楚之后，再给每一段配指标，比如检索段看召回、生成段看事实一致性、汇总段看格式合规。整条链的总分只是结果，真正的诊断价值在分段指标里。改一个环节之后重跑同一套题，就能看出是这一段退步还是下游被拖累。链路里如果有固定的外部依赖，比如搜索接口，评测时要记录其版本与可用性，不然分数波动找不到源头。

组合评测还要注意版本对齐：链路上每一段用的模型版本都要记录，任何一段升级都算一次新评测。把链路图和版本号写进报告，下次复盘时才知道该从哪一段查起。

链路里任何一步换了提示词，也要按新版本重新跑一遍基线。

单模与组合对照表

• 对象：模型本身对上整条链路
• 瓶颈：模型短板对上衔接与编排
• 归因：直接归属对上逐环节拆解
• 用途：选型追踪对上方案验收

关于单模型评测和组合评测，问得最多的三个

• 组合链里换一家模型要重测全链吗？：建议重测，下游对上游输出风格的依赖比想象中大，逐环节分好不代表整链分好。
• 组合评测能给单模型排名吗？：不能，链路分数含编排贡献，单拎出来排名会误导。
• 小团队有必要做组合评测吗？：若产品确实是多模型链路就有必要，题量可以小，但环节探针不能省。