离线评测和在线实验有什么区别？

AI 模型上线前要过几道评测关，离线与在线是两关。结论先行：离线评测负责快速迭代与防回归，在线实验负责验证真实效果，发布决策要两关都过；只跑离线会高估自己，只看在线会慢半拍。离线评测和在线实验的区别，从环境、指标、节奏三个维度拆。

维度一：环境可控性不同

离线评测环境封闭：题集固定、参数固定、判分固定，结果可复现，适合比较版本差异。在线实验环境开放：真实用户、真实提问、真实网络，变量多到无法完全控制，但正是这些变量暴露离线测不出的问题，比如多轮追问下的表现。

维度二：指标口径不同

离线看分数与通过率，口径清晰；在线看留存、采纳率、人工接管率这类行为指标，口径要自己定义且前后一致。行为指标容易被别的因素干扰，比如某天话术改版带动了采纳率上涨，解读时要剔除干扰；抽样核对的方式，见自动判分和人工抽检有什么区别。

维度三：节奏与成本不同

离线快而便宜，一次跑批当天出结果，题集构成怎么定可参考通用榜和领域榜有什么区别，接口上接通义千问与豆包当天就能出对照。在线实验要分流、要等样本量够、要防两组体验差异过大，周期长但结论贴近现实。常见节奏是离线日跑、在线周跑：每天离线回归把关，每周在线实验验证方向。

衔接：两道关卡怎么配合

标准流程是漏斗形：离线筛掉明显退步的版本，在线对幸存者做小流量验证，再逐步放量。两关结论冲突时，优先怀疑离线题集覆盖不足，而不是直接相信某一关；冲突场景的分析思路，与跑分和体验有什么区别里讲的分布不匹配相通。幸存版本不止一个时，组合使用的思路见单模型评测和组合评测有什么区别；对外公布数据时还有一层口径问题，见公开榜单和内部评测有什么区别。

分流与显著性怎么定

在线实验的门槛不只是「看谁高」，而是「差异是否真实」。上线前先算最小可检测效应，再定样本量与实验周期，周期太短容易把波动当结论，太长则成本高。分流要随机且稳定，同一用户始终落在同一组，否则体验会被反复切换打乱。指标上要分主指标与护栏指标：主指标看效果提升，护栏指标看有没有把别的环节弄坏。实验期间尽量不叠加其他改动，混着改就说不清是谁的功劳。结论出来先记录，再决定是否全量，别让口头结论替代数据归档。

实验结束后，无论结论如何都要写复盘：假设是什么、样本多大、指标怎么变、有没有副作用。沉下来的复盘攒多了，就是团队自己的经验库，比任何一次单点结论都值钱。

复盘文档命名统一带上日期与结论，日后检索不必靠记忆。

这些记录会在下一次设计实验时直接派上用场。

离线与在线对照表

• 环境：封闭可复现对上开放不可控
• 指标：分数通过率对上行为指标
• 节奏：离线日跑，在线周跑
• 决策：两关都过才放量

聊聊离线评测和在线实验的常见疑问

• 小流量实验要跑多久？：取决于需要的样本量与流量大小，通常以能分辨预设差异为限，宁短勿滥。
• 离线分数涨了在线没动静怎么办？：先查题集覆盖与真实任务的分布差，再怀疑在线指标口径是否稳定。
• 只做离线评测可行吗？：内部快速迭代可以，对外发布或重要决策前，缺在线验证的结论要打个问号。