离线评测要先于在线 A/B

离线评测优先级 这件事在 2023 年开始越来越频繁地进入真实项目，但很多团队一开始只看到表面收益，没有先把边界收住。只要 线上实验承担了本该在离线阶段就拦住的问题，影响真实用户体验，问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

我现在更倾向的做法，是先把这类能力当成正式工程问题来看，而不是把它当成一个临时技巧。对我来说，最关键的一步通常是 把离线评测当成版本门槛，而不是可有可无的附加项，因为只有边界先明确，后面的优化、扩展和排查才不会一直漂。

真正容易被忽略的，往往不是功能能不能做出来，而是以下这些细节：

• 离线样本至少要覆盖高频任务和高风险任务
• A/B 只应该比较有希望的候选版本，不是替代基础筛选
• 线上结果回流后要反哺离线评测集，而不是两套体系互相脱节

这些细节看起来都不大，但它们决定了系统是在 demo 阶段“能跑”，还是进入业务以后依然稳定。越是和 AI、工作流、构建链路这类复杂能力相关，越不能靠感觉把事情糊过去。

小结

A/B 很有价值，但前提是候选版本已经过了离线门槛。先在离线阶段守住底线，线上实验才更像优化而不是冒险。