业务 Prompt 评估要先有 rubric 再看感觉
· 阅读需 2 分钟
Prompt 评估 rubric 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 每个人都在说“这个版本好像更好”,但没有任何一致的判分基线,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
我现在更倾向的做法,是先把这类能力当成正式工程问题来看,而不是把它当成一个临时技巧。对我来说,最关键的一步通常是 先定义正确性、完整性、格式稳定性和业务风险维度,因为只有边界先明确,后面的优化、扩展和排查才不会一直漂。
真正容易被忽略的,往往不是功能能不能做出来,而是以下这些细节:
- 评估维度越贴近业务,Prompt 迭代越不会跑偏
- 样本要覆盖高频和高风险场景,别只测最顺的输入
- 评估记录需要沉淀下来,不然每次优化都像重新猜题
这些细节看起来都不大,但它们决定了系统是在 demo 阶段“能跑”,还是进入业务以后依然稳定。越是和 AI、工作流、构建链路这类复杂能力相关,越不能靠感觉把事情糊过去。
小结
Prompt 调优如果没有 rubric,本质上就是主观试错。先把标准写出来,优化才会真的累积。
