我怎么给 AI 应用建立第一版评测集
补档说明:本文属于「AI 工程落地周记」系列,计划发布时间为 2025-08-24 11:40。当前先保留为草稿,后续补充真实案例、代码片段和复盘细节后再发布。
很多团队做 AI 应用时,最先花时间调的是模型和 Prompt,最晚补上的才是评测集。结果就是每次改完一版,大家只能靠感觉判断:
- 这次是不是比上次好一点
- 好的是哪一类场景
- 会不会修好了一个问题,又带坏另外两个问题
我后来基本不再接受这种“看起来顺一点”的判断方式。因为一旦系统要持续迭代,你迟早得回答一个很现实的问题:这次变更到底改善了什么,又伤害了什么。
所以我现在给 AI 应用搭第一版评测集,目标从来不是“做出一套完美 Benchmark”,而是先做出一套能指导下一次工程决策的小而准的样本集。
