检索前做 query rewrite 什么时候值得
query rewrite 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 原始问题太口语或太短,检索阶段根本抓不到真正意图,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
query rewrite 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 原始问题太口语或太短,检索阶段根本抓不到真正意图,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
离线评测优先级 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 线上实验承担了本该在离线阶段就拦住的问题,影响真实用户体验,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
2023 年很多 AI 项目都会经历一个阶段:最初几天大家都被 Demo 效果鼓舞,但很快就会遇到一个更现实的问题,模型今天看起来好,明天为什么又不稳定了?
评测标注规则 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 不同人按不同理解给样本打分,最后得出的结论只会越来越混乱,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
metadata 过滤设计 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 字段命名和过滤粒度不一致,导致向量召回只能靠全文语义硬扛,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
当 2023 年大家真正把大模型往业务里接时,很快就会撞上一堵墙:模型很强,但它并不知道你公司的资料、文档、规则和业务上下文。
chunk overlap 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 重叠太少时语义会断,重叠太多时索引体积和噪音一起膨胀,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
Few-shot 示例筛选 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 为了追求“多给点参考”,把重复且同质的示例不断堆进上下文,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。
2023 年 AI 圈最常被提到的词之一,就是 Prompt Engineering。很多人第一次接触时,会把它理解成“怎么把提示词写得更像魔法咒语”。但真正进业务后,很快会发现事情没这么玄。
内部工具的注入防护 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 把内部场景默认视为可信,结果模型一旦读到带诱导内容的文档就开始偏航,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。