一年 AI 实验怎么沉淀成方法库:实验卡片、评测标签和复盘索引缺一不可
我现在已经不太相信“多做实验,自然会长出方法论”这件事了。AI 项目里最常见的情况,反而是实验做得很勤,群聊消息也很多,表格也不是没有,可半年后回头看,大家只记得一句很模糊的话:我们当时好像试过这个。
我现在已经不太相信“多做实验,自然会长出方法论”这件事了。AI 项目里最常见的情况,反而是实验做得很勤,群聊消息也很多,表格也不是没有,可半年后回头看,大家只记得一句很模糊的话:我们当时好像试过这个。
有次上线一个看起来很轻的生成接口,前端只是多加了一个“重新生成”按钮,工作流层为了稳妥又补了自动重试,结果当天晚上数据库里就出现了三份互相打架的结果。产品同学以为模型突然变飘,工程同学第一反应去翻 Prompt,最后真正把问题钉住的,却是一串再普通不过的事实:入口没有幂等键,调用链没有统一 traceId,谁也说不清那三次请求到底是不是同一件事。
如果今天让我重新给这个站排下一年的写作方向,我最先想砍掉的,不是某一个具体技术,而是那种“这个也值得写一下,那个也可以补一篇”的冲动。这个站过去最浪费精力的时候,往往不是没写,而是写得太散。
我现在判断一个 AI 功能值不值得继续投,已经不会先看它演示时有多惊艳了。因为真正烧掉团队时间和预算的,往往不是“它第一次看上去效果不错”,而是上线以后才发现评测起伏大、人工兜底很重、转化不稳,最后整条链都在为一个看起来聪明但不太划算的能力让路。
最尴尬的一次排查,不是没日志,而是四拨人都拿着“自己的那条 id”在说话。前端同学贴了一个 sessionId,BFF 说自己只有 requestId,工作流平台那边只认 runId,到了工具服务层又冒出一个没人见过的 trace。会议开了十几分钟,大家连“我们查的是不是同一次请求”都还没对齐。
如果只看工具清单,2025 到 2026 这段时间变化确实很大。模型在换,供应商在换,RAG 方案在换,Agent 说法也几乎一季一变。可我回头看一圈,真正留下来的并不是那些当时最热的名词,而是几件特别“土”的事情:版本、评测、日志、回放、人工接管。
AI Demo 最迷人的地方,是它总能让人很快看到“这事可行”。屏幕上字在流、结果也能出,十分钟就能把人打动。可真正把一个功能从 Demo 做到长期可用,体验上往往反而会变得没那么惊艳。不是产品退步了,而是你开始被真实用户教育。
很多 Agent 任务拆分失败,表面上看像“模型没理解需求”,但我越来越觉得,真正的原因往往更工程化:你把一整条长任务拆成了几个子任务,却没有告诉每个子任务它到底拿到什么、应该产出什么、失败以后怎么恢复。
AI 产品做到一定阶段,团队里最容易出现的争论往往不是“模型还够不够强”,而是“这件事到底该放哪一层”。前端觉得后端不该管这么多,工作流觉得前端偷偷做了编排,模型层又被塞进越来越多业务判断。分层一旦乱,后面几乎每个需求都会打架。
我现在越来越少把一整段 AI 逻辑塞进一个“很聪明的 Agent”里。不是因为 Agent 没价值,而是只要功能开始进入多人协作、线上排查和持续演进阶段,把能力拆成可组合服务,几乎总会比单一大黑盒更容易维护。