跳到主要内容

10 篇博文 含有标签「系统设计」

查看所有标签

内部 AI 平台怎么保住灵活性:统一契约可以,但别把业务变化一起平台化

· 阅读需 5 分钟
一介布衣
全栈开发者

内部 AI 平台一旦开始做大,最容易发生的一件事不是能力不够,而是“什么都想统一”。最开始大家统一的是鉴权、日志、模型路由,听起来都没问题;再往后,连业务模板、流程步骤、审批习惯和租户差异也一起往平台里收,灵活性就会开始明显下降。

工具调用和人工审核的边界怎么划

· 阅读需 3 分钟
一介布衣
全栈开发者

工具调用与人工审核边界 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 把高风险动作直接交给自动化链路,短期看很顺,长期一定会在责任边界上出问题,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

向量检索里的 metadata 过滤先设计再扩字段

· 阅读需 2 分钟
一介布衣
全栈开发者

metadata 过滤设计 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 字段命名和过滤粒度不一致,导致向量召回只能靠全文语义硬扛,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

内部工具也要防 Prompt Injection

· 阅读需 3 分钟
一介布衣
全栈开发者

内部工具的注入防护 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 把内部场景默认视为可信,结果模型一旦读到带诱导内容的文档就开始偏航,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

System Prompt 的角色边界要写得像接口说明

· 阅读需 2 分钟
一介布衣
全栈开发者

System Prompt 角色边界 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 把目标、语气、权限和约束全混在一句提示词里,结果谁都说不清模型到底该做什么,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

聊天机器人会话记忆边界怎么收

· 阅读需 3 分钟
一介布衣
全栈开发者

会话记忆边界 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 为了让机器人看起来更懂上下文,把短期对话和长期偏好全揉成一团,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。