从零搭一个内部 AI 平台：模型网关、Prompt Registry 和评测流水线的最小实现

从零搭内部 AI 平台时，最重要的不是一次性把能力做全，而是先收出一个最小可治理的底座。

为什么系统一复杂就必须重新抽象

围绕「从零搭一个内部 AI 平台：模型网关、Prompt Registry 和评测流水线的最小实现」这种平台或编排问题，最容易低估的地方，是大家总想先靠 prompt 和少量胶水代码把流程跑起来。但只要任务开始跨工具、跨页面、跨请求继续执行，原本看似灵活的实现就会迅速变成恢复困难、排障困难、协作困难的负担。抽象升级不是为了架构好看，而是为了让系统还能被控制。

我更认可的实现边界

• 平台第一层先统一模型网关，解决权限、配额、路由和审计这类横向问题。
• Prompt Registry 要把模板、变量、版本和发布记录一起管理，而不是只存文本。
• 评测流水线必须接进发布流程，让版本升级有门槛、有对照、有回滚。

如果今天重新抽一次边界

我会先把输入契约、状态对象和失败恢复路径画清楚，再决定哪些能力交给模型、哪些交给工作流或服务层。平台化最怕的不是抽象不够早，而是边界不清就先把复杂度放大。

我真正想保留的结论

内部 AI 平台的起点应该是控制面，而不是把每个业务能力都急着做成大而全的组件。