跳到主要内容

Prompt 模板版本化别等接口变多了再补

· 阅读需 3 分钟
一介布衣
全栈开发者 / 技术写作者

Prompt 版本管理 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 线上模板调整没有记录,效果回退时根本不知道哪次修改导致结果变化,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

Node.js 做 OpenAI 流式输出的 SSE 实践

· 阅读需 3 分钟
一介布衣
全栈开发者 / 技术写作者

SSE 流式输出 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 模型在持续吐 token,但服务端和前端没有把连接生命周期管理清楚,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

OpenAI API 成本控制要先看 token 预算

· 阅读需 3 分钟
一介布衣
全栈开发者 / 技术写作者

token 预算控制 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 一次请求看起来不贵,但并发一上来以后成本会被放大,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。