跳到主要内容

194 篇博文 含有标签「后端开发」

查看所有标签

AI 工作流里的幂等键应该放在哪

· 阅读需 3 分钟
一介布衣
全栈开发者

工作流幂等键 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 模型和工具都可能重试,如果幂等控制不在入口统一,重复动作会层层叠加,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

ChatGPT API 的重试和超时不要混成一件事

· 阅读需 3 分钟
一介布衣
全栈开发者

重试与超时分层 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 请求一慢就重试,看起来是在保成功率,实际却可能把队列和成本一起打爆,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

Node.js 做 OpenAI 流式输出的 SSE 实践

· 阅读需 3 分钟
一介布衣
全栈开发者

SSE 流式输出 这件事在 2023 年开始越来越频繁地进入真实项目,但很多团队一开始只看到表面收益,没有先把边界收住。只要 模型在持续吐 token,但服务端和前端没有把连接生命周期管理清楚,问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。