ChatGPT API 的重试和超时不要混成一件事

重试与超时分层 这件事在 2023 年开始越来越频繁地进入真实项目，但很多团队一开始只看到表面收益，没有先把边界收住。只要 请求一慢就重试，看起来是在保成功率，实际却可能把队列和成本一起打爆，问题就会很快从“一个小体验瑕疵”变成系统性的维护成本。

我现在更倾向的做法，是先把这类能力当成正式工程问题来看，而不是把它当成一个临时技巧。对我来说，最关键的一步通常是 先区分可重试错误、不可重试错误和用户主动取消，因为只有边界先明确，后面的优化、扩展和排查才不会一直漂。

真正容易被忽略的，往往不是功能能不能做出来，而是以下这些细节：

• 连接超时和业务失败要分别统计，不要只看一个 error code
• 重试次数要和调用场景绑定，后台批任务与前台交互不是同一策略
• 幂等键要在入口就确定，避免重复调用把结果写乱

这些细节看起来都不大，但它们决定了系统是在 demo 阶段“能跑”，还是进入业务以后依然稳定。越是和 AI、工作流、构建链路这类复杂能力相关，越不能靠感觉把事情糊过去。

小结

调用大模型的稳定性，核心不是“多试几次”，而是知道什么时候该停、什么时候该补偿。