Guides
限流、并发与退避
具体限流策略可能按 Key、模型、分组和上游动态变化,51cowork 不发布固定数值承诺。
把 429 视为暂时容量信号,遵守 Retry-After,使用带抖动的有限退避,并限制客户端并发。
- 固定额度
- 未公开承诺
- 响应
- 429
- 提示
- Retry-After
- 策略
- 有限退避
客户端策略
- 为每个业务账户设置并发上限和队列。
- 429 时优先读取 Retry-After,再使用指数退避和 jitter。
- 400、401、402、403 不要无条件重试。
- 5xx 只做有限次数重试,并记录 request_id。
流式请求
流式响应需要更长的读取超时。首 Token 等待和长输出耗时不应被短连接超时误判为失败。
