OlithmRouter · AI API 中轉站
OlithmRouter › 知识库 › API 限流与并发:429、配额与多密钥的正确用…

API 限流与并发:429、配额与多密钥的正确用法

Rate Limits and Concurrency: 429, Quotas and Multi-Key Strategy

TL;DR — 429 不是错误,是排队通知。正确应对:读 Retry-After、指数退避、把重试放在有 jitter 的随机间隔上。结构性方案:升级分组、按密钥拆流量、以及选「上游限流会自动换家」的服务商——你的程式几乎看不到 429。

本页目录

  1. 限流的三个层级
  2. 429 的正确处理程式码
  3. 多密钥的正确与错误用法
  4. 并发数怎么估
  5. 常见问题

限流的三个层级

①服务商对你的密钥限流(5 小时/日/7 日消费上限、并发数);②上游对服务商的限流(闸道内部消化);③平台级保护(防滥用)。好的闸道会把②自动换家,让你只在触发①时看到 429。

OlithmRouter 的密钥支持 rate_5h/rate_1d/rate_7d 三段消费上限与 concurrency 并发上限,全部自助可调——限流是你自己的保险丝,不是刁难。

429 的正确处理程式码

①优先读 Retry-After 标头;②指数退避+jitter(避免 thundering herd);③429 期间降低并发而不是傻等;④长期高频触发 429 就该升分组或拆密钥,而不是无限重试。

反模式:无限重试、无退避的多执行绪硬打、把 429 当成功吞掉。

多密钥的正确与错误用法

正确:按用途分密钥(专案/环境/团队成员),每把都有独立限额,互不影响。错误:注册一堆帐号轮换密钥来「绕限流」——违反服务条款会被封,且记帐混乱。

需要更高配额的正确路径:升级分组、开通团队、或与服务商谈企业配额。

并发数怎么估

并发上限 ≈ 平均延迟 × 目标 QPS。例如 TTFT 2 秒、目标 10 QPS → 至少 20 并发在飞。流式场景占用时间更长(整个生成期都占连线),并发需求更高。OlithmRouter 密钥级 concurrency 上限可防止失控回圈吃光额度。

常见问题

429 会被收费吗?
不会。429 是被拒绝的请求,0 token、0 费用;OlithmRouter 日志中会标记为限流分类。
并发上限设多少合理?
按「延迟×QPS」估算再乘 1.5 倍余裕;失控回圈(Agent 忘记结束)靠上限自动停损。
上游限流会让我的请求失败吗?
在 OlithmRouter 不会——上游 429 触发自动换家到其他上游,全部上游都限流时才会把 429 回给你。
怎么知道该升分组了?
日志里 429 频率上升、TTFT 长尾变长、或免费/低价分组排队明显——就是升级讯号。

相关文章

准备好试用了吗?

OlithmRouter 提供 48+ 主流模型、多级分组定价与免费体验分组——注册后建立一把密钥即可开始。

OlithmRouter模型与价格接入文档