Rate Limits and Concurrency: 429, Quotas and Multi-Key Strategy
①服务商对你的密钥限流(5 小时/日/7 日消费上限、并发数);②上游对服务商的限流(闸道内部消化);③平台级保护(防滥用)。好的闸道会把②自动换家,让你只在触发①时看到 429。
OlithmRouter 的密钥支持 rate_5h/rate_1d/rate_7d 三段消费上限与 concurrency 并发上限,全部自助可调——限流是你自己的保险丝,不是刁难。
①优先读 Retry-After 标头;②指数退避+jitter(避免 thundering herd);③429 期间降低并发而不是傻等;④长期高频触发 429 就该升分组或拆密钥,而不是无限重试。
反模式:无限重试、无退避的多执行绪硬打、把 429 当成功吞掉。
正确:按用途分密钥(专案/环境/团队成员),每把都有独立限额,互不影响。错误:注册一堆帐号轮换密钥来「绕限流」——违反服务条款会被封,且记帐混乱。
需要更高配额的正确路径:升级分组、开通团队、或与服务商谈企业配额。
并发上限 ≈ 平均延迟 × 目标 QPS。例如 TTFT 2 秒、目标 10 QPS → 至少 20 并发在飞。流式场景占用时间更长(整个生成期都占连线),并发需求更高。OlithmRouter 密钥级 concurrency 上限可防止失控回圈吃光额度。