429 會被收費嗎？

不會。429 是被拒絕的請求，0 token、0 費用；OlithmRouter 日誌中會標記為限流分類。

併發上限設多少合理？

按「延遲×QPS」估算再乘 1.5 倍餘裕；失控迴圈（Agent 忘記結束）靠上限自動停損。

在 OlithmRouter 不會——上游 429 觸發自動換家到其他上游，全部上游都限流時才會把 429 回給你。

日誌裡 429 頻率上升、TTFT 長尾變長、或免費/低價分組排隊明顯——就是升級訊號。

OlithmRouter › 知識庫 › API 限流與併發：429、配額與多金鑰的正確用…

Rate Limits and Concurrency: 429, Quotas and Multi-Key Strategy

TL;DR — 429 不是錯誤，是排隊通知。正確應對：讀 Retry-After、指數退避、把重試放在有 jitter 的隨機間隔上。結構性方案：升級分組、按金鑰拆流量、以及選「上游限流會自動換家」的服務商——你的程式幾乎看不到 429。

本頁目錄

①服務商對你的金鑰限流（5 小時／日／7 日消費上限、併發數）；②上游對服務商的限流（閘道內部消化）；③平台級保護（防濫用）。好的閘道會把②自動換家，讓你只在觸發①時看到 429。

OlithmRouter 的金鑰支援 rate_5h／rate_1d／rate_7d 三段消費上限與 concurrency 併發上限，全部自助可調——限流是你自己的保險絲，不是刁難。

①優先讀 Retry-After 標頭；②指數退避＋jitter（避免 thundering herd）；③429 期間降低併發而不是傻等；④長期高頻觸發 429 就該升分組或拆金鑰，而不是無限重試。

反模式：無限重試、無退避的多執行緒硬打、把 429 當成功吞掉。

正確：按用途分金鑰（專案／環境／團隊成員），每把都有獨立限額，互不影響。錯誤：註冊一堆帳號輪換金鑰來「繞限流」——違反服務條款會被封，且記帳混亂。

需要更高配額的正確路徑：升級分組、開通團隊、或與服務商談企業配額。

併發上限 ≈ 平均延遲 × 目標 QPS。例如 TTFT 2 秒、目標 10 QPS → 至少 20 併發在飛。串流場景佔用時間更長（整個生成期都佔連線），併發需求更高。OlithmRouter 金鑰級 concurrency 上限可防止失控迴圈吃光額度。

準備好試用了嗎？

OlithmRouter 提供 48+ 主流模型、多級分組定價與免費體驗分組——註冊後建立一把金鑰即可開始。