one-api／new-api 是什麼？

開源的 LLM 閘道/分發系統，很多中轉站用它搭建。自建它等於自己當中轉站；不想維護的就用託管服務。

我可以自己搭閘道嗎？

可以，但要自己處理上游帳務、風控、客服與穩定性；時間成本遠超省下的差價。

可以——大型公司常自建閘道接多家中轉站。個人與小團隊直接選有閘道能力的服務商最省事。

看文檔是否描述錯誤分類與換家策略、看日誌是否記錄每次嘗試的上游、以及故障期間的實際表現。

OlithmRouter › 知識庫 › LLM 閘道、中轉站與反向代理：三個名詞的差異…

LLM Gateway vs Relay vs Reverse Proxy: What's the Difference?

TL;DR — 反向代理只管「轉發流量」；中轉站（relay）在轉發之上加了「帳務與金鑰托管」；閘道（gateway）再加上「智能路由」——多上游故障轉移、冷卻、黏性、限流、協定橋接。你買中轉站服務時，真正付費的是閘道能力；沒有閘道能力的「中轉」只是換個地方計費。

本頁目錄

Nginx／Caddy 層級：把請求原樣轉發到固定後端，可能加 TLS 與壓縮。它不知道什麼是 token、什麼是模型——無法計費、無法按模型路由、無法判斷上游健康。適合自己已有帳務系統的場景。

在代理之上加：自有金鑰體系、按 token 計費、用量報表、用戶系統。你可以註冊、儲值、拿 sk- 金鑰。但多數中轉站在路由層很薄：單上游或簡單輪詢，上游掛了你跟著掛。

判斷方法：問「同一個模型背後有幾條獨立上游、錯誤怎麼分類」。答不出來的，就是薄中轉。

閘道能力＝按（上游×模型）的冷卻＋優先度換家＋逾時預算＋會話黏性（快取命中）＋併發分攤＋三協定橋接＋逐筆計費。這些決定了上游故障時你是「無感」還是「跟著掛」。

OlithmRouter 的架構：Caddy/TLS 層 → FastAPI 閘道（金鑰驗證、餘額閘門、路由、協定橋接、隱私遮蔽）→ 多上游池；帳務回寫權威資料庫。海外用戶另有香港、日本備援端點。

選擇時把重點放在閘道能力：故障轉移是否真實、冷卻粒度、逾時設計、串流處理。這些看不見的地方，才是 99%+ 可用率與「動不動就 502」的差別。

準備好試用了嗎？

OlithmRouter 提供 48+ 主流模型、多級分組定價與免費體驗分組——註冊後建立一把金鑰即可開始。