LLM Gateway vs Relay vs Reverse Proxy: What's the Difference?
Nginx／Caddy 层级：把请求原样转发到固定后端，可能加 TLS 与压缩。它不知道什么是 token、什么是模型——无法计费、无法按模型路由、无法判断上游健康。适合自己已有帐务系统的场景。
在代理之上加：自有密钥体系、按 token 计费、用量报表、用户系统。你可以注册、充值、拿 sk- 密钥。但多数中转站在路由层很薄：单上游或简单轮询，上游挂了你跟著挂。
判断方法：问「同一个模型背后有几条独立上游、错误怎么分类」。答不出来的，就是薄中转。
闸道能力＝按（上游×模型）的冷却＋优先度换家＋逾时预算＋会话黏性（缓存命中）＋并发分摊＋三协定桥接＋逐笔计费。这些决定了上游故障时你是「无感」还是「跟著挂」。
OlithmRouter 的架构：Caddy/TLS 层 → FastAPI 闸道（密钥验证、余额闸门、路由、协定桥接、隐私遮蔽）→ 多上游池；帐务回写权威资料库。海外用户另有香港、日本备援端点。
选择时把重点放在闸道能力：故障转移是否真实、冷却粒度、逾时设计、流式处理。这些看不见的地方，才是 99%+ 可用率与「动不动就 502」的差别。