AI API for Coding Agents (Claude Code, Codex, Gemini CLI)
一個 Claude Code 會話動輒 10 萬+ 上下文 token、幾十次工具呼叫——輸入 token 是普通對話的 100 倍。這時快取命中率直接決定帳單:同一家上游連續服務同一會話,快取命中可省 60-90% 輸入成本。
OlithmRouter 的會話黏性設計正是為此:同一對話自動黏住同一上游(只是偏好不是鎖定),快取持續命中;上游故障時照樣換家。
Claude Code:ANTHROPIC_BASE_URL+ANTHROPIC_AUTH_TOKEN。Codex(OpenAI responses 協定):base_url+金鑰+模型名。Gemini CLI:GEMINI_API_KEY+base_url。控制台的「快速開始」頁有每種 Agent 的完整配置腳本與模型建議,複製即用。
①Agent 請求不要用最貴分組——穩定分組夠用;②限制 Agent 的上下文膨脹(定期 /compact 或新開會話);③關閉不需要的工具定義(每個工具的 schema 都在計費);④用逐筆日誌找「工具呼叫迴圈」這種吞 token 大戶。
Agent 遇到 API 錯誤會自動重試,這是好事——但前提是服務商有故障轉移,否則每次重試都撞同一個壞上游。OlithmRouter 在閘道層換家,Agent 的重試通常第一次就打到健康上游。