AI API for Coding Agents (Claude Code, Codex, Gemini CLI)
一个 Claude Code 会话动辄 10 万+ 上下文 token、几十次工具呼叫——输入 token 是普通对话的 100 倍。这时缓存命中率直接决定帐单:同一家上游连续服务同一会话,缓存命中可省 60-90% 输入成本。
OlithmRouter 的会话黏性设计正是为此:同一对话自动黏住同一上游(只是偏好不是锁定),缓存持续命中;上游故障时照样换家。
Claude Code:ANTHROPIC_BASE_URL+ANTHROPIC_AUTH_TOKEN。Codex(OpenAI responses 协定):base_url+密钥+模型名。Gemini CLI:GEMINI_API_KEY+base_url。控制台的「快速开始」页有每种 Agent 的完整配置脚本与模型建议,复制即用。
①Agent 请求不要用最贵分组——稳定分组够用;②限制 Agent 的上下文膨胀(定期 /compact 或新开会话);③关闭不需要的工具定义(每个工具的 schema 都在计费);④用逐笔日志找「工具呼叫回圈」这种吞 token 大户。
Agent 遇到 API 错误会自动重试,这是好事——但前提是服务商有故障转移,否则每次重试都撞同一个坏上游。OlithmRouter 在闸道层换家,Agent 的重试通常第一次就打到健康上游。