Providers#

LLM provider 层的设计文档。providers 把框架内部的统一上下文(Context:system / messages / tools)翻译成各家 API 的请求,处理认证、缓存、错误与模型目录。

文档按职责分四组:

翻译 + 缓存(核心)#

provider 无关的统一格式如何翻译成各家 wire 格式,以及 prompt 缓存如何按 provider 落地 —— providers 层的核心机制。

• request-build — 总设计:统一格式 Context、每 provider 翻译、缓存三 mode。
• cache-control-passthrough(在 docs/plans/)— Anthropic cache_control 逐块透传。
• record-replay — 把 provider 调用录成脱敏 JSONL 录制文件,离线回放跑确定性测试。
• 上游(内容怎么分层组装,L0/L1/L2)见 context/composition.md。

auth/ — 凭证 · 认证 · 账号#

API key 与订阅 OAuth 的解析、校验、存储,以及多账号池与轮换。

• credential-validation-unification — 凭证校验入口
• credential-status-redesign — 凭证状态(可用或停用)
• api-key-resolution-unification — API key 解析链
• unified-auth-storage — 自包含的认证存储
• unified-account-management — 账号管理 + 池轮换/回退
• claude-code-direct-oauth — claude-code 订阅 OAuth 直连

reliability/ — 容错 · 错误 · 重试 · 超时#

模型调用失败时的分类、重试、超时与错误向上传播。

• llm-fault-tolerance — 容错与超时总设计
• error-retry — 错误处理与重试决策
• error-taxonomy-propagation — 结构化错误一路传到 UI
• error-and-timeout-mechanism.html — 错误/超时机制可视化

models/ — 模型目录 · 能力#

模型清单的数据布局、配置结构,以及 thinking/effort 等能力的声明式映射。每个模型都绑定在它所属的 provider 下,所以归在 providers 内。

• models — 模型目录与 provider 配置(数据布局、fetch、合并)
• thinking-effort — thinking/effort 子系统(声明式 per-provider 映射)
• fast-tier — Fast(高速)档:两层判定(订阅入口手写 / models.dev 自动)、存储与线路