# 模型服务 LLM provider 层的设计文档。providers 把框架内部的统一上下文(`Context`:system / messages / tools)翻译成各家 API 的请求,处理认证、缓存、错误与模型目录。 文档按职责分四组: ## 翻译 + 缓存(核心) provider 无关的统一格式如何翻译成各家 wire 格式,以及 prompt 缓存如何按 provider 落地 —— providers 层的核心机制。 - [`request-build`](request-build.zh.md) — **总设计**:统一格式 Context、每 provider 翻译、缓存三 mode。 - [`cache-control-passthrough`](../plans/cache-control-passthrough.zh.md)(在 `docs/plans/`)— Anthropic `cache_control` 逐块透传。 - [`record-replay`](record-replay.zh.md) — 把 provider 调用录成脱敏 JSONL 录制文件,离线回放跑确定性测试。 - 上游(内容怎么分层组装,L0/L1/L2)见 [`context/composition.md`](../context/composition.zh.md)。 ## [auth/](auth/) — 凭证 · 认证 · 账号 API key 与订阅 OAuth 的解析、校验、存储,以及多账号池与轮换。 - [`credential-validation-unification`](auth/credential-validation-unification.zh.md) — 凭证校验入口 - [`credential-status-redesign`](auth/credential-status-redesign.zh.md) — 凭证状态(可用或停用) - [`api-key-resolution-unification`](auth/api-key-resolution-unification.zh.md) — API key 解析链 - [`unified-auth-storage`](auth/unified-auth-storage.zh.md) — 自包含的认证存储 - [`unified-account-management`](auth/unified-account-management.zh.md) — 账号管理 + 池轮换/回退 ## [reliability/](reliability/) — 容错 · 错误 · 重试 · 超时 模型调用失败时的分类、重试、超时与错误向上传播。 - [`llm-fault-tolerance`](reliability/llm-fault-tolerance.zh.md) — 容错与超时总设计 - [`error-retry`](reliability/error-retry.zh.md) — 错误处理与重试决策 - [`error-taxonomy-propagation`](reliability/error-taxonomy-propagation.zh.md) — 结构化错误一路传到 UI - [`error-and-timeout-mechanism.html`](reliability/error-and-timeout-mechanism.zh.html) — 错误/超时机制可视化 ## [models/](models/) — 模型目录 · 能力 模型清单的数据布局、配置结构,以及 thinking/effort 等能力的声明式映射。每个模型都绑定在它所属的 provider 下,所以归在 providers 内。 - [`models`](models/overview.zh.md) — 模型目录与 provider 配置(数据布局、fetch、合并) - [`thinking-effort`](models/thinking-effort.zh.md) — thinking/effort 子系统(声明式 per-provider 映射) - [`fast-tier`](models/fast-tier.zh.md) — Fast(高速)档:两层判定(订阅入口手写 / models.dev 自动)、存储与线路