使用本地部署的模型#

OpenProgram 连接你管理的推理服务。配置前，使用服务自身的工具启动服务并加载模型。模型下载、GPU 分配和服务启动停止由推理服务管理。

在 设置 → Providers 中选择预设：

启用 Provider，保存 API Base URL，点击获取模型，启用所需模型，然后在聊天输入区域选择模型。localhost 指运行 OpenProgram worker 的机器；远程 worker 应使用该机器能够访问的地址。只包含主机和端口的 URL 自动补充 /v1，显式路径保持不变。

本地 Provider 的 API key 可选。服务要求鉴权时，在账户面板中添加 key。未配置本地 key 时，模型发现、连接检查和流式推理均省略 Authorization header。OpenProgram 不会把云端 OpenAI key 发送给本地 Provider。需要连接多个服务时，点击添加自定义 Provider，填写名称和 URL，勾选本地服务（API key 可选）。普通自定义云端 Provider 保留鉴权要求。

使用连接检查验证服务。成功获取模型列表说明 API 可以响应；指定模型的检查还会验证推理。服务不可用、key 被拒绝或响应无效时会显示失败。

发现模型不可用时，使用手动添加模型，填写服务接受的精确模型 ID。此功能也可以更新已有模型的限制。上下文和输出 token 限制应与实际部署配置一致，包括服务配置的上下文大小。未知限制采用保守默认值：上下文 4,096 token、最大输出 1,024 token。模型宣称的训练上下文不代表服务器实际配置的上下文。

本地模型使用 OpenAI Chat Completions。流式输出、取消和工具调用处理复用兼容 Provider 的传输实现。工具、图像、推理和严格 JSON 输出取决于模型与服务，OpenProgram 无法补充部署本身不支持的能力。启用状态和 token 限制保存在标准配置中。修改服务地址后，已有启用模型的后续发现和推理使用新地址。

服务配置请参阅官方 Ollama 兼容接口文档、LM Studio 服务文档 和 vLLM 部署文档。