OpenProgram 使用既有 OpenAI Chat Completions 传输连接用户管理的推理服务。模型安装、GPU 分配和服务启动停止由部署工具管理。
本地预设和自定义本地端点使用可选凭证。模型发现、连接验证和推理采用相同配置地址。设置界面提供模型发现、手动限制和明确的连接失败状态。
依据 Ollama、LM Studio 和 vLLM 的官方兼容接口，复用已有流式输出、工具调用、取消、重试和结构化输出实现。原生模型下载与管理接口不在范围内。
提供 Ollama、LM Studio、vLLM、llama.cpp 和通用本地服务预设。默认地址离线可用，本地服务允许可选凭证，不能继承无关 OpenAI key。保留配置 URL 安全检查。模型发现使用部署服务，不能使用云端模型目录。主机 URL 自动补充 /v1，发现、连接检查和推理采用一致地址。启用状态通过现有注册表持久保存。
设置界面提供地址编辑、可选账户、连接检查、模型发现、手动模型 ID 和 token 限制。云端鉴权行为不变。无效 URL 和非 JSON 响应显示错误。模型能力和限制依据部署服务返回信息或明确配置。
无凭证本地推理向 SDK 传入明确的占位 key，防止回退到环境变量，并在每次 Chat Completions 请求中显式省略 Authorization header。SDK 的鉴权校验要求在请求级别声明省略；仅移除默认 header 不足以满足校验。本地服务配置 key 时使用该 key，云端请求仍然需要所属 Provider 的凭证。
Provider 列表显示本地预设。无凭证时可发现和检查 loopback 服务。显式 key 仅发送给配置端点。启用模型通过公共调度入口输出文本和工具调用。保存新地址后，后续发现和推理使用新地址。服务不存在、HTTP 失败或响应无效时报告失败。
Provider、服务器和设置界面已实现并通过独立审查。loopback 测试覆盖模型发现、鉴权、流式文本、工具调用和图片输入。真实本地模型推理需要用户管理的服务，本环境尚未验证真实模型推理。