接入点¶

接入点（Endpoint）是 Legate 连接一个上游模型 API 的最小调度单元。它把 Base URL、凭据、精确 Driver、上游模型、价格和运行状态组合在一起。

接入点回答“请求最终发到哪里、按什么协议发送”。模型组回答“调用方使用哪个稳定模型名、如何在多个接入点之间路由”。

接入点组¶

Console 的“接入点”页面先创建接入点组，再在组中创建接入点。接入点组只有名称和排序，用于整理账号、区域或厂商；它不进入运行时快照，也不影响路由、熔断或故障转移。

删除非空接入点组会被拒绝。接入点可以在组之间移动，移动不会改变模型组映射。

字段	含义
类型	`text`、`image` 或 `video`；创建后不可修改，当前可调用实现为文本与图片
名称与备注	Console 和运行统计中的管理标识
启用调度	关闭后不再接受新上游尝试
Base URL	上游 API 的绝对 HTTP(S) 根地址，不能包含用户信息、query 或 fragment
Driver	一个精确、不可变的内置或 Workspace WASM Driver 引用
Driver 配置	由 Driver JSON Schema 定义的非敏感配置
凭据	Driver 声明的 write-only credential slots，例如 `api_key`
模型	可供模型组映射的精确上游模型 ID

Endpoint 状态由后端返回为 enabled、disabled 或 error。参与选择还要求启用调度、至少有一个模型、Driver 能成功 Bind，并且熔断状态允许尝试。

Console 提供四种文本接入点类型：

接入点类型	Driver Ref	上游目标格式
OpenAI Chat Completions	`builtin://openai-chat-compatible@1`	OpenAI Chat Completions
OpenAI Responses	`builtin://openai-responses-compatible@1`	OpenAI Responses
Anthropic Messages	`builtin://anthropic@1`	Anthropic Messages
自定义	Workspace 中的文本 WASM Driver	由 Driver 定义

三个内置文本 Driver 都能接收当前三种入站协议契约，并把请求转换为所选的上游目标格式。接入点类型描述上游目标，不限制调用方必须使用同一种格式。

Base URL 应填写 API 根地址，例如：

https://api.openai.com/v1
https://api.anthropic.com/v1
https://api.example.com/v1

不要把 /chat/completions、/responses 或 /messages 具体操作路径填入 Base URL。Driver 生成相对路径，Core 验证并拼接后再发送。

图片接入点使用 builtin://openai-image-compatible@1 或图片 WASM Driver。每个上游模型可以分别声明支持：

模型组只能选择其全部对外图片接口都被 Driver 和具体模型同时支持的映射。图片调用当前为同步 buffered 模式。

内置文本 Driver 声明模型列表管理能力。Console 的“同步最新模型”使用当前草稿里的 Base URL、Driver 配置和凭据查询上游模型列表，再与尚未保存的模型合并。同步结果不会自动进入模型组，保存前应由管理员核对。

每个文本模型可以配置 input、output 和 cache hit 的每百万 Token 美元价格，最多 9 位小数。Legate 内部使用纳美元整数计算，不以浮点数保存权威金额。价格缺失或上游没有可靠用量时，运行统计会明确显示未知成本，而不是按零成本处理。

删除接入点会同时删除所有引用它的模型组映射，Console 会要求确认。删除接入点中的某个模型时，如果仍有模型组映射引用该模型，后端会拒绝更新。

Driver 或凭据变更会触发新的运行时配置 generation。只有新配置完整验证并成功 Bind 后才会替换现有运行时；请求期间不会临时重新 Bind。