1. 模型治理的四层对象
理解平台管理中四类对象的关系,可以避免误删凭据或意外影响线上 Agent 与知识库:
优先级遵循「资源显式绑定 > 组织默认用途 > 平台公共默认用途」。组织内资源不会继承创建者的个人模型配置。
2. 接入供应商与分配默认用途
-
在
/admin/providers添加供应商账号进入「平台管理 › 能力 › 模型管理」,点击添加供应商,选择对应协议(OpenAI 兼容、Anthropic、Gemini、OpenRouter、Azure、阿里云百炼、火山方舟、vLLM / Ollama 自托管等),填入 Base URL 与 API Key。保存后密钥不再回显;后续编辑时留空密钥即保持原值。
-
启用并核对模型能力标签
在供应商详情中启用需要对外暴露的具体模型(或手动注册自定义模型 ID),核对上下文窗口长度、是否支持
Tool Calling(Agent 工具调用必需)以及是否支持视觉输入(图片理解与视觉索引必需)。 -
分配五大平台默认用途
切换到页顶「使用场景 / 默认模型」区域,为以下场景绑定默认模型:
用途 适用能力 选型建议 对话默认( agent_chat)新建 Agent 默认对话与推理模型 选择具备强 Tool Calling 与长上下文的主力模型,或直接指向下节的组合模型 知识库向量( collection_embedding)文档切片与检索查询向量化 确定后尽量稳定——知识库建库后不支持原地更换 Embedding 模型 知识库补全( collection_completion)知识图谱实体抽取、文档摘要生成 高吞吐、低延迟且 JSON 输出稳定的中量级模型 后台任务( background_task)对话标题生成、异步摘要与辅助治理 低成本轻量模型,与前台对话配额隔离 Jev 决策模型( jev)评测打分、引用核对、AI 智能切分与图谱关系判别 需通过可用性校验的 Jev 模型,见第 4 节 -
用真实业务链路验证
进入「平台管理 › 运维 › 诊断与支持」(
/admin/diagnostics),点击右上角模型测试,按对应业务场景(对话、知识库问答、向量索引、后台任务)实测连通性与响应延迟。
3. 组合模型(跨供应商自动故障切换容灾)
单一模型供应商出现限流(429)、超时或区域故障时,可以通过组合模型(Combined Models)在不修改任何 Agent 配置的情况下实现自动故障切换(Failover):
- 成员数量与顺序:在
/admin/providers的「组合模型」面板中创建组合模型,按优先级编排 2 至 3 个活跃的对话/补全成员模型(支持来自不同供应商或不同账号,例如「主供应商直连 → 备用中转 → 自托管兜底」)。 - 交集规格计算:为了确保故障切换时不破坏正在运行的对话或工具调用,组合模型对外暴露的规格严格取所有成员的最保守交集:
context_window取全部成员中的最小值(min);supports_tool_calling与supports_vision仅当全部成员同时支持(逻辑AND)时才开启。
- 平滑切换与治理:组合模型拥有独立的
model_id,可以直接设为平台/组织默认模型或绑定给任意 Agent。调整成员顺序或替换故障成员后,所有绑定该组合模型的 Agent 立即生效。
4. 配置 Jev 决策模型
Jev 模型专门提供高校准度的是非概率、选项判别与打分能力。在 /admin/providers 中添加 Jev 供应商并完成可用性校验后,即可在「使用场景 › JEV 模型」中启用。
三种接入方式
| 接入方式 | 默认 Base URL | 默认模型 ID | 密钥要求 |
|---|---|---|---|
| TypeSafe 官方 | https://api.typesafe.ai/v1(自动补 /systemone) |
jev-latest |
必填 API Key;返回完整概率与置信度分布 |
| OpenRouter | https://openrouter.ai/api/alpha(自动补 /decisions) |
~typesafe/jev-latest |
必填 API Key |
自托管(jev_compatible) |
由管理员填写(自动补 /systemone) |
由管理员填写 | 允许留空(不发送 Authorization 头) |
保存后必须在该模型行点击校验 Jev 可用性(发送最小固定测试内容验证网络、鉴权与协议);修改地址、密钥或模型 ID 会使校验失效,需重新校验后才可选用。
自托管 Jev 高级限流参数
- 单请求最大字节数(KiB):云端默认
256,自托管默认32。若自托管模型上下文较小(如 16k)或报请求过长,调低该值,平台会自动拆分切分与图谱大请求。 - 最大并发:云端默认不限,自托管默认
1。单实例按顺序推理时请保持为1避免请求积压超时,多副本扩容后再调高。 - 单次调用超时为内置固定值:云端 15 秒、自托管 120 秒。
六大业务使用场景
- 问答集自动评分:发起评测时由决策模型逐题打分。
- 单条对话回答评估:Agent 配置决策模型后,回答详情页出现「开始评估」。
- 句级引用核对:回答完成后点击「核对引用」,逐句判别有据 / 部分有据 / 未找到依据并标出原文段落与可能换算数值。
- 文档 AI 切块边界建议:知识库绑定决策模型后,在分块预览页按语义给出切分建议。
- 文档自动智能切分:新上传或重解析文档自动按语义分块(异常重试仍失败时自动回退规则切分,不中断入库)。
- 知识图谱关系判别:在知识库设置中手动开启后,优先筛除无实质关系的实体共现,节省对话模型 Token 开销。
5. 停止新增选用、引用排查与平滑下线
要下线或替换一个正在使用的共享模型时,切勿直接删除账号或模型,推荐按三步无痛迁移:
-
先关闭「新增选用」(
allow_new_bindings = false)在
/admin/providers展开目标模型的「配置」关闭新增选用:已绑定的 Agent 和知识库继续照常运行,但所有新建、复制与替换选择器均不再允许新选该模型。如果目标模型仍挂在平台/组织默认用途上,须先在默认用途里替换为新模型(否则返回409 RESOURCE_IN_USE)。 -
展开「引用与替换」批量迁移
查看直接引用该模型的 Agent、知识库与默认配置明细,选择替代模型执行批量替换(知识库 Embedding 模型不支持原地替换,需新建知识库)。
-
确认引用归零后停用或删除
待引用数为 0 并在「平台管理 › 可观测性 / 用量」确认无残余流量后,再停用模型或回收供应商凭据。