模型管理、容灾与 Jev 决策模型

在平台管理「能力 › 模型管理」(/admin/providers)统一接入云端或自托管模型服务,按用途分配默认模型,使用组合模型构建跨供应商自动故障切换,并配置 Jev 决策模型支撑评分、智能切分与句级引用核对。

1. 模型治理的四层对象

理解平台管理中四类对象的关系,可以避免误删凭据或意外影响线上 Agent 与知识库:

Provider 类型 协议与能力目录 账号与凭据 Base URL · API Key Model / 组合模型 唯一 model_id 默认模型用途 平台 / 组织继承 collection_completion / embedding 新建知识库 写入绑定 model_id agent_chat / jev Agent 对话与决策默认 新建 Agent 默认选用 background_task 后台任务 运行时动态解析 Agent 显式指定 model_id 后续 Turn 直接调用
供应商类型、账号凭据、Model/组合模型与默认用途之间的依赖与继承路径。

优先级遵循「资源显式绑定 > 组织默认用途 > 平台公共默认用途」。组织内资源不会继承创建者的个人模型配置。

2. 接入供应商与分配默认用途

  1. 在 /admin/providers 添加供应商账号

    进入「平台管理 › 能力 › 模型管理」,点击添加供应商,选择对应协议(OpenAI 兼容、Anthropic、Gemini、OpenRouter、Azure、阿里云百炼、火山方舟、vLLM / Ollama 自托管等),填入 Base URL 与 API Key。保存后密钥不再回显;后续编辑时留空密钥即保持原值。

  2. 启用并核对模型能力标签

    在供应商详情中启用需要对外暴露的具体模型(或手动注册自定义模型 ID),核对上下文窗口长度、是否支持 Tool Calling(Agent 工具调用必需)以及是否支持视觉输入(图片理解与视觉索引必需)。

  3. 分配五大平台默认用途

    切换到页顶「使用场景 / 默认模型」区域,为以下场景绑定默认模型:

    用途 适用能力 选型建议
    对话默认(agent_chat) 新建 Agent 默认对话与推理模型 选择具备强 Tool Calling 与长上下文的主力模型,或直接指向下节的组合模型
    知识库向量(collection_embedding) 文档切片与检索查询向量化 确定后尽量稳定——知识库建库后不支持原地更换 Embedding 模型
    知识库补全(collection_completion) 知识图谱实体抽取、文档摘要生成 高吞吐、低延迟且 JSON 输出稳定的中量级模型
    后台任务(background_task) 对话标题生成、异步摘要与辅助治理 低成本轻量模型,与前台对话配额隔离
    Jev 决策模型(jev) 评测打分、引用核对、AI 智能切分与图谱关系判别 需通过可用性校验的 Jev 模型,见第 4 节
  4. 用真实业务链路验证

    进入「平台管理 › 运维 › 诊断与支持」(/admin/diagnostics),点击右上角模型测试,按对应业务场景(对话、知识库问答、向量索引、后台任务)实测连通性与响应延迟。

3. 组合模型(跨供应商自动故障切换容灾)

单一模型供应商出现限流(429)、超时或区域故障时,可以通过组合模型(Combined Models)在不修改任何 Agent 配置的情况下实现自动故障切换(Failover):

4. 配置 Jev 决策模型

Jev 模型专门提供高校准度的是非概率、选项判别与打分能力。在 /admin/providers 中添加 Jev 供应商并完成可用性校验后,即可在「使用场景 › JEV 模型」中启用。

三种接入方式

接入方式 默认 Base URL 默认模型 ID 密钥要求
TypeSafe 官方 https://api.typesafe.ai/v1(自动补 /systemone) jev-latest 必填 API Key;返回完整概率与置信度分布
OpenRouter https://openrouter.ai/api/alpha(自动补 /decisions) ~typesafe/jev-latest 必填 API Key
自托管(jev_compatible) 由管理员填写(自动补 /systemone) 由管理员填写 允许留空(不发送 Authorization 头)

保存后必须在该模型行点击校验 Jev 可用性(发送最小固定测试内容验证网络、鉴权与协议);修改地址、密钥或模型 ID 会使校验失效,需重新校验后才可选用。

自托管 Jev 高级限流参数

六大业务使用场景

  1. 问答集自动评分:发起评测时由决策模型逐题打分。
  2. 单条对话回答评估:Agent 配置决策模型后,回答详情页出现「开始评估」。
  3. 句级引用核对:回答完成后点击「核对引用」,逐句判别有据 / 部分有据 / 未找到依据并标出原文段落与可能换算数值。
  4. 文档 AI 切块边界建议:知识库绑定决策模型后,在分块预览页按语义给出切分建议。
  5. 文档自动智能切分:新上传或重解析文档自动按语义分块(异常重试仍失败时自动回退规则切分,不中断入库)。
  6. 知识图谱关系判别:在知识库设置中手动开启后,优先筛除无实质关系的实体共现,节省对话模型 Token 开销。

5. 停止新增选用、引用排查与平滑下线

要下线或替换一个正在使用的共享模型时,切勿直接删除账号或模型,推荐按三步无痛迁移:

  1. 先关闭「新增选用」(allow_new_bindings = false)

    在 /admin/providers 展开目标模型的「配置」关闭新增选用:已绑定的 Agent 和知识库继续照常运行,但所有新建、复制与替换选择器均不再允许新选该模型。如果目标模型仍挂在平台/组织默认用途上,须先在默认用途里替换为新模型(否则返回 409 RESOURCE_IN_USE)。

  2. 展开「引用与替换」批量迁移

    查看直接引用该模型的 Agent、知识库与默认配置明细,选择替代模型执行批量替换(知识库 Embedding 模型不支持原地替换,需新建知识库)。

  3. 确认引用归零后停用或删除

    待引用数为 0 并在「平台管理 › 可观测性 / 用量」确认无残余流量后,再停用模型或回收供应商凭据。

下一步