第三十三轮:模型接口加入上下文参数(context_window / max_output_tokens)
老板 2026-09-24 要求:「文档里有写明支持上下文多少吗?有的话就修改 ai 网关, 接口加入上下文参数」+「Agnes 先加上,opencode go 看下 v2/docs/console/go/ 文档, 没有的话就看接口里有没有,这个也要加入同步脚本里」。 数据来源(逐一核查过): - Agnes:官方**每个文本模型详情页**的「限制与价格」表写明 `上下文窗口` / `最大输出` (定价页没有这两项)。3.0-flash = 512K/65,536、2.5-flash = 512K/65.5K、 2.5-pro 与 2.5-pro-beta = 1M/65,536。图片/视频页无此表 → 留 0。 - OpenCode:官方文档(Zen 页、v2/docs/console/go/)**都不写**上下文;`/zen/go/v1/models` 实测只回 id/object/created/owned_by(单模型详情 404、include 参数被忽略)。 唯一机器可读来源是 **models.dev**(OpenCode 团队维护),其 `opencode-go` / `opencode` 两供应商每条模型都带 `limit.context` / `limit.output`。 口径(老板拍板):只用于**更新网关已有模型**,不拿它当增删依据(models.dev 收录 比官方 Go 文档多,含 omen-alpha 等未收录的);跨源不一致时取**保守下限** (minimax-m3 Go 1M / Zen 512K → 512,000;qwen3.6-plus → 262,144)。 改动: - app/config.py:ModelInfo 新增 context_window / max_output_tokens(默认 0 = 未标注), 解析 + to_dict 序列化一并带上。 - app/main.py:GET /models 与 /v1/models 输出这两个字段;别名继承目标模型的值。 - app/settings.py:「供应商与模型」面板往返不丢字段(默认 0 → 未配置的模型不会被 补出 `context_window: 0` 污染 YAML);提交了就以此为准,没提交则沿用文件原文。 - data/gateway.yaml:37 个模型落盘(33 OpenCode + 4 Agnes 文本),文本级插入保住 全部手写注释(注释行 162 → 236)。 - scripts/sync_models.py:新增 fetch_models_dev()(拉失败返回 None → 只跳过上下文 同步、不当成漂移)、fetch_agnes_context()(逐模型页解析「限制与价格」表)、 diff() 产出 ctx_drift、build_plan/apply_plan(_set_context 块内改值,保留行尾注释、 幂等)、verify() 回读校验、render_plan/render 显示漂移;_DRIFT_KEYS 与 plan_is_empty 认 ctx_set。 - tests:新增 3 个(models.dev 保守下限合并 + 抓失败返回 None;_set_context 幂等与 保注释;/models 带出字段且未标注不瞎补)→ **201 passed / 0 failed**;ci_check.sh 全绿。 上线:supervisorctl restart api-gateway:api-gateway_00(pid 3492804)后实测 /v1/models 45 个模型、38 个带 context_window(含 wjd 别名继承 = 1,000,000/384,000), 图片模型正确为 0。
This commit is contained in:
1 parent
1c4bc9fb1e
commit
64054ad920
6 files changed
+428
-7
No files matched your search
@@ -138,6 +138,16 @@ class ModelInfo:
|
||||
# 由 scripts/sync_models.py 按文档自动维护(撤标注时整行删掉)。
|
||||
# 同样只是标注:/v1/models 带出、前端标签文案据此切换,不参与路由/限流/计费。
|
||||
free_limited: bool = False
|
||||
# 第三十三轮(2026-09-24,老板要求:接口加入上下文参数): 模型的**上下文窗口**
|
||||
# 与**最大输出**(单位 token)。0 = 未知/未标注(非文本模型天然没有)。
|
||||
# 来源与维护:
|
||||
# · Agnes 文本模型 → 官方文档每个模型页「限制与价格」表(权威值);
|
||||
# · OpenCode Go → models.dev 的 `opencode-go` 供应商 `limit.context` / `limit.output`
|
||||
# (OpenCode 官方文档与 /models 接口都不给这两个数,models.dev 是唯一可用来源);
|
||||
# · 同名模型跨源不一致时取**保守下限**(宁可早压缩,不能超窗口)。
|
||||
# 由 scripts/sync_models.py 每日同步;不参与路由/限流,仅作展示与调用方参考。
|
||||
context_window: int = 0
|
||||
max_output_tokens: int = 0
|
||||
# 第二十五轮(模型参数硬约束): 该模型**必须用**的上游参数,发送前强制覆盖客户端传值。
|
||||
# 背景:OpenCode Go 的 kimi-k2.7-code 只接受 temperature=1,客户端传 0(含一键测速的
|
||||
# 探针,它固定发 temperature=0)会被上游 400:
|
||||
@@ -401,6 +411,10 @@ class GatewayConfig:
|
||||
# 2026-09-24: 「免费」还是「限时免费」—— 前端标签文案据此切换
|
||||
# (免费 / 限时免费),也带进 /v1/models 让接口调用方知道优惠可能到期。
|
||||
"free_limited": bool(m.free_limited),
|
||||
# 第三十三轮(2026-09-24): 上下文窗口 / 最大输出(token)。0 = 未标注。
|
||||
# 前端「能力」列与 /v1/models 均带出,调用方据此决定单次请求塞多长的对话。
|
||||
"context_window": int(m.context_window or 0),
|
||||
"max_output_tokens": int(m.max_output_tokens or 0),
|
||||
"provider": pkey,
|
||||
"provider_name": pconfig.name,
|
||||
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。
|
||||
@@ -793,6 +807,8 @@ def parse_config(raw: dict[str, Any]) -> GatewayConfig:
|
||||
type=m.get("type", "text"), vision=_opt_bool(m.get("vision"), "providers.*.models.*.vision", False),
|
||||
free=_opt_bool(m.get("free"), "providers.*.models.*.free", False),
|
||||
free_limited=_opt_bool(m.get("free_limited"), "providers.*.models.*.free_limited", False),
|
||||
context_window=_opt_int(m.get("context_window"), "providers.*.models.*.context_window", 0),
|
||||
max_output_tokens=_opt_int(m.get("max_output_tokens"), "providers.*.models.*.max_output_tokens", 0),
|
||||
params=_parse_model_params(
|
||||
m.get("params"), f"providers.{pkey}.models[{idx}].params"),
|
||||
protocols=_parse_protocols(
|
||||
|
||||
@@ -1229,6 +1229,10 @@ def _models_payload():
|
||||
"free": bool(m.get("free")),
|
||||
# 2026-09-24: 免费是否带期限(限时免费)—— 前端标签文案据此切换
|
||||
"free_limited": bool(m.get("free_limited")),
|
||||
# 第三十三轮(2026-09-24): 上下文窗口 / 最大输出(token)。0 = 未标注
|
||||
# (非文本模型、或上游/文档都没给这个数)。调用方据此规划单次请求规模。
|
||||
"context_window": int(m.get("context_window") or 0),
|
||||
"max_output_tokens": int(m.get("max_output_tokens") or 0),
|
||||
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。前端据此标挂锁,
|
||||
# API 调用方也能提前知道自己传的采样参数会被上游要求覆盖。
|
||||
"params": dict(m.get("params") or {}),
|
||||
@@ -1259,6 +1263,9 @@ def _models_payload():
|
||||
# 2026-09-21: 免费位随目标继承(与 vision / params 同一份事实来源)
|
||||
"free": bool(aminfo.free),
|
||||
"free_limited": bool(aminfo.free_limited),
|
||||
# 第三十三轮: 上下文窗口 / 最大输出随目标继承(与 vision / params 同一份事实来源)
|
||||
"context_window": int(aminfo.context_window or 0),
|
||||
"max_output_tokens": int(aminfo.max_output_tokens or 0),
|
||||
"params": dict(aminfo.params or {}),
|
||||
"protocols": list(ALIAS_PROTOCOLS),
|
||||
"alias_of": aminfo.id, "alias_note": spec.note})
|
||||
|
||||
+20
-1
@@ -111,7 +111,12 @@ def config_to_view(cfg: GatewayConfig) -> dict[str, Any]:
|
||||
# 第二十七轮: 模型能走哪几条协议线。这一项**面板可编辑**
|
||||
# (「供应商与模型」页给每个模型打格式标签),所以两处都要认:
|
||||
# 读回给页面显示、写盘时以页面提交的为准。
|
||||
"protocols": list(m.protocols)}
|
||||
"protocols": list(m.protocols),
|
||||
# 第三十三轮(2026-09-24): 上下文窗口 / 最大输出。面板不提供编辑入口
|
||||
# (由 scripts/sync_models.py 每日同步),但必须一路带着走 ——
|
||||
# 否则管理员在页面上随手保存一次,这两个值就被静默清成 0。
|
||||
"context_window": int(m.context_window or 0),
|
||||
"max_output_tokens": int(m.max_output_tokens or 0)}
|
||||
for m in p.models
|
||||
],
|
||||
}
|
||||
@@ -224,6 +229,11 @@ _MODEL_KEY_DEFAULTS: dict[str, Any] = {
|
||||
"type": "text",
|
||||
"vision": False,
|
||||
"protocols": list(DEFAULT_PROTOCOLS), # 不写 = 自动走默认线(chat/completions)
|
||||
# 第三十三轮(2026-09-24): 未标注的模型(图片/视频、或上游没给数的)**不写**这两个键。
|
||||
# 默认 0 与 ModelInfo 一致 → _prune_defaults 会把面板补出来的 0 丢掉,
|
||||
# 只有 sync_models.py 明确写入的非 0 值才留在文件里。
|
||||
"context_window": 0,
|
||||
"max_output_tokens": 0,
|
||||
}
|
||||
|
||||
|
||||
@@ -343,6 +353,15 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) -
|
||||
"type": str(m.get("type") or "text").strip(),
|
||||
"vision": bool(m.get("vision", False)),
|
||||
})
|
||||
# 第三十三轮(2026-09-24): 上下文窗口 / 最大输出由 sync_models.py 维护,
|
||||
# 面板不提供编辑入口 —— 提交了就以此为准,没提交则沿用文件原文
|
||||
# (旧前端/脚本提交时不至于把这两个值清成 0)。
|
||||
for _k in ("context_window", "max_output_tokens"):
|
||||
if m.get(_k) is not None:
|
||||
try:
|
||||
item[_k] = int(m.get(_k) or 0)
|
||||
except (TypeError, ValueError):
|
||||
pass
|
||||
# 第二十七轮: 协议线由面板管理(每个模型的格式标签),提交了就以此为准;
|
||||
# 没提交则沿用文件原文里的值(避免旧前端/脚本提交时把 protocols 清空)。
|
||||
if m.get("protocols"):
|
||||
|
||||
Reference in new issue
Block a user