fix: 模型级强制参数(kimi-k2.7-code 锁 temperature=1)+ 测速超时/错误文案

- config: ModelInfo.params + MODEL_PARAM_KEYS 白名单 + _parse_model_params(写错即 ConfigError)
- adapters: _forced_params 在 payload 组装后强制覆盖;_learn_from_upstream_error 按上游 400
  要求修正并重发一次(非原样重试);流式已吐内容则不重发
- main: /v1/models 暴露 params;探针超时 15s→30s;_speedtest_error_text 说清超时/上游原文
- settings: 面板保存保留手写 models[].params(原先会被静默清掉)
- gateway.yaml: kimi-k2.7-code params.temperature=1
- 前端: Models 挂锁+参数固定标签;Chat 温度 chip 挂锁+抽屉提示;新增 lock 图标;中英对称
- tests: +10 → 168 passed / 0 failed
This commit is contained in:
api-gateway committed 2026-09-18 12:18:10 +08:00
1 parent 43a4f8613b
commit 840c5c83aa
14 files changed
+631 -13

No files matched your search

+48
View File
@@ -4,6 +4,54 @@
--- ---
## 2026-09-18 · 第二十五轮:模型参数硬约束 + 测速超时/错误文案(一轮全修)
**背景(两条线一起收)**:上一轮排查出两个"看起来都坏了"的模型,其实是两回事:
1. **`kimi-k2.7-code` 每次必挂** —— 上游只接受 `temperature=1`,而一键测速探针固定发 `temperature: 0`,于是每次都 400 `invalid temperature: only 1 is allowed for this model`。更严重的是:这不只影响测速 —— **前端对话页的温度滑块默认 0.7**,用户把这个模型拖到任何非 1 的值都会 400。
2. **`mimo-v2.5` 不是坏,是慢** —— 直连 2.2~3s、过网关 2.9~8.4s,偶发冲破探针 15s 超时。但旧文案只回 `str(e)`,两者在前端都显示成含糊的「调用失败」,无从区分。
### 改动
- **`app/config.py`**
- `ModelInfo` 新增 `params: dict`(模型级**强制参数**):发往上游前覆盖客户端传值。
- 新增 `MODEL_PARAM_KEYS` 白名单(`temperature/top_p/top_k/max_tokens/min_tokens/presence_penalty/frequency_penalty/repetition_penalty/seed/logit_bias/n`)。**结构性键(`model`/`messages`/`stream`/`tools`)刻意不放行** —— 放行等于把路由与协议语义交给配置文件,重开一条越权面。
- 新增 `_parse_model_params()`:非映射、空参数名、白名单外的键、非法值类型一律 `ConfigError`(**写错立刻报错,绝不静默失效**)。
- `all_models()` 暴露 `params`,供 `/v1/models` 与前端标注。
- **`app/adapters/openai_compat.py`**
- 新增 `model_params` 入参、`_forced_params(model)`(配置 > 运行期自学习)。
- `_build_payload()` **末尾**应用强制参数:在 `strip_protected(extra, CHAT_CORE_KEYS)` **之后**覆盖,客户端连同 `extra` 逃生舱都改不动。
- 新增 `_learn_from_upstream_error()`:上游 400 报文里出现 `invalid <参数>: only <X> is allowed` / `<参数> must be greater than <N>` 时,按上游要求修正并**重发一次**。这不是"重试"——报文照原样重发只会再吃一次 400。学到的值缓存进实例(后续请求直接按修正值组装,不再多一轮往返);学不到新东西就返回 `None`,绝不与同一约束来回打转;管理员已在配置里写死的参数**不被偷偷改**(值冲突时只打日志说明)。
- `chat` / `chat_stream` 拆出 `_post_chat` / `_stream_once`,各自在"开局就被 400 顶回"时走一次修正重发;**流式若已开始吐内容则不重发**(避免重复输出/串话)。
- **`app/adapters/__init__.py`**:`create_adapter` 把各模型 `params` 带进适配器 —— 对话 / 流式 / 批量 / 一键测速**所有入口自动一致**,不会出现"主链路修了、测速还漏着"的偏差。配置变更时 `main._apply_config` 丢弃适配器缓存,约束不会滞留旧值。
- **`app/main.py`**
- `_models_payload()` 在 `/v1/models` 暴露 `params`(该端点自己构造 data 项,不是直接用 `all_models()` 的结果)。
- 测速探针超时 **15s → 30s**(≈实测最慢值的 3 倍)。该 timeout 只作用于探针自己创建的 adapter(适配器缓存 key 含 timeout),**不影响真实对话链路**的 `server.timeout`。
- 新增 `_speedtest_error_text()`:超时 → `上游超时(>30s 未响应)`;上游 4xx/5xx → 透出**上游原文**(如 `invalid temperature: only 1 is allowed for this model`)。
- **`app/settings.py`**
- `view_to_raw()` 的模型项改为「以文件原文为底」再覆盖面板管的 4 个键 —— 面板的模型编辑器不认 `params`,照它重建会**静默清掉**手写约束(管理员只是在页面上改了别的东西,上游硬约束就没了)。
- `config_to_view()` 回传 `params`,roundtrip 不丢。
- **`data/gateway.yaml`**:`kimi-k2.7-code` 写死 `params: {temperature: 1}`。
- **前端**
- `Models.vue`:模型行前缀挂锁图标(`title` 说明),模型清单「能力」列新增「参数固定」标签(列宽 120 → 190)。
- `Chat.vue`:温度 chip 加挂锁;参数抽屉顶部新增说明条「该模型参数由网关固定:… (你在这里调的值会被网关覆盖后再发送)」;模型下拉选项同步挂锁。
- `Icon.vue` 新增 `lock`;中英文案 `paramTag` / `paramLocked` 对称(726/726)。
### 验证
- **上游全量扫描**:20 个文本模型逐个以 `temperature=0` 探测,**只有 `kimi-k2.7-code` 被拒**(400 `invalid temperature: only 1 is allowed for this model`),改 `temperature=1` 复测 200。→ 约束只此一处,未凭猜测给别的模型加参数。
- **配置层**:非法 `params`(结构性键 / 非法值类型 / 非映射)全部被 `ConfigError` 拦下;真配置解析出 `opencode/kimi-k2.7-code → {'temperature': 1}`;`/v1/models` 暴露一致。
- **适配器层(MockTransport,7 个场景)**:① 配置强制覆盖客户端传值且只发 1 次;② 未配时 400 → 按上游要求修正重发(0 → 1);③ 学到后后续请求直接带修正值(1 次);④ 上游一直 400 → 只发 2 次就抛错;⑤ 配置值与上游要求冲突 → 尊重配置、不发第二枪;⑥ 非参数类 400(额度)→ 原样抛错,不误改参数;⑦ 流式开局 400 → 修正后重发成功。
- **隔离实例真机**(`/tmp/gw25-verify/project`,8899,生产 8808 全程未动):真 key 实测 `kimi-k2.7-code` 测速 **1668ms 成功**、`mimo-v2.5` **4691ms 成功**;主链路显式 `temperature=0` → **200 + 正常内容**(`finish_reason=stop`),流式同样 200。
- **真浏览器**(同一隔离实例):Models 页 `kimi-k2.7-code` 行出现橙色挂锁、「参数固定」标签、单行测速 **1566 ms**;Chat 页选中该模型后温度 chip 带挂锁、抽屉顶部出现固定说明条。
- **单测**:**168 passed / 0 failed**(+10:参数解析/白名单拦截/真配置锁定/强制覆盖/自动修正重发/不无限重试/配置冲突/流式修正/测速文案/面板保留 params);前端 `vue-tsc --noEmit` 通过、`check:i18n` 726/726 对称、`check:svg` 通过、`npm run build` 成功(在副本内构建,未覆盖生产 dist)。
### 上线(待老板批准)
- 含 Python 代码改动(`config` / `adapters` / `main` / `settings`)→ 需 `supervisorctl restart api-gateway:api-gateway_00` 才生效(会踢网页会话)。
- 前端需 `npm run build` 覆盖 `frontend/dist`(挂锁/提示条才会出现在线上)。
- CNB 推送新增提交。
**一句话**:给模型加「强制参数」机制并给上游硬约束的 `kimi-k2.7-code` 写死 `temperature: 1`(同时兜一道"上游报什么就改成什么"的自学习重发),把探针超时从 15s 放宽到 30s 并让失败文案说清是超时还是上游拒绝 —— 于是"必挂的模型"变 1.5s 成功、"慢的模型"不再被误判成坏。
---
## 2026-09-18 · OpenCode Go 会话 id 升级为「对话级稳定」(方案 A) ## 2026-09-18 · OpenCode Go 会话 id 升级为「对话级稳定」(方案 A)
**背景**:上一轮 `x-opencode-session` 是每请求随机 UUID —— 能过上游 400 强校验,但每次 id 都变,吃不到文档所述的提示词缓存。本轮按老板要求实现**稳定会话**:同一段对话共用同一个 session id。 **背景**:上一轮 `x-opencode-session` 是每请求随机 UUID —— 能过上游 400 强校验,但每次 id 都变,吃不到文档所述的提示词缓存。本轮按老板要求实现**稳定会话**:同一段对话共用同一个 session id。
+11 -1
View File
@@ -87,10 +87,20 @@ providers:
video_model_name: "agnes-video-2.5-flash" video_model_name: "agnes-video-2.5-flash"
models: models:
- { id: "agnes-3.0-flash", display_name: "Agnes 3.0 Flash", type: "text" } - { id: "agnes-3.0-flash", display_name: "Agnes 3.0 Flash", type: "text" }
# params(可选,第二十五轮):该模型发往上游前**强制覆盖**的参数,用于应对上游硬约束。
# kimi-k2.7-code 只接受 temperature=1,写死后客户端传什么值都按 1 发(含一键测速探针)。
- id: "kimi-k2.7-code"
display_name: "Kimi K2.7 Code"
type: "text"
params: { temperature: 1 }
``` ```
认证优先级:**环境变量 > yaml 里的 `token` 字段**。 认证优先级:**环境变量 > yaml 里的 `token` 字段**。
**模型级强制参数 `models[].params`(第二十五轮)**:网关在组装完请求(**在 `extra` 逃生舱之后**)才应用它,所以客户端改不动 —— 目的就是"上游只接受某个值,别让用户踩雷"。允许的键:`temperature`、`top_p`、`top_k`、`max_tokens`、`min_tokens`、`presence_penalty`、`frequency_penalty`、`repetition_penalty`、`seed`、`logit_bias`、`n`;`model` / `messages` / `stream` / `tools` 这类**结构性键被刻意排除**(放行等于让配置文件改写路由与协议语义)。键名写错或值类型不对 → 启动/保存配置时直接 `ConfigError`,不会静默失效。`GET /v1/models` 会回 `params`,前端据此标挂锁。
此外还有一层运行时兜底:上游若回 400 说某参数"只允许 X"(`invalid temperature: only 1 is allowed for this model`)或"必须大于 N",网关会自动按上游要求修正并**重发一次**,并把这个值记在适配器实例上(后续请求不再多跑一轮);日志会提示建议把它写进 `params`。管理员已写死的值不会被自动改掉(冲突时只记日志)。
### 路由别名 + 按「可用 + 速度」动态排序 + 熔断 ### 路由别名 + 按「可用 + 速度」动态排序 + 熔断
(第十一轮 #4:`wjd` 不再按配置里的数组优先级,改为运行时挑可用且最快的文本模型先调用;详见下方路由说明) (第十一轮 #4:`wjd` 不再按配置里的数组优先级,改为运行时挑可用且最快的文本模型先调用;详见下方路由说明)
@@ -1183,7 +1193,7 @@ python smoke_test.py --url http://127.0.0.1:8808
python live_check.py --url http://127.0.0.1:8808 python live_check.py --url http://127.0.0.1:8808
``` ```
> 当前状态:单元测试 **137 passed / 0 failed**(`python tests/test_gateway.py`,不需要 pytest);冒烟 5/5 PASS;活体检查 14 PASS / 0 FAIL / 0 WARN。 > 当前状态:单元测试 **168 passed / 0 failed**(`python tests/test_gateway.py`,不需要 pytest);冒烟 5/5 PASS;活体检查 14 PASS / 0 FAIL / 0 WARN。
## 备注 ## 备注
+6
View File
@@ -30,4 +30,10 @@ def create_adapter(
timeout=timeout, timeout=timeout,
media=pconfig.media, media=pconfig.media,
requires_session_header=pconfig.requires_session_header, requires_session_header=pconfig.requires_session_header,
# 第二十五轮: 把模型级强制参数(providers.*.models[].params)随适配器带下去。
# 适配器按 model id 查表,在**组装完 payload 之后**覆盖,客户端无法绕过。
# 放在适配器而非每个调用点:所有入口(对话 / 流式 / 批量 / 一键测速)自动一致,
# 不会出现"主链路修了、测速还漏着"的偏差。
# 配置变更时 main._apply_config 会丢弃整个适配器缓存,约束不会滞留旧值。
model_params={m.id: dict(m.params) for m in pconfig.models if m.params},
) )
+129 -1
View File
@@ -11,13 +11,31 @@ Agnes / 火山方舟 两家均使用 OpenAI 兼容 API
from __future__ import annotations from __future__ import annotations
import json import json
import logging
import re
import uuid import uuid
from typing import Any, AsyncIterator from typing import Any, AsyncIterator
import httpx
from app.adapters.base import BaseAdapter, json_or_raise from app.adapters.base import BaseAdapter, json_or_raise
from app.config import MODEL_PARAM_KEYS
from app.models import CHAT_CORE_KEYS, PROTECTED_VIDEO_KEYS, strip_protected from app.models import CHAT_CORE_KEYS, PROTECTED_VIDEO_KEYS, strip_protected
log = logging.getLogger("api-gateway")
# ── 上游"某参数只允许取某个值"的报错形态(第二十五轮)──
# 各家措辞不同,这里收录已实测到的两类:
# OpenCode Go: "Error from provider (Console Go): [invalid_request_error]
# invalid temperature: only 1 is allowed for this model"
# "max_tokens must be greater than 2"
# 参数名不写死 —— 同类约束也可能出现在 top_p / max_tokens 上。
_PARAM_ONLY_RE = re.compile(
r"invalid\s+([a-z_][a-z0-9_]*)\s*:\s*only\s+([-+]?\d+(?:\.\d+)?)\s+is allowed", re.I)
_PARAM_MIN_RE = re.compile(
r"([a-z_][a-z0-9_]*)\s+must be greater than\s+(\d+)", re.I)
class OpenAICompatAdapter(BaseAdapter): class OpenAICompatAdapter(BaseAdapter):
"""适用于所有 OpenAI 兼容 /chat/completions 端点的适配器。""" """适用于所有 OpenAI 兼容 /chat/completions 端点的适配器。"""
@@ -30,6 +48,7 @@ class OpenAICompatAdapter(BaseAdapter):
timeout: int = 120, timeout: int = 120,
media=None, media=None,
requires_session_header: bool = False, requires_session_header: bool = False,
model_params: dict[str, dict[str, Any]] | None = None,
): ):
super().__init__(name=name, base_url=base_url, timeout=timeout, media=media) super().__init__(name=name, base_url=base_url, timeout=timeout, media=media)
self._headers: dict[str, str] = headers or {} self._headers: dict[str, str] = headers or {}
@@ -37,6 +56,77 @@ class OpenAICompatAdapter(BaseAdapter):
# 不能放静态 headers(_get_adapter 会缓存适配器、冻结 header), # 不能放静态 headers(_get_adapter 会缓存适配器、冻结 header),
# 所以在每次请求时动态生成一个 UUID 会话头。 # 所以在每次请求时动态生成一个 UUID 会话头。
self._requires_session = requires_session_header self._requires_session = requires_session_header
# 模型级强制参数:model id → {参数名: 强制值}(来自 gateway.yaml 的 models[].params)
self._model_params: dict[str, dict[str, Any]] = {
k: dict(v) for k, v in (model_params or {}).items() if v
}
# 运行期自学习到的参数约束(进程内,不落盘):见 _learn_from_upstream_error。
# 仅作兜底 —— 管理员在 gateway.yaml 写死 params 后就不再需要它。
self._learned_params: dict[str, dict[str, Any]] = {}
# ── 模型级强制参数 / 上游参数约束自学习(第二十五轮) ──
def _forced_params(self, model: str) -> dict[str, Any]:
"""该模型发往上游前**必须使用**的参数值。
两层,配置优先:`gateway.yaml` 的 `models[].params` > 运行期自学习值。
配置优先是刻意的 —— 管理员写死的口径是最终口径,自学习绝不能把它改掉。
"""
out = dict(self._learned_params.get(model) or {})
out.update(self._model_params.get(model) or {})
return out
def _learn_from_upstream_error(self, model: str, exc: Exception) -> dict[str, Any] | None:
"""上游 400 说"这个参数只允许 X"→ 记下 X,并返回修正后的参数集供重发。
返回 None = 报文里没识别出可修正的参数(调用方按原样抛错)。
这不是「重试」:报文一模一样地重发只会再吃一次同样的 400,必须先把参数改成
上游允许的值。学到之后会缓存到本适配器实例,后续请求直接按修正值组装 payload,
不再多跑这一轮往返;配置变更时 main 会丢弃适配器缓存,学习值随之失效。
"""
resp = getattr(exc, "response", None)
if resp is None or getattr(resp, "status_code", None) != 400:
return None
try:
text = resp.text or ""
except Exception:
return None
fixes: dict[str, Any] = {}
for m in _PARAM_ONLY_RE.finditer(text):
name = m.group(1).lower()
if name in MODEL_PARAM_KEYS:
raw = m.group(2)
fixes[name] = float(raw) if "." in raw else int(raw)
for m in _PARAM_MIN_RE.finditer(text):
name = m.group(1).lower()
if name in MODEL_PARAM_KEYS and name not in fixes:
fixes[name] = int(m.group(2)) + 1 # “must be greater than N” → 发 N+1
if not fixes:
return None
cfg_params = self._model_params.get(model) or {}
learned = dict(self._learned_params.get(model) or {})
changed: dict[str, Any] = {}
for k, v in fixes.items():
if k in cfg_params:
# 管理员已在 params 里写死该参数 → 不偷偷覆盖配置;但冲突必须说出来,
# 否则用户只会看到「明明配了却还是 400」,无从下手。
if cfg_params[k] != v:
log.warning("模型 %s 的 params.%s=%r 与上游要求(%r)冲突,仍按配置发送",
model, k, cfg_params[k], v)
continue
if learned.get(k) != v:
learned[k] = v
changed[k] = v
if not changed:
return None # 没学到新东西 → 不重发,避免在同一约束上来回打转
self._learned_params[model] = learned
log.warning("上游限制了模型 %s 的参数:%s —— 已自动修正并按修正值重发一次;"
"建议在 gateway.yaml 该模型下写死 params,省掉以后每次这一轮额外往返",
model, changed)
return self._forced_params(model)
def _req_headers(self, session_id: str | None = None) -> dict[str, str]: def _req_headers(self, session_id: str | None = None) -> dict[str, str]:
"""每次请求的 headers。需要会话头的供应商动态注入 x-opencode-session。 """每次请求的 headers。需要会话头的供应商动态注入 x-opencode-session。
@@ -85,6 +175,11 @@ class OpenAICompatAdapter(BaseAdapter):
# 以及供应商特有参数)必须放行 —— 见 models.CHAT_CORE_KEYS 的说明。 # 以及供应商特有参数)必须放行 —— 见 models.CHAT_CORE_KEYS 的说明。
if extra: if extra:
payload.update(strip_protected(extra, CHAT_CORE_KEYS)) payload.update(strip_protected(extra, CHAT_CORE_KEYS))
# 第二十五轮: 模型级强制参数放在**最后**覆盖 —— 客户端(含 extra 逃生舱)改不动它。
# 这是应对"上游只接受某个值"的最终口径,优先级高于客户端的一切输入。
forced = self._forced_params(model)
if forced:
payload.update(forced)
return payload return payload
async def chat( async def chat(
@@ -105,6 +200,18 @@ class OpenAICompatAdapter(BaseAdapter):
model, messages, temperature, top_p, max_tokens, model, messages, temperature, top_p, max_tokens,
stream, stop, tools, tool_choice, extra, stream, stop, tools, tool_choice, extra,
) )
try:
return await self._post_chat(payload, session_id)
except httpx.HTTPStatusError as e:
# 上游嫌参数(如 temperature)不合法时,按它要求的值修正后**重发一次**。
# fixed 为 None(不是参数约束 / 已学过仍失败)则原样抛错,不做无谓重发。
fixed = self._learn_from_upstream_error(model, e)
if fixed is None:
raise
return await self._post_chat({**payload, **fixed}, session_id)
async def _post_chat(self, payload: dict[str, Any], session_id: str | None) -> dict[str, Any]:
"""执行一次非流式 /chat/completions 请求(不含参数修正逻辑)。"""
# Bug 4 修复: 用 lease 占用 client,热重载 close 会等本次请求结束才真正关连接 # Bug 4 修复: 用 lease 占用 client,热重载 close 会等本次请求结束才真正关连接
async with self._lease() as client: async with self._lease() as client:
resp = await client.post("/chat/completions", json=payload, headers=self._req_headers(session_id)) resp = await client.post("/chat/completions", json=payload, headers=self._req_headers(session_id))
@@ -114,7 +221,7 @@ class OpenAICompatAdapter(BaseAdapter):
# 统一返回格式 # 统一返回格式
return { return {
"provider": self.name, "provider": self.name,
"model": model, "model": payload.get("model", ""),
"choices": data.get("choices", []), "choices": data.get("choices", []),
"usage": data.get("usage"), "usage": data.get("usage"),
"raw": data, "raw": data,
@@ -138,6 +245,27 @@ class OpenAICompatAdapter(BaseAdapter):
model, messages, temperature, top_p, max_tokens, model, messages, temperature, top_p, max_tokens,
True, stop, tools, tool_choice, extra, True, stop, tools, tool_choice, extra,
) )
started = False
try:
async for chunk in self._stream_once(payload, session_id):
started = True
yield chunk
return
except httpx.HTTPStatusError as e:
# 已经开始吐内容就不能重发(会重复输出 / 串话);只有"开局就被上游 400 顶回来"
# 才允许按上游要求修正参数重来一次。
if started:
raise
fixed = self._learn_from_upstream_error(model, e)
if fixed is None:
raise
payload = {**payload, **fixed}
async for chunk in self._stream_once(payload, session_id):
yield chunk
async def _stream_once(self, payload: dict[str, Any],
session_id: str | None) -> AsyncIterator[dict]:
"""执行一次流式 /chat/completions(不含参数修正逻辑)。"""
# Bug 4 修复: lease 在整个流式期间持有占用,热重载/关闭不会掐断在途流 # Bug 4 修复: lease 在整个流式期间持有占用,热重载/关闭不会掐断在途流
async with self._lease() as client: async with self._lease() as client:
async with client.stream( async with client.stream(
+63 -2
View File
@@ -15,6 +15,19 @@ class ConfigError(ValueError):
# ── 模型 / 供应商 ── # ── 模型 / 供应商 ──
# 模型级「强制参数」(providers.<key>.models[].params)允许出现的键。
#
# 只放采样 / 长度类参数:它们不影响"调哪个模型、走什么协议",被覆盖最坏也只是改变生成风格。
# 而 model / messages / stream / tools / stop 这类**结构性**键一旦允许出现在这里,
# 等于把路由与协议语义交给配置文件,等于重开一条越权面(见 app/models.py 的
# PROTECTED_PAYLOAD_KEYS 说明),故一律不放行。
MODEL_PARAM_KEYS: frozenset[str] = frozenset({
"temperature", "top_p", "top_k", "min_tokens", "max_tokens",
"presence_penalty", "frequency_penalty", "repetition_penalty",
"seed", "logit_bias", "n",
})
@dataclass @dataclass
class ModelInfo: class ModelInfo:
id: str id: str
@@ -25,6 +38,14 @@ class ModelInfo:
# 其余文本模型(ark-code 等)文档未声明图像输入 → 默认 False。 # 其余文本模型(ark-code 等)文档未声明图像输入 → 默认 False。
# 用途:① /v1/models 暴露给前端标注/告警;② 带图请求走路由别名时把有视觉能力的模型排到前面。 # 用途:① /v1/models 暴露给前端标注/告警;② 带图请求走路由别名时把有视觉能力的模型排到前面。
vision: bool = False vision: bool = False
# 第二十五轮(模型参数硬约束): 该模型**必须用**的上游参数,发送前强制覆盖客户端传值。
# 背景:OpenCode Go 的 kimi-k2.7-code 只接受 temperature=1,客户端传 0(含一键测速的
# 探针,它固定发 temperature=0)会被上游 400:
# "invalid temperature: only 1 is allowed for this model"
# 配置成 {"temperature": 1} 后,网关无论收到什么值都按 1 发 —— 用户在前端把温度滑块
# 拉到 0 也不会再 400(值被网关改成上游唯一允许的那个)。
# 键必须在 MODEL_PARAM_KEYS 白名单内,否则 validate_config 直接报错(不静默失效)。
params: dict[str, Any] = field(default_factory=dict)
@dataclass @dataclass
@@ -225,6 +246,10 @@ class GatewayConfig:
"vision": m.vision, "vision": m.vision,
"provider": pkey, "provider": pkey,
"provider_name": pconfig.name, "provider_name": pconfig.name,
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。
# 前端据此标注「该模型温度已由网关固定」,API 调用方也能提前知道
# 自己传的采样参数会被上游要求覆盖,省掉一轮「传了没生效」的困惑。
"params": dict(m.params or {}),
}) })
return result return result
@@ -296,6 +321,40 @@ def _opt_int(v: Any, field_name: str, default: int, minimum: int | None = None)
return val return val
def _parse_model_params(v: Any, where: str) -> dict[str, Any]:
"""解析模型级「强制参数」(第二十五轮)。
形如 `params: {temperature: 1}` —— 网关发往上游前用这些值**覆盖**客户端传的同名参数。
用来应对上游的硬约束(某模型只接受 temperature=1 之类):否则客户端传别的值就 400,
而且用户在前端拉个滑块就踩雷,根本不可能自己猜出上游要什么。
容错口径(宁可报错,不可静默失效):
- 缺失 / None → {}(不是错误,只是这个模型没有约束);
- 不是映射 → ConfigError;
- 参数名不在 MODEL_PARAM_KEYS 白名单内 → ConfigError(防止把 model/messages/stream
这类结构性键配进来,那等于让配置文件改写路由语义);
- 值类型必须是标量 / list / dict。
"""
if v is None:
return {}
if not isinstance(v, dict):
raise ConfigError(
f"{where} 必须是映射(如 {{temperature: 1}}),得到 {type(v).__name__}: {v!r}")
out: dict[str, Any] = {}
for k, val in v.items():
key = str(k).strip()
if not key:
raise ConfigError(f"{where} 出现空参数名")
if key not in MODEL_PARAM_KEYS:
raise ConfigError(
f"{where}.{key} 不是允许的模型参数(允许:{', '.join(sorted(MODEL_PARAM_KEYS))})")
if val is None or isinstance(val, (bool, int, float, str, list, dict)):
out[key] = val
else:
raise ConfigError(f"{where}.{key} 的值类型不支持: {type(val).__name__}")
return out
def _parse_media(pval: dict[str, Any]) -> MediaConfig: def _parse_media(pval: dict[str, Any]) -> MediaConfig:
m = pval.get("media", {}) or {} m = pval.get("media", {}) or {}
return MediaConfig( return MediaConfig(
@@ -423,8 +482,10 @@ def parse_config(raw: dict[str, Any]) -> GatewayConfig:
) )
models = [ models = [
ModelInfo(id=m.get("id", ""), display_name=m.get("display_name", ""), ModelInfo(id=m.get("id", ""), display_name=m.get("display_name", ""),
type=m.get("type", "text"), vision=_opt_bool(m.get("vision"), "providers.*.models.*.vision", False)) type=m.get("type", "text"), vision=_opt_bool(m.get("vision"), "providers.*.models.*.vision", False),
for m in pval.get("models", []) params=_parse_model_params(
m.get("params"), f"providers.{pkey}.models[{idx}].params"))
for idx, m in enumerate(pval.get("models", []))
] ]
providers[pkey] = ProviderConfig( providers[pkey] = ProviderConfig(
key=pkey, key=pkey,
+33 -3
View File
@@ -868,6 +868,27 @@ def _speedtest_retryable(e: Exception) -> bool:
return status == 429 or (status is not None and status >= 500) return status == 429 or (status is not None and status >= 500)
def _speedtest_error_text(e: Exception, timeout: float) -> str:
"""测速探针的失败文案(第二十五轮):把「超时」和「上游原文」这两个关键信息说清楚。
修复前只回 `str(e)`,形如 `Client error '400 Bad Request' for url ...` ——
上游真正的原因(如 `invalid temperature: only 1 is allowed for this model`)
根本看不到;超时更是只显示成含糊的「调用失败」。结果是:
「参数被上游拒绝」(每次都失败)与「模型响应慢」(偶发失败)
在前端长得一模一样,只能靠猜 —— 排查这两个模型时就是这么被误导的。
"""
if isinstance(e, (httpx.TimeoutException, TimeoutError)):
return f"上游超时(>{int(timeout)}s 未响应)"
resp = getattr(e, "response", None)
if resp is not None:
detail = _upstream_detail(getattr(resp, "text", "") or "")
if detail:
return detail
return f"上游返回 HTTP {getattr(resp, 'status_code', '?')}(无响应正文)"
text = str(e)
return _upstream_detail(text) or text[:200] or "调用失败"
def _clear_auth_fails(request: Request) -> None: def _clear_auth_fails(request: Request) -> None:
"""登录成功后清掉该来源的失败计数:否则同一出口 IP(办公室 NAT)被前人失败连带, """登录成功后清掉该来源的失败计数:否则同一出口 IP(办公室 NAT)被前人失败连带,
真人输对密码后紧接一次手误就吃 429。""" 真人输对密码后紧接一次手误就吃 429。"""
@@ -1123,7 +1144,10 @@ def _models_payload():
"display_name": m["display_name"], "display_name": m["display_name"],
"type": m["type"], "provider": m["provider"], "provider_name": m["provider_name"], "type": m["type"], "provider": m["provider"], "provider_name": m["provider_name"],
# 第十三轮: 暴露「是否支持图像输入」,前端据此标注/告警(对话页带图时提示换模型) # 第十三轮: 暴露「是否支持图像输入」,前端据此标注/告警(对话页带图时提示换模型)
"vision": bool(m.get("vision"))}) "vision": bool(m.get("vision")),
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。前端据此标挂锁,
# API 调用方也能提前知道自己传的采样参数会被上游要求覆盖。
"params": dict(m.get("params") or {})})
for r in cfg.all_routes(): for r in cfg.all_routes():
data.append({"id": r["name"], "object": "model", "created": created, data.append({"id": r["name"], "object": "model", "created": created,
"owned_by": "gateway", "type": "route", "models": r["models"], "owned_by": "gateway", "type": "route", "models": r["models"],
@@ -1164,7 +1188,13 @@ async def models_speedtest(request: Request, _auth=Depends(require_auth)):
except Exception: except Exception:
_body = {} _body = {}
only = _body.get("model") if isinstance(_body, dict) else None only = _body.get("model") if isinstance(_body, dict) else None
probe_timeout = 15.0 # 探针超时(第二十五轮: 15s → 30s):
# 15s 对"慢的推理模型"太紧 —— 实测 mimo-v2.5 过网关 2.9s~8.4s、agnes-2.5-flash 11s,
# 上游一排队就冲破 15s,被记成「调用失败」,和「模型真的坏了」完全分不清。
# 30s ≈ 实测最慢值的 3 倍,仍远小于真实对话链路用的 server.timeout。
# 注意:该 timeout 只作用于**本探针自己创建的 adapter**(适配器缓存 key 含 timeout),
# 改它不影响用户对话的超时行为。
probe_timeout = 30.0
results: list[dict] = [] results: list[dict] = []
for m in cfg.all_models(): for m in cfg.all_models():
if m.get("type") != "text": if m.get("type") != "text":
@@ -1201,7 +1231,7 @@ async def models_speedtest(request: Request, _auth=Depends(require_auth)):
ok = True ok = True
break break
except Exception as e: except Exception as e:
err = _upstream_detail(str(e)) err = _speedtest_error_text(e, probe_timeout)
if attempt < 3 and _speedtest_retryable(e): if attempt < 3 and _speedtest_retryable(e):
await asyncio.sleep(0.3 * attempt) await asyncio.sleep(0.3 * attempt)
else: else:
+18 -3
View File
@@ -89,7 +89,10 @@ def config_to_view(cfg: GatewayConfig) -> dict[str, Any]:
"requires_session_header": bool(p.requires_session_header), "requires_session_header": bool(p.requires_session_header),
"media": {k: getattr(p.media, k) for k in MEDIA_KEYS}, "media": {k: getattr(p.media, k) for k in MEDIA_KEYS},
"models": [ "models": [
{"id": m.id, "display_name": m.display_name, "type": m.type, "vision": bool(m.vision)} {"id": m.id, "display_name": m.display_name, "type": m.type, "vision": bool(m.vision),
# 第二十五轮: 回传模型级强制参数。面板不提供编辑入口(在 YAML 全文编辑器里改),
# 但必须一路带着走 —— 否则读回来再提交一次就会把它弄丢。
"params": dict(m.params or {})}
for m in p.models for m in p.models
], ],
} }
@@ -220,14 +223,26 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) -
media_in = _as_dict(pv.get("media"), f"providers.{key}.media") media_in = _as_dict(pv.get("media"), f"providers.{key}.media")
base_media = _as_dict(base_p.get("media"), f"providers.{key}.media") base_media = _as_dict(base_p.get("media"), f"providers.{key}.media")
models = [] models = []
# 第二十五轮: 模型项要「以文件原文为底」再覆盖面板管得着的键。
# 面板的模型编辑器只认 id/display_name/type/vision 四个字段,若照着它重建,
# 手写在 YAML 里的 models[].params(模型级强制参数,如 temperature: 1)
# 会被**静默清掉** —— 管理员只是在页面上改了别的东西,上游硬约束就没了,
# 之后又变成"这个模型怎么老是 400"。按 id 对齐原文、保留其余键即可。
base_models: dict[str, dict[str, Any]] = {}
for bm in (base_p.get("models") or []):
if isinstance(bm, dict) and str(bm.get("id") or "").strip():
base_models[str(bm["id"]).strip()] = bm
for i, m in enumerate(pv.get("models") or []): for i, m in enumerate(pv.get("models") or []):
m = _as_dict(m, f"providers.{key}.models[{i}]") m = _as_dict(m, f"providers.{key}.models[{i}]")
models.append({ mid = str(m.get("id") or "").strip()
"id": str(m.get("id") or "").strip(), item = dict(base_models.get(mid) or {})
item.update({
"id": mid,
"display_name": str(m.get("display_name") or "").strip(), "display_name": str(m.get("display_name") or "").strip(),
"type": str(m.get("type") or "text").strip(), "type": str(m.get("type") or "text").strip(),
"vision": bool(m.get("vision", False)), "vision": bool(m.get("vision", False)),
}) })
models.append(item)
providers[key] = { providers[key] = {
"name": str(pv.get("name") or key).strip(), "name": str(pv.get("name") or key).strip(),
"base_url": str(pv.get("base_url") or "").strip(), "base_url": str(pv.get("base_url") or "").strip(),
+6
View File
@@ -86,6 +86,12 @@ providers:
- id: "kimi-k2.7-code" - id: "kimi-k2.7-code"
display_name: "Kimi K2.7 Code" display_name: "Kimi K2.7 Code"
type: "text" type: "text"
# 上游硬约束:该模型**只接受 temperature=1**,传 0 / 0.7 等一律 400
# "invalid temperature: only 1 is allowed for this model"。
# 写死后网关无论收到什么温度都按 1 发(前端温度滑块、API 传参、一键测速探针
# 统一生效);客户端不传 temperature 时也会显式按 1 发送,与上游默认值一致。
params:
temperature: 1
- id: "kimi-k2.6" - id: "kimi-k2.6"
display_name: "Kimi K2.6" display_name: "Kimi K2.6"
type: "text" type: "text"
+2
View File
@@ -66,6 +66,8 @@ const ICONS: Record<string, string> = {
inbox: '<path d="M3.4 11.6 6 4.6h8l2.6 7v4.8H3.4z"/><path d="M3.4 11.6h3.2l.9 1.8h5l.9-1.8h3.2"/>', inbox: '<path d="M3.4 11.6 6 4.6h8l2.6 7v4.8H3.4z"/><path d="M3.4 11.6h3.2l.9 1.8h5l.9-1.8h3.2"/>',
// 第二十四轮:账号停用(禁用符号「圆 + 斜杠」),启用配已有的 play(圆 + 三角) // 第二十四轮:账号停用(禁用符号「圆 + 斜杠」),启用配已有的 play(圆 + 三角)
ban: '<circle cx="10" cy="10" r="7"/><path d="M5.1 5.1l9.8 9.8"/>', ban: '<circle cx="10" cy="10" r="7"/><path d="M5.1 5.1l9.8 9.8"/>',
// 第二十五轮:模型参数被上游固定(挂锁 = 这参数你说了不算,由网关按上游要求锁定)
lock: '<rect x="4.6" y="9" width="10.8" height="7.2" rx="2"/><path d="M7 9V6.8a3 3 0 0 1 6 0V9"/>',
} }
const body = computed(() => ICONS[props.name] || '') const body = computed(() => ICONS[props.name] || '')
+3
View File
@@ -254,6 +254,7 @@ export default {
imgMax: 'At most {n} images per message', imgMax: 'At most {n} images per message',
imgPickErr: 'Image processing failed: {msg}', imgPickErr: 'Image processing failed: {msg}',
visionWarn: 'Model {model} does not accept image input — images will be ignored or rejected. Switch to a vision-capable model.', visionWarn: 'Model {model} does not accept image input — images will be ignored or rejected. Switch to a vision-capable model.',
paramLocked: 'Parameters pinned by the gateway: {p} (upstream hard limit; what you set here is overridden before sending)',
useVision: 'Switch to {model}', useVision: 'Switch to {model}',
waiting: 'Awaiting input…', waiting: 'Awaiting input…',
send: 'Send', send: 'Send',
@@ -384,6 +385,8 @@ export default {
loadErr: 'Failed to load models', loadErr: 'Failed to load models',
capability: 'Capability', capability: 'Capability',
visionTag: 'Vision', visionTag: 'Vision',
paramTag: 'Params locked',
paramLocked: 'Parameters pinned by the gateway: {p} (upstream hard limit; values from clients and the speed test are overridden)',
allTextModels: 'All text models', allTextModels: 'All text models',
providerCard: 'Providers', providerCard: 'Providers',
keyOk: 'Key configured', keyOk: 'Key configured',
+3
View File
@@ -254,6 +254,7 @@ export default {
imgMax: '一条消息最多 {n} 张图片', imgMax: '一条消息最多 {n} 张图片',
imgPickErr: '图片处理失败:{msg}', imgPickErr: '图片处理失败:{msg}',
visionWarn: '当前模型 {model} 不支持图像输入,图片会被忽略或直接报错 —— 请换用带视觉能力的模型。', visionWarn: '当前模型 {model} 不支持图像输入,图片会被忽略或直接报错 —— 请换用带视觉能力的模型。',
paramLocked: '该模型参数由网关固定:{p}(上游硬约束,你在这里调的值会被网关覆盖后再发送)',
useVision: '改用 {model}', useVision: '改用 {model}',
waiting: '等待输入…', waiting: '等待输入…',
send: '发送', send: '发送',
@@ -384,6 +385,8 @@ export default {
loadErr: '加载模型失败', loadErr: '加载模型失败',
capability: '能力', capability: '能力',
visionTag: '视觉', visionTag: '视觉',
paramTag: '参数固定',
paramLocked: '该模型参数由网关固定:{p}(上游硬约束,客户端与测速探针传的值都会被覆盖)',
allTextModels: '全部文本模型', allTextModels: '全部文本模型',
providerCard: '供应商', providerCard: '供应商',
keyOk: 'Key 已配置', keyOk: 'Key 已配置',
+33 -1
View File
@@ -67,7 +67,7 @@
<span class="chip-sel" :class="{ on: params.stream }" @click="paramsOpen = true"> <span class="chip-sel" :class="{ on: params.stream }" @click="paramsOpen = true">
<Icon name="bolt" :size="13" />{{ t('chat.streaming') }} <Icon name="bolt" :size="13" />{{ t('chat.streaming') }}
</span> </span>
<span class="chip-sel" @click="paramsOpen = true">{{ t('chat.tempShort') }} {{ params.temperature }}</span> <span class="chip-sel" @click="paramsOpen = true" :title="currentPinNote || undefined">{{ t('chat.tempShort') }} {{ params.temperature }}<Icon v-if="currentPinNote" name="lock" :size="11" class="plock" /></span>
<span class="chip-sel" @click="paramsOpen = true"> <span class="chip-sel" @click="paramsOpen = true">
{{ t('chat.maxShort') }} {{ params.max_tokens ?? t('common.none') }} {{ t('chat.maxShort') }} {{ params.max_tokens ?? t('common.none') }}
</span> </span>
@@ -213,6 +213,8 @@
<span class="opt"> <span class="opt">
<span>{{ modelLabel(m) }}</span> <span>{{ modelLabel(m) }}</span>
<Icon v-if="m.vision" name="eye" :size="13" /> <Icon v-if="m.vision" name="eye" :size="13" />
<!-- 第二十五轮:参数被上游锁定的模型(网关会覆盖客户端传值) -->
<Icon v-if="pinned(m)" name="lock" :size="13" class="plock" :title="pinNote(m)" />
</span> </span>
</el-option> </el-option>
</el-option-group> </el-option-group>
@@ -236,6 +238,12 @@
<!-- 参数抽屉:窄屏按屏宽百分比,避免 330px 在小屏上顶到边 --> <!-- 参数抽屉:窄屏按屏宽百分比,避免 330px 在小屏上顶到边 -->
<el-drawer v-model="paramsOpen" :title="t('chat.params')" :size="isMobile ? '86%' : '330px'" :close-on-click-modal="true"> <el-drawer v-model="paramsOpen" :title="t('chat.params')" :size="isMobile ? '86%' : '330px'" :close-on-click-modal="true">
<!-- 第二十五轮:当前模型有上游硬约束的参数时,先说清楚"这里的值会被覆盖后再发",
否则用户会以为调了温度没生效(kimi-k2.7-code 只接受 temperature=1 就是这种情况)。 -->
<div v-if="currentPinNote" class="pin-note">
<Icon name="lock" :size="13" class="plock" />
<span>{{ currentPinNote }}</span>
</div>
<div class="param"> <div class="param">
<div class="plabel">{{ t('chat.temp') }}</div> <div class="plabel">{{ t('chat.temp') }}</div>
<el-slider v-model="params.temperature" :min="0" :max="2" :step="0.05" show-input /> <el-slider v-model="params.temperature" :min="0" :max="2" :step="0.05" show-input />
@@ -330,6 +338,22 @@ const params = reactive({
system: '', system: '',
}) })
const paramsOpen = ref(false) const paramsOpen = ref(false)
// ── 模型级强制参数(第二十五轮)──
// 网关 /v1/models 会回 params(如 kimi-k2.7-code → {temperature: 1}):这些参数由网关
// 按上游硬约束覆盖后才发出去。不提示的话,用户把温度从 0.7 调到 0 也看不出区别,
// 只会以为"网关把我参数吞了"。这里只做标注,参数本身在 gateway.yaml 里改。
function pinned(m: any): boolean {
return Object.keys((m && m.params) || {}).length > 0
}
function pinNote(m: any): string {
const ps = (m && m.params) || {}
return t('chat.paramLocked', { p: Object.keys(ps).map((k) => `${k}=${ps[k]}`).join(', ') })
}
const currentPinNote = computed(() => {
const m = textModels.value.find((x) => x.id === params.model)
return m ? pinNote(m) : ''
})
const streaming = ref(false) const streaming = ref(false)
const messages = ref<ChatMessage[]>([]) const messages = ref<ChatMessage[]>([])
@@ -825,6 +849,14 @@ watch(messages, scrollToBottom, { deep: true })
/* ── 参数抽屉 ── */ /* ── 参数抽屉 ── */
.param { margin-bottom: 18px; } .param { margin-bottom: 18px; }
.plabel { font-size: 13px; color: var(--muted); margin-bottom: 6px; } .plabel { font-size: 13px; color: var(--muted); margin-bottom: 6px; }
/* 第二十五轮:模型参数被上游锁定时的标注(挂锁 + 抽屉顶部说明条) */
.plock { color: var(--warn); margin-left: 4px; }
.pin-note {
display: flex; align-items: flex-start; gap: 6px;
margin: 0 0 14px; padding: 8px 10px; border-radius: 8px;
font-size: 12px; line-height: 1.5; color: var(--warn); background: var(--warn-soft);
}
.pin-note .plock { margin-left: 0; margin-top: 2px; }
/* ── 窄屏 ── */ /* ── 窄屏 ── */
@media (max-width: 768px) { @media (max-width: 768px) {
+23 -2
View File
@@ -37,6 +37,9 @@
<div v-for="m in textModelRows" :key="m.id" class="st-item"> <div v-for="m in textModelRows" :key="m.id" class="st-item">
<div class="st-row"> <div class="st-row">
<Icon v-if="m.vision" name="eye" :size="12" class="vision" /> <Icon v-if="m.vision" name="eye" :size="12" class="vision" />
<!-- 第二十五轮:该模型的参数被上游固定(如 temperature 只能是 1),
挂锁标注 + 悬浮说明,省掉「为什么我传的参数不生效」这类困惑。 -->
<Icon v-if="m.paramNote" name="lock" :size="12" class="plock" :title="m.paramNote" />
<span class="code">{{ m.id }}</span> <span class="code">{{ m.id }}</span>
<span class="muted-2 st-prov">{{ m.provider }}</span> <span class="muted-2 st-prov">{{ m.provider }}</span>
<span style="flex:1"></span> <span style="flex:1"></span>
@@ -97,12 +100,15 @@
<el-table-column :label="t('models.provider')" min-width="150"> <el-table-column :label="t('models.provider')" min-width="150">
<template #default="{ row }">{{ row.provider_name || '—' }}</template> <template #default="{ row }">{{ row.provider_name || '—' }}</template>
</el-table-column> </el-table-column>
<el-table-column :label="t('models.capability')" width="120"> <el-table-column :label="t('models.capability')" width="190">
<template #default="{ row }"> <template #default="{ row }">
<span v-if="row.vision" class="pill ok cap"> <span v-if="row.vision" class="pill ok cap">
<Icon name="eye" :size="12" />{{ t('models.visionTag') }} <Icon name="eye" :size="12" />{{ t('models.visionTag') }}
</span> </span>
<span v-else class="muted-2">—</span> <span v-if="paramKeys(row).length" class="pill warn cap" :title="paramNote(row)">
<Icon name="lock" :size="12" />{{ t('models.paramTag') }}
</span>
<span v-if="!row.vision && !paramKeys(row).length" class="muted-2">—</span>
</template> </template>
</el-table-column> </el-table-column>
<el-table-column :label="t('models.keySet')" width="120"> <el-table-column :label="t('models.keySet')" width="120">
@@ -231,9 +237,23 @@ const textModelRows = computed(() =>
id: m.id, id: m.id,
provider: m.provider_name || '—', provider: m.provider_name || '—',
vision: !!m.vision, vision: !!m.vision,
// 模型级强制参数(第二十五轮):被上游固定住的采样参数,用挂锁标注出来。
paramNote: paramKeys(m).length ? paramNote(m) : '',
})), })),
) )
// ── 模型级强制参数(第二十五轮)──
// 后端 /v1/models 在 params 里给出「该模型发往上游前会被强制覆盖的参数」
// (例:kimi-k2.7-code 只接受 temperature=1)。这里只做展示,不提供编辑入口。
function paramKeys(m: any): string[] {
return Object.keys((m && m.params) || {})
}
function paramNote(m: any): string {
const ps = (m && m.params) || {}
const txt = paramKeys(m).map((k) => `${k}=${ps[k]}`).join(', ')
return t('models.paramLocked', { p: txt })
}
const keySet = computed(() => { const keySet = computed(() => {
const ks: Record<string, boolean> = {} const ks: Record<string, boolean> = {}
for (const p of Object.values(health.value.providers || {}) as any) ks[p.name] = !!p.api_key_set for (const p of Object.values(health.value.providers || {}) as any) ks[p.name] = !!p.api_key_set
@@ -286,6 +306,7 @@ onMounted(async () => {
.chain-item { display: inline-flex; align-items: center; gap: 6px; } .chain-item { display: inline-flex; align-items: center; gap: 6px; }
.arrow { color: var(--muted-2); } .arrow { color: var(--muted-2); }
.vision { color: var(--primary); } .vision { color: var(--primary); }
.plock { color: var(--warn); }
.prov { padding: 10px 0; border-bottom: 1px solid var(--line-2); } .prov { padding: 10px 0; border-bottom: 1px solid var(--line-2); }
.prov:last-child { border-bottom: 0; } .prov:last-child { border-bottom: 0; }
.prov-top { display: flex; align-items: center; gap: 8px; } .prov-top { display: flex; align-items: center; gap: 8px; }
+253
View File
@@ -3779,6 +3779,259 @@ def test_opencode_session_header_from_conversation_id():
assert "x-opencode-session" not in ag._req_headers("conv-abc") assert "x-opencode-session" not in ag._req_headers("conv-abc")
def test_api_conversation_id_flows_to_session_header():
"""API 调用(HTTP body)传 conversation_id → 适配器 session_id;且不透传上游 payload。
覆盖老板问的「非前端、纯 API 调用是否支持稳定会话」:只要请求体带
conversation_id,后端就把它作为 OpenCode Go 的 x-opencode-session 透传。
"""
from fastapi.testclient import TestClient
import app.main as m
captured = {}
class Capture:
async def chat(self, model=None, messages=None, session_id=None, extra=None, **kw):
captured["session_id"] = session_id
captured["extra"] = extra
return {"id": "c1", "object": "chat.completion", "model": model,
"choices": [{"message": {"role": "assistant", "content": "ok"},
"finish_reason": "stop"}],
"usage": {"prompt_tokens": 2, "completion_tokens": 1}}
orig = m._get_adapter
m._get_adapter = lambda model_id, timeout=None, cfg=None: (
Capture(), "agnes", m._cfg().providers["agnes"])
try:
client = TestClient(m.app)
# ① 带 conversation_id → 原样落为 session_id;且不作为上游参数透传
r = client.post("/v1/chat/completions", headers={"Authorization": _AUTOBEARER},
json={"model": "agnes-3.0-flash",
"messages": [{"role": "user", "content": "hi"}],
"conversation_id": "conv-api-42"})
assert r.status_code == 200, r.text
assert captured["session_id"] == "conv-api-42"
assert not captured["extra"] or "conversation_id" not in captured["extra"]
# ② 不传 → session_id 为 None(由适配器回退随机 UUID)
r2 = client.post("/v1/chat/completions", headers={"Authorization": _AUTOBEARER},
json={"model": "agnes-3.0-flash",
"messages": [{"role": "user", "content": "hi"}]})
assert r2.status_code == 200, r2.text
assert captured["session_id"] is None
finally:
m._get_adapter = orig
# ── 第二十五轮:模型级强制参数(上游硬约束)+ 测速超时/错误文案 ──
#
# 起因:kimi-k2.7-code 上游只接受 temperature=1,测速探针固定发 0 → 每次必 400;
# 而 mimo-v2.5 是慢(偶发冲破 15s 探针超时),却被显示成同样的「调用失败」。
# 两条修法各自的回归如下。
def test_model_params_parsed_from_config():
"""gateway.yaml 的 models[].params 要被解析出来,并随 all_models 暴露。"""
from app.config import parse_config
cfg = parse_config({"providers": {"p": {"base_url": "http://x/v1", "models": [
{"id": "m1", "params": {"temperature": 1, "top_p": 0.9}},
{"id": "m2"}]}}})
assert cfg.providers["p"].models[0].params == {"temperature": 1, "top_p": 0.9}
assert cfg.providers["p"].models[1].params == {}
am = {m["id"]: m for m in cfg.all_models()}
assert am["m1"]["params"] == {"temperature": 1, "top_p": 0.9}
def test_model_params_rejects_bad_keys_and_types():
"""params 的键必须在白名单内:结构性键(model/messages/stream)绝不允许 ——
否则等于让配置文件改写路由与协议语义(回到越权面)。写错必须报错,不能静默失效。"""
from app.config import parse_config, ConfigError
bads = [{"model": "evil"}, {"messages": []}, {"stream": True}, {"temperature": object()}, [1, 2]]
for bad in bads:
try:
parse_config({"providers": {"p": {"base_url": "http://x/v1",
"models": [{"id": "m", "params": bad}]}}})
except ConfigError:
continue
raise AssertionError(f"非法 params 未被拦截: {bad!r}")
def test_real_config_locks_kimi_temperature():
"""真配置口径:kimi-k2.7-code 只接受 temperature=1,必须在配置里写死。"""
cfg = load_config(CONFIG)
m = [x for x in cfg.providers["opencode"].models if x.id == "kimi-k2.7-code"][0]
assert m.params.get("temperature") == 1, m.params
def test_model_params_override_client_value():
"""配了 params 的模型:客户端传什么值都被覆盖,且只发一次请求(不做无谓重发)。"""
from app.adapters.openai_compat import OpenAICompatAdapter
seen = []
def handler(req):
seen.append(json.loads(req.content))
return httpx.Response(200, json={"id": "1", "choices": [], "usage": {}})
ad = OpenAICompatAdapter("t", "http://mock.test/v1",
model_params={"locked": {"temperature": 1}})
ad._client = httpx.AsyncClient(transport=httpx.MockTransport(handler),
base_url="http://mock.test/v1")
async def run():
await ad.chat("locked", [{"role": "user", "content": "hi"}], temperature=0)
await ad.close()
asyncio.run(run())
assert seen[0]["temperature"] == 1, seen[0]
assert len(seen) == 1
def test_model_param_constraint_auto_corrected_and_retried():
"""上游 400 说「只允许 temperature=1」→ 网关按 1 重发一次(而非原样重试)。"""
from app.adapters.openai_compat import OpenAICompatAdapter
seen = []
def handler(req):
seen.append(json.loads(req.content))
if len(seen) == 1:
return httpx.Response(400, json={"error": {"message":
"Error from provider (Console Go): [invalid_request_error] "
"invalid temperature: only 1 is allowed for this model"}})
return httpx.Response(200, json={"id": "1", "choices": [
{"message": {"role": "assistant", "content": "ok"}, "finish_reason": "stop"}], "usage": {}})
ad = OpenAICompatAdapter("t", "http://mock.test/v1")
ad._client = httpx.AsyncClient(transport=httpx.MockTransport(handler),
base_url="http://mock.test/v1")
async def run():
r = await ad.chat("kimi-k2.7-code", [{"role": "user", "content": "hi"}], temperature=0)
await ad.close()
return r
r = asyncio.run(run())
assert len(seen) == 2, seen
assert seen[0]["temperature"] == 0 and seen[1]["temperature"] == 1, seen
assert r["choices"][0]["message"]["content"] == "ok"
def test_model_param_constraint_no_infinite_retry():
"""上游始终 400 → 只修正重发一次就抛错(绝不能与同一约束来回打转)。"""
from app.adapters.openai_compat import OpenAICompatAdapter
seen = []
def handler(req):
seen.append(json.loads(req.content))
return httpx.Response(400, json={"error": {"message":
"invalid temperature: only 1 is allowed for this model"}})
ad = OpenAICompatAdapter("t", "http://mock.test/v1")
ad._client = httpx.AsyncClient(transport=httpx.MockTransport(handler),
base_url="http://mock.test/v1")
async def run():
try:
await ad.chat("m", [{"role": "user", "content": "hi"}], temperature=0)
finally:
await ad.close()
try:
asyncio.run(run())
raise AssertionError("应抛出 httpx.HTTPStatusError")
except httpx.HTTPStatusError:
pass
assert len(seen) == 2, f"应只发 2 次(原始 + 修正),实际 {len(seen)}"
def test_model_param_conflict_respects_configured_value():
"""管理员写死的值与上游要求冲突 → 尊重配置,不偷偷改、也不发无谓的第二枪。"""
from app.adapters.openai_compat import OpenAICompatAdapter
seen = []
def handler(req):
seen.append(json.loads(req.content))
return httpx.Response(400, json={"error": {"message":
"invalid temperature: only 1 is allowed for this model"}})
ad = OpenAICompatAdapter("t", "http://mock.test/v1", model_params={"m": {"temperature": 0.5}})
ad._client = httpx.AsyncClient(transport=httpx.MockTransport(handler),
base_url="http://mock.test/v1")
async def run():
try:
await ad.chat("m", [{"role": "user", "content": "hi"}], temperature=0.5)
finally:
await ad.close()
try:
asyncio.run(run())
raise AssertionError("应抛出 httpx.HTTPStatusError")
except httpx.HTTPStatusError:
pass
assert len(seen) == 1, seen
assert seen[0]["temperature"] == 0.5, seen[0]
def test_stream_param_constraint_auto_corrected():
"""流式路径同样自修复:开局 400 → 按上游要求修正后重发。"""
from app.adapters.openai_compat import OpenAICompatAdapter
seen = []
def handler(req):
seen.append(json.loads(req.content))
if len(seen) == 1:
return httpx.Response(400, json={"error": {"message":
"invalid temperature: only 1 is allowed for this model"}})
return httpx.Response(200, text='data: {"choices":[{"delta":{"content":"hi"}}]}\n\ndata: [DONE]\n\n',
headers={"content-type": "text/event-stream"})
ad = OpenAICompatAdapter("t", "http://mock.test/v1")
ad._client = httpx.AsyncClient(transport=httpx.MockTransport(handler),
base_url="http://mock.test/v1")
async def run():
out = [c async for c in ad.chat_stream("kimi-k2.7-code",
[{"role": "user", "content": "hi"}], temperature=0)]
await ad.close()
return out
out = asyncio.run(run())
assert len(seen) == 2, seen
assert seen[0]["temperature"] == 0 and seen[1]["temperature"] == 1, seen
assert out, "流式应至少收到一个数据块"
def test_speedtest_error_text_surfaces_timeout_and_upstream_detail():
"""测速失败文案:超时要说清是超时,400 要透出上游原文。
(本轮排查时,"参数被上游拒绝" 与 "模型太慢" 在旧文案里长得一模一样。)"""
import app.main as m
t = m._speedtest_error_text(httpx.ReadTimeout("timed out"), 30.0)
assert "超时" in t and "30" in t, t
req = httpx.Request("POST", "http://x/v1/chat/completions")
resp = httpx.Response(400, request=req, json={"error": {
"message": "invalid temperature: only 1 is allowed for this model"}})
e = httpx.HTTPStatusError("Client error '400 Bad Request'", request=req, response=resp)
t2 = m._speedtest_error_text(e, 30.0)
assert "only 1 is allowed" in t2, t2
def test_settings_panel_preserves_model_params():
"""管理页面保存配置时,手写在 YAML 里的 models[].params 不能被面板冲掉。
(面板的模型编辑器只认 id/display_name/type/vision,照它重建就会静默丢掉 params。)"""
from app import settings as gw_settings
from app.config import parse_config
raw = {"providers": {"p": {"name": "P", "base_url": "http://x/v1", "models": [
{"id": "m", "display_name": "M", "type": "text", "vision": False,
"params": {"temperature": 1}}]}}}
cfg = parse_config(raw)
view = gw_settings.config_to_view(cfg)
# 面板读出来就带着 params
assert view["providers"]["p"]["models"][0]["params"] == {"temperature": 1}
# 提交回去(模拟面板原样回传)→ params 必须还在
out = gw_settings.view_to_raw(cfg, raw, {"providers": view["providers"]})
assert out["providers"]["p"]["models"][0]["params"] == {"temperature": 1}, \
out["providers"]["p"]["models"][0]
# 直接运行(非 pytest) # 直接运行(非 pytest)
if __name__ == "__main__": if __name__ == "__main__":
fns = [v for k, v in list(globals().items()) if k.startswith("test_") and callable(v)] fns = [v for k, v in list(globals().items()) if k.startswith("test_") and callable(v)]