From ecb99e6432d2033439de7d40d162ef183e714055 Mon Sep 17 00:00:00 2001 From: api-gateway Date: Sun, 20 Sep 2026 19:36:14 +0800 Subject: [PATCH] =?UTF-8?q?=E7=AC=AC=E4=B8=89=E5=8D=81=E4=BA=8C=E8=BD=AE:?= =?UTF-8?q?=20view=5Fto=5Fraw=20=E4=B8=8D=E5=86=8D=E6=8A=8A=E9=9D=A2?= =?UTF-8?q?=E6=9D=BF=E9=BB=98=E8=AE=A4=E5=80=BC=E5=86=99=E8=BF=9B=E6=96=87?= =?UTF-8?q?=E4=BB=B6=EF=BC=88=E6=95=B4=E4=BB=BD=E8=A7=86=E5=9B=BE=20PUT=20?= =?UTF-8?q?=3D=20=E9=9B=B6=E5=8F=98=E5=8C=96=EF=BC=8C=E4=BF=9D=E4=BD=8F=20?= =?UTF-8?q?providers=20=E6=AE=B5=E6=89=8B=E5=86=99=E6=B3=A8=E9=87=8A?= =?UTF-8?q?=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - app/settings.py: 新增 _prune_defaults + _PROVIDER_KEY_DEFAULTS/_MODEL_KEY_DEFAULTS, providers/models 按「文件里没有 且 值等于面板默认 → 不写」重建;auth 空 token、 media 空端点、rate_limit_rps/requires_session_header/endpoints、模型 type/vision/ protocols/display_name 不再被 materialize(改动前实测:整份视图 PUT 会重写 providers 段 530 行、# 标记 126 → 72) - tests: +test_view_to_raw_keeps_panel_defaults_out_of_the_file(纯函数语义) +test_full_view_put_rewrites_nothing(GET→PUT 端到端,文件逐字节不动) - 191 passed / 0 failed;ci_check 六道门禁全绿;生产实测整份视图 PUT → 200、 data/gateway.yaml md5 518b12b6… 前后一致、日志 写盘=merged / 重写段=无 --- app/settings.py | 72 ++++++++++++++++++++++++++++++- tests/test_gateway.py | 99 +++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 170 insertions(+), 1 deletion(-) diff --git a/app/settings.py b/app/settings.py index 083b60b..effa7c8 100644 --- a/app/settings.py +++ b/app/settings.py @@ -31,6 +31,7 @@ from typing import Any import yaml from app.config import ( + DEFAULT_PROTOCOLS, ConfigError, GatewayConfig, PROTOCOLS, @@ -200,6 +201,59 @@ def _default_endpoints_view() -> dict[str, Any]: for name, ep in _default_endpoints().items()} +_MISSING = object() + +# 第三十二轮: 面板提交里的「默认值」不要写进文件。 +# 面板提交的是 `GET /config` 的视图,而视图是**填满默认值**的 —— 文件里根本没写的键 +# (`providers[].rate_limit_rps` / `requires_session_header` / `endpoints`、模型的 +# `type` / `vision` / `protocols`…)视图里都有值。`view_to_raw` 若照着它重建,这些 +# "用户从没写过"的键就会被当成用户输入写进文件:段值因此变化 → 合并写盘判定该段要重写 +# → 段内手写注释赔掉、文件越写越胖。实测(2026-09-20,生产配置):把整份视图 PUT 回来, +# `providers` 段会被重写 530 行、`#` 标记 126 → 72。 +# 规则:键在文件原文里**没有** 且 值等于面板默认值 → 不写(详见 `_prune_defaults`)。 +_PROVIDER_KEY_DEFAULTS: dict[str, Any] = { + "auth": {}, # 空 auth(token/token_env 都没给) + "rate_limit_rps": None, # 不限速 + "requires_session_header": False, # 不要求 x-opencode-session + "extra_headers": {}, + "media": {}, # 媒体端点全空 = 该供应商不放媒体 + "endpoints": _default_endpoints_view, # callable:默认三条线(现算 —— 不能共享可变对象) +} +_MODEL_KEY_DEFAULTS: dict[str, Any] = { + "display_name": "", # ModelInfo.display_name 的默认值就是空串 + "type": "text", + "vision": False, + "protocols": list(DEFAULT_PROTOCOLS), # 不写 = 自动走默认线(chat/completions) +} + + +def _prune_defaults(sub: dict[str, Any], base: dict[str, Any], + defaults: dict[str, Any]) -> dict[str, Any]: + """丢掉「面板替用户补出来的默认值」:键在文件原文里没有、且值等于面板默认值。 + + 保留的三种情况: + · 文件里本来就有这个键 → 照写(值相同时写回去也等于没改); + · 值**不等于**默认 → 用户真改过(如把 `rate_limit_rps` 明确设成 5)→ 照写; + · 默认值表里没有这个键 → 那是面板管理的真实输入(`base_url` 之类)→ 照写。 + + 效果:「`GET /config` → 原样 `PUT` 回来」变成**零变化** —— 合并写盘比对后没有任何段 + 变了,文件一个字节都不动(含注释),也就不会把 `providers` 段重写成机器格式。 + """ + out: dict[str, Any] = {} + for k, v in sub.items(): + if k in base: + out[k] = v + continue + dflt = defaults.get(k, _MISSING) + if dflt is _MISSING: + out[k] = v + continue + d = dflt() if callable(dflt) else dflt + if v != d: # 真改过 → 写 + out[k] = v + return out + + def _as_dict(v: Any, field_name: str) -> dict[str, Any]: if v is None: return {} @@ -294,8 +348,14 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) - if m.get("protocols"): item["protocols"] = _parse_protocols_view( m.get("protocols"), f"providers.{key}.models[{i}].protocols") + # 第三十二轮: 面板补出来的模型默认值(`type: text`、`vision: false`、 + # 空 display_name、默认协议线)在文件里本来就没写 → 别写进文件(见 + # _prune_defaults)。否则整份视图 PUT 回来会给每个模型补齐这几个键, + # providers 段被判「变了」,手写注释跟着赔掉。 + item = _prune_defaults(item, base_models.get(mid) or {}, + {**_MODEL_KEY_DEFAULTS, "display_name": ""}) models.append(item) - providers[key] = { + entry: dict[str, Any] = { "name": str(pv.get("name") or key).strip(), "base_url": str(pv.get("base_url") or "").strip(), "auth": { @@ -316,6 +376,16 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) - }, "models": models, } + # 第三十二轮: 把「面板替用户补出来的默认值」剔掉(见 _prune_defaults)—— + # auth 里的空 token/token_env、media 里没配的端点、以及 rate_limit_rps / + # requires_session_header / endpoints 这些文件里根本没写的键,都不该在 + # GET→PUT 时落进文件。这样「整份视图 PUT 回来」= 零变化,合并写盘就不会 + # 重写 providers 段(那段的行内注释与键序原样留住)。 + entry["auth"] = _prune_defaults(entry["auth"], base_auth, {"token_env": "", "token": ""}) + entry["media"] = {k: v for k, v in entry["media"].items() + if k in base_media or v not in (None, "")} + entry = _prune_defaults(entry, base_p, {**_PROVIDER_KEY_DEFAULTS, "name": key}) + providers[key] = entry out["providers"] = providers # ── server(逐键覆盖,缺的沿用原文)── diff --git a/tests/test_gateway.py b/tests/test_gateway.py index 767ba34..a260843 100644 --- a/tests/test_gateway.py +++ b/tests/test_gateway.py @@ -4760,6 +4760,105 @@ def test_alias_not_speedtested(): m.config = old_cfg +def test_view_to_raw_keeps_panel_defaults_out_of_the_file(): + """第三十二轮:面板视图是「填满默认值」的,GET→PUT 不许把这些默认值写进文件。 + + 起因(真踩到的坑):文件里没写 `rate_limit_rps` / `requires_session_header` / `endpoints`, + 模型没写 `type` / `vision` / `protocols`,可面板视图里这些键**全都有值**(默认值)。 + 照着视图重建 providers,这些"用户从没写过"的键就被当成用户输入 → 段值变化 → + 合并写盘判定该段要重写 → 段内手写注释跟着赔掉(实测:整份视图 PUT 会重写 530 行、 + `#` 标记 126 → 72)。规则:**文件里没有 且 值等于面板默认 → 不写**。 + """ + import app.settings as S + from app.config import parse_config + + raw_file = { + "providers": { + "p1": { + "name": "P1", + "base_url": "http://p1/v1", + "auth": {"token_env": "P1_KEY"}, + "media": {"image_endpoint": "/images/generations"}, + "models": [ + {"id": "m-a", "display_name": "A", "type": "text", "vision": True}, + {"id": "m-b", "display_name": "B", "protocols": ["messages"]}, + ], + }, + "p2": { # 故意什么默认键都没有:无 auth / 无 media / 无 models 元数据 + "name": "P2", + "base_url": "http://p2/v1", + "rate_limit_rps": 5, # 文件里**有**这个键 → 必须原样留住 + "models": [{"id": "m-c", "display_name": "C"}], + }, + }, + "server": {"port": 8808}, + } + cfg = parse_config(raw_file) + view = S.config_to_view(cfg) + + # 先钉住前提:视图确实是"填满默认值"的(否则这个用例就白测了) + vp1 = view["providers"]["p1"] + assert vp1["rate_limit_rps"] is None and vp1["requires_session_header"] is False + assert "endpoints" in vp1 and vp1["extra_headers"] == {} + assert vp1["models"][0]["protocols"] == ["chat/completions"] # 文件里没写 → 视图给默认线 + assert vp1["models"][0]["params"] == {} + assert vp1["media"]["video_model_name"] is None + + out = S.view_to_raw(cfg, raw_file, view) + # 核心不变量:只有 providers 段以面板为准,而这趟"原样往返"必须零变化 + assert out["providers"] == raw_file["providers"], "面板默认值被写进文件了" + assert "rate_limit_rps" not in out["providers"]["p1"] + assert "endpoints" not in out["providers"]["p1"] + assert "media" not in out["providers"]["p2"] and "auth" not in out["providers"]["p2"] + assert out["providers"]["p1"]["media"] == {"image_endpoint": "/images/generations"} + assert out["providers"]["p2"]["rate_limit_rps"] == 5 + assert out["providers"]["p1"]["models"][1]["protocols"] == ["messages"] + assert "vision" not in out["providers"]["p2"]["models"][0] + + # 真改过就要写:文件里没这个键,但值≠默认 → 落盘 + v_mod = {**view, "providers": {**view["providers"], + "p1": {**vp1, "rate_limit_rps": 7}}} + assert S.view_to_raw(cfg, raw_file, v_mod)["providers"]["p1"]["rate_limit_rps"] == 7 + # 文件里本来就有的键,用户清空(值变成默认)→ 也是明确意图,照写 + v_clear = {**view, "providers": {**view["providers"], + "p2": {**view["providers"]["p2"], "rate_limit_rps": None}}} + assert S.view_to_raw(cfg, raw_file, v_clear)["providers"]["p2"]["rate_limit_rps"] is None + + +def test_full_view_put_rewrites_nothing(): + """第三十二轮:把 `GET /config` 的整份视图原样 PUT 回来 = 零变化(文件逐字节不动)。 + + 这是"注释不被赔掉"的总闸 —— 只要 `view_to_raw` 还 materialize 默认值, + providers 段就会被判「变了」重写一遍(实测 530 行、`#` 126 → 72)。用临时配置文件跑, + 绝不碰生产 data/gateway.yaml。 + """ + import tempfile + from pathlib import Path as P + from fastapi.testclient import TestClient + import app.main as m + + client = TestClient(m.app) + ah = {"Authorization": f"Bearer {_login_admin_session(client)}"} + tmp = tempfile.TemporaryDirectory() + cfg_path = P(tmp.name) / "gateway.yaml" + src = P(CONFIG).read_text(encoding="utf-8") + cfg_path.write_text(src, encoding="utf-8") + with cfg_path.open("a", encoding="utf-8") as fh: + fh.write("\n# 人工注释:整份视图 PUT 也别动我\n") + src = cfg_path.read_text(encoding="utf-8") + old_path, old_cfg = m.CONFIG_PATH, m.config + m.CONFIG_PATH = cfg_path + try: + view = client.get("/config", headers=ah).json()["config"] + r = client.put("/config", headers=ah, json={"config": view}) + assert r.status_code == 200, r.text + disk = cfg_path.read_text(encoding="utf-8") + assert disk == src, "整份视图 PUT 改动了文件(面板默认值被 materialize 进 providers)" + finally: + m.CONFIG_PATH, m.config = old_path, old_cfg + tmp.cleanup() + + def test_alias_panel_round_trip_and_save_validation(): """面板是别名的编辑入口:GET 读出来带 aliases → 原样 PUT 不丢 → 非法目标 400(不写盘)。 用临时配置文件,绝不碰生产 data/gateway.yaml。"""