第三十二轮: view_to_raw 不再把面板默认值写进文件(整份视图 PUT = 零变化,保住 providers 段手写注释)

- app/settings.py: 新增 _prune_defaults + _PROVIDER_KEY_DEFAULTS/_MODEL_KEY_DEFAULTS,
  providers/models 按「文件里没有 且 值等于面板默认 → 不写」重建;auth 空 token、
  media 空端点、rate_limit_rps/requires_session_header/endpoints、模型 type/vision/
  protocols/display_name 不再被 materialize(改动前实测:整份视图 PUT 会重写 providers
  段 530 行、# 标记 126 → 72)
- tests: +test_view_to_raw_keeps_panel_defaults_out_of_the_file(纯函数语义)
  +test_full_view_put_rewrites_nothing(GET→PUT 端到端,文件逐字节不动)
- 191 passed / 0 failed;ci_check 六道门禁全绿;生产实测整份视图 PUT → 200、
  data/gateway.yaml md5 518b12b6… 前后一致、日志 写盘=merged / 重写段=无
This commit is contained in:
api-gateway committed 2026-09-20 19:36:14 +08:00
1 parent 33d1238fb2
commit 97ec0bbfba
2 files changed
+170 -1

No files matched your search

+71 -1
View File
@@ -31,6 +31,7 @@ from typing import Any
import yaml import yaml
from app.config import ( from app.config import (
DEFAULT_PROTOCOLS,
ConfigError, ConfigError,
GatewayConfig, GatewayConfig,
PROTOCOLS, PROTOCOLS,
@@ -200,6 +201,59 @@ def _default_endpoints_view() -> dict[str, Any]:
for name, ep in _default_endpoints().items()} for name, ep in _default_endpoints().items()}
_MISSING = object()
# 第三十二轮: 面板提交里的「默认值」不要写进文件。
# 面板提交的是 `GET /config` 的视图,而视图是**填满默认值**的 —— 文件里根本没写的键
# (`providers[].rate_limit_rps` / `requires_session_header` / `endpoints`、模型的
# `type` / `vision` / `protocols`…)视图里都有值。`view_to_raw` 若照着它重建,这些
# "用户从没写过"的键就会被当成用户输入写进文件:段值因此变化 → 合并写盘判定该段要重写
# → 段内手写注释赔掉、文件越写越胖。实测(2026-09-20,生产配置):把整份视图 PUT 回来,
# `providers` 段会被重写 530 行、`#` 标记 126 → 72。
# 规则:键在文件原文里**没有** 且 值等于面板默认值 → 不写(详见 `_prune_defaults`)。
_PROVIDER_KEY_DEFAULTS: dict[str, Any] = {
"auth": {}, # 空 auth(token/token_env 都没给)
"rate_limit_rps": None, # 不限速
"requires_session_header": False, # 不要求 x-opencode-session
"extra_headers": {},
"media": {}, # 媒体端点全空 = 该供应商不放媒体
"endpoints": _default_endpoints_view, # callable:默认三条线(现算 —— 不能共享可变对象)
}
_MODEL_KEY_DEFAULTS: dict[str, Any] = {
"display_name": "", # ModelInfo.display_name 的默认值就是空串
"type": "text",
"vision": False,
"protocols": list(DEFAULT_PROTOCOLS), # 不写 = 自动走默认线(chat/completions)
}
def _prune_defaults(sub: dict[str, Any], base: dict[str, Any],
defaults: dict[str, Any]) -> dict[str, Any]:
"""丢掉「面板替用户补出来的默认值」:键在文件原文里没有、且值等于面板默认值。
保留的三种情况:
· 文件里本来就有这个键 → 照写(值相同时写回去也等于没改);
· 值**不等于**默认 → 用户真改过(如把 `rate_limit_rps` 明确设成 5)→ 照写;
· 默认值表里没有这个键 → 那是面板管理的真实输入(`base_url` 之类)→ 照写。
效果:「`GET /config` → 原样 `PUT` 回来」变成**零变化** —— 合并写盘比对后没有任何段
变了,文件一个字节都不动(含注释),也就不会把 `providers` 段重写成机器格式。
"""
out: dict[str, Any] = {}
for k, v in sub.items():
if k in base:
out[k] = v
continue
dflt = defaults.get(k, _MISSING)
if dflt is _MISSING:
out[k] = v
continue
d = dflt() if callable(dflt) else dflt
if v != d: # 真改过 → 写
out[k] = v
return out
def _as_dict(v: Any, field_name: str) -> dict[str, Any]: def _as_dict(v: Any, field_name: str) -> dict[str, Any]:
if v is None: if v is None:
return {} return {}
@@ -294,8 +348,14 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) -
if m.get("protocols"): if m.get("protocols"):
item["protocols"] = _parse_protocols_view( item["protocols"] = _parse_protocols_view(
m.get("protocols"), f"providers.{key}.models[{i}].protocols") m.get("protocols"), f"providers.{key}.models[{i}].protocols")
# 第三十二轮: 面板补出来的模型默认值(`type: text`、`vision: false`、
# 空 display_name、默认协议线)在文件里本来就没写 → 别写进文件(见
# _prune_defaults)。否则整份视图 PUT 回来会给每个模型补齐这几个键,
# providers 段被判「变了」,手写注释跟着赔掉。
item = _prune_defaults(item, base_models.get(mid) or {},
{**_MODEL_KEY_DEFAULTS, "display_name": ""})
models.append(item) models.append(item)
providers[key] = { entry: dict[str, Any] = {
"name": str(pv.get("name") or key).strip(), "name": str(pv.get("name") or key).strip(),
"base_url": str(pv.get("base_url") or "").strip(), "base_url": str(pv.get("base_url") or "").strip(),
"auth": { "auth": {
@@ -316,6 +376,16 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) -
}, },
"models": models, "models": models,
} }
# 第三十二轮: 把「面板替用户补出来的默认值」剔掉(见 _prune_defaults)——
# auth 里的空 token/token_env、media 里没配的端点、以及 rate_limit_rps /
# requires_session_header / endpoints 这些文件里根本没写的键,都不该在
# GET→PUT 时落进文件。这样「整份视图 PUT 回来」= 零变化,合并写盘就不会
# 重写 providers 段(那段的行内注释与键序原样留住)。
entry["auth"] = _prune_defaults(entry["auth"], base_auth, {"token_env": "", "token": ""})
entry["media"] = {k: v for k, v in entry["media"].items()
if k in base_media or v not in (None, "")}
entry = _prune_defaults(entry, base_p, {**_PROVIDER_KEY_DEFAULTS, "name": key})
providers[key] = entry
out["providers"] = providers out["providers"] = providers
# ── server(逐键覆盖,缺的沿用原文)── # ── server(逐键覆盖,缺的沿用原文)──
+99
View File
@@ -4760,6 +4760,105 @@ def test_alias_not_speedtested():
m.config = old_cfg m.config = old_cfg
def test_view_to_raw_keeps_panel_defaults_out_of_the_file():
"""第三十二轮:面板视图是「填满默认值」的,GET→PUT 不许把这些默认值写进文件。
起因(真踩到的坑):文件里没写 `rate_limit_rps` / `requires_session_header` / `endpoints`,
模型没写 `type` / `vision` / `protocols`,可面板视图里这些键**全都有值**(默认值)。
照着视图重建 providers,这些"用户从没写过"的键就被当成用户输入 → 段值变化 →
合并写盘判定该段要重写 → 段内手写注释跟着赔掉(实测:整份视图 PUT 会重写 530 行、
`#` 标记 126 → 72)。规则:**文件里没有 且 值等于面板默认 → 不写**。
"""
import app.settings as S
from app.config import parse_config
raw_file = {
"providers": {
"p1": {
"name": "P1",
"base_url": "http://p1/v1",
"auth": {"token_env": "P1_KEY"},
"media": {"image_endpoint": "/images/generations"},
"models": [
{"id": "m-a", "display_name": "A", "type": "text", "vision": True},
{"id": "m-b", "display_name": "B", "protocols": ["messages"]},
],
},
"p2": { # 故意什么默认键都没有:无 auth / 无 media / 无 models 元数据
"name": "P2",
"base_url": "http://p2/v1",
"rate_limit_rps": 5, # 文件里**有**这个键 → 必须原样留住
"models": [{"id": "m-c", "display_name": "C"}],
},
},
"server": {"port": 8808},
}
cfg = parse_config(raw_file)
view = S.config_to_view(cfg)
# 先钉住前提:视图确实是"填满默认值"的(否则这个用例就白测了)
vp1 = view["providers"]["p1"]
assert vp1["rate_limit_rps"] is None and vp1["requires_session_header"] is False
assert "endpoints" in vp1 and vp1["extra_headers"] == {}
assert vp1["models"][0]["protocols"] == ["chat/completions"] # 文件里没写 → 视图给默认线
assert vp1["models"][0]["params"] == {}
assert vp1["media"]["video_model_name"] is None
out = S.view_to_raw(cfg, raw_file, view)
# 核心不变量:只有 providers 段以面板为准,而这趟"原样往返"必须零变化
assert out["providers"] == raw_file["providers"], "面板默认值被写进文件了"
assert "rate_limit_rps" not in out["providers"]["p1"]
assert "endpoints" not in out["providers"]["p1"]
assert "media" not in out["providers"]["p2"] and "auth" not in out["providers"]["p2"]
assert out["providers"]["p1"]["media"] == {"image_endpoint": "/images/generations"}
assert out["providers"]["p2"]["rate_limit_rps"] == 5
assert out["providers"]["p1"]["models"][1]["protocols"] == ["messages"]
assert "vision" not in out["providers"]["p2"]["models"][0]
# 真改过就要写:文件里没这个键,但值≠默认 → 落盘
v_mod = {**view, "providers": {**view["providers"],
"p1": {**vp1, "rate_limit_rps": 7}}}
assert S.view_to_raw(cfg, raw_file, v_mod)["providers"]["p1"]["rate_limit_rps"] == 7
# 文件里本来就有的键,用户清空(值变成默认)→ 也是明确意图,照写
v_clear = {**view, "providers": {**view["providers"],
"p2": {**view["providers"]["p2"], "rate_limit_rps": None}}}
assert S.view_to_raw(cfg, raw_file, v_clear)["providers"]["p2"]["rate_limit_rps"] is None
def test_full_view_put_rewrites_nothing():
"""第三十二轮:把 `GET /config` 的整份视图原样 PUT 回来 = 零变化(文件逐字节不动)。
这是"注释不被赔掉"的总闸 —— 只要 `view_to_raw` 还 materialize 默认值,
providers 段就会被判「变了」重写一遍(实测 530 行、`#` 126 → 72)。用临时配置文件跑,
绝不碰生产 data/gateway.yaml。
"""
import tempfile
from pathlib import Path as P
from fastapi.testclient import TestClient
import app.main as m
client = TestClient(m.app)
ah = {"Authorization": f"Bearer {_login_admin_session(client)}"}
tmp = tempfile.TemporaryDirectory()
cfg_path = P(tmp.name) / "gateway.yaml"
src = P(CONFIG).read_text(encoding="utf-8")
cfg_path.write_text(src, encoding="utf-8")
with cfg_path.open("a", encoding="utf-8") as fh:
fh.write("\n# 人工注释:整份视图 PUT 也别动我\n")
src = cfg_path.read_text(encoding="utf-8")
old_path, old_cfg = m.CONFIG_PATH, m.config
m.CONFIG_PATH = cfg_path
try:
view = client.get("/config", headers=ah).json()["config"]
r = client.put("/config", headers=ah, json={"config": view})
assert r.status_code == 200, r.text
disk = cfg_path.read_text(encoding="utf-8")
assert disk == src, "整份视图 PUT 改动了文件(面板默认值被 materialize 进 providers)"
finally:
m.CONFIG_PATH, m.config = old_path, old_cfg
tmp.cleanup()
def test_alias_panel_round_trip_and_save_validation(): def test_alias_panel_round_trip_and_save_validation():
"""面板是别名的编辑入口:GET 读出来带 aliases → 原样 PUT 不丢 → 非法目标 400(不写盘)。 """面板是别名的编辑入口:GET 读出来带 aliases → 原样 PUT 不丢 → 非法目标 400(不写盘)。
用临时配置文件,绝不碰生产 data/gateway.yaml。""" 用临时配置文件,绝不碰生产 data/gateway.yaml。"""