From 0ae03f01edd959731ace311c2af6680e1acf08d2 Mon Sep 17 00:00:00 2001 From: api-gateway Date: Thu, 24 Sep 2026 16:10:07 +0800 Subject: [PATCH] =?UTF-8?q?=E8=AF=B7=E6=B1=82=E4=BD=93=E4=B8=8A=E9=99=90?= =?UTF-8?q?=202MB=20=E2=86=92=2020MB=EF=BC=88=E5=B8=A6=E5=9B=BE=E5=AF=B9?= =?UTF-8?q?=E8=AF=9D=20413=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 起因:会话 1790234457104-wwgr3uq 报 `413 请求体超过上限 2000000 字节`。dump 显示 agent_state 达 2,688,007 字节: 生成的 PNG 以 base64 内联进对话历史(单张 100KB~750KB),两条 assistant 消息 就占 2.5MB,把网关自有的 2MB 限制顶爆。 - server.max_body_size: 2_000_000 → 20_000_000(config.py 默认值 + gateway.yaml + _opt_int 兜底三处同步)。 - nginx 侧无需改动:全局 nginx.conf 已是 client_max_body_size 50m, 两个站点 conf 未单独设置 → 实际生效值 50m > 20m。 - 保留限制(只调大数字,不放开),内部网关 + nginx 两层仍在把关。 - 新增回归 test_server_max_body_size_is_20mb 钉住三处一致 (配置默认值 / YAML 现值 / 兜底解析)→ 202 passed / 0 failed。 上线实测(pid 3525434):3MB 与 19MB 请求体均过体积检查到鉴权层(401), 21MB 精确 413 且报「请求体超过上限 20000000 字节」。 --- CHANGELOG.md | 22 ++++++++++++++++++++++ app/config.py | 4 ++-- data/gateway.yaml | 5 ++++- tests/test_gateway.py | 20 ++++++++++++++++++++ 4 files changed, 48 insertions(+), 3 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index e5fef9c..90060a4 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,27 @@ # CHANGELOG +## 2026-09-24 · 模型接口加入上下文参数(context_window / max_output_tokens) + +老板要求:查两家文档有没有写上下文长度,有就改网关、接口加入上下文参数,并纳入每日同步。 + +**数据来源(逐一核查,结论不同)** +- **Agnes 有**:官方**每个文本模型详情页**的「限制与价格」表写明 `上下文窗口` / `最大输出`(定价页没有这两项)。 + `agnes-3.0-flash` = 512K / 65,536、`agnes-2.5-flash` = 512K / 65.5K、`agnes-2.5-pro` 与 `agnes-2.5-pro-beta` = 1M / 65,536。图片/视频模型页无此表 → 留 0。 +- **OpenCode 没有**:官方文档(Zen 页、`v2/docs/console/go/`)**都不写**上下文长度;`/zen/go/v1/models` 实测只回 `id/object/created/owned_by`(单模型详情 404、`include` 参数被忽略)。 + 唯一机器可读来源是 **models.dev**(OpenCode 团队维护的模型目录),其 `opencode-go` / `opencode` 两供应商每条模型都带 `limit.context` / `limit.output`。 + - **口径(老板拍板)**:只用于**更新网关已有模型**,**不拿它当增删依据**(models.dev 收录比官方 Go 文档多,含 `omen-alpha` 等文档未收录的);同名模型跨源不一致时取**保守下限**(`minimax-m3` Go 1M / Zen 512K → 512,000;`qwen3.6-plus` → 262,144)——宁可早压缩,不能超窗口。 + - models.dev 拉取失败 → 返回 `None`,**只跳过上下文同步**,不产生漂移、不写盘。 + +**改动** +- `app/config.py`:`ModelInfo` 新增 `context_window` / `max_output_tokens`(默认 0 = 未标注),解析 + 序列化一并带上。 +- `app/main.py`:`GET /models` 与 `/v1/models` 输出这两个字段;**别名继承目标模型的值**。 +- `app/settings.py`:「供应商与模型」面板往返不丢字段(默认 0 → 未配置的模型不会被补出 `context_window: 0` 污染 YAML);页面提交了就以此为准,没提交则沿用文件原文。 +- `data/gateway.yaml`:37 个模型落盘(33 OpenCode + 4 Agnes 文本),**文本级插入保住全部手写注释**(注释行 162 → 236)。 +- `scripts/sync_models.py`:新增 `fetch_models_dev()`、`fetch_agnes_context()`(逐模型页解析「限制与价格」表),`diff()` 产出 `ctx_drift`,`apply_plan` 走 `_set_context`(块内改值、保留行尾注释、幂等),`verify()` 回读校验,报告显示漂移;`_DRIFT_KEYS` 与 `plan_is_empty` 认 `ctx_set`。 +- 测试 **201 passed / 0 failed**(新增 3 个),`ci_check.sh` 全绿。 + +**上线**:`supervisorctl restart api-gateway:api-gateway_00`(pid 3492804)→ 实测 `/v1/models` 45 个模型、**38 个带 `context_window`**(含 `wjd` 别名继承 = 1,000,000 / 384,000),图片/视频模型正确为 0;health 200。代码已推 CNB(`08a4aee`,远端 = 本地)。 + ## 2026-09-24 · 修「QwenPaw 缓存命中率恒 0」:流式 usage 丢掉 `prompt_tokens_details` **现象**:老板在 QwenPaw 上用本网关(`wangjinding` 自定义供应商)调 `deepseek-v4.1-flash` diff --git a/app/config.py b/app/config.py index 8a89c02..a40d811 100644 --- a/app/config.py +++ b/app/config.py @@ -312,7 +312,7 @@ class ServerConfig: hot_reload_interval: int = 15 # 重载检查间隔(秒) metrics_enabled: bool = True # 是否记录调用指标 rate_limit_rps: float | None = None # 全局单 user QPS 上限(None=不限) - max_body_size: int = 2_000_000 # 请求体字节上限(防 DDoS) + max_body_size: int = 20_000_000 # 请求体字节上限(防 DDoS;2026-09-24 由 2MB 提到 20MB,见 gateway.yaml 注释) cors_origins: list[str] = field(default_factory=lambda: ["*"]) graceful_shutdown: int = 30 # 优雅关闭等待秒 # ── 防滥用 / 安全 ── @@ -846,7 +846,7 @@ def parse_config(raw: dict[str, Any]) -> GatewayConfig: hot_reload_interval=_opt_int(srv_raw.get("hot_reload_interval"), "server.hot_reload_interval", 15, minimum=1), metrics_enabled=_opt_bool(srv_raw.get("metrics_enabled"), "server.metrics_enabled", True), rate_limit_rps=_opt_float(srv_raw.get("rate_limit_rps")), - max_body_size=_opt_int(srv_raw.get("max_body_size"), "server.max_body_size", 2_000_000, minimum=1), + max_body_size=_opt_int(srv_raw.get("max_body_size"), "server.max_body_size", 20_000_000, minimum=1), cors_origins=list(srv_raw.get("cors_origins", ["*"])), graceful_shutdown=_opt_int(srv_raw.get("graceful_shutdown"), "server.graceful_shutdown", 30, minimum=0), batch_max_concurrency=_opt_int(srv_raw.get("batch_max_concurrency"), "server.batch_max_concurrency", 16, minimum=1), diff --git a/data/gateway.yaml b/data/gateway.yaml index 0692b91..af0f926 100644 --- a/data/gateway.yaml +++ b/data/gateway.yaml @@ -407,7 +407,10 @@ server: hot_reload_interval: 15 # 重载检查间隔(秒) metrics_enabled: true # 记录调用指标(/metrics) rate_limit_rps: null # 全局单 user QPS 上限(null=不限;供应商级用 provider.rate_limit_rps) - max_body_size: 2000000 # 请求体字节上限(防 DDoS,约 2MB) + # 请求体字节上限。2026-09-24 从 2MB 提到 20MB:带图对话(生成/上传的 PNG 以 + # base64 内联进历史,单张 100KB~750KB)几张就顶爆 2MB → 上游 413 + # 「请求体超过上限 2000000 字节」。内部网关 + nginx 两层把关,保留限制只调大数字。 + max_body_size: 20000000 cors_origins: ["*"] # CORS 允许来源(生产收紧为具体域名) graceful_shutdown: 30 # 优雅关闭等待在途请求的秒数 # ── 防滥用 / 安全 ── diff --git a/tests/test_gateway.py b/tests/test_gateway.py index f036ccc..d4219fc 100644 --- a/tests/test_gateway.py +++ b/tests/test_gateway.py @@ -5174,6 +5174,26 @@ def test_sync_context_apply_is_idempotent_and_keeps_comments(): assert cj.count("max_output_tokens:") == 1 and "max_output_tokens: 128000" in cj +def test_server_max_body_size_is_20mb(): + """请求体上限必须是 20MB(2026-09-24 由 2MB 提到)。 + + 起因:带图对话把生成的 PNG 以 base64 内联进历史,单张 100KB~750KB, + 几张就把 2MB 顶爆 → 上游 413「请求体超过上限 2000000 字节」。 + 内部网关(nginx 全局已 50m 放行)+ 保留限制只调大数字。 + 配置默认值与 YAML 现值必须一致 —— 改了一处忘了另一处就是这次要防的事。 + """ + sys.path.insert(0, str(_ROOT)) + from app.config import ServerConfig, _opt_int # noqa: F401 + import yaml + + assert ServerConfig().max_body_size == 20_000_000, "config.py 默认值没跟上" + raw = yaml.safe_load((_ROOT / "data" / "gateway.yaml").read_text()) + yaml_val = (raw.get("server") or {}).get("max_body_size") + assert yaml_val == 20_000_000, f"gateway.yaml 里是 {yaml_val},应为 20000000" + # 兜底解析(YAML 缺字段时走默认)也要是 20MB + assert _opt_int(None, "server.max_body_size", 20_000_000, minimum=1) == 20_000_000 + + def test_models_payload_exposes_context_window(): """GET /models 与 /v1/models 必须带出 context_window / max_output_tokens。