Commit Graph
17 Commits
Author SHA1 Message Date
api-gateway 19e2b16107 fix(usage): 流式 usage 透传 prompt_tokens_details —— 修 QwenPaw 缓存命中率恒 0
老板报:QwenPaw 上用 ai 网关(wangjinding 供应商)调用 v4.1,
网页显示的缓存命中率一直是 0。

排查(实测,非推断):
- QwenPaw 侧 messages/tools 完全正常:6 份连续抓包逐条比对,前面所有消息
  逐字节一致、仅末尾追加 2 条(msgs 362→372 单调递增),tools 26 个逐字节相同。
- 网关出站 payload 正常:model/stream/stream_options 全同,session 稳定。
- 用网关真实出站 payload 原样直打上游:cached_tokens=126464 / 126848(99% 命中)
  ⇒ 上游缓存一直好好的。
- 真因:**网关流式响应重建 usage 时只挑 prompt_tokens/completion_tokens/
  total_tokens 三个字段累加,把 `prompt_tokens_details.cached_tokens` 丢了**,
  末尾又用这份残缺 usage 覆盖上游原始值发给客户端 —— QwenPaw 从未收到缓存字段,
  只能记 0。(同一 bug 让网关自己的控制台也看不到缓存命中。)

修复:
- 新增 `_merge_usage()`:整数累加、非整数(如 prompt_tokens_details 这类整份
  快照)覆盖,实现**全字段透传**;流式累加改用它。
- `_UsageScanner`(直传线记账)顺带收集 cached_tokens,counts() 多返回该键
  (消费方按名取值,不影响既有逻辑),网关控制台口径同步修正。
- 非流式路径本就原样透传 `result["usage"]`,无需改动。

回归:test_merge_usage_keeps_prompt_tokens_details、
test_usage_scanner_collects_cached_tokens。测试 198 passed / 0 failed。

上线验证:流式请求第 2 次 usage 已带 `prompt_tokens_details.cached_tokens=7168`。
2026-09-24 14:39:09 +08:00
api-gateway b0f088b82c Agnes 免费/限时免费标注 + 免费标签间距对齐(老板 2026-09-24)
老板两件事:
1) Agnes 的模型也要标免费或限时免费 —— 之前只有 OpenCode 的 space-bunny-free 有标注;
2) 免费标签跟模型名的间隔不一样,优化。

免费标注:
- 口径(照官方措辞,按 bullet 切块判定,不关键词泛扫):
  · OpenCode 价格表 Input/Output = Free(原逻辑)
  · Agnes 定价页「### 当前优惠」:当前(均)免费 → 免费;当前限时免费 → 限时免费
  坑:Agnes 视频 agnes-video-2.5 那条 bullet 写着「输入图片前 5 张免费」——
  那是计费公式的免费额度、不是模型免费,所以只认严格措辞「当前免费 / 当前均免费 /
  均免费 / 限时免费」,且只认反引号里的完整 id(agnes-video-2.5 是
  agnes-video-2.5-flash 的子串,字符串包含会串味)。
- 配置:free: true(免费)+ 新增 free_limited: true(限时免费)。
  落盘 7 条:3.0-flash / 2.5-flash / image-2.0-flash / image-2.1-flash /
  image-2.5-flash / video-v2.0 = 免费;video-2.5-flash = 限时免费。
- scripts/sync_models.py:新增 _agnes_free_map() / _set_agnes_free(),免费标注纳入
  漂移比对 + --apply 落盘(官方改口径 → 整行撤掉标注),回读校验新增 Agnes 免费位检查;
  新增模型块也会带上标注。
- 后端:ModelInfo.free_limited + /v1/models 带出 free_limited(别名随目标继承)。
- 前端:标签文案 免费 / 限时免费(中英各 +2 键,i18n 755/755 对称),提示语同步更新
  (原文案只提 OpenCode Go 计划,已不准确)。

间距:
- 根因:.st-row 是 flex(gap:8px),.name-free 又加 margin-left:6px → 标签左侧 8+6=14px、
  右侧 8px,与其它行「模型名 → 供应商名」的 8px 节奏不一致。
- 修法:.st-row .name-free { margin-left: 0 }(表格单元格是行内排布、无 flex gap,
  那边保留 6px)。同源最小页实测:修前 14/8,修后 8/8。

测试:新增 test_agnes_free_map_rules、test_agnes_free_apply_and_revoke_round_trip
(含 撤标注/限时→免费/幂等/相邻手写注释不被碰);195 passed / 0 failed。
2026-09-24 13:49:48 +08:00
api-gateway 7252d97bb6 feat: 免费模型在前端「模型与供应商」页可见(free 字段 + 绿色「免费」标签)
- 后端:ModelInfo 增加 free 字段(yaml models[].free,_opt_bool 校验)、all_models() 带出、
  /v1/models 暴露 free(别名随目标继承,与 vision/params 同源)
- 配置:space-bunny-free 标 free: true(与 display_name 的「(免费)」双保险)
- 前端:Models.vue「能力」列新增绿色「免费」标签(bolt 图标 + 悬浮说明)、测速行同步标一颗闪电;
  i18n 中英各 +2 键(freeTag/freeHint),753/753 对称
- 测试:新增 test_models_payload_marks_free_models(免费模型必须 free=true、付费必须 false、
  每个模型都要带该字段),全套 192 passed / 0 failed
- README:免费模型说明补「三处标注」口径
2026-09-24 10:00:54 +08:00
api-gateway fff84aef44 第三十一轮收尾: 结构化保存走文本级合并(保住手写注释) + 别名卡片文案按老板口径删减
一、结构化 PUT /config 不再整份重渲染(这次真踩过的事故)
- 起因:模型页「保存映射」只改 aliases 一段,却走 render_yaml 整份重渲染,把 gateway.yaml 里
  历轮手写的现场注释(协议线实测结论、各家鉴权差异、会话头要求…)整段抹掉(90 → 48 行)。
- app/settings.py 新增 merge_submitted_sections():把本次提交的段替换进原文,其余字节一个都不动。
  三条边界都是实测踩出来的:
  ① 只重写**值真的变了**的段(write_config_merged 拿 raw_old 逐段比对)—— 面板 PUT 的是整份视图,
     没变的段必须原样留着,否则一次无关保存就把 server.retry 那类行尾注释冲掉;
  ② 被替换段的**段尾说明/页脚**用 _split_tail 留在原位 —— 改 providers 不能顺手动掉 server 上方的说明书;
  ③ 新增段用 _doc_start 插在下一段**说明书之前** —— 否则别人的说明书会变成新段的抬头;
  ④ 合并后回读校验:解析失败或与提交内容不等 → 退回整份重渲染(配置一定正确,只赔注释)并记 ERROR。
- app/main.py:结构化保存改调 write_config_merged;日志升级为 写盘=merged|rendered / 重写段=<清单>。
- 结构化的唯一调用方是模型页(只提交 aliases 一段);网关配置页走 YAML 原文,两路都不丢注释。

二、别名卡片文案(老板 2026-09-18 口径)
- 删掉卡头副标题(aliasSub:客户端固定写 model: {id},网关转发到你选的模型)与 member 的只读行
  (aliasReadonly:只读:映射由管理员在网关配置里选择),两行说明保留;Models.vue 连带删掉 .alias-ro 样式,
  中英 i18n 753 → 751(仍对称)。

三、验证
- 单测 189 passed / 0 failed:新增 test_merged_write_keeps_neighbour_docs_and_skips_unchanged(上面三条边界);
  改写 test_alias_panel_round_trip_and_save_validation —— 旧写法 PUT 整份视图,而 view_to_raw 会把面板默认值
  materialize 进 providers(token ''/rate_limit_rps null/requires_session_header false/endpoints/vision false…),
  providers 因此被判"变了"、注释被重写,断言必挂;改成面板真实载荷 {config:{aliases:…}} 后绿。
- scripts/ci_check.sh 全绿(compileall + 单测 + i18n/SVG 体检 + vue-tsc + build)。
- 生产实测(重启后 pid 1912449):值没变的保存 → gateway.yaml 逐字节一致;临时改 note → 差异只有 2 行;
  改回 → md5 回到 64ca52b83ab1bb3a7db40d0073554887;页面点「保存映射」→ 日志 重写段=无、文件未变。
  前端新入口 index-B5GZJuR8.js(旧 index-BJNJXWEY.js 404),admin/member 双角色真浏览器复验通过。

四、data/gateway.yaml
- 提交的是**注释完整的生产版**:HEAD 里那版是被抹过的 render 产物,工作区这版恢复了被误删的手写注释
  并补了带说明的 aliases 段(注释行 100,⊇ 上一版)。

遗留(未动,等老板定):整份视图 PUT 仍会在 providers 上 materialize 面板默认值(那段行内注释会赔);
当前无 UI 走这条路,根治需让 view_to_raw 不再补默认值。
2026-09-20 19:23:18 +08:00
小银 fb5769047f 第三十一轮: 虚拟模型 id(别名 wjd)—— 客户端固定模型名,映射到哪个真实模型由管理员在页面上选
- config: AliasSpec{enabled,target,note} + GatewayConfig.aliases + resolve_alias/alias_of;
  保存期四条硬规则(目标存在 / 必须是文本模型且支持 chat/completions / 不得与真实模型 id 重名 /
  启用却没写 target);停用时跳过 target 校验。别名不进 _model_index —— 必须显式 resolve_alias()。
- main: chat 线(含 batch)入口换 id 转发;messages/responses 打别名 400 指路(不打上游);
  images/videos 明确 400 拒绝;/v1/models 注入别名条目(alias_of + 继承目标能力);
  流式 chunk 统一回显请求名(非别名调用零变化);_log_alias_changes 记指向变更(含谁改的)。
- settings: 面板 aliases 段(按段合并,不提交则沿用原文)+ 渲染 yaml 时带说明注释。
- web: Models 页「虚拟模型 id(别名)」卡片(admin 开关 + 目标下拉,非 chat/completions 置灰;
  member 只读一行);别名不进模型计数/测速列表/模型表;i18n 中英 753/753。
- tests: +8 条(规则与解析/目录继承/chat 端到端/另两线 400 且不打上游/媒体拒绝/测速说明/
  流式唯一模型名/面板往返 + 非法目标 400 不写盘)→ 187 passed / 0 failed。
- 生产: wjd → agnes-3.0-flash;后端 pid 1872300、前端 index-BJNJXWEY.js。
2026-09-18 23:42:34 +08:00
api-gateway d3fa8f5e20 第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。

P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
  download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。

视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
  admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。

登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
  原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。

口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。

/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。

其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。

前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。

文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
  「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。

测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
  env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。

CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
  消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
2026-09-18 22:45:20 +08:00
api-gateway d5ac7ac555 第二十九轮: 缺省 conversation_id 时上游会话按 API Key(去前缀哈希)稳定派生, 不再每调用随机UUID → 提提示词缓存命中率; 登录会话按账号稳定兜底 2026-09-18 17:22:53 +08:00
api-gateway 4c1973b13d 第二十七轮: 三线直传(/v1/messages,/v1/responses)+删除路由别名;第二十八轮: element-plus 按需引入+死代码清理+前端支持格式列/API Key 文档 2026-09-18 16:33:33 +08:00
api-gateway 1b54802ad3 第二十六轮:会话 id 入站校验 + 按账号隔离 + 422 处理器异常对象清洗
1) conversation_id 零校验 → 中文触发 httpx header ascii 编码异常,被误判成
   "上游失败"重试 3 次后回 502。现在入站校验(仅 ASCII / ≤128 字符 / 剥空白、
   空白串视作未传),非法值直接 422 且一次都不发上游。
2) 网关不再原样透传 conversation_id,改为派生 sha256("{账号}:{conversation_id}")[:32]
   作为 x-opencode-session(同账号同对话恒定、账号间隔离、不暴露账号名与业务命名)。
3) 顺修通用隐患:pydantic v2 把校验器抛出的异常对象放进 errors()[].ctx,
   而 422 处理器直接把它塞进响应体 → 序列化 TypeError → 500「网关内部错误」。
   新增 _jsonable_errors() 清洗,并剥掉 "Value error, " 前缀。

另:实测更正此前结论 —— cached_tokens 与 x-opencode-session 无稳定关系
(同一 session 连打 6 次 [0,0,0,0,896,896];缓存落定后换全新 session 亦可命中 936)。
上游是机会性内容前缀缓存;该头只是会话标识。README/CHANGELOG 已更正。

单测 171 passed / 0 failed(新增 3);隔离实例 8899 真机验证通过;未上线待批准。
2026-09-18 12:43:13 +08:00
api-gateway 840c5c83aa fix: 模型级强制参数(kimi-k2.7-code 锁 temperature=1)+ 测速超时/错误文案
- config: ModelInfo.params + MODEL_PARAM_KEYS 白名单 + _parse_model_params(写错即 ConfigError)
- adapters: _forced_params 在 payload 组装后强制覆盖;_learn_from_upstream_error 按上游 400
  要求修正并重发一次(非原样重试);流式已吐内容则不重发
- main: /v1/models 暴露 params;探针超时 15s→30s;_speedtest_error_text 说清超时/上游原文
- settings: 面板保存保留手写 models[].params(原先会被静默清掉)
- gateway.yaml: kimi-k2.7-code params.temperature=1
- 前端: Models 挂锁+参数固定标签;Chat 温度 chip 挂锁+抽屉提示;新增 lock 图标;中英对称
- tests: +10 → 168 passed / 0 failed
2026-09-18 12:18:10 +08:00
api-gateway 43a4f8613b feat: OpenCode Go 会话 id 升级为对话级稳定(方案 A)
- models.py: ChatRequest 显式声明 conversation_id(内部字段,不透传上游)
- openai_compat: chat/chat_stream/_req_headers 支持 session_id(有则用之,无则回退 UUID)
- main.py: 非流式/流式主链路把 req.conversation_id 传为 session_id
- Chat.vue: 对话级 convId(randomUUID),随对话持久化,清空对话时重建,注入 payload
- 新增 2 个单测;157 passed / 0 failed;typecheck 通过;真实 key 冒烟稳定会话 OK
2026-09-18 11:21:18 +08:00
api-gateway a7e2692dec chore: 移除智谱 GLM 供应商(GLM 模型 + CogView/CogVideoX 媒体 + 契约代码/前端/文档/测试全清) 2026-09-18 09:50:26 +08:00
api-gateway d838763f35 chore: 移除 b.ai 供应商(qwen3.8-flash/hy3)—— 配置/代码/文档/测试/.env 全清 2026-09-17 09:19:47 +08:00
api-gateway 403676619e feat: 集成智谱 CogView-3-Flash 文生图 + CogVideoX-Flash 文生视频 2026-09-16 10:11:20 +08:00
api-gateway c58b29a06f test: 修复遗留 feedback 撤回用例(admin 可真删)+ 修正 stale docstring 2026-09-16 09:19:53 +08:00
api-gateway 597ccea40d feat: 新增智谱 GLM 供应商(6 模型,3 视觉;密钥走 data/.env) 2026-09-16 09:16:27 +08:00
api-gateway f136c9ee81 init: api-gateway v2.4.0(Agnes/b.ai/火山方舟 三家供应商网关) 2026-09-15 17:05:46 +08:00