Commit Graph
39 Commits
Author SHA1 Message Date
api-gateway 15a1c13711 接入 Dots AI(小红书)+ 新增 api-key 鉴权样式
老板要求:「查看 https://dots.ai/platform/docs 文档,帮我在 ai 网关上配置 dots.ai 的
供应商」(API Key 由老板提供,落 data/.env,不入库、不写进任何提交内容)。

文档要点(通读):base https://note3-prev-api.askdiandian.com/v1;两条线
POST /v1/chat/completions(OpenAI 兼容)与 POST /v1/messages(Anthropic 兼容,需固定头
anthropic-version: 2023-06-01);**认证是自定义头 `api-key: <KEY>`**(既不是 Bearer 也不是
x-api-key);模型 dots3-note-prev 上下文窗口 512K(524,288)、当前免费体验;
官方限流按单个 Key 计 60 次/分钟、1,500,000 Tokens/分钟。

改动:
- 新增鉴权样式 `api-key`(AUTH_STYLES 由 bearer/x-api-key/none 扩为四种):适配器
  auth_headers() 按线发 `api-key: <token>`;静态头里残留的同名头一并剥掉再按线补;
  解析期校验接受该值、乱写的(api_key 下划线)仍被拒。
- data/gateway.yaml 新增 dots 供应商:两条线各自声明 path/auth,messages 线带
  anthropic-version;rate_limit_rps: 1.0(= 官方 60/分钟,按 Key);模型 dots3-note-prev
  (context_window 524288、vision: true、free: true、双协议线;官方未给最大输出上限→留空不猜)。
- 顺带补 Anthropic 口径的缓存统计:其 input_tokens 不含缓存部分,缓存命中在
  cache_read_input_tokens、写缓存在 cache_creation_input_tokens(三者互斥)。_usage_detail()
  改为分口径:OpenAI 的 prompt_tokens 已含缓存;Anthropic 三者相加为输入总量、缓存取
  cache_read_input_tokens —— 否则 messages 线的缓存量永远记 0(接 Dots 时实测到)。

上线实测(重启后,两条线各一次瘦请求,均免费):
  POST /v1/chat/completions → 200 usage{prompt 17, completion 8}
  POST /v1/messages         → 200 usage{input 17, output 8}
  /v1/models:42 个模型,dots3-note-prev 带 context_window 524288 / 双协议线 / free
  指标:calls{dots3-note-prev: ok 1}、tokens{prompt 14, completion 4}

测试:新增「Dots 配置 + api-key 样式(含解析期拒绝非法值)」与「Anthropic 缓存口径」两条
回归;既有 test_load_config_providers 供应商集合更新为四家。206 → 208 全过。
2026-09-29 09:40:16 +08:00
api-gateway c68a76cb8c 上游会话 id:客户端显式带 x-opencode-session 时优先用它
老板要求:「x-opencode-session 如果 api 请求有带的话优先用请求上的,没有再用 apikey 的那个方式」。

取值优先级(_upstream_session):
  ① 入站 x-opencode-session 头(本轮新增) → sha256("s:{账号}:{客户端值}")[:32]
  ② conversation_id                          → sha256("{账号}:{conversation_id}")[:32]
  ③ 用这个 API Key 自己(一个 Key 一个稳定会话)→ sha256("k:{去前缀Key}")[:32]
  ④ 登录页会话(无 Key)                      → sha256("u:{账号}")[:32]

- 仍按账号哈希:保留第二十六轮的账号隔离(两个账号写同一个值也不会被绑到同一上游会话标识)
- 入站值过 conversation_id 同款入口校验(仅 ASCII、≤128 字符),非法值静默丢弃并回退
  (可选头不该把请求打回 400);三个调用点(直传 / managed 非流式 / managed 流式)全接
- 新增 _inbound_session(request) 与 SESSION_HEADER 常量

实测(生产):同一会话头连打两次同一段 4k 前缀 → cached 0 → 1920(稳定复用);不带头回退
Key 派生也命中。同时更正一条旧认知:上游缓存**并非严格按 session 隔离**(换会话头同前缀
照样命中 1920),会话 id 是「纳入缓存」的前提而非隔离边界 —— README 与代码注释已同步。

测试 204 → 206 全过(新增取值优先级+账号隔离、入站头端到端两条);ci_check 全绿。
2026-09-28 19:35:59 +08:00
api-gateway 3b35b14a8a 修「token 统计恒 0」+ token 细分(缓存命中 / 推理)
老板 2026-09-28:「ai 网关 token 数统计有问题,一直都是 0;token 是不是可以细分,
命中缓存之类的;能细分就细分」。

【真因】/v1/chat/completions 的 **managed 流式路径**(改写分支,QwenPaw 实际走的就是它)
只把累计的 usage **转发给客户端**,从没写进指标。上游每轮都发 usage(实测 chunk 里带
prompt_tokens 与 prompt_tokens_details.cached_tokens)。
现场取证:网关记了 **663 次调用、tokens 恒为 {prompt: 0, completion: 0}**。
对照:直传路径(messages/responses)与非流式路径本来就有记账 —— 只漏了「流式 + 改写」。

【修复】该路径补 _record_usage_metrics(stream_usage)。

【顺带做 token 细分】(上游 usage 本来就有,此前只记总数):
- cached  = prompt_tokens_details.cached_tokens(命中缓存的输入量,已含在 prompt 内)
- reasoning = completion_tokens_details.reasoning_tokens(输出里的思考量,已含在 completion 内)
- Metrics.record_tokens(prompt, completion, cached=0, reasoning=0):全局与按账号两条桶都细分
- 四处记录点全接上;直传流式的扫描器补采 reasoning_tokens
- 新增辅助 _usage_detail()/_record_usage_metrics(),一处判据四路复用
- Prometheus 新增 api_gateway_tokens_cached_total / api_gateway_tokens_reasoning_total(含 HELP/TYPE)
- 前端「指标」页新增两张卡:缓存命中 Token(占输入 x%)、推理 Token(占输出 x%);中英文案对称

【上线实测】
- 瘦请求 → tokens {prompt: 62, completion: 2, cached: 0, reasoning: 1}
- 4k token 同前缀请求两次:第 1 次 cached=0;第 2 次 cached=1920 / prompt=4076
  → 网关累计 cached=1920(输入命中率 22.9%)
- Prometheus 导出同值

【测试】新增两条回归(managed 流式必须记账含细分、细分累加互不干扰),202 → 204 全过;
ci_check.sh 全绿;i18n 中英 759/759 对称。
2026-09-28 18:42:26 +08:00
api-gateway 9e2fc8e40a chore(sync): 每日同步 09-27/09-28 落盘的配置改动入库
由 cron 的 scripts/sync_models.py --apply 自动落盘、此前未入库(按「线上配置 = 仓库配置」
的硬性规则补齐):

- 删除 agnes/agnes-video-v2.0(官方文档已不收录)
- 新增 opencode/longcat-2.5-preview-free(文档新增,标 Free)
- 更新 opencode/qwen3.8-max 的 context_window 1000000 → 262144(models.dev 保守下限)

线上经 hot_reload 早已生效,本次只是把仓库补齐。
2026-09-28 18:42:25 +08:00
api-gateway 9bca7b3a5a 请求体上限 2MB → 20MB(带图对话 413)
起因:会话 1790234457104-wwgr3uq 报
`413 请求体超过上限 2000000 字节`。dump 显示 agent_state 达 2,688,007 字节:
生成的 PNG 以 base64 内联进对话历史(单张 100KB~750KB),两条 assistant 消息
就占 2.5MB,把网关自有的 2MB 限制顶爆。

- server.max_body_size: 2_000_000 → 20_000_000(config.py 默认值 +
  gateway.yaml + _opt_int 兜底三处同步)。
- nginx 侧无需改动:全局 nginx.conf 已是 client_max_body_size 50m,
  两个站点 conf 未单独设置 → 实际生效值 50m > 20m。
- 保留限制(只调大数字,不放开),内部网关 + nginx 两层仍在把关。
- 新增回归 test_server_max_body_size_is_20mb 钉住三处一致
  (配置默认值 / YAML 现值 / 兜底解析)→ 202 passed / 0 failed。

上线实测(pid 3525434):3MB 与 19MB 请求体均过体积检查到鉴权层(401),
21MB 精确 413 且报「请求体超过上限 20000000 字节」。
2026-09-24 16:10:07 +08:00
api-gateway 4dc41e04e7 第三十三轮:模型接口加入上下文参数(context_window / max_output_tokens)
老板 2026-09-24 要求:「文档里有写明支持上下文多少吗?有的话就修改 ai 网关,
接口加入上下文参数」+「Agnes 先加上,opencode go 看下 v2/docs/console/go/ 文档,
没有的话就看接口里有没有,这个也要加入同步脚本里」。

数据来源(逐一核查过):
- Agnes:官方**每个文本模型详情页**的「限制与价格」表写明 `上下文窗口` / `最大输出`
  (定价页没有这两项)。3.0-flash = 512K/65,536、2.5-flash = 512K/65.5K、
  2.5-pro 与 2.5-pro-beta = 1M/65,536。图片/视频页无此表 → 留 0。
- OpenCode:官方文档(Zen 页、v2/docs/console/go/)**都不写**上下文;`/zen/go/v1/models`
  实测只回 id/object/created/owned_by(单模型详情 404、include 参数被忽略)。
  唯一机器可读来源是 **models.dev**(OpenCode 团队维护),其 `opencode-go` /
  `opencode` 两供应商每条模型都带 `limit.context` / `limit.output`。
  口径(老板拍板):只用于**更新网关已有模型**,不拿它当增删依据(models.dev 收录
  比官方 Go 文档多,含 omen-alpha 等未收录的);跨源不一致时取**保守下限**
  (minimax-m3 Go 1M / Zen 512K → 512,000;qwen3.6-plus → 262,144)。

改动:
- app/config.py:ModelInfo 新增 context_window / max_output_tokens(默认 0 = 未标注),
  解析 + to_dict 序列化一并带上。
- app/main.py:GET /models 与 /v1/models 输出这两个字段;别名继承目标模型的值。
- app/settings.py:「供应商与模型」面板往返不丢字段(默认 0 → 未配置的模型不会被
  补出 `context_window: 0` 污染 YAML);提交了就以此为准,没提交则沿用文件原文。
- data/gateway.yaml:37 个模型落盘(33 OpenCode + 4 Agnes 文本),文本级插入保住
  全部手写注释(注释行 162 → 236)。
- scripts/sync_models.py:新增 fetch_models_dev()(拉失败返回 None → 只跳过上下文
  同步、不当成漂移)、fetch_agnes_context()(逐模型页解析「限制与价格」表)、
  diff() 产出 ctx_drift、build_plan/apply_plan(_set_context 块内改值,保留行尾注释、
  幂等)、verify() 回读校验、render_plan/render 显示漂移;_DRIFT_KEYS 与
  plan_is_empty 认 ctx_set。
- tests:新增 3 个(models.dev 保守下限合并 + 抓失败返回 None;_set_context 幂等与
  保注释;/models 带出字段且未标注不瞎补)→ **201 passed / 0 failed**;ci_check.sh 全绿。

上线:supervisorctl restart api-gateway:api-gateway_00(pid 3492804)后实测
/v1/models 45 个模型、38 个带 context_window(含 wjd 别名继承 = 1,000,000/384,000),
图片模型正确为 0。
2026-09-24 15:00:26 +08:00
api-gateway f6c1ecc4af docs: CHANGELOG 记「缓存命中率恒 0」的排查与修复
补上修复说明与技术细节:真因(流式 usage 丢 prompt_tokens_details)、
三层证伪过程(QwenPaw 组装 / 出站 payload / 上游字段)、修法与回归、
上线验证数据,以及排查方法论(流式与非流式是两条路径;
入站 → 出站 → 上游 → 网关回程的排查顺序)。
2026-09-24 14:40:04 +08:00
api-gateway b858f09075 fix(usage): 流式 usage 透传 prompt_tokens_details —— 修 QwenPaw 缓存命中率恒 0
老板报:QwenPaw 上用 ai 网关(wangjinding 供应商)调用 v4.1,
网页显示的缓存命中率一直是 0。

排查(实测,非推断):
- QwenPaw 侧 messages/tools 完全正常:6 份连续抓包逐条比对,前面所有消息
  逐字节一致、仅末尾追加 2 条(msgs 362→372 单调递增),tools 26 个逐字节相同。
- 网关出站 payload 正常:model/stream/stream_options 全同,session 稳定。
- 用网关真实出站 payload 原样直打上游:cached_tokens=126464 / 126848(99% 命中)
  ⇒ 上游缓存一直好好的。
- 真因:**网关流式响应重建 usage 时只挑 prompt_tokens/completion_tokens/
  total_tokens 三个字段累加,把 `prompt_tokens_details.cached_tokens` 丢了**,
  末尾又用这份残缺 usage 覆盖上游原始值发给客户端 —— QwenPaw 从未收到缓存字段,
  只能记 0。(同一 bug 让网关自己的控制台也看不到缓存命中。)

修复:
- 新增 `_merge_usage()`:整数累加、非整数(如 prompt_tokens_details 这类整份
  快照)覆盖,实现**全字段透传**;流式累加改用它。
- `_UsageScanner`(直传线记账)顺带收集 cached_tokens,counts() 多返回该键
  (消费方按名取值,不影响既有逻辑),网关控制台口径同步修正。
- 非流式路径本就原样透传 `result["usage"]`,无需改动。

回归:test_merge_usage_keeps_prompt_tokens_details、
test_usage_scanner_collects_cached_tokens。测试 198 passed / 0 failed。

上线验证:流式请求第 2 次 usage 已带 `prompt_tokens_details.cached_tokens=7168`。
2026-09-24 14:39:09 +08:00
api-gateway 7ad3248cb0 docs: CHANGELOG 记本轮(删两模型 + 立上生产必推 CNB 规则) 2026-09-24 14:06:31 +08:00
api-gateway 3a118c23fb docs+tooling: 立「上生产必推 CNB」规则(README 硬性段落 + scripts/push_cnb.sh)
老板 2026-09-24 规则:凡是重启上线生产的代码改动都要推送到 CNB,保持
「线上跑着的代码 = 仓库里的代码」。

- README 新增「上生产必须同步推 CNB(硬性)」段落:顺序=改代码 → 跑测试/CI →
  重启或 build 上线 → 确证线上生效 → commit → push;纯注释/配置靠 hot_reload
  生效的也照推。
- 新增 scripts/push_cnb.sh:一次性带 token 内嵌 URL 推送(token 不落 .git/config、
  不写进任何文件),推完自动核对远端 = 本地,并复查 .git/config 里没留下 token;
  不带 token 退出 2、工作区不干净退出 3。
2026-09-24 14:04:48 +08:00
api-gateway 97a31f6e0c 按老板指示从网关删除 deepseek-flash / omen-alpha(文档表未收录)
老板 2026-09-24 指令:「1,删了」——把 PROTECTED 保护名单里这两个模型照
官方文档删掉(此前怕文档收录滞后才护着,老板选择以上游文档为准)。

- PROTECTED 名单清空(机制保留:以后要临时护住某个 id 在这里登记即可;
  被别名 / media 引用的 id 本来就有独立保护,不依赖这张表)。
- 落盘后 opencode:网关 35 → 33,与文档 33 对齐(Agnes 10 = 10,无漂移)。
- 删除前把两个模型块原文归档到 /root/.trash/2026-09-24-opencode-models-doc-sync/。

顺带修一个删块 bug(本次实测踩到):
_find_model_blocks() 用「下一个 - id 行」当块尾,会把紧贴下一个模型的分组
标题注释(本文件惯例:`# ── …` 写在组里第一个模型上方;同步自己写的
「官方文档新增」标记同理)一起吞掉 —— 删 deepseek-flash 时连带删了
`# ── Anthropic Messages 线(文档主推这条)`。现改为:块尾只收口到
「块头注释」之前(_block_end + _BLOCK_HEADER_RE),并把已误删的标题恢复;
新增回归用例 test_remove_block_keeps_next_group_header_comment 钉住。
2026-09-24 14:03:16 +08:00
api-gateway 13d4fdc44e Agnes 免费/限时免费标注 + 免费标签间距对齐(老板 2026-09-24)
老板两件事:
1) Agnes 的模型也要标免费或限时免费 —— 之前只有 OpenCode 的 space-bunny-free 有标注;
2) 免费标签跟模型名的间隔不一样,优化。

免费标注:
- 口径(照官方措辞,按 bullet 切块判定,不关键词泛扫):
  · OpenCode 价格表 Input/Output = Free(原逻辑)
  · Agnes 定价页「### 当前优惠」:当前(均)免费 → 免费;当前限时免费 → 限时免费
  坑:Agnes 视频 agnes-video-2.5 那条 bullet 写着「输入图片前 5 张免费」——
  那是计费公式的免费额度、不是模型免费,所以只认严格措辞「当前免费 / 当前均免费 /
  均免费 / 限时免费」,且只认反引号里的完整 id(agnes-video-2.5 是
  agnes-video-2.5-flash 的子串,字符串包含会串味)。
- 配置:free: true(免费)+ 新增 free_limited: true(限时免费)。
  落盘 7 条:3.0-flash / 2.5-flash / image-2.0-flash / image-2.1-flash /
  image-2.5-flash / video-v2.0 = 免费;video-2.5-flash = 限时免费。
- scripts/sync_models.py:新增 _agnes_free_map() / _set_agnes_free(),免费标注纳入
  漂移比对 + --apply 落盘(官方改口径 → 整行撤掉标注),回读校验新增 Agnes 免费位检查;
  新增模型块也会带上标注。
- 后端:ModelInfo.free_limited + /v1/models 带出 free_limited(别名随目标继承)。
- 前端:标签文案 免费 / 限时免费(中英各 +2 键,i18n 755/755 对称),提示语同步更新
  (原文案只提 OpenCode Go 计划,已不准确)。

间距:
- 根因:.st-row 是 flex(gap:8px),.name-free 又加 margin-left:6px → 标签左侧 8+6=14px、
  右侧 8px,与其它行「模型名 → 供应商名」的 8px 节奏不一致。
- 修法:.st-row .name-free { margin-left: 0 }(表格单元格是行内排布、无 flex gap,
  那边保留 6px)。同源最小页实测:修前 14/8,修后 8/8。

测试:新增 test_agnes_free_map_rules、test_agnes_free_apply_and_revoke_round_trip
(含 撤标注/限时→免费/幂等/相邻手写注释不被碰);195 passed / 0 failed。
2026-09-24 13:49:48 +08:00
api-gateway 4d25cb64e1 fix(sync): 空 plan 也走写盘分支(每天白重写配置 + 误报「已写盘」)
plan_is_empty 只看外层,而 plan["add"] = {"opencode": {}, "agnes": {}} 两层 dict
恒为真值 → 无漂移时也判定「有动作」,于是每天重写一次 data/gateway.yaml 并把上一份
备份覆盖掉,报告还误报「已写盘:…N 字节」。改为下钻到 provider 桶判断。

- 加回归用例 test_sync_plan_is_empty_drills_into_provider_buckets(193 passed / 0 failed)
- 实测:无漂移时改为「(无:网关已与文档一致)+ 无需落盘」,配置与备份都不再被白动
- CHANGELOG 补 2026-09-24 这一轮(同步落地 + 视频默认模型口径 + 本修复)
2026-09-24 13:37:00 +08:00
api-gateway 540d1f583f feat(sync): 视频默认模型纳入同步视野 —— 保它不被自动删 + 每日报告列候选,不自动换默认
- 报告新增一段:当前 media.video_model_name、是否仍在文档里(✓/✗)、文档视频清单候选;
  日志/简报里直接可见,换默认仍是「点模型名改一行」的人为动作
- 新增模型的价格不再重复列进「定价漂移(网关=None)」,只按「新增」呈现
- data/gateway.yaml 的 video_model_name 上补注释(说明受保护、候选在哪)
- cron 提示词加边界:报告里原样带出,不要自己改 video_model_name
- README 同步一节补该口径;单测 192 passed / 0 failed
2026-09-24 13:35:05 +08:00
api-gateway 6621133897 feat: 模型清单每日同步落盘(新增 / 删除 / 改参数)+ 修定价用例写死旧刊例价
scripts/sync_models.py 新增 --apply:把网关模型清单与官方文档全量对齐
  · 文档新增 → 插进配置;文档下线 → 删除(连它的 pricing 条目);价格 / 免费标记变化 → 就地更新
  · 协议线只加不砍;PROTECTED 名单 + 被别名 / media 引用的 id 永不自动删
    (官方文档表收录有滞后:实测 deepseek-flash / omen-alpha 上游在服务、文档表还没补)
  · 文本级增删改,保住逐条实测的手写注释;复用网关 write_config(备份 + 原子替换 + 600),
    落盘后回读校验(模型集合 / 定价 / 协议线 / 别名目标 / 无关 provider 未被碰),不通过就中止不写盘

data/gateway.yaml:同步 Agnes 文档
  · 新增 6 个:agnes-2.5-pro、agnes-2.5-pro-beta、agnes-image-2.0-flash、agnes-image-2.1-flash、
    agnes-video-2.5、agnes-video-v2.0
  · agnes-3.0-flash 价目 0.35 / 1.00 → 0 / 0(文档明写当前免费,原值是被划掉的刊例价)
  · 补 agnes-2.5-pro(3/6)、agnes-2.5-pro-beta(0.7/2.1)价目
  · OpenCode 侧无漂移;deepseek-flash / omen-alpha 受保护未删

tests:test_pricing_estimate 改用不在同步范围的 ark-code-latest —— 原来写死
  agnes-3.0-flash 的 0.35/1.00,文档一改价就假红(192 passed / 0 failed)
README:补「模型清单每日同步」一节(用法 / 数据源 / 落盘边界 / 定时)
2026-09-24 11:39:26 +08:00
api-gateway 74f15a9e1e docs: 用第二把 key 复核 Zen 免费档(结论不变:客户端锁定,未写入)+ 记录 Zen 账户 402 与在线免费清单 9 个 2026-09-24 10:10:39 +08:00
api-gateway 5081eea8b9 feat: 免费标志挪到模型名后面;轮换 Agnes Key;复测 Zen 免费档(结论:客户端锁定,一个都不能用)
- 前端 Models.vue:绿色「免费」标签从「能力」列挪到「模型」列紧跟模型 id 后面,
  测速行同样跟在名字后面(撤掉闪电图标);能力列恢复只标 视觉/参数固定
- data/.env:AGNES_API_KEY 轮换为新的一把(值不入库;重启后真实调用 200 / health/agnes ok,远端 11 个模型)
- 复测 models.dev 里 29 个 *-free:Go 端点 29/29 400 Model is unavailable;
  Zen 端点同样全失败,其中一批 403 FreeTierError(免费档只能在 OpenCode 客户端内用)
  → 按「可以用才写入」的条件,一个都没写入(结论写进 README/CHANGELOG,避免重复测)
- CHANGELOG 记本轮;README 模型清单补 Zen 免费档不可用的说明
2026-09-24 10:06:10 +08:00
api-gateway 70c82d4ca7 feat: 免费模型在前端「模型与供应商」页可见(free 字段 + 绿色「免费」标签)
- 后端:ModelInfo 增加 free 字段(yaml models[].free,_opt_bool 校验)、all_models() 带出、
  /v1/models 暴露 free(别名随目标继承,与 vision/params 同源)
- 配置:space-bunny-free 标 free: true(与 display_name 的「(免费)」双保险)
- 前端:Models.vue「能力」列新增绿色「免费」标签(bolt 图标 + 悬浮说明)、测速行同步标一颗闪电;
  i18n 中英各 +2 键(freeTag/freeHint),753/753 对称
- 测试:新增 test_models_payload_marks_free_models(免费模型必须 free=true、付费必须 false、
  每个模型都要带该字段),全套 192 passed / 0 failed
- README:免费模型说明补「三处标注」口径
2026-09-24 10:00:54 +08:00
api-gateway 68ddccba53 config: 刷新 OpenCode Go 模型清单(35 个,含免费模型标注)
- 上游 GET /models(35 条)+ 官方文档价格/端点表对齐:新增 deepseek-flash(三线全通)、
  grok-4.7(responses)、omen-alpha(chat)、gpt-6-luna(responses)、mimo-v2.6-flash(chat)、
  mimo-v2.6-pro(chat)、space-bunny-free(chat + messages)
- 下线 union-alpha(Union Alpha Free,上游已 retire,实测 400 Model is unavailable)
- 免费标注:space-bunny-free 的 display_name 写为「Space Bunny Free(免费)」
- 7 个新模型逐条真实调用验过三条线(chat/messages/responses 各一只瘦请求)后定 protocols;
  顺手复核 kimi-k3 / minimax-m3 / deepseek-v4.1-flash 标注仍正确
- README:供应商表模型数 17 → 35、模型清单按「线 + 免费」重写、三线直传小节同步
- CHANGELOG:新增 2026-09-21 条目(含「探测必须带专属 UA,否则 Cloudflare 403 error code: 1010」的踩坑记录)
2026-09-24 09:53:46 +08:00
api-gateway 97ec0bbfba 第三十二轮: view_to_raw 不再把面板默认值写进文件(整份视图 PUT = 零变化,保住 providers 段手写注释)
- app/settings.py: 新增 _prune_defaults + _PROVIDER_KEY_DEFAULTS/_MODEL_KEY_DEFAULTS,
  providers/models 按「文件里没有 且 值等于面板默认 → 不写」重建;auth 空 token、
  media 空端点、rate_limit_rps/requires_session_header/endpoints、模型 type/vision/
  protocols/display_name 不再被 materialize(改动前实测:整份视图 PUT 会重写 providers
  段 530 行、# 标记 126 → 72)
- tests: +test_view_to_raw_keeps_panel_defaults_out_of_the_file(纯函数语义)
  +test_full_view_put_rewrites_nothing(GET→PUT 端到端,文件逐字节不动)
- 191 passed / 0 failed;ci_check 六道门禁全绿;生产实测整份视图 PUT → 200、
  data/gateway.yaml md5 518b12b6… 前后一致、日志 写盘=merged / 重写段=无
2026-09-20 19:36:14 +08:00
api-gateway 33d1238fb2 第三十一轮收尾: 结构化保存走文本级合并(保住手写注释) + 别名卡片文案按老板口径删减
一、结构化 PUT /config 不再整份重渲染(这次真踩过的事故)
- 起因:模型页「保存映射」只改 aliases 一段,却走 render_yaml 整份重渲染,把 gateway.yaml 里
  历轮手写的现场注释(协议线实测结论、各家鉴权差异、会话头要求…)整段抹掉(90 → 48 行)。
- app/settings.py 新增 merge_submitted_sections():把本次提交的段替换进原文,其余字节一个都不动。
  三条边界都是实测踩出来的:
  ① 只重写**值真的变了**的段(write_config_merged 拿 raw_old 逐段比对)—— 面板 PUT 的是整份视图,
     没变的段必须原样留着,否则一次无关保存就把 server.retry 那类行尾注释冲掉;
  ② 被替换段的**段尾说明/页脚**用 _split_tail 留在原位 —— 改 providers 不能顺手动掉 server 上方的说明书;
  ③ 新增段用 _doc_start 插在下一段**说明书之前** —— 否则别人的说明书会变成新段的抬头;
  ④ 合并后回读校验:解析失败或与提交内容不等 → 退回整份重渲染(配置一定正确,只赔注释)并记 ERROR。
- app/main.py:结构化保存改调 write_config_merged;日志升级为 写盘=merged|rendered / 重写段=<清单>。
- 结构化的唯一调用方是模型页(只提交 aliases 一段);网关配置页走 YAML 原文,两路都不丢注释。

二、别名卡片文案(老板 2026-09-18 口径)
- 删掉卡头副标题(aliasSub:客户端固定写 model: {id},网关转发到你选的模型)与 member 的只读行
  (aliasReadonly:只读:映射由管理员在网关配置里选择),两行说明保留;Models.vue 连带删掉 .alias-ro 样式,
  中英 i18n 753 → 751(仍对称)。

三、验证
- 单测 189 passed / 0 failed:新增 test_merged_write_keeps_neighbour_docs_and_skips_unchanged(上面三条边界);
  改写 test_alias_panel_round_trip_and_save_validation —— 旧写法 PUT 整份视图,而 view_to_raw 会把面板默认值
  materialize 进 providers(token ''/rate_limit_rps null/requires_session_header false/endpoints/vision false…),
  providers 因此被判"变了"、注释被重写,断言必挂;改成面板真实载荷 {config:{aliases:…}} 后绿。
- scripts/ci_check.sh 全绿(compileall + 单测 + i18n/SVG 体检 + vue-tsc + build)。
- 生产实测(重启后 pid 1912449):值没变的保存 → gateway.yaml 逐字节一致;临时改 note → 差异只有 2 行;
  改回 → md5 回到 64ca52b83ab1bb3a7db40d0073554887;页面点「保存映射」→ 日志 重写段=无、文件未变。
  前端新入口 index-B5GZJuR8.js(旧 index-BJNJXWEY.js 404),admin/member 双角色真浏览器复验通过。

四、data/gateway.yaml
- 提交的是**注释完整的生产版**:HEAD 里那版是被抹过的 render 产物,工作区这版恢复了被误删的手写注释
  并补了带说明的 aliases 段(注释行 100,⊇ 上一版)。

遗留(未动,等老板定):整份视图 PUT 仍会在 providers 上 materialize 面板默认值(那段行内注释会赔);
当前无 UI 走这条路,根治需让 view_to_raw 不再补默认值。
2026-09-20 19:23:18 +08:00
api-gateway 0bf607e35f 第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。

P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
  download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。

视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
  admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。

登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
  原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。

口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。

/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。

其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。

前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。

文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
  「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。

测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
  env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。

CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
  消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
2026-09-18 22:45:20 +08:00
api-gateway 55eb89ce0e 第二十九轮: 缺省 conversation_id 时上游会话按 API Key(去前缀哈希)稳定派生, 不再每调用随机UUID → 提提示词缓存命中率; 登录会话按账号稳定兜底 2026-09-18 17:22:53 +08:00
api-gateway aad3f28589 第二十七轮: 三线直传(/v1/messages,/v1/responses)+删除路由别名;第二十八轮: element-plus 按需引入+死代码清理+前端支持格式列/API Key 文档 2026-09-18 16:33:33 +08:00
api-gateway bad8b43b22 第二十六轮:会话 id 入站校验 + 按账号隔离 + 422 处理器异常对象清洗
1) conversation_id 零校验 → 中文触发 httpx header ascii 编码异常,被误判成
   "上游失败"重试 3 次后回 502。现在入站校验(仅 ASCII / ≤128 字符 / 剥空白、
   空白串视作未传),非法值直接 422 且一次都不发上游。
2) 网关不再原样透传 conversation_id,改为派生 sha256("{账号}:{conversation_id}")[:32]
   作为 x-opencode-session(同账号同对话恒定、账号间隔离、不暴露账号名与业务命名)。
3) 顺修通用隐患:pydantic v2 把校验器抛出的异常对象放进 errors()[].ctx,
   而 422 处理器直接把它塞进响应体 → 序列化 TypeError → 500「网关内部错误」。
   新增 _jsonable_errors() 清洗,并剥掉 "Value error, " 前缀。

另:实测更正此前结论 —— cached_tokens 与 x-opencode-session 无稳定关系
(同一 session 连打 6 次 [0,0,0,0,896,896];缓存落定后换全新 session 亦可命中 936)。
上游是机会性内容前缀缓存;该头只是会话标识。README/CHANGELOG 已更正。

单测 171 passed / 0 failed(新增 3);隔离实例 8899 真机验证通过;未上线待批准。
2026-09-18 12:43:13 +08:00
api-gateway 17a3282574 config: deepseek-v4.1-flash 标注 vision(实测确认为多模态)
- 实测:带图请求(data:image/png;base64)红/蓝/绿三色全部识别正确;
  同请求打到纯文本模型 deepseek-v4-flash 被上游 400 拒(对照组成立)
- 过网关复测:直连 + 路由别名 wjd(带图排视觉模型)均正确
- gateway.yaml 加 vision: true(附实测注释);README 模型清单标「(视觉)」
- 纯配置 → hot_reload 生效,未重启后端;/v1/models 中 vision 已由 false → true
- 判定坑:推理模型 max_tokens 太小会被 reasoning_content 吃空 content,需 ≥300
2026-09-18 12:21:36 +08:00
api-gateway 4507dc4b8e fix: 模型级强制参数(kimi-k2.7-code 锁 temperature=1)+ 测速超时/错误文案
- config: ModelInfo.params + MODEL_PARAM_KEYS 白名单 + _parse_model_params(写错即 ConfigError)
- adapters: _forced_params 在 payload 组装后强制覆盖;_learn_from_upstream_error 按上游 400
  要求修正并重发一次(非原样重试);流式已吐内容则不重发
- main: /v1/models 暴露 params;探针超时 15s→30s;_speedtest_error_text 说清超时/上游原文
- settings: 面板保存保留手写 models[].params(原先会被静默清掉)
- gateway.yaml: kimi-k2.7-code params.temperature=1
- 前端: Models 挂锁+参数固定标签;Chat 温度 chip 挂锁+抽屉提示;新增 lock 图标;中英对称
- tests: +10 → 168 passed / 0 failed
2026-09-18 12:18:10 +08:00
api-gateway e4065d31c3 feat: OpenCode Go 会话 id 升级为对话级稳定(方案 A)
- models.py: ChatRequest 显式声明 conversation_id(内部字段,不透传上游)
- openai_compat: chat/chat_stream/_req_headers 支持 session_id(有则用之,无则回退 UUID)
- main.py: 非流式/流式主链路把 req.conversation_id 传为 session_id
- Chat.vue: 对话级 convId(randomUUID),随对话持久化,清空对话时重建,注入 payload
- 新增 2 个单测;157 passed / 0 failed;typecheck 通过;真实 key 冒烟稳定会话 OK
2026-09-18 11:21:18 +08:00
api-gateway 8bab67d31d feat: 接入 OpenCode Go 供应商(17 个 OpenAI 兼容文本模型)
- gateway.yaml 新增 providers.opencode(requires_session_header + 专属 UA),
  收录 17 个 chat/completions 模型(glm/kimi/longcat/deepseek/mimo/hy),
  全部并入 wjd(wjd 现 20 个文本模型)
- config.py 加 ProviderConfig.requires_session_header 开关
- openai_compat 每次请求动态注入 x-opencode-session(缓存冻结坑),create_adapter 透传
- settings.py 面板视图/写回增补该字段(修 roundtrip 配置被改)
- Settings.vue 默认模型下拉追加 17 个模型
- 测试:providers/wjd 断言更新;修 test_effective_rps_priority 共享 cfg 污染(finally 还原)
- 单测 155 passed / 0 failed;typecheck 通过;真实 key 端到端非流式+流式皆通
2026-09-18 10:23:31 +08:00
api-gateway c2f27e6e39 wjd 链路 = 全部文本模型:补 agnes-2.5-flash
老板决策:现有+以后新增的所有文本模型都必须加入 routes.wjd 兜底链。
- data/gateway.yaml: wjd 链 ark-code-latest→agnes-3.0-flash→agnes-2.5-flash
- README/CHANGELOG/测试断言(2→3)同步;MEMORY/日记记录为长期约束
- 单测 155 passed / 0 failed
2026-09-18 10:04:02 +08:00
api-gateway 18cafe5354 feat: 新增 Agnes 2.5 Flash 文本模型(agnes-2.5-flash,视觉) 2026-09-18 09:57:36 +08:00
api-gateway 6a5416532b chore: 移除智谱 GLM 供应商(GLM 模型 + CogView/CogVideoX 媒体 + 契约代码/前端/文档/测试全清) 2026-09-18 09:50:26 +08:00
api-gateway 15a2e6eb9e chore: 移除 b.ai 供应商(qwen3.8-flash/hy3)—— 配置/代码/文档/测试/.env 全清 2026-09-17 09:19:47 +08:00
api-gateway e999df8eff fix: 下载白名单加入智谱产物 CDN(maas...ufileos.com) 2026-09-16 10:24:54 +08:00
api-gateway e0aa5522fb feat: 集成智谱 CogView-3-Flash 文生图 + CogVideoX-Flash 文生视频 2026-09-16 10:11:20 +08:00
api-gateway b66c448d7a test: 修复遗留 feedback 撤回用例(admin 可真删)+ 修正 stale docstring 2026-09-16 09:19:53 +08:00
api-gateway 35680c7b95 feat: 新增智谱 GLM 供应商(6 模型,3 视觉;密钥走 data/.env) 2026-09-16 09:16:27 +08:00
api-gateway 950f9bbf3d docs: CHANGELOG 记录 git 初始化与推送到 CNB 2026-09-15 17:34:48 +08:00
api-gateway d143d8da22 init: api-gateway v2.4.0(Agnes/b.ai/火山方舟 三家供应商网关) 2026-09-15 17:05:46 +08:00