Commit Graph
11 Commits
Author SHA1 Message Date
Jidekin 69f0039256 refactor!: 技术标识也全部换掉(logger / UA / 脚本 / 前端 / 文档)
老板要求:技术标识也要换,脚本啥的都换。

运行时
  · 所有 logging.getLogger("api-gateway…") → "xiaoyin-gateway…"(main/metrics/circuit/settings/sessions/users/gomodels/video_owners/adapters)
  · app/main.py 的上游 User-Agent 默认值 → xiaoyin-gateway/{VERSION}
  · data/gateway.yaml 里 opencode 的 UA 覆盖 → xiaoyin-gateway/2.4.0
  · run.py 启动横幅 → [xiaoyin-gateway]

脚本
  · scripts/sync_models.py、sync_onemin.py 的探测 UA
  · scripts/ci_check.sh 的横幅

前端
  · 配置备份文件的 kind: api-gateway-backup → xiaoyin-gateway-backup
    (导入逻辑本来就不校验 kind,旧备份照样能恢复)
  · dist 产物同步打补丁,不用重新 build

文档
  · README / CHANGELOG 里的服务名、`supervisorctl restart api-gateway:api-gateway_00` 等
  · 另一个技能 dsh-plugin-publish 的敏感词规则里也提到了旧名,一并更新

唯一没动的
  · .gitignore 里那行指向 /root/.trash/2026-09-13-api-gateway-cleanup 的注释 ——
    那是磁盘上真实存在的历史目录名,改了反而指错地方
2026-11-20 16:30:42 +08:00
Jidekin 8320258ff0 fix(sync): OpenCode 模型改用官方 models 接口,修复文档改版导致的连续两天 exit=2
官方把文档的 `## Endpoints` 表改成「看 console 页 / 用 models 接口」,
HTML 里不再有带 opencode.ai/ 地址的模型行,fetch_opencode() 的 <tr>/<td>
解析拿不到任何行 → 自动化日报「模型清单同步」整块失败:

  [2026-11-17 23:02:18] exit=2  RuntimeError: OpenCode 文档没解析出 Endpoints 表
  [2026-11-18 23:02:29] exit=2  同上

改为优先读官方 models 接口(实测无需鉴权):
  GET https://opencode.ai/inference/go/v1/models   (zen/go/v1/models 同源同内容)

每条自带 id/name/type/api{chat-completions,responses,messages,generate-content}/
recommended_api/limit{context,output}/cost.text.*.price/go.limited_regions,
据此推导协议线、免费标记与地区限制;HTML 表解析降级为兜底(接口不可用才走)。

首次落盘:
  - 删除 opencode/mimo-v2.5、mimo-v2.5-pro(上游已被 V2.6 取代)
  - 上下文 hy4-flash-free → 1048576/65536;qwen4-max → 1000000/262144
  - 跳过 gemini-4-argon(仅 generate-content)、beam-free 与 muse-spark-1.2/1.3(地区限制)

验证:落盘后 28 个模型、/healthz 200、hot_reload 自动生效未重启、重跑「无漂移」;
sync_onemin.py 同步通过(49 接口 / 43 配置 / 跳过重名 6)。

顺带把运行时的 data/ban_history.jsonl 加进 .gitignore(含被封 IP,属隐私)。
2026-11-19 08:09:28 +08:00
Jidekin 7d0561da78 fix(sync): 中国大陆地区受限的 OpenCode 模型不再同步进网关
文档 Go 页脚注写明了地区限制,之前只解析表格、把脚注漏了:
  Beam Free: Not available in ... China (including Hong Kong and Macau) ...
  Muse Spark 1.x Contributor: ... regions permitted by Meta's Geographic Use Policy
本机出口在中国大陆,实测 beam-free / muse-spark-1.3 / muse-spark-1.2 在
zen 与 inference 两条端点均 403 RegionError「This model is not available in
your country」(同批 minimax-m3.1-flash-free / step-5-preview 均 200)。

新增 OC_REGION_BLOCKED 名单:同步时跳过(不新增;网关里已有的按已下线删除),
并在报告里单列「跳过(对中国大陆出口不可用,RegionError)」。
以后换境外出口或文档解除限制,把 id 从名单移走即可恢复。
2026-10-21 10:46:56 +08:00
Jidekin c2e1226836 fix(sync): 适配 OpenCode 文档改版(Endpoints 改为 /inference/go/<vendor>/v1/)
文档 Endpoints 表地址从 https://opencode.ai/zen/go/v1/<path> 改为按供应商分线:
  /inference/go/openai/v1/{chat/completions,responses}
  /inference/go/anthropic/v1/messages
  /inference/go/google/...(Google 原生,网关不支持)
旧的 "/zen/go/v1/" 硬匹配导致一个模型都解析不出,每日同步固定 exit 2。
改为按路径末尾识别三条协议线(新旧格式都兼容),认不出的跳过并在报告里单列。
2026-10-21 10:26:51 +08:00
api-gateway 3993df5f4f Dots AI 纳入每日模型清单同步
老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。

这条源和另两家不同:dots 文档页是 **SPA**,正文(模型定价表、上下文窗口、「免费体验」说明)
**不在 HTML 里**,而是随前端 JS chunk 发布(实测在 assets/ApiDocsPage-*.js,chunk 名带 hash、
发版就变)→ 抓取走两步发现:文档页 → 主包 index-*.js → ApiDocsPage-*.js → 取该 chunk。

同步三项:
- 模型清单:取自定价表行 {model:"…",input:"$…",output:"$…"}(按出现次数全收,加模型不用改代码);
- 免费状态:取「免费体验」横幅 —— **它是"当前免费试用"**(原文:恢复收费前会提前告知),
  横幅在=free:true、横幅没了=按报价收费 → 落盘改 false(试用结束会在每日报告里现形);
- 上下文窗口:正文「…上限为 524,288 Token」。
- **不写定价**:文档报价是 USD/M,网关 pricing 是 ¥/M → 换算要汇率、不能猜,只列在报告里给人看。

健壮性:这条链路最脆(SPA + hash chunk),故**失败不致命** —— main() 单独兜住,失败置空、
跳过 Dots 比对并在报告里写「⚠ 文档抓取失败」,另两家照常;解析不出模型则抛错交给这层兜。

顺带修:_set_free() 幂等 —— 同一条同步说明不重复追加(原先重复应用同一 plan 会把注释滚成
「原注释;说明;说明」;不同日期的说明仍各记一条=变更历史)。

验证:
- 干跑(真实配置):三家「无漂移 ✓」,Dots 段带报价行,plan_is_empty → 「无需落盘」;
  实测 --apply 也是「无需落盘:网关已与文档一致 ✓」;
- 造副本模拟漂移(free=false/context=131072):两处漂移都报出 + 两条落盘动作 → --apply 写盘成功、
  回读校验过、复跑无漂移(幂等);
- 新增测试「Dots 抓取口径 + 漂移识别 + 落盘幂等」→ 208 → 209 全过。

cron 任务 d83693fc-… 同步更新:名称改为「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」,
提示词加第三家来源 + 「Dots 抓取失败不致命、照实带出来」,并要求带出 Dots 报价行、
「受保护不删」段与视频默认模型标记。
2026-09-29 10:00:30 +08:00
api-gateway 4dc41e04e7 第三十三轮:模型接口加入上下文参数(context_window / max_output_tokens)
老板 2026-09-24 要求:「文档里有写明支持上下文多少吗?有的话就修改 ai 网关,
接口加入上下文参数」+「Agnes 先加上,opencode go 看下 v2/docs/console/go/ 文档,
没有的话就看接口里有没有,这个也要加入同步脚本里」。

数据来源(逐一核查过):
- Agnes:官方**每个文本模型详情页**的「限制与价格」表写明 `上下文窗口` / `最大输出`
  (定价页没有这两项)。3.0-flash = 512K/65,536、2.5-flash = 512K/65.5K、
  2.5-pro 与 2.5-pro-beta = 1M/65,536。图片/视频页无此表 → 留 0。
- OpenCode:官方文档(Zen 页、v2/docs/console/go/)**都不写**上下文;`/zen/go/v1/models`
  实测只回 id/object/created/owned_by(单模型详情 404、include 参数被忽略)。
  唯一机器可读来源是 **models.dev**(OpenCode 团队维护),其 `opencode-go` /
  `opencode` 两供应商每条模型都带 `limit.context` / `limit.output`。
  口径(老板拍板):只用于**更新网关已有模型**,不拿它当增删依据(models.dev 收录
  比官方 Go 文档多,含 omen-alpha 等未收录的);跨源不一致时取**保守下限**
  (minimax-m3 Go 1M / Zen 512K → 512,000;qwen3.6-plus → 262,144)。

改动:
- app/config.py:ModelInfo 新增 context_window / max_output_tokens(默认 0 = 未标注),
  解析 + to_dict 序列化一并带上。
- app/main.py:GET /models 与 /v1/models 输出这两个字段;别名继承目标模型的值。
- app/settings.py:「供应商与模型」面板往返不丢字段(默认 0 → 未配置的模型不会被
  补出 `context_window: 0` 污染 YAML);提交了就以此为准,没提交则沿用文件原文。
- data/gateway.yaml:37 个模型落盘(33 OpenCode + 4 Agnes 文本),文本级插入保住
  全部手写注释(注释行 162 → 236)。
- scripts/sync_models.py:新增 fetch_models_dev()(拉失败返回 None → 只跳过上下文
  同步、不当成漂移)、fetch_agnes_context()(逐模型页解析「限制与价格」表)、
  diff() 产出 ctx_drift、build_plan/apply_plan(_set_context 块内改值,保留行尾注释、
  幂等)、verify() 回读校验、render_plan/render 显示漂移;_DRIFT_KEYS 与
  plan_is_empty 认 ctx_set。
- tests:新增 3 个(models.dev 保守下限合并 + 抓失败返回 None;_set_context 幂等与
  保注释;/models 带出字段且未标注不瞎补)→ **201 passed / 0 failed**;ci_check.sh 全绿。

上线:supervisorctl restart api-gateway:api-gateway_00(pid 3492804)后实测
/v1/models 45 个模型、38 个带 context_window(含 wjd 别名继承 = 1,000,000/384,000),
图片模型正确为 0。
2026-09-24 15:00:26 +08:00
api-gateway 97a31f6e0c 按老板指示从网关删除 deepseek-flash / omen-alpha(文档表未收录)
老板 2026-09-24 指令:「1,删了」——把 PROTECTED 保护名单里这两个模型照
官方文档删掉(此前怕文档收录滞后才护着,老板选择以上游文档为准)。

- PROTECTED 名单清空(机制保留:以后要临时护住某个 id 在这里登记即可;
  被别名 / media 引用的 id 本来就有独立保护,不依赖这张表)。
- 落盘后 opencode:网关 35 → 33,与文档 33 对齐(Agnes 10 = 10,无漂移)。
- 删除前把两个模型块原文归档到 /root/.trash/2026-09-24-opencode-models-doc-sync/。

顺带修一个删块 bug(本次实测踩到):
_find_model_blocks() 用「下一个 - id 行」当块尾,会把紧贴下一个模型的分组
标题注释(本文件惯例:`# ── …` 写在组里第一个模型上方;同步自己写的
「官方文档新增」标记同理)一起吞掉 —— 删 deepseek-flash 时连带删了
`# ── Anthropic Messages 线(文档主推这条)`。现改为:块尾只收口到
「块头注释」之前(_block_end + _BLOCK_HEADER_RE),并把已误删的标题恢复;
新增回归用例 test_remove_block_keeps_next_group_header_comment 钉住。
2026-09-24 14:03:16 +08:00
api-gateway 13d4fdc44e Agnes 免费/限时免费标注 + 免费标签间距对齐(老板 2026-09-24)
老板两件事:
1) Agnes 的模型也要标免费或限时免费 —— 之前只有 OpenCode 的 space-bunny-free 有标注;
2) 免费标签跟模型名的间隔不一样,优化。

免费标注:
- 口径(照官方措辞,按 bullet 切块判定,不关键词泛扫):
  · OpenCode 价格表 Input/Output = Free(原逻辑)
  · Agnes 定价页「### 当前优惠」:当前(均)免费 → 免费;当前限时免费 → 限时免费
  坑:Agnes 视频 agnes-video-2.5 那条 bullet 写着「输入图片前 5 张免费」——
  那是计费公式的免费额度、不是模型免费,所以只认严格措辞「当前免费 / 当前均免费 /
  均免费 / 限时免费」,且只认反引号里的完整 id(agnes-video-2.5 是
  agnes-video-2.5-flash 的子串,字符串包含会串味)。
- 配置:free: true(免费)+ 新增 free_limited: true(限时免费)。
  落盘 7 条:3.0-flash / 2.5-flash / image-2.0-flash / image-2.1-flash /
  image-2.5-flash / video-v2.0 = 免费;video-2.5-flash = 限时免费。
- scripts/sync_models.py:新增 _agnes_free_map() / _set_agnes_free(),免费标注纳入
  漂移比对 + --apply 落盘(官方改口径 → 整行撤掉标注),回读校验新增 Agnes 免费位检查;
  新增模型块也会带上标注。
- 后端:ModelInfo.free_limited + /v1/models 带出 free_limited(别名随目标继承)。
- 前端:标签文案 免费 / 限时免费(中英各 +2 键,i18n 755/755 对称),提示语同步更新
  (原文案只提 OpenCode Go 计划,已不准确)。

间距:
- 根因:.st-row 是 flex(gap:8px),.name-free 又加 margin-left:6px → 标签左侧 8+6=14px、
  右侧 8px,与其它行「模型名 → 供应商名」的 8px 节奏不一致。
- 修法:.st-row .name-free { margin-left: 0 }(表格单元格是行内排布、无 flex gap,
  那边保留 6px)。同源最小页实测:修前 14/8,修后 8/8。

测试:新增 test_agnes_free_map_rules、test_agnes_free_apply_and_revoke_round_trip
(含 撤标注/限时→免费/幂等/相邻手写注释不被碰);195 passed / 0 failed。
2026-09-24 13:49:48 +08:00
api-gateway 4d25cb64e1 fix(sync): 空 plan 也走写盘分支(每天白重写配置 + 误报「已写盘」)
plan_is_empty 只看外层,而 plan["add"] = {"opencode": {}, "agnes": {}} 两层 dict
恒为真值 → 无漂移时也判定「有动作」,于是每天重写一次 data/gateway.yaml 并把上一份
备份覆盖掉,报告还误报「已写盘:…N 字节」。改为下钻到 provider 桶判断。

- 加回归用例 test_sync_plan_is_empty_drills_into_provider_buckets(193 passed / 0 failed)
- 实测:无漂移时改为「(无:网关已与文档一致)+ 无需落盘」,配置与备份都不再被白动
- CHANGELOG 补 2026-09-24 这一轮(同步落地 + 视频默认模型口径 + 本修复)
2026-09-24 13:37:00 +08:00
api-gateway 540d1f583f feat(sync): 视频默认模型纳入同步视野 —— 保它不被自动删 + 每日报告列候选,不自动换默认
- 报告新增一段:当前 media.video_model_name、是否仍在文档里(✓/✗)、文档视频清单候选;
  日志/简报里直接可见,换默认仍是「点模型名改一行」的人为动作
- 新增模型的价格不再重复列进「定价漂移(网关=None)」,只按「新增」呈现
- data/gateway.yaml 的 video_model_name 上补注释(说明受保护、候选在哪)
- cron 提示词加边界:报告里原样带出,不要自己改 video_model_name
- README 同步一节补该口径;单测 192 passed / 0 failed
2026-09-24 13:35:05 +08:00
api-gateway 6621133897 feat: 模型清单每日同步落盘(新增 / 删除 / 改参数)+ 修定价用例写死旧刊例价
scripts/sync_models.py 新增 --apply:把网关模型清单与官方文档全量对齐
  · 文档新增 → 插进配置;文档下线 → 删除(连它的 pricing 条目);价格 / 免费标记变化 → 就地更新
  · 协议线只加不砍;PROTECTED 名单 + 被别名 / media 引用的 id 永不自动删
    (官方文档表收录有滞后:实测 deepseek-flash / omen-alpha 上游在服务、文档表还没补)
  · 文本级增删改,保住逐条实测的手写注释;复用网关 write_config(备份 + 原子替换 + 600),
    落盘后回读校验(模型集合 / 定价 / 协议线 / 别名目标 / 无关 provider 未被碰),不通过就中止不写盘

data/gateway.yaml:同步 Agnes 文档
  · 新增 6 个:agnes-2.5-pro、agnes-2.5-pro-beta、agnes-image-2.0-flash、agnes-image-2.1-flash、
    agnes-video-2.5、agnes-video-v2.0
  · agnes-3.0-flash 价目 0.35 / 1.00 → 0 / 0(文档明写当前免费,原值是被划掉的刊例价)
  · 补 agnes-2.5-pro(3/6)、agnes-2.5-pro-beta(0.7/2.1)价目
  · OpenCode 侧无漂移;deepseek-flash / omen-alpha 受保护未删

tests:test_pricing_estimate 改用不在同步范围的 ark-code-latest —— 原来写死
  agnes-3.0-flash 的 0.35/1.00,文档一改价就假红(192 passed / 0 failed)
README:补「模型清单每日同步」一节(用法 / 数据源 / 落盘边界 / 定时)
2026-09-24 11:39:26 +08:00