Dots AI 纳入每日模型清单同步

老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。

这条源和另两家不同:dots 文档页是 **SPA**,正文(模型定价表、上下文窗口、「免费体验」说明)
**不在 HTML 里**,而是随前端 JS chunk 发布(实测在 assets/ApiDocsPage-*.js,chunk 名带 hash、
发版就变)→ 抓取走两步发现:文档页 → 主包 index-*.js → ApiDocsPage-*.js → 取该 chunk。

同步三项:
- 模型清单:取自定价表行 {model:"…",input:"$…",output:"$…"}(按出现次数全收,加模型不用改代码);
- 免费状态:取「免费体验」横幅 —— **它是"当前免费试用"**(原文:恢复收费前会提前告知),
  横幅在=free:true、横幅没了=按报价收费 → 落盘改 false(试用结束会在每日报告里现形);
- 上下文窗口:正文「…上限为 524,288 Token」。
- **不写定价**:文档报价是 USD/M,网关 pricing 是 ¥/M → 换算要汇率、不能猜,只列在报告里给人看。

健壮性:这条链路最脆(SPA + hash chunk),故**失败不致命** —— main() 单独兜住,失败置空、
跳过 Dots 比对并在报告里写「⚠ 文档抓取失败」,另两家照常;解析不出模型则抛错交给这层兜。

顺带修:_set_free() 幂等 —— 同一条同步说明不重复追加(原先重复应用同一 plan 会把注释滚成
「原注释;说明;说明」;不同日期的说明仍各记一条=变更历史)。

验证:
- 干跑(真实配置):三家「无漂移 ✓」,Dots 段带报价行,plan_is_empty → 「无需落盘」;
  实测 --apply 也是「无需落盘:网关已与文档一致 ✓」;
- 造副本模拟漂移(free=false/context=131072):两处漂移都报出 + 两条落盘动作 → --apply 写盘成功、
  回读校验过、复跑无漂移(幂等);
- 新增测试「Dots 抓取口径 + 漂移识别 + 落盘幂等」→ 208 → 209 全过。

cron 任务 d83693fc-… 同步更新:名称改为「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」,
提示词加第三家来源 + 「Dots 抓取失败不致命、照实带出来」,并要求带出 Dots 报价行、
「受保护不删」段与视频默认模型标记。
This commit is contained in:
api-gateway committed 2026-09-29 10:00:30 +08:00
1 parent da1e152196
commit ce7b1c9bdd
3 files changed
+280 -11

No files matched your search

+78
View File
@@ -5634,6 +5634,84 @@ def test_usage_detail_anthropic_cache_fields():
assert m._usage_detail(None) == (0, 0, 0, 0)
def test_sync_dots_fetch_report_and_apply():
"""第三十七轮:Dots AI 纳入每日同步(老板要求)。
覆盖三件事:
① 抓取口径 —— 模型行取自文档定价表 `{model:"…",input:"$…",output:"$…"}`;
`free` 取「免费体验」横幅(**它是免费试用**:横幅没了就该按报价收费);
上下文从正文「…上限为 524,288 Token」抓;
② 漂移识别 —— free / 上下文两处都要报出来(试用结束会在这里现形);
③ 落盘 —— 文本级改值(保住注释)+ 回读校验通过 + 幂等。
"""
sys.path.insert(0, str(_ROOT / "scripts"))
import sync_models as sm
js = (
'const C={rpm:60,tpm:15e5},w={model:"dots3-note-prev",input:"$0.14",output:"$0.28"};'
't[15]=e("div",{},[e("p",{},"免费体验"),e("p",{}," 当前免费体验,暂不收费。")]);'
'const s="dots3-note-prev 的上下文窗口上限为 524,288 Token(512K),'
'输入 Token 数与本参数设置的最大输出 Token 数之和不能超过该上限。";'
)
orig = sm._dots_doc_text
try:
# ① 抓取
sm._dots_doc_text = lambda: js
doc = sm.fetch_dots()
assert doc == {"dots3-note-prev": {"name": "dots3-note-prev", "free": True,
"input_usd": "$0.14", "output_usd": "$0.28",
"context": 524288}}, doc
# 横幅消失 = 试用结束 → free 应为 False
sm._dots_doc_text = lambda: js.replace("免费体验", "按量计费")
assert sm.fetch_dots()["dots3-note-prev"]["free"] is False
# 页面结构变了(解析不出模型)→ 抛错,由 main 兜成"跳过 Dots 比对"
sm._dots_doc_text = lambda: "nothing here"
try:
sm.fetch_dots()
raise AssertionError("解析不出模型时应抛错")
except RuntimeError:
pass
finally:
sm._dots_doc_text = orig
# ② 漂移识别(合成配置:free/context 都与文档不符)
cfg = {"providers": {"dots": {"models": [
{"id": "dots3-note-prev", "display_name": "Dots3 Note Prev", "type": "text",
"free": False, "protocols": ["chat/completions"], "context_window": 131072}]}},
"aliases": {}}
report = sm.diff(cfg, {}, {}, None, None, doc)
dt = report["dots"]
assert dt["fetched"] and dt["free_trial"] is True, dt
assert [d["id"] for d in dt["free_drift"]] == ["dots3-note-prev"], dt["free_drift"]
assert dt["ctx_drift"] and dt["ctx_drift"][0]["doc_ctx"] == 524288, dt["ctx_drift"]
# ③ 落盘:文本级插入(保住注释)+ 幂等 + 回读校验过
text = (
"providers:\n"
" dots:\n"
" name: \"Dots AI(小红书)\"\n"
" models:\n"
" - id: \"dots3-note-prev\"\n"
" display_name: \"Dots3 Note Prev\"\n"
" type: \"text\"\n"
" # 官方定价表标「免费体验」,恢复收费前会提前告知\n"
" free: false\n"
" protocols: [\"chat/completions\"]\n"
" context_window: 131072\n"
)
plan = sm.build_plan(report, cfg, {}, {}, doc)
assert plan["dots_free"] == {"dots3-note-prev": True}, plan["dots_free"]
assert plan["ctx_set"]["dots3-note-prev"]["context"] == 524288
assert not sm.plan_is_empty(plan)
out = sm.apply_plan(text, plan, "2026-09-29")
assert "free: true" in out, out
assert "context_window: 524288" in out, out
assert "官方定价表标「免费体验」" in out, "注释必须保住"
assert sm.verify(out, cfg, plan) == [], sm.verify(out, cfg, plan)
# 幂等:同一份 plan 再跑一次结果不变
assert sm.apply_plan(out, plan, "2026-09-29") == out
# 直接运行(非 pytest)—— 必须留在文件末尾,见上方 `test_image_request_goes_to_requested_model`
# 之前的旁注:运行器只会收集执行到这一行时已经存在的 globals。
if __name__ == "__main__":