Dots AI 纳入每日模型清单同步
老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。 这条源和另两家不同:dots 文档页是 **SPA**,正文(模型定价表、上下文窗口、「免费体验」说明) **不在 HTML 里**,而是随前端 JS chunk 发布(实测在 assets/ApiDocsPage-*.js,chunk 名带 hash、 发版就变)→ 抓取走两步发现:文档页 → 主包 index-*.js → ApiDocsPage-*.js → 取该 chunk。 同步三项: - 模型清单:取自定价表行 {model:"…",input:"$…",output:"$…"}(按出现次数全收,加模型不用改代码); - 免费状态:取「免费体验」横幅 —— **它是"当前免费试用"**(原文:恢复收费前会提前告知), 横幅在=free:true、横幅没了=按报价收费 → 落盘改 false(试用结束会在每日报告里现形); - 上下文窗口:正文「…上限为 524,288 Token」。 - **不写定价**:文档报价是 USD/M,网关 pricing 是 ¥/M → 换算要汇率、不能猜,只列在报告里给人看。 健壮性:这条链路最脆(SPA + hash chunk),故**失败不致命** —— main() 单独兜住,失败置空、 跳过 Dots 比对并在报告里写「⚠ 文档抓取失败」,另两家照常;解析不出模型则抛错交给这层兜。 顺带修:_set_free() 幂等 —— 同一条同步说明不重复追加(原先重复应用同一 plan 会把注释滚成 「原注释;说明;说明」;不同日期的说明仍各记一条=变更历史)。 验证: - 干跑(真实配置):三家「无漂移 ✓」,Dots 段带报价行,plan_is_empty → 「无需落盘」; 实测 --apply 也是「无需落盘:网关已与文档一致 ✓」; - 造副本模拟漂移(free=false/context=131072):两处漂移都报出 + 两条落盘动作 → --apply 写盘成功、 回读校验过、复跑无漂移(幂等); - 新增测试「Dots 抓取口径 + 漂移识别 + 落盘幂等」→ 208 → 209 全过。 cron 任务 d83693fc-… 同步更新:名称改为「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」, 提示词加第三家来源 + 「Dots 抓取失败不致命、照实带出来」,并要求带出 Dots 报价行、 「受保护不删」段与视频默认模型标记。
This commit is contained in:
1 parent
15a1c13711
commit
3993df5f4f
3 files changed
+280
-11
No files matched your search
@@ -5634,6 +5634,84 @@ def test_usage_detail_anthropic_cache_fields():
|
||||
assert m._usage_detail(None) == (0, 0, 0, 0)
|
||||
|
||||
|
||||
def test_sync_dots_fetch_report_and_apply():
|
||||
"""第三十七轮:Dots AI 纳入每日同步(老板要求)。
|
||||
|
||||
覆盖三件事:
|
||||
① 抓取口径 —— 模型行取自文档定价表 `{model:"…",input:"$…",output:"$…"}`;
|
||||
`free` 取「免费体验」横幅(**它是免费试用**:横幅没了就该按报价收费);
|
||||
上下文从正文「…上限为 524,288 Token」抓;
|
||||
② 漂移识别 —— free / 上下文两处都要报出来(试用结束会在这里现形);
|
||||
③ 落盘 —— 文本级改值(保住注释)+ 回读校验通过 + 幂等。
|
||||
"""
|
||||
sys.path.insert(0, str(_ROOT / "scripts"))
|
||||
import sync_models as sm
|
||||
|
||||
js = (
|
||||
'const C={rpm:60,tpm:15e5},w={model:"dots3-note-prev",input:"$0.14",output:"$0.28"};'
|
||||
't[15]=e("div",{},[e("p",{},"免费体验"),e("p",{}," 当前免费体验,暂不收费。")]);'
|
||||
'const s="dots3-note-prev 的上下文窗口上限为 524,288 Token(512K),'
|
||||
'输入 Token 数与本参数设置的最大输出 Token 数之和不能超过该上限。";'
|
||||
)
|
||||
orig = sm._dots_doc_text
|
||||
try:
|
||||
# ① 抓取
|
||||
sm._dots_doc_text = lambda: js
|
||||
doc = sm.fetch_dots()
|
||||
assert doc == {"dots3-note-prev": {"name": "dots3-note-prev", "free": True,
|
||||
"input_usd": "$0.14", "output_usd": "$0.28",
|
||||
"context": 524288}}, doc
|
||||
# 横幅消失 = 试用结束 → free 应为 False
|
||||
sm._dots_doc_text = lambda: js.replace("免费体验", "按量计费")
|
||||
assert sm.fetch_dots()["dots3-note-prev"]["free"] is False
|
||||
# 页面结构变了(解析不出模型)→ 抛错,由 main 兜成"跳过 Dots 比对"
|
||||
sm._dots_doc_text = lambda: "nothing here"
|
||||
try:
|
||||
sm.fetch_dots()
|
||||
raise AssertionError("解析不出模型时应抛错")
|
||||
except RuntimeError:
|
||||
pass
|
||||
finally:
|
||||
sm._dots_doc_text = orig
|
||||
|
||||
# ② 漂移识别(合成配置:free/context 都与文档不符)
|
||||
cfg = {"providers": {"dots": {"models": [
|
||||
{"id": "dots3-note-prev", "display_name": "Dots3 Note Prev", "type": "text",
|
||||
"free": False, "protocols": ["chat/completions"], "context_window": 131072}]}},
|
||||
"aliases": {}}
|
||||
report = sm.diff(cfg, {}, {}, None, None, doc)
|
||||
dt = report["dots"]
|
||||
assert dt["fetched"] and dt["free_trial"] is True, dt
|
||||
assert [d["id"] for d in dt["free_drift"]] == ["dots3-note-prev"], dt["free_drift"]
|
||||
assert dt["ctx_drift"] and dt["ctx_drift"][0]["doc_ctx"] == 524288, dt["ctx_drift"]
|
||||
|
||||
# ③ 落盘:文本级插入(保住注释)+ 幂等 + 回读校验过
|
||||
text = (
|
||||
"providers:\n"
|
||||
" dots:\n"
|
||||
" name: \"Dots AI(小红书)\"\n"
|
||||
" models:\n"
|
||||
" - id: \"dots3-note-prev\"\n"
|
||||
" display_name: \"Dots3 Note Prev\"\n"
|
||||
" type: \"text\"\n"
|
||||
" # 官方定价表标「免费体验」,恢复收费前会提前告知\n"
|
||||
" free: false\n"
|
||||
" protocols: [\"chat/completions\"]\n"
|
||||
" context_window: 131072\n"
|
||||
)
|
||||
plan = sm.build_plan(report, cfg, {}, {}, doc)
|
||||
assert plan["dots_free"] == {"dots3-note-prev": True}, plan["dots_free"]
|
||||
assert plan["ctx_set"]["dots3-note-prev"]["context"] == 524288
|
||||
assert not sm.plan_is_empty(plan)
|
||||
out = sm.apply_plan(text, plan, "2026-09-29")
|
||||
assert "free: true" in out, out
|
||||
assert "context_window: 524288" in out, out
|
||||
assert "官方定价表标「免费体验」" in out, "注释必须保住"
|
||||
assert sm.verify(out, cfg, plan) == [], sm.verify(out, cfg, plan)
|
||||
# 幂等:同一份 plan 再跑一次结果不变
|
||||
assert sm.apply_plan(out, plan, "2026-09-29") == out
|
||||
|
||||
|
||||
# 直接运行(非 pytest)—— 必须留在文件末尾,见上方 `test_image_request_goes_to_requested_model`
|
||||
# 之前的旁注:运行器只会收集执行到这一行时已经存在的 globals。
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in new issue
Block a user