Dots AI 纳入每日模型清单同步
老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。 这条源和另两家不同:dots 文档页是 **SPA**,正文(模型定价表、上下文窗口、「免费体验」说明) **不在 HTML 里**,而是随前端 JS chunk 发布(实测在 assets/ApiDocsPage-*.js,chunk 名带 hash、 发版就变)→ 抓取走两步发现:文档页 → 主包 index-*.js → ApiDocsPage-*.js → 取该 chunk。 同步三项: - 模型清单:取自定价表行 {model:"…",input:"$…",output:"$…"}(按出现次数全收,加模型不用改代码); - 免费状态:取「免费体验」横幅 —— **它是"当前免费试用"**(原文:恢复收费前会提前告知), 横幅在=free:true、横幅没了=按报价收费 → 落盘改 false(试用结束会在每日报告里现形); - 上下文窗口:正文「…上限为 524,288 Token」。 - **不写定价**:文档报价是 USD/M,网关 pricing 是 ¥/M → 换算要汇率、不能猜,只列在报告里给人看。 健壮性:这条链路最脆(SPA + hash chunk),故**失败不致命** —— main() 单独兜住,失败置空、 跳过 Dots 比对并在报告里写「⚠ 文档抓取失败」,另两家照常;解析不出模型则抛错交给这层兜。 顺带修:_set_free() 幂等 —— 同一条同步说明不重复追加(原先重复应用同一 plan 会把注释滚成 「原注释;说明;说明」;不同日期的说明仍各记一条=变更历史)。 验证: - 干跑(真实配置):三家「无漂移 ✓」,Dots 段带报价行,plan_is_empty → 「无需落盘」; 实测 --apply 也是「无需落盘:网关已与文档一致 ✓」; - 造副本模拟漂移(free=false/context=131072):两处漂移都报出 + 两条落盘动作 → --apply 写盘成功、 回读校验过、复跑无漂移(幂等); - 新增测试「Dots 抓取口径 + 漂移识别 + 落盘幂等」→ 208 → 209 全过。 cron 任务 d83693fc-… 同步更新:名称改为「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」, 提示词加第三家来源 + 「Dots 抓取失败不致命、照实带出来」,并要求带出 Dots 报价行、 「受保护不删」段与视频默认模型标记。
This commit is contained in:
1 parent
da1e152196
commit
ce7b1c9bdd
3 files changed
+279
-10
No files matched your search
@@ -1,5 +1,43 @@
|
|||||||
# CHANGELOG
|
# CHANGELOG
|
||||||
|
|
||||||
|
## 2026-09-29 · Dots AI 纳入每日模型清单同步
|
||||||
|
|
||||||
|
老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。
|
||||||
|
|
||||||
|
**这条源和另两家不一样**:dots 的文档页是 **SPA** —— 正文(模型定价表、上下文窗口、
|
||||||
|
「免费体验」说明)**不在 HTML 里**,而是随前端 JS chunk 发布的(实测正文在
|
||||||
|
`assets/ApiDocsPage-*.js`,chunk 名带内容 hash、每次发版都变)。所以抓取走**两步发现**:
|
||||||
|
`GET /platform/docs` → 找主包 `assets/index-*.js` → 在主包里找 `ApiDocsPage-*.js` → 取该 chunk。
|
||||||
|
|
||||||
|
**同步三项**:
|
||||||
|
- **模型清单**:取自定价表行 `{model:"dots3-note-prev",input:"$0.14",output:"$0.28"}`
|
||||||
|
(按出现次数全收,以后加模型不用改代码);
|
||||||
|
- **免费状态**:取文档「免费体验」横幅 —— 注意**它是"当前免费试用"**(原文:当前免费体验,
|
||||||
|
暂不收费,恢复收费前会提前告知)。横幅在 = `free: true`;横幅没了 = 按报价收费 → 落盘改成 false,
|
||||||
|
**试用结束会在每日报告里现形**;
|
||||||
|
- **上下文窗口**:正文「…的上下文窗口上限为 524,288 Token(512K)」。
|
||||||
|
- **不写定价**:文档报价是 **USD/M**,而网关 `pricing.per_model` 是 **¥/M**(Agnes 那套口径)——
|
||||||
|
换算要汇率、不能猜,所以只把报价列在报告里("仅展示、不写入 pricing")。
|
||||||
|
|
||||||
|
**健壮性选择**:这条链路最脆(SPA + hash 命名的 chunk),因此**抓取失败不致命** ——
|
||||||
|
`main()` 里单独兜住,失败时置空、跳过 Dots 比对,并在报告里明写「⚠ 文档抓取失败」,
|
||||||
|
另两家(OpenCode / Agnes)照常同步;解析不出任何模型则抛错交给这层兜。
|
||||||
|
|
||||||
|
**顺带修**:`_set_free()` 改成幂等 —— 同一条同步说明不重复追加(原先重复应用同一份 plan 会把
|
||||||
|
注释滚成「原注释;说明;说明」;不同日期的说明仍各记一条 = 变更历史)。
|
||||||
|
|
||||||
|
**验证**:
|
||||||
|
- 干跑(真实配置):三家都「无漂移 ✓」,Dots 段带出报价行;`plan_is_empty` → 「无需落盘」;
|
||||||
|
- 造副本模拟漂移(free=false、context=131072):两处漂移都报出来 + 落盘计划两条 →
|
||||||
|
`--apply` 写盘成功、回读校验过、复跑「无漂移」(幂等);
|
||||||
|
- 测试新增「Dots 抓取口径 + 漂移识别 + 落盘幂等」一条 → **209 全过**。
|
||||||
|
|
||||||
|
**cron 任务同步更新**:`d83693fc-…`(每天 08:00 Asia/Shanghai)名称改为
|
||||||
|
「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」,提示词加第三家来源 +
|
||||||
|
说明「Dots 抓取失败不致命、照实带出来」,并要求把 Dots 段的报价行、「受保护不删」段、
|
||||||
|
视频默认模型标记一并带出。
|
||||||
|
|
||||||
|
|
||||||
## 2026-09-28 · 接入 Dots AI(小红书)+ 新增 `api-key` 鉴权样式
|
## 2026-09-28 · 接入 Dots AI(小红书)+ 新增 `api-key` 鉴权样式
|
||||||
|
|
||||||
老板要求:「查看 https://dots.ai/platform/docs 文档,帮我在 ai 网关上配置 dots.ai 的供应商」
|
老板要求:「查看 https://dots.ai/platform/docs 文档,帮我在 ai 网关上配置 dots.ai 的供应商」
|
||||||
|
|||||||
+163
-10
@@ -5,6 +5,7 @@
|
|||||||
(老板 2026-09-24 定:文档新增的加进去、下线的删掉、参数变了就更新,网关要和文档同步。)
|
(老板 2026-09-24 定:文档新增的加进去、下线的删掉、参数变了就更新,网关要和文档同步。)
|
||||||
|
|
||||||
数据源(都是官方页面,没有第三方):
|
数据源(都是官方页面,没有第三方):
|
||||||
|
· Dots AI https://dots.ai/platform/docs(第三十七轮纳入;SPA,正文在 JS chunk 里)
|
||||||
· OpenCode Go https://opencode.ai/v2/docs/console/go/
|
· OpenCode Go https://opencode.ai/v2/docs/console/go/
|
||||||
末尾 `## Endpoints` 表 → 模型 id + 官方协议线(chat/completions | messages | responses)
|
末尾 `## Endpoints` 表 → 模型 id + 官方协议线(chat/completions | messages | responses)
|
||||||
价格表 → 免费模型识别(全 Free 的那些)
|
价格表 → 免费模型识别(全 Free 的那些)
|
||||||
@@ -53,7 +54,7 @@ AGNES_PRICING_URL = "https://www.agnes-ai.cn/zh-Hans/docs/pricing.md"
|
|||||||
AGNES_SECTION_TYPE = {"文本模型": "text", "图片模型": "image", "视频模型": "video"}
|
AGNES_SECTION_TYPE = {"文本模型": "text", "图片模型": "image", "视频模型": "video"}
|
||||||
|
|
||||||
# 同步的两个供应商 → 各自「文档里的模型清单」从哪来
|
# 同步的两个供应商 → 各自「文档里的模型清单」从哪来
|
||||||
SYNC_PROVIDERS = ("opencode", "agnes")
|
SYNC_PROVIDERS = ("opencode", "agnes", "dots")
|
||||||
|
|
||||||
# 永不自动删的名单:官方文档表**收录滞后**,实测上游还在服务的模型。
|
# 永不自动删的名单:官方文档表**收录滞后**,实测上游还在服务的模型。
|
||||||
# 删了 = 白丢一个能用的模型,所以列在这里;每次报告都会点名,要删说一声就删。
|
# 删了 = 白丢一个能用的模型,所以列在这里;每次报告都会点名,要删说一声就删。
|
||||||
@@ -309,6 +310,58 @@ def fetch_agnes_context() -> dict[str, dict]:
|
|||||||
|
|
||||||
|
|
||||||
# ── 比对 ───────────────────────────────────────────────────────
|
# ── 比对 ───────────────────────────────────────────────────────
|
||||||
|
# ── Dots AI(第三十七轮,老板要求纳入每日同步)──────────────────────
|
||||||
|
DOTS_DOCS_URL = "https://dots.ai/platform/docs"
|
||||||
|
|
||||||
|
|
||||||
|
def _dots_doc_text() -> str:
|
||||||
|
"""取 Dots 文档正文(两步发现)。
|
||||||
|
|
||||||
|
坑:`/platform/docs` 是 SPA —— **正文不在 HTML 里**。实测模型定价表、上下文窗口、
|
||||||
|
「免费体验」说明都是**随前端 JS chunk 一起发布**的。所以:
|
||||||
|
① GET 文档页 → 找主包 `assets/index-*.js`
|
||||||
|
② GET 主包 → 找文档页自己的 chunk `assets/ApiDocsPage-*.js`
|
||||||
|
(名字带内容 hash,每次发版都变 → **不能写死**)
|
||||||
|
"""
|
||||||
|
html = _get(DOTS_DOCS_URL)
|
||||||
|
m = re.search(r"/platform/assets/(index-[A-Za-z0-9_.-]+\.js)", html)
|
||||||
|
if not m:
|
||||||
|
raise RuntimeError("文档页里没找到主包(页面结构可能变了)")
|
||||||
|
main_js = _get(f"https://dots.ai/platform/assets/{m.group(1)}")
|
||||||
|
m2 = re.search(r"assets/(ApiDocsPage-[A-Za-z0-9_.-]+\.js)", main_js)
|
||||||
|
if not m2:
|
||||||
|
raise RuntimeError("主包里没找到文档页 chunk(构建产物结构可能变了)")
|
||||||
|
return _get(f"https://dots.ai/platform/assets/{m2.group(1)}")
|
||||||
|
|
||||||
|
|
||||||
|
def fetch_dots() -> dict[str, dict]:
|
||||||
|
"""抓 Dots 的模型清单(口径与 Agnes 一致:以文档里的**模型定价表**为准)。
|
||||||
|
|
||||||
|
· 模型行形如 `model:"dots3-note-prev",input:"$0.14",output:"$0.28"`(目前只一个模型);
|
||||||
|
按出现次数全收,将来加模型也不用改代码。
|
||||||
|
· `free` 取文档的「免费体验」横幅 —— **注意它是"当前免费试用"**(原文:「当前免费体验,
|
||||||
|
暂不收费。恢复收费前将通过官网及 API 页面提前告知」):横幅在 = 免费;
|
||||||
|
横幅没了 = 按表上报价收费 → 同步会把 free 改成 false(这正是要盯的漂移)。
|
||||||
|
· **不写定价**:文档给的是 **USD**(`$0.14/$0.28`),而网关 `pricing.per_model` 是
|
||||||
|
**人民币 ¥/M**(Agnes 那套口径)—— 换算要汇率,不能猜;报价只放进报告里给人看。
|
||||||
|
· 上下文窗口从正文抓:`<id> 的上下文窗口上限为 524,288 Token(512K)`。
|
||||||
|
"""
|
||||||
|
js = _dots_doc_text()
|
||||||
|
free_now = "免费体验" in js
|
||||||
|
out: dict[str, dict] = {}
|
||||||
|
for mid, inp, outp in re.findall(
|
||||||
|
r'model:\s*"([^"]+)"\s*,\s*input:\s*"([^"]*)"\s*,\s*output:\s*"([^"]*)"', js):
|
||||||
|
out[mid] = {"name": mid, "free": free_now, "input_usd": inp, "output_usd": outp}
|
||||||
|
for m in re.finditer(
|
||||||
|
r"([A-Za-z0-9][A-Za-z0-9._-]*)\s*的上下文窗口上限为\s*([\d,]+)\s*Token", js):
|
||||||
|
mid = m.group(1)
|
||||||
|
if mid in out:
|
||||||
|
out[mid]["context"] = int(m.group(2).replace(",", ""))
|
||||||
|
if not out:
|
||||||
|
raise RuntimeError("文档里没解析出任何模型(页面结构可能变了)")
|
||||||
|
return out
|
||||||
|
|
||||||
|
|
||||||
def _references(cfg: dict) -> dict[str, str]:
|
def _references(cfg: dict) -> dict[str, str]:
|
||||||
"""被别名 / media 指向的模型 id → 引用原因。删这些会直接打断功能,故永不自动删。"""
|
"""被别名 / media 指向的模型 id → 引用原因。删这些会直接打断功能,故永不自动删。"""
|
||||||
refs: dict[str, str] = {}
|
refs: dict[str, str] = {}
|
||||||
@@ -353,7 +406,8 @@ def _split_removed(prov: str, cur: dict, doc: dict, refs: dict) -> tuple[list[st
|
|||||||
|
|
||||||
def diff(cfg: dict, oc_doc: dict, agnes_doc: dict,
|
def diff(cfg: dict, oc_doc: dict, agnes_doc: dict,
|
||||||
md_dev: dict[str, dict] | None = None,
|
md_dev: dict[str, dict] | None = None,
|
||||||
ag_ctx: dict[str, dict] | None = None) -> dict:
|
ag_ctx: dict[str, dict] | None = None,
|
||||||
|
dots_doc: dict[str, dict] | None = None) -> dict:
|
||||||
providers = cfg.get("providers", {})
|
providers = cfg.get("providers", {})
|
||||||
pricing = (cfg.get("pricing") or {}).get("per_model") or {}
|
pricing = (cfg.get("pricing") or {}).get("per_model") or {}
|
||||||
refs = _references(cfg)
|
refs = _references(cfg)
|
||||||
@@ -439,6 +493,38 @@ def diff(cfg: dict, oc_doc: dict, agnes_doc: dict,
|
|||||||
if mid in ag_cur and _cfg_free_state(ag_cur[mid]) != meta["free"]]
|
if mid in ag_cur and _cfg_free_state(ag_cur[mid]) != meta["free"]]
|
||||||
vid_cfg = ((providers.get("agnes") or {}).get("media") or {}).get("video_model_name")
|
vid_cfg = ((providers.get("agnes") or {}).get("media") or {}).get("video_model_name")
|
||||||
report["agnes"]["free_drift"] = ag_free_drift
|
report["agnes"]["free_drift"] = ag_free_drift
|
||||||
|
|
||||||
|
# Dots AI(第三十七轮):模型清单 / 免费试用状态 / 上下文窗口三项。
|
||||||
|
# 抓取失败(dots_doc 为 None)时留空 —— 不当成漂移,只在报告里说明。
|
||||||
|
dots_doc = dots_doc or {}
|
||||||
|
dots_cur = {m["id"]: m for m in providers.get("dots", {}).get("models", [])}
|
||||||
|
dots_drop, dots_keep = _split_removed("dots", dots_cur, dots_doc, refs)
|
||||||
|
dots_free_drift = [{"id": mid, "doc_free": bool(meta["free"]),
|
||||||
|
"cfg_free": bool(dots_cur[mid].get("free"))}
|
||||||
|
for mid, meta in sorted(dots_doc.items())
|
||||||
|
if mid in dots_cur and bool(meta["free"]) != bool(dots_cur[mid].get("free"))]
|
||||||
|
dots_ctx_drift = []
|
||||||
|
for mid, meta in sorted(dots_doc.items()):
|
||||||
|
m = dots_cur.get(mid)
|
||||||
|
if not m or not meta.get("context"):
|
||||||
|
continue
|
||||||
|
have_ctx = int(m.get("context_window") or 0)
|
||||||
|
if have_ctx != meta["context"]:
|
||||||
|
# 官方没给「最大输出」上限 → 保持网关现值,只比上下文
|
||||||
|
have_out = int(m.get("max_output_tokens") or 0)
|
||||||
|
dots_ctx_drift.append({"id": mid, "cfg_ctx": have_ctx, "doc_ctx": meta["context"],
|
||||||
|
"cfg_out": have_out, "doc_out": have_out})
|
||||||
|
report["dots"] = {
|
||||||
|
"doc_count": len(dots_doc), "cfg_count": len(dots_cur),
|
||||||
|
"fetched": bool(dots_doc),
|
||||||
|
"free_trial": any(v.get("free") for v in dots_doc.values()),
|
||||||
|
"usd_price": {k: f"{v.get('input_usd')}/{v.get('output_usd')}"
|
||||||
|
for k, v in sorted(dots_doc.items())},
|
||||||
|
"added": [{"id": k, "name": v["name"], "free": v["free"]} for k, v in sorted(dots_doc.items())
|
||||||
|
if k not in dots_cur],
|
||||||
|
"removed": dots_drop, "protected": dots_keep,
|
||||||
|
"free_drift": dots_free_drift, "ctx_drift": dots_ctx_drift,
|
||||||
|
}
|
||||||
report["agnes"]["video_default"] = {
|
report["agnes"]["video_default"] = {
|
||||||
"cfg": vid_cfg,
|
"cfg": vid_cfg,
|
||||||
"in_doc": bool(vid_cfg) and vid_cfg in agnes_doc,
|
"in_doc": bool(vid_cfg) and vid_cfg in agnes_doc,
|
||||||
@@ -515,6 +601,38 @@ def render(report: dict) -> str:
|
|||||||
" ← 换默认由老板点模型名,改一行配置(不自动挑)")
|
" ← 换默认由老板点模型名,改一行配置(不自动挑)")
|
||||||
if not (any(ag[k] for k in ("added", "removed", "free_drift")) or real_drift):
|
if not (any(ag[k] for k in ("added", "removed", "free_drift")) or real_drift):
|
||||||
lines.append(" 无漂移 ✓")
|
lines.append(" 无漂移 ✓")
|
||||||
|
|
||||||
|
lines.append("")
|
||||||
|
dt = report["dots"]
|
||||||
|
if not dt.get("fetched"):
|
||||||
|
lines.append("== Dots AI == ⚠ 文档抓取失败(SPA 正文在 JS chunk 里,结构可能变了)"
|
||||||
|
"→ 本次跳过 Dots 的比对")
|
||||||
|
else:
|
||||||
|
lines.append(f"== Dots AI == 文档 {dt['doc_count']} 个 / 网关 {dt['cfg_count']} 个"
|
||||||
|
+ (" (文档标「免费体验」= 当前免费试用)" if dt.get("free_trial") else ""))
|
||||||
|
if dt["added"]:
|
||||||
|
lines.append(" 新增(文档有、网关没有)→ 落盘补进配置:")
|
||||||
|
lines += [f" + {m['id']}" for m in dt["added"]]
|
||||||
|
if dt["removed"]:
|
||||||
|
lines.append(" 下线(文档已不收录)→ 落盘删除:")
|
||||||
|
lines += [f" - {m}" for m in dt["removed"]]
|
||||||
|
if dt.get("protected"):
|
||||||
|
lines.append(" 文档未收录但**受保护不删**(要删请说一声):")
|
||||||
|
lines += [f" · {m} —— {why}" for m, why in dt["protected"].items()]
|
||||||
|
if dt.get("free_drift"):
|
||||||
|
lines.append(" 免费状态漂移 → 落盘更新(试用结束会在这里现形):")
|
||||||
|
lines += [f" ~ {d['id']} 文档={'免费试用' if d['doc_free'] else '按报价收费'}"
|
||||||
|
f" 网关={'免费' if d['cfg_free'] else '收费'}" for d in dt["free_drift"]]
|
||||||
|
if dt.get("ctx_drift"):
|
||||||
|
lines.append(" 上下文窗口漂移(文档正文 vs 网关)→ 落盘更新:")
|
||||||
|
lines += [f" ~ {d['id']} 网关={d['cfg_ctx']:,} 文档={d['doc_ctx']:,}"
|
||||||
|
for d in dt["ctx_drift"]]
|
||||||
|
if dt.get("usd_price"):
|
||||||
|
# 文档报价是 USD,网关 pricing 是 ¥/M → 不自动换算(要汇率、不能猜),只列出来给人看
|
||||||
|
lines.append(" 文档报价(USD/M,仅展示、不写入 pricing):"
|
||||||
|
+ "、".join(f"{k} {v}" for k, v in dt["usd_price"].items()))
|
||||||
|
if not any(dt[k] for k in ("added", "removed", "free_drift", "ctx_drift")):
|
||||||
|
lines.append(" 无漂移 ✓")
|
||||||
return "\n".join(lines)
|
return "\n".join(lines)
|
||||||
|
|
||||||
|
|
||||||
@@ -680,11 +798,16 @@ def _add_protocol(seg: list[str], proto: str, date: str) -> list[str]:
|
|||||||
|
|
||||||
|
|
||||||
def _set_free(seg: list[str], want: bool, date: str) -> list[str]:
|
def _set_free(seg: list[str], want: bool, date: str) -> list[str]:
|
||||||
"""更新免费标记(文档价格表说全 Free 的模型)。原注释保留,只追加同步说明。"""
|
"""更新免费标记(文档价格表说全 Free 的模型)。原注释保留,只追加同步说明。
|
||||||
|
|
||||||
|
幂等(第三十七轮补):**同一条说明不重复追加** —— 否则同一份 plan 重复应用会把
|
||||||
|
注释滚成「原注释;说明;说明」。不同日期的说明仍会各记一条(那是变更历史,要留)。
|
||||||
|
"""
|
||||||
note = f"{date} 自动同步:文档价格表{'标 Free' if want else '已不标 Free'}"
|
note = f"{date} 自动同步:文档价格表{'标 Free' if want else '已不标 Free'}"
|
||||||
for i, ln in enumerate(seg):
|
for i, ln in enumerate(seg):
|
||||||
if re.match(r"^\s*free:\s*", ln):
|
if re.match(r"^\s*free:\s*", ln):
|
||||||
comment = ln.split("#", 1)[1].strip() if "#" in ln else ""
|
comment = ln.split("#", 1)[1].strip() if "#" in ln else ""
|
||||||
|
if note not in comment:
|
||||||
comment = f"{comment};{note}" if comment else note
|
comment = f"{comment};{note}" if comment else note
|
||||||
return seg[:i] + [f" free: {'true' if want else 'false'} # {comment}\n"] + seg[i + 1:]
|
return seg[:i] + [f" free: {'true' if want else 'false'} # {comment}\n"] + seg[i + 1:]
|
||||||
if want:
|
if want:
|
||||||
@@ -753,12 +876,14 @@ def _set_agnes_free(seg: list[str], want: object, date: str) -> list[str]:
|
|||||||
return out
|
return out
|
||||||
|
|
||||||
|
|
||||||
def build_plan(report: dict, cfg: dict, oc_doc: dict, agnes_doc: dict) -> dict:
|
def build_plan(report: dict, cfg: dict, oc_doc: dict, agnes_doc: dict,
|
||||||
|
dots_doc: dict | None = None) -> dict:
|
||||||
"""把报告翻成可执行动作(纯计算,不碰磁盘)。"""
|
"""把报告翻成可执行动作(纯计算,不碰磁盘)。"""
|
||||||
docs = {"opencode": oc_doc, "agnes": agnes_doc}
|
docs = {"opencode": oc_doc, "agnes": agnes_doc}
|
||||||
pricing = (cfg.get("pricing") or {}).get("per_model") or {}
|
pricing = (cfg.get("pricing") or {}).get("per_model") or {}
|
||||||
plan: dict = {"add": {}, "remove": {}, "price_set": {}, "price_add": {},
|
plan: dict = {"add": {}, "remove": {}, "price_set": {}, "price_add": {},
|
||||||
"proto_add": {}, "free_set": {}, "agnes_free": {}, "ctx_set": {}}
|
"proto_add": {}, "free_set": {}, "agnes_free": {}, "ctx_set": {},
|
||||||
|
"dots_free": {}}
|
||||||
for prov in SYNC_PROVIDERS:
|
for prov in SYNC_PROVIDERS:
|
||||||
plan["add"][prov] = {m["id"]: m for m in report[prov]["added"]}
|
plan["add"][prov] = {m["id"]: m for m in report[prov]["added"]}
|
||||||
plan["remove"][prov] = list(report[prov]["removed"])
|
plan["remove"][prov] = list(report[prov]["removed"])
|
||||||
@@ -767,8 +892,11 @@ def build_plan(report: dict, cfg: dict, oc_doc: dict, agnes_doc: dict) -> dict:
|
|||||||
# Agnes 的免费标注(True / "limited" / None)单独一条 plan,走 _set_agnes_free
|
# Agnes 的免费标注(True / "limited" / None)单独一条 plan,走 _set_agnes_free
|
||||||
plan["agnes_free"] = {d["id"]: d["doc"] for d in report["agnes"]["free_drift"]}
|
plan["agnes_free"] = {d["id"]: d["doc"] for d in report["agnes"]["free_drift"]}
|
||||||
# 第三十三轮: 上下文窗口 / 最大输出(models.dev + Agnes 文档)→ 块内改值
|
# 第三十三轮: 上下文窗口 / 最大输出(models.dev + Agnes 文档)→ 块内改值
|
||||||
|
# Dots 的免费标记(布尔):试用结束 / 恢复免费都在这里落到配置
|
||||||
|
plan["dots_free"] = {d["id"]: d["doc_free"] for d in (report.get("dots") or {}).get("free_drift", [])}
|
||||||
plan["ctx_set"] = {d["id"]: {"context": d["doc_ctx"], "output": d["doc_out"]}
|
plan["ctx_set"] = {d["id"]: {"context": d["doc_ctx"], "output": d["doc_out"]}
|
||||||
for d in report["opencode"]["ctx_drift"] + report["agnes"]["ctx_drift"]}
|
for d in (report["opencode"]["ctx_drift"] + report["agnes"]["ctx_drift"]
|
||||||
|
+ (report.get("dots") or {}).get("ctx_drift", []))}
|
||||||
for mid, meta in sorted(agnes_doc.items()):
|
for mid, meta in sorted(agnes_doc.items()):
|
||||||
if meta["input"] is None: # 图片/视频模型文档没给单价
|
if meta["input"] is None: # 图片/视频模型文档没给单价
|
||||||
continue
|
continue
|
||||||
@@ -794,7 +922,7 @@ def plan_is_empty(plan: dict) -> bool:
|
|||||||
return False
|
return False
|
||||||
return not any(plan.get(k) for k in
|
return not any(plan.get(k) for k in
|
||||||
("price_set", "price_add", "proto_add", "free_set", "agnes_free",
|
("price_set", "price_add", "proto_add", "free_set", "agnes_free",
|
||||||
"ctx_set"))
|
"ctx_set", "dots_free"))
|
||||||
|
|
||||||
|
|
||||||
def render_plan(plan: dict, date: str) -> str:
|
def render_plan(plan: dict, date: str) -> str:
|
||||||
@@ -811,6 +939,8 @@ def render_plan(plan: dict, date: str) -> str:
|
|||||||
_flabel = {True: "免费", "limited": "限时免费", None: "撤掉标注"}
|
_flabel = {True: "免费", "limited": "限时免费", None: "撤掉标注"}
|
||||||
for mid, want in sorted(plan.get("agnes_free", {}).items()):
|
for mid, want in sorted(plan.get("agnes_free", {}).items()):
|
||||||
lines.append(f" 免费标注 agnes/{mid} → {_flabel.get(want, want)}")
|
lines.append(f" 免费标注 agnes/{mid} → {_flabel.get(want, want)}")
|
||||||
|
for mid, want in sorted(plan.get("dots_free", {}).items()):
|
||||||
|
lines.append(f" 免费标记 dots/{mid} → {'免费试用' if want else '按报价收费'}")
|
||||||
for mid, spec in sorted(plan.get("ctx_set", {}).items()):
|
for mid, spec in sorted(plan.get("ctx_set", {}).items()):
|
||||||
lines.append(f" 上下文 {mid} → {spec['context']:,} 输入 / {spec['output']:,} 输出")
|
lines.append(f" 上下文 {mid} → {spec['context']:,} 输入 / {spec['output']:,} 输出")
|
||||||
for mid, spec in sorted(plan["price_set"].items()):
|
for mid, spec in sorted(plan["price_set"].items()):
|
||||||
@@ -879,6 +1009,16 @@ def apply_plan(text: str, plan: dict, date: str) -> str:
|
|||||||
s, e = blocks[mid]
|
s, e = blocks[mid]
|
||||||
lines[s:e] = _set_agnes_free(lines[s:e], plan["agnes_free"][mid], date)
|
lines[s:e] = _set_agnes_free(lines[s:e], plan["agnes_free"][mid], date)
|
||||||
|
|
||||||
|
# 3d) Dots 的免费标记(布尔 True/False,第三十七轮)——与 3b 同一套倒序处理。
|
||||||
|
# `free: true` 是「免费试用」;试用结束文档横幅会消失 → 这里把它落成 false。
|
||||||
|
if plan.get("dots_free"):
|
||||||
|
blocks = _find_model_blocks(lines, "dots")
|
||||||
|
for mid in sorted(plan["dots_free"], key=lambda m: blocks.get(m, (0, 0))[0], reverse=True):
|
||||||
|
if mid not in blocks:
|
||||||
|
continue
|
||||||
|
s0, e0 = blocks[mid]
|
||||||
|
lines[s0:e0] = _set_free(lines[s0:e0], plan["dots_free"][mid], date)
|
||||||
|
|
||||||
# 3c) 上下文窗口 / 最大输出(第三十三轮)——同一套倒序处理,字段插在块的 type: 之后。
|
# 3c) 上下文窗口 / 最大输出(第三十三轮)——同一套倒序处理,字段插在块的 type: 之后。
|
||||||
if plan.get("ctx_set"):
|
if plan.get("ctx_set"):
|
||||||
for prov in SYNC_PROVIDERS:
|
for prov in SYNC_PROVIDERS:
|
||||||
@@ -965,7 +1105,11 @@ def verify(new_text: str, cfg_before: dict, plan: dict) -> list[str]:
|
|||||||
# Agnes 的免费标注:True(免费)/ "limited"(限时免费)/ None(该没有标注)
|
# Agnes 的免费标注:True(免费)/ "limited"(限时免费)/ None(该没有标注)
|
||||||
ag2 = {m["id"]: m for m in (cfg2.get("providers", {}).get("agnes") or {}).get("models", [])}
|
ag2 = {m["id"]: m for m in (cfg2.get("providers", {}).get("agnes") or {}).get("models", [])}
|
||||||
# 第三十三轮: 上下文窗口 / 最大输出真写进去了
|
# 第三十三轮: 上下文窗口 / 最大输出真写进去了
|
||||||
for prov, table in (("opencode", oc2), ("agnes", ag2)):
|
dots2 = {m["id"]: m for m in (cfg2.get("providers", {}).get("dots") or {}).get("models", [])}
|
||||||
|
for mid, want in plan.get("dots_free", {}).items():
|
||||||
|
if bool(dots2.get(mid, {}).get("free")) != bool(want):
|
||||||
|
problems.append(f"免费标记 dots/{mid} 没改成 {want}")
|
||||||
|
for prov, table in (("opencode", oc2), ("agnes", ag2), ("dots", dots2)):
|
||||||
for mid, spec in plan.get("ctx_set", {}).items():
|
for mid, spec in plan.get("ctx_set", {}).items():
|
||||||
m = table.get(mid)
|
m = table.get(mid)
|
||||||
if m is None:
|
if m is None:
|
||||||
@@ -1075,8 +1219,17 @@ def main() -> int:
|
|||||||
md_dev = fetch_models_dev()
|
md_dev = fetch_models_dev()
|
||||||
ag_ctx = fetch_agnes_context()
|
ag_ctx = fetch_agnes_context()
|
||||||
|
|
||||||
report = diff(cfg, oc_doc, agnes_doc, md_dev, ag_ctx)
|
# Dots 的文档是 SPA + 带 hash 的 JS chunk,抓取链路比另外两家脆 —— 所以**失败不致命**:
|
||||||
plan = build_plan(report, cfg, oc_doc, agnes_doc)
|
# 置空 → diff 里跳过 Dots,报告里明写「抓取失败」,其余两家照常同步。
|
||||||
|
dots_doc: dict = {}
|
||||||
|
try:
|
||||||
|
dots_doc = fetch_dots()
|
||||||
|
except Exception as e: # noqa: BLE001
|
||||||
|
print(f"[warn] Dots 文档抓取失败,本次跳过 Dots 比对:{type(e).__name__}: {e}",
|
||||||
|
file=sys.stderr)
|
||||||
|
|
||||||
|
report = diff(cfg, oc_doc, agnes_doc, md_dev, ag_ctx, dots_doc)
|
||||||
|
plan = build_plan(report, cfg, oc_doc, agnes_doc, dots_doc)
|
||||||
drift = has_drift(report)
|
drift = has_drift(report)
|
||||||
code = 1 if drift else 0
|
code = 1 if drift else 0
|
||||||
|
|
||||||
|
|||||||
@@ -5634,6 +5634,84 @@ def test_usage_detail_anthropic_cache_fields():
|
|||||||
assert m._usage_detail(None) == (0, 0, 0, 0)
|
assert m._usage_detail(None) == (0, 0, 0, 0)
|
||||||
|
|
||||||
|
|
||||||
|
def test_sync_dots_fetch_report_and_apply():
|
||||||
|
"""第三十七轮:Dots AI 纳入每日同步(老板要求)。
|
||||||
|
|
||||||
|
覆盖三件事:
|
||||||
|
① 抓取口径 —— 模型行取自文档定价表 `{model:"…",input:"$…",output:"$…"}`;
|
||||||
|
`free` 取「免费体验」横幅(**它是免费试用**:横幅没了就该按报价收费);
|
||||||
|
上下文从正文「…上限为 524,288 Token」抓;
|
||||||
|
② 漂移识别 —— free / 上下文两处都要报出来(试用结束会在这里现形);
|
||||||
|
③ 落盘 —— 文本级改值(保住注释)+ 回读校验通过 + 幂等。
|
||||||
|
"""
|
||||||
|
sys.path.insert(0, str(_ROOT / "scripts"))
|
||||||
|
import sync_models as sm
|
||||||
|
|
||||||
|
js = (
|
||||||
|
'const C={rpm:60,tpm:15e5},w={model:"dots3-note-prev",input:"$0.14",output:"$0.28"};'
|
||||||
|
't[15]=e("div",{},[e("p",{},"免费体验"),e("p",{}," 当前免费体验,暂不收费。")]);'
|
||||||
|
'const s="dots3-note-prev 的上下文窗口上限为 524,288 Token(512K),'
|
||||||
|
'输入 Token 数与本参数设置的最大输出 Token 数之和不能超过该上限。";'
|
||||||
|
)
|
||||||
|
orig = sm._dots_doc_text
|
||||||
|
try:
|
||||||
|
# ① 抓取
|
||||||
|
sm._dots_doc_text = lambda: js
|
||||||
|
doc = sm.fetch_dots()
|
||||||
|
assert doc == {"dots3-note-prev": {"name": "dots3-note-prev", "free": True,
|
||||||
|
"input_usd": "$0.14", "output_usd": "$0.28",
|
||||||
|
"context": 524288}}, doc
|
||||||
|
# 横幅消失 = 试用结束 → free 应为 False
|
||||||
|
sm._dots_doc_text = lambda: js.replace("免费体验", "按量计费")
|
||||||
|
assert sm.fetch_dots()["dots3-note-prev"]["free"] is False
|
||||||
|
# 页面结构变了(解析不出模型)→ 抛错,由 main 兜成"跳过 Dots 比对"
|
||||||
|
sm._dots_doc_text = lambda: "nothing here"
|
||||||
|
try:
|
||||||
|
sm.fetch_dots()
|
||||||
|
raise AssertionError("解析不出模型时应抛错")
|
||||||
|
except RuntimeError:
|
||||||
|
pass
|
||||||
|
finally:
|
||||||
|
sm._dots_doc_text = orig
|
||||||
|
|
||||||
|
# ② 漂移识别(合成配置:free/context 都与文档不符)
|
||||||
|
cfg = {"providers": {"dots": {"models": [
|
||||||
|
{"id": "dots3-note-prev", "display_name": "Dots3 Note Prev", "type": "text",
|
||||||
|
"free": False, "protocols": ["chat/completions"], "context_window": 131072}]}},
|
||||||
|
"aliases": {}}
|
||||||
|
report = sm.diff(cfg, {}, {}, None, None, doc)
|
||||||
|
dt = report["dots"]
|
||||||
|
assert dt["fetched"] and dt["free_trial"] is True, dt
|
||||||
|
assert [d["id"] for d in dt["free_drift"]] == ["dots3-note-prev"], dt["free_drift"]
|
||||||
|
assert dt["ctx_drift"] and dt["ctx_drift"][0]["doc_ctx"] == 524288, dt["ctx_drift"]
|
||||||
|
|
||||||
|
# ③ 落盘:文本级插入(保住注释)+ 幂等 + 回读校验过
|
||||||
|
text = (
|
||||||
|
"providers:\n"
|
||||||
|
" dots:\n"
|
||||||
|
" name: \"Dots AI(小红书)\"\n"
|
||||||
|
" models:\n"
|
||||||
|
" - id: \"dots3-note-prev\"\n"
|
||||||
|
" display_name: \"Dots3 Note Prev\"\n"
|
||||||
|
" type: \"text\"\n"
|
||||||
|
" # 官方定价表标「免费体验」,恢复收费前会提前告知\n"
|
||||||
|
" free: false\n"
|
||||||
|
" protocols: [\"chat/completions\"]\n"
|
||||||
|
" context_window: 131072\n"
|
||||||
|
)
|
||||||
|
plan = sm.build_plan(report, cfg, {}, {}, doc)
|
||||||
|
assert plan["dots_free"] == {"dots3-note-prev": True}, plan["dots_free"]
|
||||||
|
assert plan["ctx_set"]["dots3-note-prev"]["context"] == 524288
|
||||||
|
assert not sm.plan_is_empty(plan)
|
||||||
|
out = sm.apply_plan(text, plan, "2026-09-29")
|
||||||
|
assert "free: true" in out, out
|
||||||
|
assert "context_window: 524288" in out, out
|
||||||
|
assert "官方定价表标「免费体验」" in out, "注释必须保住"
|
||||||
|
assert sm.verify(out, cfg, plan) == [], sm.verify(out, cfg, plan)
|
||||||
|
# 幂等:同一份 plan 再跑一次结果不变
|
||||||
|
assert sm.apply_plan(out, plan, "2026-09-29") == out
|
||||||
|
|
||||||
|
|
||||||
# 直接运行(非 pytest)—— 必须留在文件末尾,见上方 `test_image_request_goes_to_requested_model`
|
# 直接运行(非 pytest)—— 必须留在文件末尾,见上方 `test_image_request_goes_to_requested_model`
|
||||||
# 之前的旁注:运行器只会收集执行到这一行时已经存在的 globals。
|
# 之前的旁注:运行器只会收集执行到这一行时已经存在的 globals。
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
|
|||||||
Reference in new issue
Block a user