api-gateway
|
36c0a17b96
|
chore(cleanup): 清除 CNB 残留(远端 / 脚本 / 文档)
老板:「CNB 的都删了,代码,文档相关的都去掉」。
- scripts/push_cnb.sh 移除(归档 /root/.trash/2026-10-12-cnb-retire-cleanup/ + MANIFEST)
- scripts/push_gitea.sh 注释去掉 CNB 表述
- README 发布纪律段、docs/agents-dev-plan.md 的 CNB 表述改 Gitea
- 历史条目(CHANGELOG/MEMORY/日记)保留不改写;纯文档/配置清理,未升版本号
|
2026-10-12 14:35:10 +08:00 |
|
api-gateway
|
a4204839c9
|
chore(release): Gitea 推送改为免密(建 API token push-automation)
老板:「新建凭据吧,把凭据记到记忆和 md 文件里,不要丢失了,后面直接免密推送」。
- 新建 Gitea API token(name=push-automation,scope=write:repository,够 push 私有仓库)
- scripts/push_gitea.sh 改为默认免密:凭据顺序 GITEA_TOKEN → 参数 → GITEA_PASS → ~/.gitea_token(600)
- 安全口径不变:一次性内嵌、输出打码、不写 .git/config、推完核对远端=本地并复查无明文(退出码 2/3/4/5)
- 凭据只落本机两处(~/.gitea_token + MEMORY.md),**不写进本仓库任何文件**
- README 发布纪律段与 CHANGELOG 同步说明
|
2026-10-12 14:17:50 +08:00 |
|
api-gateway
|
23ee74c540
|
docs+tooling: 代码托管改推自建 Gitea(CNB 退役,老板 2026-10-12 改口径)
老板原话:「以后改动的代码不提交 cnb 了,改成提交到 gitea 上」→ 推翻 2026-09-24 的「上生产必推 CNB」。
- 新增 scripts/push_gitea.sh:与 push_cnb.sh 同一套安全口径(一次性带密码内嵌 URL;
无密码退 2 / 工作区脏退 3 / 推完核对远端=本地 / 复查 .git/config 无明文;密码不内置进任何文件),
目标换成 https://git.wangjinding.com/Jidekin/api-gateway.git
- scripts/push_cnb.sh 保留但**已停用**(文件头加醒目说明)
- README「版本号与发布纪律 → 发布流程」:推 CNB → 推 Gitea,并写明原 CNB 口径作废
- CHANGELOG 记本轮
背景:CNB 那把 token 已实测失效(push/ls-remote 回 Repository Not Found、API 回 errcode:16 not logged in、
SSH 22 端口超时);同期老板起了自建 Gitea(容器 1Panel-gitea-CjQz,commitgo/gitea-ee:27.3.8,
公网 https://git.wangjinding.com),三个项目已建 private 仓库并推全量历史。
注:纯文档/工具改动,**未升版本号**(与 16d973c「立推 CNB 规则」同类,历史先例同样不升)。
|
2026-10-12 14:13:25 +08:00 |
|
api-gateway
|
05d6d078cc
|
Dots AI 纳入每日模型清单同步
老板要求:「把 https://dots.ai/platform/docs 加入每日定时任务的同步任务来」。
这条源和另两家不同:dots 文档页是 **SPA**,正文(模型定价表、上下文窗口、「免费体验」说明)
**不在 HTML 里**,而是随前端 JS chunk 发布(实测在 assets/ApiDocsPage-*.js,chunk 名带 hash、
发版就变)→ 抓取走两步发现:文档页 → 主包 index-*.js → ApiDocsPage-*.js → 取该 chunk。
同步三项:
- 模型清单:取自定价表行 {model:"…",input:"$…",output:"$…"}(按出现次数全收,加模型不用改代码);
- 免费状态:取「免费体验」横幅 —— **它是"当前免费试用"**(原文:恢复收费前会提前告知),
横幅在=free:true、横幅没了=按报价收费 → 落盘改 false(试用结束会在每日报告里现形);
- 上下文窗口:正文「…上限为 524,288 Token」。
- **不写定价**:文档报价是 USD/M,网关 pricing 是 ¥/M → 换算要汇率、不能猜,只列在报告里给人看。
健壮性:这条链路最脆(SPA + hash chunk),故**失败不致命** —— main() 单独兜住,失败置空、
跳过 Dots 比对并在报告里写「⚠ 文档抓取失败」,另两家照常;解析不出模型则抛错交给这层兜。
顺带修:_set_free() 幂等 —— 同一条同步说明不重复追加(原先重复应用同一 plan 会把注释滚成
「原注释;说明;说明」;不同日期的说明仍各记一条=变更历史)。
验证:
- 干跑(真实配置):三家「无漂移 ✓」,Dots 段带报价行,plan_is_empty → 「无需落盘」;
实测 --apply 也是「无需落盘:网关已与文档一致 ✓」;
- 造副本模拟漂移(free=false/context=131072):两处漂移都报出 + 两条落盘动作 → --apply 写盘成功、
回读校验过、复跑无漂移(幂等);
- 新增测试「Dots 抓取口径 + 漂移识别 + 落盘幂等」→ 208 → 209 全过。
cron 任务 d83693fc-… 同步更新:名称改为「模型清单每日同步(OpenCode Go + Agnes + Dots → ai 网关)」,
提示词加第三家来源 + 「Dots 抓取失败不致命、照实带出来」,并要求带出 Dots 报价行、
「受保护不删」段与视频默认模型标记。
|
2026-09-29 10:00:30 +08:00 |
|
api-gateway
|
08a4aeed7a
|
第三十三轮:模型接口加入上下文参数(context_window / max_output_tokens)
老板 2026-09-24 要求:「文档里有写明支持上下文多少吗?有的话就修改 ai 网关,
接口加入上下文参数」+「Agnes 先加上,opencode go 看下 v2/docs/console/go/ 文档,
没有的话就看接口里有没有,这个也要加入同步脚本里」。
数据来源(逐一核查过):
- Agnes:官方**每个文本模型详情页**的「限制与价格」表写明 `上下文窗口` / `最大输出`
(定价页没有这两项)。3.0-flash = 512K/65,536、2.5-flash = 512K/65.5K、
2.5-pro 与 2.5-pro-beta = 1M/65,536。图片/视频页无此表 → 留 0。
- OpenCode:官方文档(Zen 页、v2/docs/console/go/)**都不写**上下文;`/zen/go/v1/models`
实测只回 id/object/created/owned_by(单模型详情 404、include 参数被忽略)。
唯一机器可读来源是 **models.dev**(OpenCode 团队维护),其 `opencode-go` /
`opencode` 两供应商每条模型都带 `limit.context` / `limit.output`。
口径(老板拍板):只用于**更新网关已有模型**,不拿它当增删依据(models.dev 收录
比官方 Go 文档多,含 omen-alpha 等未收录的);跨源不一致时取**保守下限**
(minimax-m3 Go 1M / Zen 512K → 512,000;qwen3.6-plus → 262,144)。
改动:
- app/config.py:ModelInfo 新增 context_window / max_output_tokens(默认 0 = 未标注),
解析 + to_dict 序列化一并带上。
- app/main.py:GET /models 与 /v1/models 输出这两个字段;别名继承目标模型的值。
- app/settings.py:「供应商与模型」面板往返不丢字段(默认 0 → 未配置的模型不会被
补出 `context_window: 0` 污染 YAML);提交了就以此为准,没提交则沿用文件原文。
- data/gateway.yaml:37 个模型落盘(33 OpenCode + 4 Agnes 文本),文本级插入保住
全部手写注释(注释行 162 → 236)。
- scripts/sync_models.py:新增 fetch_models_dev()(拉失败返回 None → 只跳过上下文
同步、不当成漂移)、fetch_agnes_context()(逐模型页解析「限制与价格」表)、
diff() 产出 ctx_drift、build_plan/apply_plan(_set_context 块内改值,保留行尾注释、
幂等)、verify() 回读校验、render_plan/render 显示漂移;_DRIFT_KEYS 与
plan_is_empty 认 ctx_set。
- tests:新增 3 个(models.dev 保守下限合并 + 抓失败返回 None;_set_context 幂等与
保注释;/models 带出字段且未标注不瞎补)→ **201 passed / 0 failed**;ci_check.sh 全绿。
上线:supervisorctl restart api-gateway:api-gateway_00(pid 3492804)后实测
/v1/models 45 个模型、38 个带 context_window(含 wjd 别名继承 = 1,000,000/384,000),
图片模型正确为 0。
|
2026-09-24 15:00:26 +08:00 |
|
api-gateway
|
16d973c49e
|
docs+tooling: 立「上生产必推 CNB」规则(README 硬性段落 + scripts/push_cnb.sh)
老板 2026-09-24 规则:凡是重启上线生产的代码改动都要推送到 CNB,保持
「线上跑着的代码 = 仓库里的代码」。
- README 新增「上生产必须同步推 CNB(硬性)」段落:顺序=改代码 → 跑测试/CI →
重启或 build 上线 → 确证线上生效 → commit → push;纯注释/配置靠 hot_reload
生效的也照推。
- 新增 scripts/push_cnb.sh:一次性带 token 内嵌 URL 推送(token 不落 .git/config、
不写进任何文件),推完自动核对远端 = 本地,并复查 .git/config 里没留下 token;
不带 token 退出 2、工作区不干净退出 3。
|
2026-09-24 14:04:48 +08:00 |
|
api-gateway
|
afd2f69317
|
按老板指示从网关删除 deepseek-flash / omen-alpha(文档表未收录)
老板 2026-09-24 指令:「1,删了」——把 PROTECTED 保护名单里这两个模型照
官方文档删掉(此前怕文档收录滞后才护着,老板选择以上游文档为准)。
- PROTECTED 名单清空(机制保留:以后要临时护住某个 id 在这里登记即可;
被别名 / media 引用的 id 本来就有独立保护,不依赖这张表)。
- 落盘后 opencode:网关 35 → 33,与文档 33 对齐(Agnes 10 = 10,无漂移)。
- 删除前把两个模型块原文归档到 /root/.trash/2026-09-24-opencode-models-doc-sync/。
顺带修一个删块 bug(本次实测踩到):
_find_model_blocks() 用「下一个 - id 行」当块尾,会把紧贴下一个模型的分组
标题注释(本文件惯例:`# ── …` 写在组里第一个模型上方;同步自己写的
「官方文档新增」标记同理)一起吞掉 —— 删 deepseek-flash 时连带删了
`# ── Anthropic Messages 线(文档主推这条)`。现改为:块尾只收口到
「块头注释」之前(_block_end + _BLOCK_HEADER_RE),并把已误删的标题恢复;
新增回归用例 test_remove_block_keeps_next_group_header_comment 钉住。
|
2026-09-24 14:03:16 +08:00 |
|
api-gateway
|
aabd473b33
|
Agnes 免费/限时免费标注 + 免费标签间距对齐(老板 2026-09-24)
老板两件事:
1) Agnes 的模型也要标免费或限时免费 —— 之前只有 OpenCode 的 space-bunny-free 有标注;
2) 免费标签跟模型名的间隔不一样,优化。
免费标注:
- 口径(照官方措辞,按 bullet 切块判定,不关键词泛扫):
· OpenCode 价格表 Input/Output = Free(原逻辑)
· Agnes 定价页「### 当前优惠」:当前(均)免费 → 免费;当前限时免费 → 限时免费
坑:Agnes 视频 agnes-video-2.5 那条 bullet 写着「输入图片前 5 张免费」——
那是计费公式的免费额度、不是模型免费,所以只认严格措辞「当前免费 / 当前均免费 /
均免费 / 限时免费」,且只认反引号里的完整 id(agnes-video-2.5 是
agnes-video-2.5-flash 的子串,字符串包含会串味)。
- 配置:free: true(免费)+ 新增 free_limited: true(限时免费)。
落盘 7 条:3.0-flash / 2.5-flash / image-2.0-flash / image-2.1-flash /
image-2.5-flash / video-v2.0 = 免费;video-2.5-flash = 限时免费。
- scripts/sync_models.py:新增 _agnes_free_map() / _set_agnes_free(),免费标注纳入
漂移比对 + --apply 落盘(官方改口径 → 整行撤掉标注),回读校验新增 Agnes 免费位检查;
新增模型块也会带上标注。
- 后端:ModelInfo.free_limited + /v1/models 带出 free_limited(别名随目标继承)。
- 前端:标签文案 免费 / 限时免费(中英各 +2 键,i18n 755/755 对称),提示语同步更新
(原文案只提 OpenCode Go 计划,已不准确)。
间距:
- 根因:.st-row 是 flex(gap:8px),.name-free 又加 margin-left:6px → 标签左侧 8+6=14px、
右侧 8px,与其它行「模型名 → 供应商名」的 8px 节奏不一致。
- 修法:.st-row .name-free { margin-left: 0 }(表格单元格是行内排布、无 flex gap,
那边保留 6px)。同源最小页实测:修前 14/8,修后 8/8。
测试:新增 test_agnes_free_map_rules、test_agnes_free_apply_and_revoke_round_trip
(含 撤标注/限时→免费/幂等/相邻手写注释不被碰);195 passed / 0 failed。
|
2026-09-24 13:49:48 +08:00 |
|
api-gateway
|
e3e8cac54f
|
fix(sync): 空 plan 也走写盘分支(每天白重写配置 + 误报「已写盘」)
plan_is_empty 只看外层,而 plan["add"] = {"opencode": {}, "agnes": {}} 两层 dict
恒为真值 → 无漂移时也判定「有动作」,于是每天重写一次 data/gateway.yaml 并把上一份
备份覆盖掉,报告还误报「已写盘:…N 字节」。改为下钻到 provider 桶判断。
- 加回归用例 test_sync_plan_is_empty_drills_into_provider_buckets(193 passed / 0 failed)
- 实测:无漂移时改为「(无:网关已与文档一致)+ 无需落盘」,配置与备份都不再被白动
- CHANGELOG 补 2026-09-24 这一轮(同步落地 + 视频默认模型口径 + 本修复)
|
2026-09-24 13:37:00 +08:00 |
|
api-gateway
|
b3713c8918
|
feat(sync): 视频默认模型纳入同步视野 —— 保它不被自动删 + 每日报告列候选,不自动换默认
- 报告新增一段:当前 media.video_model_name、是否仍在文档里(✓/✗)、文档视频清单候选;
日志/简报里直接可见,换默认仍是「点模型名改一行」的人为动作
- 新增模型的价格不再重复列进「定价漂移(网关=None)」,只按「新增」呈现
- data/gateway.yaml 的 video_model_name 上补注释(说明受保护、候选在哪)
- cron 提示词加边界:报告里原样带出,不要自己改 video_model_name
- README 同步一节补该口径;单测 192 passed / 0 failed
|
2026-09-24 13:35:05 +08:00 |
|
api-gateway
|
c04b22aac8
|
feat: 模型清单每日同步落盘(新增 / 删除 / 改参数)+ 修定价用例写死旧刊例价
scripts/sync_models.py 新增 --apply:把网关模型清单与官方文档全量对齐
· 文档新增 → 插进配置;文档下线 → 删除(连它的 pricing 条目);价格 / 免费标记变化 → 就地更新
· 协议线只加不砍;PROTECTED 名单 + 被别名 / media 引用的 id 永不自动删
(官方文档表收录有滞后:实测 deepseek-flash / omen-alpha 上游在服务、文档表还没补)
· 文本级增删改,保住逐条实测的手写注释;复用网关 write_config(备份 + 原子替换 + 600),
落盘后回读校验(模型集合 / 定价 / 协议线 / 别名目标 / 无关 provider 未被碰),不通过就中止不写盘
data/gateway.yaml:同步 Agnes 文档
· 新增 6 个:agnes-2.5-pro、agnes-2.5-pro-beta、agnes-image-2.0-flash、agnes-image-2.1-flash、
agnes-video-2.5、agnes-video-v2.0
· agnes-3.0-flash 价目 0.35 / 1.00 → 0 / 0(文档明写当前免费,原值是被划掉的刊例价)
· 补 agnes-2.5-pro(3/6)、agnes-2.5-pro-beta(0.7/2.1)价目
· OpenCode 侧无漂移;deepseek-flash / omen-alpha 受保护未删
tests:test_pricing_estimate 改用不在同步范围的 ark-code-latest —— 原来写死
agnes-3.0-flash 的 0.35/1.00,文档一改价就假红(192 passed / 0 failed)
README:补「模型清单每日同步」一节(用法 / 数据源 / 落盘边界 / 定时)
|
2026-09-24 11:39:26 +08:00 |
|
api-gateway
|
13789da6d1
|
第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。
P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。
视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。
登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。
口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。
/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。
其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。
前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。
文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。
测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。
CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
|
2026-09-18 22:45:20 +08:00 |
|