feat(ops): 每日备份 + 每人 20 QPS + 调用日志体积上限/VACUUM

- 新增 backup-app-data.sh(VACUUM INTO 快照 + 配置/账号/会话/历史)+ dsh-gateway-backup.timer(每天 03:30,留 14 份)
- gateway.yaml: server.rate_limit_rps null → 20(按账号桶,实测 120 并发触发 55 个 429)
- calllog: CALLLOG_MAX_BYTES(2GiB) 按有效数据量精确收紧 + 按需 VACUUM(含 wal_checkpoint)
- 修:体积判断改用 (page_count-freelist)*page_size;VACUUM 后 checkpoint 才能真正缩文件
- 版本 2.9.14 → 2.9.15
This commit is contained in:
jidekin committed 2026-10-23 16:31:45 +08:00
1 parent 1068bd96a8
commit cf184bd7e8
4 files changed
+135 -4

No files matched your search

+34
View File
@@ -1,5 +1,39 @@
# CHANGELOG
## 2026-10-23 · 按体检建议落地:每日备份 + 每人 QPS + 库体积上限(2.9.14 → 2.9.15)
老板:「按你的建议做,全部做」。
### ① 应用数据每日备份(新增)
此前每日任务只做「进程巡检」,**完全没备份网关数据**(账号/会话/历史/反馈/调用日志)。
- 新增 `<运维脚本目录>/backup-app-data.sh`:
- `calllog.db` 用 **`VACUUM INTO` 做一致性快照**(不锁业务读写,比 `cp` 安全)
- 账号/会话/历史/反馈/agents.yaml/gateway.yaml/`.env` 一并打包
- 打包 → `<备份目录>/app-data-YYYY-MM-DD.tar.gz`,权限 600,**保留 14 份**
- 新增 systemd 定时器 `dsh-gateway-backup.timer`:**每天 03:30**(在 03:00 巡检之后);
实测触发 `status=0/SUCCESS`,首份备份 6.7 MB。
### ② 每人 QPS 限流(从「不限」改为 20/s)
- `data/gateway.yaml`:`server.rate_limit_rps: null` → **20**(按账号分桶,桶容量 40)
- 实测:120 个并发请求 → **65 个 400(放行)+ 55 个 429(限流)**;3 秒后单请求恢复 200。
- 说明:**串行**请求触发不了(每次耗时 >50ms,令牌边用边满)—— 这是令牌桶的正常特性,
它防的是"瞬间并发打爆额度",不是限制日常速度。
- 供应商级限流(如 Dots AI 的 1 rps)保持不变,两者取更严的。
### ③ 调用日志库体积上限 + 定期 VACUUM
「内容不截断」后单条可达 MB 级(库里已有一条 **1.4 MB** 的 prompt),光靠 90 天保留兜不住体积。
- 新增 `CALLLOG_MAX_BYTES`(默认 **2 GiB**):有效数据超限时**从最旧开始精确删除**,
删到上限的 80% 停手(按平均行大小算出要删几条,不再固定批量以免删过头)。
- 新增按需 `VACUUM`:空闲页占比 > 25% 时回收(每天最多一次;体积收紧后强制回收一次)。
- **踩了两个坑**:① 用文件大小判断是否超标 → 删光了也不降(DELETE 只是把页挂到 freelist),
必须看 `(page_count − freelist) × page_size`;② WAL 模式下 VACUUM 的产物先进 `-wal`,
必须 `PRAGMA wal_checkpoint(TRUNCATE)` 才会让主库文件真正变小。
- 实测:11.8 MB / 300 行 → 收紧到 4 MB 目标 → **删 220 行、剩 80 行、文件降到 3.2 MB**。
### 更正上一轮体检的一处误判
「sessions.json 明文存 token」**是我看错了** —— `app/sessions.py` 早就只存
`sha256("sess:" + token)`(盘上永远不出现可直接使用的凭证),无需改动。
## 2026-10-23 · 代码体检:修 7 个测试失败 + 测试隔离(2.9.13 → 2.9.14)
老板:「检查 ai 网关项目,看下有什么问题或者可以优化的点」→ 体检中发现测试套件跑不起来/有回归。