From e20244027c838c0f55e38b16a7a915c154a1b5ba Mon Sep 17 00:00:00 2001 From: jidekin <294297426@qq.com> Date: Fri, 23 Oct 2026 16:51:28 +0800 Subject: [PATCH] =?UTF-8?q?feat(ops+ui):=20WAF=20=E8=87=AA=E6=84=88?= =?UTF-8?q?=E5=AE=9A=E6=97=B6=E5=99=A8=20+=20=E5=AD=98=E6=B4=BB=E7=9B=91?= =?UTF-8?q?=E6=8E=A7=20+=20=E6=81=A2=E5=A4=8D=E6=BC=94=E7=BB=83=20+=20/met?= =?UTF-8?q?rics=20days=20=E5=8F=A3=E5=BE=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - waf-whitelist-guard.sh + 每小时 timer:^/v1/ 规则被面板覆盖时自动补回并 reload - uptime-check.sh 接入每日报告:本机/公网/4 台关键服务存活 - backup-restore-drill.sh 接入每日报告:解包校验 SQLite/JSON/权限 - /metrics 新增 days 参数;指标页加「今天/7天/30天/全部」切换 - docs/project-audit-2026-10-23.md:体检结论(含明确不做的项与理由) - 版本 2.9.15 → 2.9.16 --- CHANGELOG.md | 29 +++++++++++++++++ app/main.py | 16 ++++++---- docs/project-audit-2026-10-23.md | 54 ++++++++++++++++++++++++++++++++ frontend/src/locales/en.ts | 5 +++ frontend/src/locales/zh.ts | 5 +++ frontend/src/views/Metrics.vue | 15 ++++++++- 6 files changed, 117 insertions(+), 7 deletions(-) create mode 100644 docs/project-audit-2026-10-23.md diff --git a/CHANGELOG.md b/CHANGELOG.md index 564bc8f..eee0f7c 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,34 @@ # CHANGELOG +## 2026-10-23 · 按建议落地:WAF 自愈 / 存活监控 / 恢复演练 / 指标口径(2.9.15 → 2.9.16) + +老板:「剩下的可选项有啥好的建议吗」→「按你的建议来」。 + +### ① WAF 白名单自愈(防故障复发) +`^/v1/` 的 URL 白名单是手工改文件加的 —— 面板保存一次 WAF 设置就可能被覆盖, +客户会立刻又开始 403(真实工单复发过)。新增 `waf-whitelist-guard.sh` + **每小时 timer**: +规则不在就原子补回 + reload,幂等、静默(规则在时零输出)。 + +### ② 接口存活监控(补最大盲区) +每日巡检此前只看「进程在不在」—— 进程活着但接口 500 / EO 回源断了,报告依然全绿。 +新增 `uptime-check.sh`(接入每日报告):本机 `/health`、公网 api/blog/`/v1/models`/管理台, +以及 4 台的关键服务(x-ui / 1Panel+容器 / 容器数)。异常项进「需要关注」。 + +### ③ 备份恢复演练(备份不验证等于没有) +新增 `backup-restore-drill.sh`(接入每日报告):解包最新备份 → 校验 SQLite integrity 与行数、 +users/sessions/history/feedback 可解析、备份包权限 600。实测通过。 + +### ④ `/metrics?days=N` + 指标页口径切换 +- 后端:`/metrics` 新增 `days` 参数(0=保留期内全部、1=今天、7、30…),响应里带 `days`。 +- 前端:指标页顶部加「今天 / 近 7 天 / 近 30 天 / 全部」切换。 + +### ⑤ 体检文档留痕 +新增 `docs/project-audit-2026-10-23.md`:已修项、已落地项、**评估后决定不做的项及理由**、 +体检通过项、已知取舍。 + +**明确不做**:CSP 去 `unsafe-eval`(vue-i18n JIT 依赖,去掉会打断全部翻译)、 +FTS5(当前 400 行无感)、echarts 按需引入(收益 < 风险)。 + ## 2026-10-23 · 按体检建议落地:每日备份 + 每人 QPS + 库体积上限(2.9.14 → 2.9.15) 老板:「按你的建议做,全部做」。 diff --git a/app/main.py b/app/main.py index 505b511..79b350c 100644 --- a/app/main.py +++ b/app/main.py @@ -383,7 +383,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope # 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。 # 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 -VERSION = "2.9.15" +VERSION = "2.9.16" app = FastAPI( title="API Gateway", @@ -3068,7 +3068,7 @@ async def media_download(request: Request, url: str = "", filename: str = "", # ───────────────────────────────────── # GET /metrics + /metrics/prometheus(P1-3/8) # ───────────────────────────────────── -def _usage_snapshot(account: str | None = None) -> dict: +def _usage_snapshot(account: str | None = None, days: int = 0) -> dict: """指标快照(2026-10-23 起口径变化)。 **调用数 / 供应商分布 / token / 耗时** 来自 SQLite(`api_calls`,保留 90 天)—— @@ -3080,7 +3080,8 @@ def _usage_snapshot(account: str | None = None) -> dict: base: dict = {"uptime_seconds": rt.get("uptime_seconds"), "in_flight": rt.get("in_flight", 0), "in_flight_peak": rt.get("in_flight_peak", 0)} - db = calllog.store.usage_snapshot(account=account) if calllog.store.enabled else {"enabled": False} + db = (calllog.store.usage_snapshot(account=account, days=days) + if calllog.store.enabled else {"enabled": False}) if db.get("enabled"): base.update({"calls": db.get("calls") or {}, "providers": db.get("providers") or {}, @@ -3096,18 +3097,21 @@ def _usage_snapshot(account: str | None = None) -> dict: @app.get("/metrics") -async def metrics(request: Request, _auth=Depends(require_auth)): +async def metrics(request: Request, days: int = 0, _auth=Depends(require_auth)): + """指标快照。`days`:0=保留期内全部(默认)、1=今天、7=近 7 天……(2026-10-23 新增)。""" if not _cfg().server.metrics_enabled: raise HTTPException(404, "metrics 已禁用") # M5+: 普通账号只看自己名下调用产生的聚合,admin 看全局 + 熔断状态。 # 2026-10-22(老板):成员首页要看自己调用的次数统计,所以**不**把本端点收成仅管理员; # 按账号聚合的逻辑保持原样(全局字段的收敛在 /health 里做)。 + d = max(0, int(days or 0)) if request.state.role == "admin": - snap = _usage_snapshot() + snap = _usage_snapshot(days=d) snap["circuits"] = _circuits.statuses() # P2-16 熔断状态 else: - snap = _usage_snapshot(request.state.account) + snap = _usage_snapshot(request.state.account, days=d) snap["circuits"] = [] + snap["days"] = d return snap diff --git a/docs/project-audit-2026-10-23.md b/docs/project-audit-2026-10-23.md new file mode 100644 index 0000000..2cb729a --- /dev/null +++ b/docs/project-audit-2026-10-23.md @@ -0,0 +1,54 @@ +# AI 网关项目体检报告(2026-10-23) + +> 范围:`/root/dsh/projects/api-gateway`(v2.9.15)。方法:跑测试 + 静态检查 + 数据/权限/备份审计 + 真实接口压测。 + +## 一、已修复(本次体检发现) + +| # | 问题 | 严重度 | 处理 | +|---|---|---|---| +| 1 | **225 个测试用例跑不起来**(pytest 未装,`tests/` 6197 行)| 高 | 装入 venv + `requirements-dev.txt` | +| 2 | **4 个用例断言旧内存版 `/logs`**(改读库时引入的回归)| 高 | 断言前 `flush()`;改用 `/logs/calls` 断言管理员视角 | +| 3 | **3 处夹具引用已下线的 `grok-4.6`** | 中 | 改 `grok-4.7` | +| 4 | **测试读写生产库** | 高 | `tests/conftest.py` 把 `CALLLOG_DB` 指向临时目录 | +| 5 | `/logs` 库映射缺 `video_id` | 中 | `api_calls` 增列(自动迁移)| +| 6 | 测试不幂等(失败残留账号)| 低 | 用例开头先删 | + +**结果**:218/225 → **225/225 通过**。 + +## 二、已按建议落地(运维/容量) + +| 项 | 内容 | +|---|---| +| **每日备份** | `backup-app-data.sh` + `dsh-gateway-backup.timer`(03:30):`VACUUM INTO` 快照 + 配置/账号/会话/历史,留 14 份 | +| **备份恢复演练** | `backup-restore-drill.sh`:解包 → 校验 SQLite integrity/行数、JSON 可解析、权限 600(已接入每日报告)| +| **每人 QPS** | `server.rate_limit_rps: null → 20`(按账号桶;实测 120 并发触发 55 个 429)| +| **库体积上限** | `CALLLOG_MAX_BYTES=2GiB`,按「有效数据量」精确收紧到 80% + 按需 VACUUM(含 `wal_checkpoint`)| +| **接口存活监控** | `uptime-check.sh` 接入每日报告:本机/公网/4 台关键服务,进程活着但接口挂也能发现 | +| **WAF 白名单自愈** | `waf-whitelist-guard.sh` + 每小时 timer:`^/v1/` 被面板覆盖时自动补回并 reload | + +## 三、评估后**不做**的项(附理由) + +| 项 | 为什么不做 | +|---|---| +| **CSP 去掉 `unsafe-eval`** | 产物里的 `new Function` 来自 **vue-i18n 的 JIT 编译器**;去掉会直接打断全部翻译(复现「界面显示变量名」)。站点是登录后的管理台、无内联脚本,风险本来就窄 | +| **FTS5 全文搜索** | 当前 400 行,`LIKE '%kw%'` 全表扫 <10ms;10 万行以后再说 | +| **echarts 按需引入** | 已独立 chunk + 懒加载,只影响 2 个页面,改造收益 < 风险 | +| **熔断/限流/失败计数落盘** | 重启重置是**更安全的默认**(宁可多试一次,不要一直熔断)| +| **sessions token 加密**(上一轮误判)| `app/sessions.py` 早就只存 `sha256("sess:"+token)`,盘上无可用凭证 | + +## 四、体检通过项 + +- SQLite `integrity_check = ok`;索引齐全;文件权限 600 +- 安全响应头齐全(CSP / X-Frame-Options: DENY / nosniff) +- **TODO / FIXME:0 处**;53 处 `except Exception` 全部有日志或兜底,无裸 `pass` +- `history.py` 有三重上限(条目数/单条字节/整文件字节) +- `/v1/media/download` 有域名白名单 + 内网地址拦截(SSRF) +- 密码 salt+hash;API Key 明文存储是产品需求(页面需反复复制),靠文件权限 600 兜底 +- 阻塞 IO 都走 `_offload` 线程池 + +## 五、仍然存在的已知取舍(记录在案) + +1. **`/logs` 只看自己的**(含 admin)—— 看全站要走「日志 → 调用日志」页签。 +2. **实时页列表只给前 8KB 预览**,展开时调 `/logs/entry/{id}` 取全文(避免 200 条大内容拖垮接口)。 +3. **`unsafe-eval` 必须保留**(见上)。 +4. **WAF 规则以文件为准**:面板保存会覆盖 → 已有每小时自愈兜底,但仍建议最终在面板里也配置一份。 diff --git a/frontend/src/locales/en.ts b/frontend/src/locales/en.ts index d9cb45c..5d530fa 100644 --- a/frontend/src/locales/en.ts +++ b/frontend/src/locales/en.ts @@ -167,6 +167,11 @@ export default { snapshot: 'Live snapshot', circuitCard: 'Auto-paused after repeated failures, auto-recovers shortly', byProvider: 'Calls by provider (success / fail)', + rangeLabel: 'Range', + rangeToday: 'Today', + range7: '7 days', + range30: '30 days', + rangeAll: 'All', }, logs: { tabLive: 'Realtime', diff --git a/frontend/src/locales/zh.ts b/frontend/src/locales/zh.ts index 1c9af24..2ab1fea 100644 --- a/frontend/src/locales/zh.ts +++ b/frontend/src/locales/zh.ts @@ -167,6 +167,11 @@ export default { snapshot: '实时快照', circuitCard: '连续失败会自动暂停,稍后自动恢复', byProvider: '按供应商调用(成功 / 失败)', + rangeLabel: '统计口径', + rangeToday: '今天', + range7: '近 7 天', + range30: '近 30 天', + rangeAll: '全部', }, logs: { tabLive: '实时', diff --git a/frontend/src/views/Metrics.vue b/frontend/src/views/Metrics.vue index 8790bf0..ff244fc 100644 --- a/frontend/src/views/Metrics.vue +++ b/frontend/src/views/Metrics.vue @@ -1,5 +1,15 @@