feat(ops+ui): WAF 自愈定时器 + 存活监控 + 恢复演练 + /metrics days 口径
- waf-whitelist-guard.sh + 每小时 timer:^/v1/ 规则被面板覆盖时自动补回并 reload - uptime-check.sh 接入每日报告:本机/公网/4 台关键服务存活 - backup-restore-drill.sh 接入每日报告:解包校验 SQLite/JSON/权限 - /metrics 新增 days 参数;指标页加「今天/7天/30天/全部」切换 - docs/project-audit-2026-10-23.md:体检结论(含明确不做的项与理由) - 版本 2.9.15 → 2.9.16
This commit is contained in:
1 parent
c141f6affe
commit
e20244027c
6 files changed
+117
-7
No files matched your search
@@ -1,5 +1,34 @@
|
|||||||
# CHANGELOG
|
# CHANGELOG
|
||||||
|
|
||||||
|
## 2026-10-23 · 按建议落地:WAF 自愈 / 存活监控 / 恢复演练 / 指标口径(2.9.15 → 2.9.16)
|
||||||
|
|
||||||
|
老板:「剩下的可选项有啥好的建议吗」→「按你的建议来」。
|
||||||
|
|
||||||
|
### ① WAF 白名单自愈(防故障复发)
|
||||||
|
`^/v1/` 的 URL 白名单是手工改文件加的 —— 面板保存一次 WAF 设置就可能被覆盖,
|
||||||
|
客户会立刻又开始 403(真实工单复发过)。新增 `waf-whitelist-guard.sh` + **每小时 timer**:
|
||||||
|
规则不在就原子补回 + reload,幂等、静默(规则在时零输出)。
|
||||||
|
|
||||||
|
### ② 接口存活监控(补最大盲区)
|
||||||
|
每日巡检此前只看「进程在不在」—— 进程活着但接口 500 / EO 回源断了,报告依然全绿。
|
||||||
|
新增 `uptime-check.sh`(接入每日报告):本机 `/health`、公网 api/blog/`/v1/models`/管理台,
|
||||||
|
以及 4 台的关键服务(x-ui / 1Panel+容器 / 容器数)。异常项进「需要关注」。
|
||||||
|
|
||||||
|
### ③ 备份恢复演练(备份不验证等于没有)
|
||||||
|
新增 `backup-restore-drill.sh`(接入每日报告):解包最新备份 → 校验 SQLite integrity 与行数、
|
||||||
|
users/sessions/history/feedback 可解析、备份包权限 600。实测通过。
|
||||||
|
|
||||||
|
### ④ `/metrics?days=N` + 指标页口径切换
|
||||||
|
- 后端:`/metrics` 新增 `days` 参数(0=保留期内全部、1=今天、7、30…),响应里带 `days`。
|
||||||
|
- 前端:指标页顶部加「今天 / 近 7 天 / 近 30 天 / 全部」切换。
|
||||||
|
|
||||||
|
### ⑤ 体检文档留痕
|
||||||
|
新增 `docs/project-audit-2026-10-23.md`:已修项、已落地项、**评估后决定不做的项及理由**、
|
||||||
|
体检通过项、已知取舍。
|
||||||
|
|
||||||
|
**明确不做**:CSP 去 `unsafe-eval`(vue-i18n JIT 依赖,去掉会打断全部翻译)、
|
||||||
|
FTS5(当前 400 行无感)、echarts 按需引入(收益 < 风险)。
|
||||||
|
|
||||||
## 2026-10-23 · 按体检建议落地:每日备份 + 每人 QPS + 库体积上限(2.9.14 → 2.9.15)
|
## 2026-10-23 · 按体检建议落地:每日备份 + 每人 QPS + 库体积上限(2.9.14 → 2.9.15)
|
||||||
|
|
||||||
老板:「按你的建议做,全部做」。
|
老板:「按你的建议做,全部做」。
|
||||||
|
|||||||
+10
-6
@@ -383,7 +383,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope
|
|||||||
# 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。
|
# 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。
|
||||||
# 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。
|
# 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。
|
||||||
# ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。
|
# ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。
|
||||||
VERSION = "2.9.15"
|
VERSION = "2.9.16"
|
||||||
|
|
||||||
app = FastAPI(
|
app = FastAPI(
|
||||||
title="API Gateway",
|
title="API Gateway",
|
||||||
@@ -3068,7 +3068,7 @@ async def media_download(request: Request, url: str = "", filename: str = "",
|
|||||||
# ─────────────────────────────────────
|
# ─────────────────────────────────────
|
||||||
# GET /metrics + /metrics/prometheus(P1-3/8)
|
# GET /metrics + /metrics/prometheus(P1-3/8)
|
||||||
# ─────────────────────────────────────
|
# ─────────────────────────────────────
|
||||||
def _usage_snapshot(account: str | None = None) -> dict:
|
def _usage_snapshot(account: str | None = None, days: int = 0) -> dict:
|
||||||
"""指标快照(2026-10-23 起口径变化)。
|
"""指标快照(2026-10-23 起口径变化)。
|
||||||
|
|
||||||
**调用数 / 供应商分布 / token / 耗时** 来自 SQLite(`api_calls`,保留 90 天)——
|
**调用数 / 供应商分布 / token / 耗时** 来自 SQLite(`api_calls`,保留 90 天)——
|
||||||
@@ -3080,7 +3080,8 @@ def _usage_snapshot(account: str | None = None) -> dict:
|
|||||||
base: dict = {"uptime_seconds": rt.get("uptime_seconds"),
|
base: dict = {"uptime_seconds": rt.get("uptime_seconds"),
|
||||||
"in_flight": rt.get("in_flight", 0),
|
"in_flight": rt.get("in_flight", 0),
|
||||||
"in_flight_peak": rt.get("in_flight_peak", 0)}
|
"in_flight_peak": rt.get("in_flight_peak", 0)}
|
||||||
db = calllog.store.usage_snapshot(account=account) if calllog.store.enabled else {"enabled": False}
|
db = (calllog.store.usage_snapshot(account=account, days=days)
|
||||||
|
if calllog.store.enabled else {"enabled": False})
|
||||||
if db.get("enabled"):
|
if db.get("enabled"):
|
||||||
base.update({"calls": db.get("calls") or {},
|
base.update({"calls": db.get("calls") or {},
|
||||||
"providers": db.get("providers") or {},
|
"providers": db.get("providers") or {},
|
||||||
@@ -3096,18 +3097,21 @@ def _usage_snapshot(account: str | None = None) -> dict:
|
|||||||
|
|
||||||
|
|
||||||
@app.get("/metrics")
|
@app.get("/metrics")
|
||||||
async def metrics(request: Request, _auth=Depends(require_auth)):
|
async def metrics(request: Request, days: int = 0, _auth=Depends(require_auth)):
|
||||||
|
"""指标快照。`days`:0=保留期内全部(默认)、1=今天、7=近 7 天……(2026-10-23 新增)。"""
|
||||||
if not _cfg().server.metrics_enabled:
|
if not _cfg().server.metrics_enabled:
|
||||||
raise HTTPException(404, "metrics 已禁用")
|
raise HTTPException(404, "metrics 已禁用")
|
||||||
# M5+: 普通账号只看自己名下调用产生的聚合,admin 看全局 + 熔断状态。
|
# M5+: 普通账号只看自己名下调用产生的聚合,admin 看全局 + 熔断状态。
|
||||||
# 2026-10-22(老板):成员首页要看自己调用的次数统计,所以**不**把本端点收成仅管理员;
|
# 2026-10-22(老板):成员首页要看自己调用的次数统计,所以**不**把本端点收成仅管理员;
|
||||||
# 按账号聚合的逻辑保持原样(全局字段的收敛在 /health 里做)。
|
# 按账号聚合的逻辑保持原样(全局字段的收敛在 /health 里做)。
|
||||||
|
d = max(0, int(days or 0))
|
||||||
if request.state.role == "admin":
|
if request.state.role == "admin":
|
||||||
snap = _usage_snapshot()
|
snap = _usage_snapshot(days=d)
|
||||||
snap["circuits"] = _circuits.statuses() # P2-16 熔断状态
|
snap["circuits"] = _circuits.statuses() # P2-16 熔断状态
|
||||||
else:
|
else:
|
||||||
snap = _usage_snapshot(request.state.account)
|
snap = _usage_snapshot(request.state.account, days=d)
|
||||||
snap["circuits"] = []
|
snap["circuits"] = []
|
||||||
|
snap["days"] = d
|
||||||
return snap
|
return snap
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,54 @@
|
|||||||
|
# AI 网关项目体检报告(2026-10-23)
|
||||||
|
|
||||||
|
> 范围:`/root/dsh/projects/api-gateway`(v2.9.15)。方法:跑测试 + 静态检查 + 数据/权限/备份审计 + 真实接口压测。
|
||||||
|
|
||||||
|
## 一、已修复(本次体检发现)
|
||||||
|
|
||||||
|
| # | 问题 | 严重度 | 处理 |
|
||||||
|
|---|---|---|---|
|
||||||
|
| 1 | **225 个测试用例跑不起来**(pytest 未装,`tests/` 6197 行)| 高 | 装入 venv + `requirements-dev.txt` |
|
||||||
|
| 2 | **4 个用例断言旧内存版 `/logs`**(改读库时引入的回归)| 高 | 断言前 `flush()`;改用 `/logs/calls` 断言管理员视角 |
|
||||||
|
| 3 | **3 处夹具引用已下线的 `grok-4.6`** | 中 | 改 `grok-4.7` |
|
||||||
|
| 4 | **测试读写生产库** | 高 | `tests/conftest.py` 把 `CALLLOG_DB` 指向临时目录 |
|
||||||
|
| 5 | `/logs` 库映射缺 `video_id` | 中 | `api_calls` 增列(自动迁移)|
|
||||||
|
| 6 | 测试不幂等(失败残留账号)| 低 | 用例开头先删 |
|
||||||
|
|
||||||
|
**结果**:218/225 → **225/225 通过**。
|
||||||
|
|
||||||
|
## 二、已按建议落地(运维/容量)
|
||||||
|
|
||||||
|
| 项 | 内容 |
|
||||||
|
|---|---|
|
||||||
|
| **每日备份** | `backup-app-data.sh` + `dsh-gateway-backup.timer`(03:30):`VACUUM INTO` 快照 + 配置/账号/会话/历史,留 14 份 |
|
||||||
|
| **备份恢复演练** | `backup-restore-drill.sh`:解包 → 校验 SQLite integrity/行数、JSON 可解析、权限 600(已接入每日报告)|
|
||||||
|
| **每人 QPS** | `server.rate_limit_rps: null → 20`(按账号桶;实测 120 并发触发 55 个 429)|
|
||||||
|
| **库体积上限** | `CALLLOG_MAX_BYTES=2GiB`,按「有效数据量」精确收紧到 80% + 按需 VACUUM(含 `wal_checkpoint`)|
|
||||||
|
| **接口存活监控** | `uptime-check.sh` 接入每日报告:本机/公网/4 台关键服务,进程活着但接口挂也能发现 |
|
||||||
|
| **WAF 白名单自愈** | `waf-whitelist-guard.sh` + 每小时 timer:`^/v1/` 被面板覆盖时自动补回并 reload |
|
||||||
|
|
||||||
|
## 三、评估后**不做**的项(附理由)
|
||||||
|
|
||||||
|
| 项 | 为什么不做 |
|
||||||
|
|---|---|
|
||||||
|
| **CSP 去掉 `unsafe-eval`** | 产物里的 `new Function` 来自 **vue-i18n 的 JIT 编译器**;去掉会直接打断全部翻译(复现「界面显示变量名」)。站点是登录后的管理台、无内联脚本,风险本来就窄 |
|
||||||
|
| **FTS5 全文搜索** | 当前 400 行,`LIKE '%kw%'` 全表扫 <10ms;10 万行以后再说 |
|
||||||
|
| **echarts 按需引入** | 已独立 chunk + 懒加载,只影响 2 个页面,改造收益 < 风险 |
|
||||||
|
| **熔断/限流/失败计数落盘** | 重启重置是**更安全的默认**(宁可多试一次,不要一直熔断)|
|
||||||
|
| **sessions token 加密**(上一轮误判)| `app/sessions.py` 早就只存 `sha256("sess:"+token)`,盘上无可用凭证 |
|
||||||
|
|
||||||
|
## 四、体检通过项
|
||||||
|
|
||||||
|
- SQLite `integrity_check = ok`;索引齐全;文件权限 600
|
||||||
|
- 安全响应头齐全(CSP / X-Frame-Options: DENY / nosniff)
|
||||||
|
- **TODO / FIXME:0 处**;53 处 `except Exception` 全部有日志或兜底,无裸 `pass`
|
||||||
|
- `history.py` 有三重上限(条目数/单条字节/整文件字节)
|
||||||
|
- `/v1/media/download` 有域名白名单 + 内网地址拦截(SSRF)
|
||||||
|
- 密码 salt+hash;API Key 明文存储是产品需求(页面需反复复制),靠文件权限 600 兜底
|
||||||
|
- 阻塞 IO 都走 `_offload` 线程池
|
||||||
|
|
||||||
|
## 五、仍然存在的已知取舍(记录在案)
|
||||||
|
|
||||||
|
1. **`/logs` 只看自己的**(含 admin)—— 看全站要走「日志 → 调用日志」页签。
|
||||||
|
2. **实时页列表只给前 8KB 预览**,展开时调 `/logs/entry/{id}` 取全文(避免 200 条大内容拖垮接口)。
|
||||||
|
3. **`unsafe-eval` 必须保留**(见上)。
|
||||||
|
4. **WAF 规则以文件为准**:面板保存会覆盖 → 已有每小时自愈兜底,但仍建议最终在面板里也配置一份。
|
||||||
@@ -167,6 +167,11 @@ export default {
|
|||||||
snapshot: 'Live snapshot',
|
snapshot: 'Live snapshot',
|
||||||
circuitCard: 'Auto-paused after repeated failures, auto-recovers shortly',
|
circuitCard: 'Auto-paused after repeated failures, auto-recovers shortly',
|
||||||
byProvider: 'Calls by provider (success / fail)',
|
byProvider: 'Calls by provider (success / fail)',
|
||||||
|
rangeLabel: 'Range',
|
||||||
|
rangeToday: 'Today',
|
||||||
|
range7: '7 days',
|
||||||
|
range30: '30 days',
|
||||||
|
rangeAll: 'All',
|
||||||
},
|
},
|
||||||
logs: {
|
logs: {
|
||||||
tabLive: 'Realtime',
|
tabLive: 'Realtime',
|
||||||
|
|||||||
@@ -167,6 +167,11 @@ export default {
|
|||||||
snapshot: '实时快照',
|
snapshot: '实时快照',
|
||||||
circuitCard: '连续失败会自动暂停,稍后自动恢复',
|
circuitCard: '连续失败会自动暂停,稍后自动恢复',
|
||||||
byProvider: '按供应商调用(成功 / 失败)',
|
byProvider: '按供应商调用(成功 / 失败)',
|
||||||
|
rangeLabel: '统计口径',
|
||||||
|
rangeToday: '今天',
|
||||||
|
range7: '近 7 天',
|
||||||
|
range30: '近 30 天',
|
||||||
|
rangeAll: '全部',
|
||||||
},
|
},
|
||||||
logs: {
|
logs: {
|
||||||
tabLive: '实时',
|
tabLive: '实时',
|
||||||
|
|||||||
@@ -1,5 +1,15 @@
|
|||||||
<template>
|
<template>
|
||||||
<div class="page">
|
<div class="page">
|
||||||
|
<!-- 2026-10-23:指标口径切换(后端 /metrics?days=) -->
|
||||||
|
<div class="range-bar">
|
||||||
|
<span class="sub">{{ t('metrics.rangeLabel') }}</span>
|
||||||
|
<el-radio-group v-model="days" size="small" @change="load">
|
||||||
|
<el-radio-button :value="1">{{ t('metrics.rangeToday') }}</el-radio-button>
|
||||||
|
<el-radio-button :value="7">{{ t('metrics.range7') }}</el-radio-button>
|
||||||
|
<el-radio-button :value="30">{{ t('metrics.range30') }}</el-radio-button>
|
||||||
|
<el-radio-button :value="0">{{ t('metrics.rangeAll') }}</el-radio-button>
|
||||||
|
</el-radio-group>
|
||||||
|
</div>
|
||||||
<el-alert v-if="err" :title="err" type="error" show-icon :closable="false" class="mb" />
|
<el-alert v-if="err" :title="err" type="error" show-icon :closable="false" class="mb" />
|
||||||
|
|
||||||
<!-- KPI:全部来自 /metrics 当前快照。网关没有历史时序接口,
|
<!-- KPI:全部来自 /metrics 当前快照。网关没有历史时序接口,
|
||||||
@@ -108,6 +118,8 @@ const router = useRouter()
|
|||||||
const { t } = useI18n()
|
const { t } = useI18n()
|
||||||
const { resolved } = useTheme()
|
const { resolved } = useTheme()
|
||||||
const data = ref<any>({})
|
const data = ref<any>({})
|
||||||
|
// 指标口径:0=保留期内全部、1=今天、7=近7天、30=近30天
|
||||||
|
const days = ref(0)
|
||||||
const loading = ref(false)
|
const loading = ref(false)
|
||||||
const err = ref('')
|
const err = ref('')
|
||||||
// 运行时间的实时基准:uptimeAt = 上次拿到 /metrics 的时刻,nowTick = 本地每秒心跳。
|
// 运行时间的实时基准:uptimeAt = 上次拿到 /metrics 的时刻,nowTick = 本地每秒心跳。
|
||||||
@@ -118,7 +130,7 @@ async function load() {
|
|||||||
loading.value = true
|
loading.value = true
|
||||||
err.value = ''
|
err.value = ''
|
||||||
try {
|
try {
|
||||||
data.value = await api('/metrics')
|
data.value = await api(`/metrics?days=${days.value}`)
|
||||||
uptimeAt.value = Date.now()
|
uptimeAt.value = Date.now()
|
||||||
} catch (e: any) {
|
} catch (e: any) {
|
||||||
if (e && e.status === 401) { router.push('/login'); return }
|
if (e && e.status === 401) { router.push('/login'); return }
|
||||||
@@ -265,6 +277,7 @@ onUnmounted(() => { clearInterval(timer); clearInterval(tickTimer) })
|
|||||||
</script>
|
</script>
|
||||||
|
|
||||||
<style scoped>
|
<style scoped>
|
||||||
|
.range-bar { display: flex; align-items: center; gap: 10px; margin-bottom: 10px; }
|
||||||
.about-card { margin-top: var(--gap); padding: 12px 16px; }
|
.about-card { margin-top: var(--gap); padding: 12px 16px; }
|
||||||
.about-line b { color: var(--text); }
|
.about-line b { color: var(--text); }
|
||||||
</style>
|
</style>
|
||||||
Reference in new issue
Block a user