第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。
P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。
视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。
登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。
口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。
/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。
其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。
前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。
文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。
测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。
CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
This commit is contained in:
1 parent
55eb89ce0e
commit
0bf607e35f
24 files changed
+887
-535
No files matched your search
@@ -0,0 +1,129 @@
|
||||
"""视频任务归属(第三十轮新增)。
|
||||
|
||||
**为什么需要**:`GET /v1/videos/{video_id}` 原先不做归属判断(第十轮的口径是"轮询端点不记
|
||||
访问行,故不取 caller")。结果是:任何**已登录账号**只要拿到 video_id,就能读到别人视频任务
|
||||
的状态与产物 URL。视频 id 是供应商私有的随机串、猜不到,但与 `/logs`、`/metrics`、`/history`
|
||||
那套「按账号隔离」的口径不一致 —— 一个账号能看到的、另一个账号也能看到的资源,就不该靠"猜不到"当防线。
|
||||
|
||||
**怎么做**:创建视频成功那一刻(`POST /v1/videos` 拿到上游 `video_id`)记一条
|
||||
`video_id → 账号`,轮询时按它判归属。
|
||||
|
||||
**口径(刻意选择)**:
|
||||
· 管理员放行一切(管理员本来就该能排障;且 admin 的历史/日志本就不隔离)。
|
||||
· 记录里**有**这个 id 且不是请求者 → 404「视频任务不存在」。用 404 而不是 403:
|
||||
403 等于确认"这个 id 存在",会把 id 变成可探测的。
|
||||
· 记录里**没有**这个 id(本次改动之前创建的视频、落盘文件丢失、超 TTL 被清)→ **放行**。
|
||||
这是刻意的渐进收紧:宁可对老任务宽松,也不要让正常流程在部署当天突然 404。
|
||||
新创建的任务一律有记录,所以保护是即时生效的。
|
||||
|
||||
**存储**:`data/video_owners.json`(600,原子写)。量小(只存 id/账号/时间),
|
||||
按 TTL(默认 7 天)与条数上限滚动清理 —— 视频产物本身也不会在历史里留太久。
|
||||
path=None → 纯内存(测试/库内直连构造用)。
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import threading
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
log = logging.getLogger("api-gateway.video_owners")
|
||||
|
||||
_FILE_VERSION = 1
|
||||
|
||||
|
||||
class VideoOwnerStore:
|
||||
def __init__(self, path: str | os.PathLike | None = None,
|
||||
ttl_seconds: int = 7 * 86400, max_items: int = 2000):
|
||||
self._path = Path(path) if path else None
|
||||
self._ttl = int(ttl_seconds)
|
||||
self._max = int(max_items)
|
||||
self._m: dict[str, dict] = {}
|
||||
self._lock = threading.Lock()
|
||||
self._load()
|
||||
|
||||
# ── 落盘 ─────────────────────────────────────────
|
||||
def _load(self) -> None:
|
||||
if self._path is None or not self._path.exists():
|
||||
return
|
||||
try:
|
||||
raw = json.loads(self._path.read_text(encoding="utf-8"))
|
||||
items = raw.get("videos") if isinstance(raw, dict) else None
|
||||
except Exception as e:
|
||||
log.warning("视频归属文件读取失败(按空表启动):%s", e)
|
||||
return
|
||||
now = time.time()
|
||||
for k, v in (items or {}).items():
|
||||
if not isinstance(v, dict):
|
||||
continue
|
||||
created = v.get("created")
|
||||
if not isinstance(created, (int, float)) or now - created > self._ttl:
|
||||
continue
|
||||
self._m[str(k)] = {"account": str(v.get("account") or ""),
|
||||
"provider": str(v.get("provider") or ""),
|
||||
"created": float(created)}
|
||||
if self._m:
|
||||
log.info("已载入 %d 条视频归属记录", len(self._m))
|
||||
|
||||
def _save(self) -> None:
|
||||
if self._path is None:
|
||||
return
|
||||
try:
|
||||
self._path.parent.mkdir(parents=True, exist_ok=True)
|
||||
text = json.dumps({"version": _FILE_VERSION, "videos": self._m},
|
||||
ensure_ascii=False, separators=(",", ":"))
|
||||
tmp = self._path.with_name(self._path.name + ".tmp")
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
os.chmod(tmp, 0o600)
|
||||
os.replace(tmp, self._path)
|
||||
except Exception as e:
|
||||
# 落盘失败只影响"重启后还认不认归属"(会退化成放行),不该让创建视频这条主链路失败。
|
||||
log.warning("视频归属落盘失败:%s", e)
|
||||
|
||||
# ── 读写 ─────────────────────────────────────────
|
||||
def record(self, video_id: str, account: str, provider: str = "") -> None:
|
||||
"""创建视频成功后登记归属。video_id 为空则忽略(上游没回 id 时不记脏数据)。"""
|
||||
if not video_id:
|
||||
return
|
||||
with self._lock:
|
||||
now = time.time()
|
||||
self._m[video_id] = {"account": account or "", "provider": provider or "",
|
||||
"created": now}
|
||||
self._prune(now)
|
||||
self._save()
|
||||
|
||||
def owner(self, video_id: str) -> str | None:
|
||||
"""返回登记归属;没有记录返回 None(≠"不属于任何人",见模块头部的口径)。"""
|
||||
if not video_id:
|
||||
return None
|
||||
with self._lock:
|
||||
ent = self._m.get(video_id)
|
||||
if not ent:
|
||||
return None
|
||||
if time.time() - ent["created"] > self._ttl:
|
||||
del self._m[video_id]
|
||||
self._save()
|
||||
return None
|
||||
return ent.get("account") or None
|
||||
|
||||
def allows(self, video_id: str, account: str, is_admin: bool = False) -> bool:
|
||||
"""该账号能否访问这个视频任务。无记录 → 放行(渐进收紧,见模块头部)。"""
|
||||
if is_admin:
|
||||
return True
|
||||
who = self.owner(video_id)
|
||||
return who is None or who == (account or "")
|
||||
|
||||
def count(self) -> int:
|
||||
with self._lock:
|
||||
self._prune(time.time())
|
||||
return len(self._m)
|
||||
|
||||
def _prune(self, now: float) -> None:
|
||||
for k in [k for k, v in self._m.items() if now - v["created"] > self._ttl]:
|
||||
del self._m[k]
|
||||
while len(self._m) > self._max: # 超上限:先清最老的
|
||||
oldest = min(self._m, key=lambda k: self._m[k]["created"])
|
||||
del self._m[oldest]
|
||||
Reference in new issue
Block a user