Files
xiaoyin-gateway/app/video_owners.py
T
api-gateway d3fa8f5e20 第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。

P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
  download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。

视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
  admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。

登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
  原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。

口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。

/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。

其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。

前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。

文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
  「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。

测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
  env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。

CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
  消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
2026-09-18 22:45:20 +08:00

130 lines
5.9 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""视频任务归属(第三十轮新增)。
**为什么需要**:`GET /v1/videos/{video_id}` 原先不做归属判断(第十轮的口径是"轮询端点不记
访问行,故不取 caller")。结果是:任何**已登录账号**只要拿到 video_id,就能读到别人视频任务
的状态与产物 URL。视频 id 是供应商私有的随机串、猜不到,但与 `/logs`、`/metrics`、`/history`
那套「按账号隔离」的口径不一致 —— 一个账号能看到的、另一个账号也能看到的资源,就不该靠"猜不到"当防线。
**怎么做**:创建视频成功那一刻(`POST /v1/videos` 拿到上游 `video_id`)记一条
`video_id → 账号`,轮询时按它判归属。
**口径(刻意选择)**:
· 管理员放行一切(管理员本来就该能排障;且 admin 的历史/日志本就不隔离)。
· 记录里**有**这个 id 且不是请求者 → 404「视频任务不存在」。用 404 而不是 403:
403 等于确认"这个 id 存在",会把 id 变成可探测的。
· 记录里**没有**这个 id(本次改动之前创建的视频、落盘文件丢失、超 TTL 被清)→ **放行**。
这是刻意的渐进收紧:宁可对老任务宽松,也不要让正常流程在部署当天突然 404。
新创建的任务一律有记录,所以保护是即时生效的。
**存储**:`data/video_owners.json`(600,原子写)。量小(只存 id/账号/时间),
按 TTL(默认 7 天)与条数上限滚动清理 —— 视频产物本身也不会在历史里留太久。
path=None → 纯内存(测试/库内直连构造用)。
"""
from __future__ import annotations
import json
import logging
import os
import threading
import time
from pathlib import Path
log = logging.getLogger("api-gateway.video_owners")
_FILE_VERSION = 1
class VideoOwnerStore:
def __init__(self, path: str | os.PathLike | None = None,
ttl_seconds: int = 7 * 86400, max_items: int = 2000):
self._path = Path(path) if path else None
self._ttl = int(ttl_seconds)
self._max = int(max_items)
self._m: dict[str, dict] = {}
self._lock = threading.Lock()
self._load()
# ── 落盘 ─────────────────────────────────────────
def _load(self) -> None:
if self._path is None or not self._path.exists():
return
try:
raw = json.loads(self._path.read_text(encoding="utf-8"))
items = raw.get("videos") if isinstance(raw, dict) else None
except Exception as e:
log.warning("视频归属文件读取失败(按空表启动):%s", e)
return
now = time.time()
for k, v in (items or {}).items():
if not isinstance(v, dict):
continue
created = v.get("created")
if not isinstance(created, (int, float)) or now - created > self._ttl:
continue
self._m[str(k)] = {"account": str(v.get("account") or ""),
"provider": str(v.get("provider") or ""),
"created": float(created)}
if self._m:
log.info("已载入 %d 条视频归属记录", len(self._m))
def _save(self) -> None:
if self._path is None:
return
try:
self._path.parent.mkdir(parents=True, exist_ok=True)
text = json.dumps({"version": _FILE_VERSION, "videos": self._m},
ensure_ascii=False, separators=(",", ":"))
tmp = self._path.with_name(self._path.name + ".tmp")
tmp.write_text(text, encoding="utf-8")
os.chmod(tmp, 0o600)
os.replace(tmp, self._path)
except Exception as e:
# 落盘失败只影响"重启后还认不认归属"(会退化成放行),不该让创建视频这条主链路失败。
log.warning("视频归属落盘失败:%s", e)
# ── 读写 ─────────────────────────────────────────
def record(self, video_id: str, account: str, provider: str = "") -> None:
"""创建视频成功后登记归属。video_id 为空则忽略(上游没回 id 时不记脏数据)。"""
if not video_id:
return
with self._lock:
now = time.time()
self._m[video_id] = {"account": account or "", "provider": provider or "",
"created": now}
self._prune(now)
self._save()
def owner(self, video_id: str) -> str | None:
"""返回登记归属;没有记录返回 None(≠"不属于任何人",见模块头部的口径)。"""
if not video_id:
return None
with self._lock:
ent = self._m.get(video_id)
if not ent:
return None
if time.time() - ent["created"] > self._ttl:
del self._m[video_id]
self._save()
return None
return ent.get("account") or None
def allows(self, video_id: str, account: str, is_admin: bool = False) -> bool:
"""该账号能否访问这个视频任务。无记录 → 放行(渐进收紧,见模块头部)。"""
if is_admin:
return True
who = self.owner(video_id)
return who is None or who == (account or "")
def count(self) -> int:
with self._lock:
self._prune(time.time())
return len(self._m)
def _prune(self, now: float) -> None:
for k in [k for k, v in self._m.items() if now - v["created"] > self._ttl]:
del self._m[k]
while len(self._m) > self._max: # 超上限:先清最老的
oldest = min(self._m, key=lambda k: self._m[k]["created"])
del self._m[oldest]