第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。
P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。
视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。
登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。
口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。
/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。
其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。
前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。
文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。
测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。
CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
This commit is contained in:
1 parent
d5ac7ac555
commit
d3fa8f5e20
24 files changed
+887
-535
No files matched your search
+99
-12
@@ -1,28 +1,99 @@
|
||||
"""前端登录会话(短时、内存态)。
|
||||
"""前端登录会话(短时;可落盘,默认内存)。
|
||||
|
||||
设计:前端用**账号 + 密码**调 POST /auth/login 换一个 short-lived 的 `sess-` token,
|
||||
后续请求带这个会话 token —— 密码只在登录那一刻提交一次,前端不长期持有;
|
||||
API Key 也不需要交给浏览器。会话存内存,单实例必需;
|
||||
多实例如需共享会话再换 Redis(当前网关单实例,足够)。
|
||||
API Key 也不需要交给浏览器。
|
||||
|
||||
吊销语义(第八轮审计补):账号被删除、改密或被管理员重置密码时,其名下**全部会话**
|
||||
立即失效 —— 否则「删号 / 重置密码」无法止损(旧 token 仍能调用到 TTL 结束)。
|
||||
|
||||
落盘(第三十轮补):此前是纯内存,进程一重启**所有人被踢下线**(每次上线/改配置都掉线,
|
||||
运维体感很差,也逼着"为了不掉线而不重启")。现在可选落盘 `data/sessions.json`:
|
||||
|
||||
· **盘上只存 token 的 sha256**(`_fp()`),不存 token 本身 —— 备份/误传该文件也无法
|
||||
直接拿来冒充登录;代价是吊销/校验都要现算一次哈希(可忽略)。
|
||||
· 原子写(临时文件 + os.replace)+ 权限 600;写失败只告警、不抛 —— 落盘是"少掉线一次"
|
||||
的体验优化,不能让它把登录本身弄挂(真失败就退化成原来的纯内存行为)。
|
||||
· 载入时直接丢掉已过期的会话(TTL 判定与运行期一致)。
|
||||
· 仍不解决**多实例共享**(要共享还是得换 Redis);当前网关单实例,够用。
|
||||
|
||||
path=None(默认)→ 纯内存,测试与库内直连构造维持原语义。
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import hashlib
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import secrets
|
||||
import threading
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
log = logging.getLogger("api-gateway.sessions")
|
||||
|
||||
# 落盘文件名固定为 sessions.json;结构带 version,便于以后改格式时兼容读取。
|
||||
_FILE_VERSION = 1
|
||||
|
||||
|
||||
def _fp(token: str) -> str:
|
||||
"""token → 落盘用的指纹(sha256)。盘上永远不出现可直接使用的凭证。"""
|
||||
return hashlib.sha256(("sess:" + token).encode("utf-8")).hexdigest()
|
||||
|
||||
|
||||
class SessionStore:
|
||||
def __init__(self, ttl_seconds: int = 86400, max_tokens: int = 5000):
|
||||
def __init__(self, ttl_seconds: int = 86400, max_tokens: int = 5000,
|
||||
path: str | os.PathLike | None = None):
|
||||
self._ttl = ttl_seconds
|
||||
self._max = max_tokens
|
||||
self._path = Path(path) if path else None
|
||||
self._s: dict[str, dict] = {}
|
||||
self._lock = threading.Lock()
|
||||
self._load()
|
||||
|
||||
# ── 落盘 ─────────────────────────────────────────
|
||||
def _load(self) -> None:
|
||||
"""启动时载入;已过期的直接丢弃(不留到运行期再清)。"""
|
||||
if self._path is None or not self._path.exists():
|
||||
return
|
||||
try:
|
||||
raw = json.loads(self._path.read_text(encoding="utf-8"))
|
||||
entries = raw.get("sessions") if isinstance(raw, dict) else None
|
||||
except Exception as e: # 文件损坏/被手工改坏 → 当没有,别拦启动
|
||||
log.warning("会话文件读取失败(按空会话启动):%s", e)
|
||||
return
|
||||
now = time.time()
|
||||
kept = dropped = 0
|
||||
for k, v in (entries or {}).items():
|
||||
if not isinstance(v, dict):
|
||||
continue
|
||||
created = v.get("created")
|
||||
if not isinstance(created, (int, float)) or now - created > self._ttl:
|
||||
dropped += 1
|
||||
continue
|
||||
self._s[str(k)] = {"created": float(created), "ip": str(v.get("ip") or ""),
|
||||
"account": str(v.get("account") or "")}
|
||||
kept += 1
|
||||
if kept or dropped:
|
||||
log.info("已载入 %d 个会话(丢弃过期 %d 个)", kept, dropped)
|
||||
|
||||
def _save(self) -> None:
|
||||
"""整体重写(会话量小:上限 max_tokens 条)。写失败只告警。"""
|
||||
if self._path is None:
|
||||
return
|
||||
try:
|
||||
self._path.parent.mkdir(parents=True, exist_ok=True)
|
||||
text = json.dumps({"version": _FILE_VERSION, "sessions": self._s},
|
||||
ensure_ascii=False, separators=(",", ":"))
|
||||
tmp = self._path.with_name(self._path.name + ".tmp")
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
os.chmod(tmp, 0o600)
|
||||
os.replace(tmp, self._path)
|
||||
except Exception as e:
|
||||
log.warning("会话落盘失败(本次改动只在内存生效):%s", e)
|
||||
|
||||
# ── 基本属性 ─────────────────────────────────────
|
||||
def ttl(self) -> int:
|
||||
return self._ttl
|
||||
|
||||
@@ -32,9 +103,13 @@ class SessionStore:
|
||||
|
||||
def count(self) -> int:
|
||||
with self._lock:
|
||||
self._purge()
|
||||
return len(self._s)
|
||||
changed = self._purge()
|
||||
n = len(self._s)
|
||||
if changed:
|
||||
self._save()
|
||||
return n
|
||||
|
||||
# ── 增删查改 ─────────────────────────────────────
|
||||
def create(self, ip: str, account: str = "") -> str:
|
||||
with self._lock:
|
||||
self._purge()
|
||||
@@ -43,18 +118,20 @@ class SessionStore:
|
||||
del self._s[oldest]
|
||||
tok = "sess-" + secrets.token_hex(24)
|
||||
# ip 只做记录、不做绑定:移动网络/NAT 下换出口 IP 是常态,绑定会把人踢下线。
|
||||
self._s[tok] = {"created": time.time(), "ip": ip or "", "account": account or ""}
|
||||
self._s[_fp(tok)] = {"created": time.time(), "ip": ip or "", "account": account or ""}
|
||||
self._save()
|
||||
return tok
|
||||
|
||||
def validate(self, token: str, ip: str | None = None) -> bool:
|
||||
if not token:
|
||||
return False
|
||||
with self._lock:
|
||||
ent = self._s.get(token)
|
||||
ent = self._s.get(_fp(token))
|
||||
if not ent:
|
||||
return False
|
||||
if time.time() - ent["created"] > self._ttl:
|
||||
del self._s[token]
|
||||
del self._s[_fp(token)]
|
||||
self._save()
|
||||
return False
|
||||
return True
|
||||
|
||||
@@ -63,7 +140,7 @@ class SessionStore:
|
||||
if not token or not self.validate(token):
|
||||
return None
|
||||
with self._lock:
|
||||
ent = self._s.get(token)
|
||||
ent = self._s.get(_fp(token))
|
||||
return (ent or {}).get("account")
|
||||
|
||||
def is_session(self, token: str) -> bool:
|
||||
@@ -76,7 +153,8 @@ class SessionStore:
|
||||
|
||||
def revoke(self, token: str) -> None:
|
||||
with self._lock:
|
||||
self._s.pop(token, None)
|
||||
if self._s.pop(_fp(token), None) is not None:
|
||||
self._save()
|
||||
|
||||
def revoke_account(self, account: str) -> int:
|
||||
"""吊销某账号的全部会话,返回被踢掉的会话数(改密/重置密码/删号时调用)。"""
|
||||
@@ -86,14 +164,23 @@ class SessionStore:
|
||||
dead = [k for k, v in self._s.items() if v.get("account") == account]
|
||||
for k in dead:
|
||||
del self._s[k]
|
||||
if dead:
|
||||
self._save()
|
||||
return len(dead)
|
||||
|
||||
def clear(self) -> None:
|
||||
with self._lock:
|
||||
had = bool(self._s)
|
||||
self._s.clear()
|
||||
if had:
|
||||
self._save()
|
||||
|
||||
def _purge(self) -> None:
|
||||
def _purge(self) -> bool:
|
||||
"""清过期会话;返回是否有改动(有才值得落盘)。"""
|
||||
now = time.time()
|
||||
changed = False
|
||||
for k in list(self._s):
|
||||
if now - self._s[k]["created"] > self._ttl:
|
||||
del self._s[k]
|
||||
changed = True
|
||||
return changed
|
||||
Reference in new issue
Block a user