第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限

老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。

P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
  download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。

视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
  admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。

登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
  原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。

口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。

/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。

其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。

前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。

文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
  「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。

测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
  env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。

CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
  消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
This commit is contained in:
api-gateway committed 2026-09-18 22:45:20 +08:00
1 parent d5ac7ac555
commit d3fa8f5e20
24 files changed
+887 -535

No files matched your search

+163 -5
View File
@@ -28,6 +28,10 @@ _os.environ.setdefault("GATEWAY_HISTORY", str(_ROOT / ".test_history.json"))
# 第二十二轮 意见反馈:同理——反馈(含图片)必须落到临时路径,别污染真实 data/
_os.environ.setdefault("GATEWAY_FEEDBACK", str(_ROOT / ".test_feedback.json"))
_os.environ.setdefault("GATEWAY_FEEDBACK_MEDIA", str(_ROOT / ".test_feedback_media"))
# 第三十轮 会话落盘 / 视频归属落盘:同样隔离,否则跑测试会把真实登录会话与视频归属写脏
_os.environ.setdefault("GATEWAY_SESSIONS", str(_ROOT / ".test_sessions.json"))
_os.environ.setdefault("GATEWAY_VIDEO_OWNERS", str(_ROOT / ".test_video_owners.json"))
_os.environ.setdefault("GATEWAY_ENV_FILE", str(_ROOT / ".test_env"))
from app.config import load_config, validate_config, ConfigError
from app.circuit import CircuitBreaker, CircuitBreakerRegistry
@@ -3379,8 +3383,6 @@ def _write_tmp_yaml(obj) -> str:
def test_config_endpoints_permission_matrix():
"""GET/PUT /config:只认管理员 + 网页会话(API Key 不行),普通账号 403。"""
import tempfile
from pathlib import Path as P
from fastapi.testclient import TestClient
import app.main as m
client = TestClient(m.app)
@@ -3411,7 +3413,6 @@ def test_config_save_applies_without_restart():
from pathlib import Path as P
from fastapi.testclient import TestClient
import app.main as m
from app.config import GatewayConfig
client = TestClient(m.app)
ah = {"Authorization": f"Bearer {_login_admin_session(client)}"}
@@ -3631,7 +3632,7 @@ def test_admin_disabled_flag_in_file_is_autohealed():
from app.users import UsersStore
with tempfile.TemporaryDirectory() as d:
p = _P(d) / "users.json"
store = UsersStore(str(p))
UsersStore(str(p)) # 造出初始文件(下面直接改里面 admin 的 disabled 标记)
data = _json.loads(p.read_text(encoding="utf-8"))
data["users"]["admin"]["disabled"] = True
data["users"]["admin"]["disabled_at"] = 1.0
@@ -4336,7 +4337,6 @@ def test_prometheus_export_ok_and_dropped_metrics_removed():
(或反之)都说明导出器接线断了,Grafana 会看到空图。
"""
from fastapi.testclient import TestClient
import app.main as m
with _Isolated() as mm:
r = TestClient(mm.app).get("/metrics/prometheus")
@@ -4396,6 +4396,164 @@ def test_media_requests_carry_bearer_token():
(req.url.path, dict(req.headers))
# ── 第三十轮「全面体检」发现项:会话落盘 / 视频归属 / env 值校验 / 口令下限 ──────
def test_session_store_persists_across_restart_and_hides_raw_token():
"""会话落盘:重启不掉线(本轮目的);但盘上只许有 token 的哈希,不能有可直接用的凭证。"""
import tempfile, os
from app.sessions import SessionStore
d = tempfile.mkdtemp()
p = os.path.join(d, "sessions.json")
s1 = SessionStore(ttl_seconds=3600, path=p)
tok = s1.create("1.2.3.4", "alice")
assert s1.validate(tok)
raw = open(p, encoding="utf-8").read()
assert tok not in raw, "落盘文件里出现了明文会话 token"
assert "alice" in raw, "账号名要留着(否则重启后没法按账号吊销)"
s2 = SessionStore(ttl_seconds=3600, path=p) # 模拟进程重启
assert s2.validate(tok), "重启后旧会话应仍然有效(本轮的改动目的)"
assert s2.account_for(tok) == "alice"
assert s2.revoke_account("alice") == 1
s3 = SessionStore(ttl_seconds=3600, path=p)
assert not s3.validate(tok), "吊销必须落盘,否则重启就把被吊销的会话放回来了"
def test_session_store_drops_expired_entries_on_load():
"""载入时直接丢掉过期会话 —— 别把已死亡会话带进运行期(否则 TTL 形同虚设一份)。"""
import json, tempfile, os, time
from app.sessions import SessionStore, _fp
d = tempfile.mkdtemp()
p = os.path.join(d, "sessions.json")
live, dead = "sess-live-token", "sess-dead-token"
json.dump({"version": 1, "sessions": {
_fp(live): {"created": time.time(), "ip": "", "account": "a"},
_fp(dead): {"created": time.time() - 10 * 86400, "ip": "", "account": "a"},
}}, open(p, "w", encoding="utf-8"))
s = SessionStore(ttl_seconds=3600, path=p)
assert s.validate(live)
assert not s.validate(dead), "过期会话不该被载入"
def test_video_owner_store_semantics():
"""视频归属:有登记按登记判、无登记放行、管理员放行;结论要能跨重启保持。"""
import tempfile, os
from app.video_owners import VideoOwnerStore
d = tempfile.mkdtemp()
p = os.path.join(d, "videos.json")
v = VideoOwnerStore(path=p)
v.record("vid-1", "alice", "agnes")
assert v.owner("vid-1") == "alice"
assert v.allows("vid-1", "alice") is True
assert v.allows("vid-1", "bob") is False, "别人的视频不该能让另一个账号读到"
assert v.allows("vid-1", "bob", is_admin=True) is True, "管理员要能排障"
assert v.allows("vid-unknown", "bob") is True, "无登记的老任务放行(渐进收紧,不砸正常流程)"
v2 = VideoOwnerStore(path=p) # 重启后归属仍在
assert v2.allows("vid-1", "bob") is False
v.record("vid-2", "alice")
assert v.count() == 2
def test_video_poll_denies_other_account_allows_owner_and_admin():
"""端点级:别人 poll 我的视频 → 404(不是 403,避免把 id 变成存在性探针);本人与管理员正常。"""
import uuid
from fastapi.testclient import TestClient
import app.main as m
vid = "vtest-owner-" + uuid.uuid4().hex[:8]
class Fake:
async def create_video(self, **kw):
return {"video_id": vid, "raw": {"status": "queued", "id": vid}}
async def poll_video(self, video_id, **kw):
return {"raw": {"status": "completed", "progress": 100}}
real = m._get_adapter
m._get_adapter = lambda model, t, cfg: (Fake(), {}, model)
client = TestClient(m.app)
ah = {"Authorization": f"Bearer {_login_admin_session(client)}"}
names = []
try:
owner = _member(client, ah, "vowner"); names.append("vowner")
other = _member(client, ah, "vother"); names.append("vother")
r = client.post("/v1/videos", json={"model": "agnes-video-2.5-flash",
"prompt": "x", "aspect_ratio": "16:9"}, headers=owner)
assert r.status_code == 200, r.text
assert r.json()["video_id"] == vid
assert client.get(f"/v1/videos/{vid}", headers=other).status_code == 404, \
"另一个账号不该能读走别人的视频任务"
assert client.get(f"/v1/videos/{vid}", headers=owner).status_code == 200
assert client.get(f"/v1/videos/{vid}", headers=ah).status_code == 200, "管理员放行"
# 无登记(本次改动之前创建的老任务)→ 放行,不能砸掉正在轮询的老流程
assert client.get("/v1/videos/never-recorded-xyz", headers=other).status_code == 200
finally:
m._get_adapter = real
for n in names:
client.delete(f"/auth/users/{n}", headers=ah)
def test_config_env_rejects_multiline_value_and_writes_sandbox_file():
"""env 值校验:换行/控制字符/超长一律 400(能凭空改掉 .env 里别的行);正常值才落盘。"""
import os
from fastapi.testclient import TestClient
import app.main as m
client = TestClient(m.app)
ah = {"Authorization": f"Bearer {_login_admin_session(client)}"}
name = sorted(m._env_snapshot().keys())[0]
env_path = m._env_file()
assert str(env_path).endswith(".test_env"), f"测试必须写在沙箱 env 文件上:{env_path}"
before = env_path.read_text(encoding="utf-8") if env_path.exists() else ""
try:
for bad in ("abc\ndef", "abc\rX=A", "A\x00B", "x" * 4097):
r = client.post("/config/env", json={"envs": {name: bad}}, headers=ah)
assert r.status_code == 400, (bad[:12], r.status_code, r.text)
after = env_path.read_text(encoding="utf-8") if env_path.exists() else ""
assert after == before, "被拒的值不该动到文件"
old = os.environ.get(name)
try:
r = client.post("/config/env", json={"envs": {name: "sk-test-value-123"}}, headers=ah)
assert r.status_code == 200, r.text
assert os.environ.get(name) == "sk-test-value-123", "写盘后要立即在运行时生效"
assert f"{name}=sk-test-value-123" in env_path.read_text(encoding="utf-8")
finally:
if old is None:
os.environ.pop(name, None)
else:
os.environ[name] = old
finally:
if before:
env_path.write_text(before, encoding="utf-8")
def test_password_min_length_raised_to_8():
"""口令下限 4→8:只作用于「显式给密码/改密」;登录不设下限(老短口令账号照常登录)。"""
import tempfile, os
from app.users import UsersStore, UserError
p = tempfile.NamedTemporaryFile(suffix=".json", delete=False).name
try:
u = UsersStore(p)
for bad in ("1234", "1234567", ""):
try:
u.create_user("shorty", password=bad)
raise AssertionError(f"短口令 {bad!r} 不该被接受")
except UserError as e:
assert "8" in str(e), e
u.create_user("shorty") # 默认密码=账号名,不受下限约束(老板约定)
assert u.verify("shorty", "shorty") is True, "短默认口令仍要能登录"
try:
u.change_password("shorty", "1234567")
raise AssertionError("改密到 7 位不该被接受")
except UserError:
pass
u.change_password("shorty", "12345678")
assert u.verify("shorty", "12345678") is True
assert u.verify("shorty", "shorty") is False
finally:
try: os.unlink(p)
except OSError: pass
# 直接运行(非 pytest)—— 必须留在文件末尾,见上方 `test_image_request_goes_to_requested_model`
# 之前的旁注:运行器只会收集执行到这一行时已经存在的 globals。
if __name__ == "__main__":