第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。
P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。
视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。
登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。
口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。
/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。
其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。
前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。
文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。
测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。
CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
This commit is contained in:
1 parent
55eb89ce0e
commit
0bf607e35f
24 files changed
+887
-535
No files matched your search
@@ -205,6 +205,10 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
headers.pop("authorization", None)
|
||||
headers.pop("x-api-key", None)
|
||||
headers.update(self.auth_headers(protocol))
|
||||
# 第三十轮: 这里原来写「无 session → 每请求一个随机 UUID(仍能过上游强校验,只是没有缓存收益)」,
|
||||
# 那句话在第二十九轮之后**已经不对了** —— 网关三条协议线入口(chat 非流式/流式、batch、
|
||||
# 三线直传)现在都传 `session_id`,随机回退只在"适配器被直接调用且没给 session"时才可能命中。
|
||||
# 留 uuid4 是兜底(保证不缺头 → 不会 400 MissingSessionID),正常流量走不到这里。
|
||||
if self._requires_session:
|
||||
headers["x-opencode-session"] = session_id or uuid.uuid4().hex
|
||||
return headers
|
||||
@@ -222,6 +226,11 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
headers = dict(self._headers)
|
||||
if self._token:
|
||||
headers["Authorization"] = f"Bearer {self._token}"
|
||||
# 第三十轮: 这里的会话头**故意**保持每请求随机,不是漏改。
|
||||
# 媒体端点(图像/视频)是一次性任务,没有"同一会话复读同一大前缀"的场景,
|
||||
# 也就没有前缀缓存可吃;反过来,若给它一个跨请求固定的会话,反而会让上游把
|
||||
# 互不相关的图片/视频任务记到同一个会话名下,污染那边的会话视图。
|
||||
# 注意当前配了媒体能力的供应商都不是 opencode(opencode 无 media),这行实际走不到。
|
||||
if self._requires_session:
|
||||
headers["x-opencode-session"] = uuid.uuid4().hex
|
||||
return headers
|
||||
|
||||
+60
-14
@@ -54,6 +54,7 @@ from app.sessions import SessionStore
|
||||
from app.users import UsersStore, UserError, key_limit_for_role
|
||||
from app.history import HistoryStore, HistoryError, MAX_ITEMS as HISTORY_CAP
|
||||
from app.feedback import FeedbackStore, FeedbackError, MAX_ENTRIES as FEEDBACK_CAP
|
||||
from app.video_owners import VideoOwnerStore
|
||||
from app import settings as gw_settings
|
||||
|
||||
# 功能 8: 读取 .env(若存在),补充 token 等环境变量。
|
||||
@@ -105,6 +106,12 @@ _FEEDBACK_PATH = Path(os.environ.get("GATEWAY_FEEDBACK", str(_PROJECT_ROOT / "da
|
||||
_FEEDBACK_MEDIA = Path(os.environ.get("GATEWAY_FEEDBACK_MEDIA", str(_PROJECT_ROOT / "data" / "feedback_media")))
|
||||
_feedback = FeedbackStore(str(_FEEDBACK_PATH), str(_FEEDBACK_MEDIA))
|
||||
|
||||
# ── 视频任务归属(第三十轮) ──
|
||||
# 轮询端点 GET /v1/videos/{video_id} 原先不判归属(任何登录账号拿到 id 就能读别人任务)。
|
||||
# 现在创建成功时记一条 id→账号,轮询按它判;无记录的旧任务放行(见 app/video_owners.py 头部口径)。
|
||||
_OWNERS_PATH = Path(os.environ.get("GATEWAY_VIDEO_OWNERS", str(_PROJECT_ROOT / "data" / "video_owners.json")))
|
||||
_owners = VideoOwnerStore(str(_OWNERS_PATH))
|
||||
|
||||
# 请求级账号上下文(ContextVar 每 task 独立,异步并发安全;定义在 app/metrics.py,
|
||||
# 供访问日志/指标标记「归属账号」,从而实现所有人(含 admin)只看自己的调用日志;
|
||||
# admin 若要审计别人的活动,走用户管理页的 admin 专属端点 /auth/users/{name}/(logs|history/*))
|
||||
@@ -303,7 +310,7 @@ VERSION = "2.4.0"
|
||||
|
||||
app = FastAPI(
|
||||
title="API Gateway",
|
||||
description="统一多供应商 LLM 接入网关(Agnes / 火山方舟)",
|
||||
description="统一多供应商 LLM 接入网关(Agnes / 火山方舟 / OpenCode Go)",
|
||||
version=VERSION,
|
||||
lifespan=lifespan,
|
||||
default_response_class=UTF8JSONResponse,
|
||||
@@ -681,7 +688,11 @@ def _get_adapter(model_id: str, timeout: int | None = None, cfg: GatewayConfig |
|
||||
|
||||
# ── 鉴权 + 限流(全局 / 供应商级;路由级限流随路由功能一并移除) ──
|
||||
_bearer = HTTPBearer(auto_error=False)
|
||||
_sess = SessionStore() # 前端登录会话(/auth/login 换取 sess- token,见 app/sessions.py)
|
||||
# 前端登录会话(/auth/login 换取 sess- token,见 app/sessions.py)。
|
||||
# 第三十轮起落盘到 data/sessions.json(只存 token 的 sha256)→ 网关重启不再把所有人踢下线;
|
||||
# 测试用 GATEWAY_SESSIONS 指到独立文件,避免污染真实会话。
|
||||
_SESSIONS_PATH = Path(os.environ.get("GATEWAY_SESSIONS", str(_PROJECT_ROOT / "data" / "sessions.json")))
|
||||
_sess = SessionStore(path=_SESSIONS_PATH)
|
||||
|
||||
|
||||
def _effective_rps(cfg, pkey: str | None) -> float | None:
|
||||
@@ -1567,6 +1578,11 @@ async def models_speedtest(request: Request, _auth=Depends(require_auth)):
|
||||
try:
|
||||
# 直传原语:入站 body 原样上去、上游响应原样回来。探针只关心"通不通",
|
||||
# 所以不解析响应体,只看状态码(4xx/5xx 都算失败并带上游原文)。
|
||||
#
|
||||
# 第三十轮(注明有意,不是漏改):这里**故意不传 session_id** —— 探针要量的是
|
||||
# "这个模型现在真实响不响应、要多久",若复用真实对话用的固定会话值,
|
||||
# 上游前缀缓存会把结果拉成假快(命中缓存 → 延迟低得不像真调用),
|
||||
# 测速就失去意义。所以适配器回退到每请求随机值(对 opencode 即每次一个新会话)。
|
||||
status, data = await adapter.raw_json(protocol, _probe_payload(protocol, m["id"]))
|
||||
if 200 <= status < 300:
|
||||
ok = True
|
||||
@@ -2230,6 +2246,10 @@ async def videos_create(request: Request, req: VideoCreateRequestExtended, _auth
|
||||
mode=req.mode, aspect_ratio=req.aspect_ratio, size=req.size, extra=extra or None,
|
||||
)
|
||||
video_id = result.get("video_id")
|
||||
# 第三十轮: 登记视频归属 —— 轮询端点据此判权(见 app/video_owners.py 顶部的口径说明)。
|
||||
# 放在这里是因为这是"已知归属"的唯一时刻:上游刚把 video_id 交给我们,且 caller 明确。
|
||||
if video_id:
|
||||
await _offload(_owners.record, video_id, request.state.account, pkey)
|
||||
cb.record(True)
|
||||
_metrics.record_call(real_model, pkey, ok=True)
|
||||
_metrics.record_latency(real_model, time.time() - t0)
|
||||
@@ -2315,7 +2335,13 @@ async def videos_poll(request: Request, video_id: str, model: str = "", wait: bo
|
||||
cfg = _cfg()
|
||||
rid = getattr(request.state, "rid", "-")
|
||||
# 说明:轮询端点不再往 /logs 记访问行(第十轮起改为按 video_id 累积到「创建」那条),
|
||||
# 故这里不取 caller。
|
||||
# 故这里不取 caller 做日志归属。
|
||||
# 第三十轮: 但**归属校验**必须有 —— 此前任何登录账号拿到 video_id 就能读走别人视频的
|
||||
# 状态与产物 URL。创建时登记过归属的按登记判;无登记(本次改动前的老任务)放行,
|
||||
# 用 404 而不是 403 回绝,避免把 id 变成"存在性探针"。口径见 app/video_owners.py。
|
||||
if not await _offload(_owners.allows, video_id, request.state.account,
|
||||
request.state.role == "admin"):
|
||||
raise HTTPException(404, f"视频任务不存在: {_logsafe(video_id)}")
|
||||
|
||||
# 本轮重写:供应商定位不再"盲猜"。
|
||||
# 视频任务 ID 是**供应商私有**的,查错供应商必然 404/502,且静默误导。
|
||||
@@ -2801,8 +2827,11 @@ async def root(request: Request, _auth=Depends(require_auth_or_open)):
|
||||
"models": "GET /models 或 GET /v1/models",
|
||||
"metrics": "GET /metrics(JSON)/ GET /metrics/prometheus",
|
||||
"logs": "GET /logs?n=100",
|
||||
"health": "GET /health(运维看板)/ GET /health/{provider}",
|
||||
"docs": "GET /docs(Swagger UI)",
|
||||
"health": 'GET /health(运维看板;health_auth=false 时匿名只回 {"status":"ok"})'
|
||||
" / GET /health/{provider}(**始终需鉴权**)",
|
||||
# 第三十轮: /docs 只在 docs_enabled 打开时才存在(关掉时路由就没注册)——
|
||||
# 导航里还列着它,照着敲会吃 404。这里跟真实路由表对齐:关了就整条不列。
|
||||
**({"docs": "GET /docs(Swagger UI)"} if _docs_on else {}),
|
||||
},
|
||||
"providers": list(cfg.providers.keys()),
|
||||
}
|
||||
@@ -3046,7 +3075,8 @@ async def auth_user_history(username: str, kind: str, request: Request,
|
||||
kind = HistoryStore._check_kind(kind)
|
||||
except HistoryError as e:
|
||||
raise HTTPException(400, str(e))
|
||||
return {"account": username, "kind": kind, "items": _history.get(username, kind)}
|
||||
return {"account": username, "kind": kind,
|
||||
"items": await _offload(_history.get, username, kind)}
|
||||
|
||||
|
||||
def _require_session(request: Request) -> str:
|
||||
@@ -3102,8 +3132,11 @@ async def auth_delete_apikey(keyhint: str, request: Request, _auth=Depends(requi
|
||||
# 两台设备各生成一条也不会互相覆盖。读接口允许会话或 API Key;写接口只认会话。
|
||||
@app.get("/history/{kind}")
|
||||
async def history_list(request: Request, kind: str, _auth=Depends(require_auth)):
|
||||
# 第三十轮(性能): 历史落盘/读取整体挪到线程池 —— HistoryStore 每次都是**整份**读写
|
||||
# (上限 4MB),同步跑在 async handler 里会把事件循环按住,所有并发请求一起等。
|
||||
# users/feedback/config 早就走 _offload 了,这里此前是唯一漏网的。
|
||||
try:
|
||||
items = _history.get(request.state.account, kind)
|
||||
items = await _offload(_history.get, request.state.account, kind)
|
||||
except HistoryError as e:
|
||||
raise HTTPException(400, str(e))
|
||||
return {"kind": kind, "items": items, "cap": HISTORY_CAP}
|
||||
@@ -3122,7 +3155,7 @@ async def history_save(request: Request, kind: str, _auth=Depends(require_auth))
|
||||
if not isinstance(items, list):
|
||||
raise HTTPException(400, "items 必须是数组")
|
||||
try:
|
||||
merged = _history.upsert(request.state.account, kind, items)
|
||||
merged = await _offload(_history.upsert, request.state.account, kind, items)
|
||||
except HistoryError as e:
|
||||
raise HTTPException(400, str(e))
|
||||
return {"status": "ok", "count": len(merged), "cap": HISTORY_CAP}
|
||||
@@ -3132,7 +3165,7 @@ async def history_save(request: Request, kind: str, _auth=Depends(require_auth))
|
||||
async def history_clear(request: Request, kind: str, _auth=Depends(require_auth)):
|
||||
_require_session(request)
|
||||
try:
|
||||
n = _history.clear(request.state.account, kind)
|
||||
n = await _offload(_history.clear, request.state.account, kind)
|
||||
except HistoryError as e:
|
||||
raise HTTPException(400, str(e))
|
||||
return {"status": "ok", "cleared": n}
|
||||
@@ -3142,7 +3175,7 @@ async def history_clear(request: Request, kind: str, _auth=Depends(require_auth)
|
||||
async def history_delete_one(request: Request, kind: str, item_id: str, _auth=Depends(require_auth)):
|
||||
_require_session(request)
|
||||
try:
|
||||
ok = _history.delete_item(request.state.account, kind, item_id)
|
||||
ok = await _offload(_history.delete_item, request.state.account, kind, item_id)
|
||||
except HistoryError as e:
|
||||
raise HTTPException(400, str(e))
|
||||
if not ok:
|
||||
@@ -3259,7 +3292,9 @@ async def feedback_media(request: Request, fid: str, idx: int, _auth=Depends(req
|
||||
|
||||
# ── API Key 环境变量(data/.env)读取/写入(网关配置页「环境变量」卡)────────
|
||||
def _env_file() -> Path:
|
||||
return _PROJECT_ROOT / "data" / ".env"
|
||||
# 第三十轮: 路径可被 GATEWAY_ENV_FILE 覆盖 —— 与 users/history/feedback 同一套路,
|
||||
# 否则测试一旦覆盖到写路径就会**直接改掉生产 data/.env**(这是本轮补测试时发现的隐患)。
|
||||
return Path(os.environ.get("GATEWAY_ENV_FILE", str(_PROJECT_ROOT / "data" / ".env")))
|
||||
|
||||
def _env_snapshot() -> dict[str, dict]:
|
||||
"""当前用 token_env 的供应商 → 环境变量名 + 是否配置 + 运行时值(以 os.environ 为准)。"""
|
||||
@@ -3331,7 +3366,14 @@ async def config_env_post(request: Request, _auth=Depends(require_auth)):
|
||||
continue
|
||||
if name not in allowed:
|
||||
raise HTTPException(400, f"环境变量 {name} 未被任何供应商用作 API Key")
|
||||
updates[name] = v if isinstance(v, str) else ""
|
||||
val = v if isinstance(v, str) else ""
|
||||
# 第三十轮: 值必须先校验再落盘。写入是**逐行重建 .env**,一个带 \n 的值
|
||||
# (页面上粘贴多了个换行、或刻意构造)就能在文件里**凭空多出几行**,
|
||||
# 把同一份 .env 里的其它变量改掉/加进去;值里的换行同时会让"一行一变量"的文件
|
||||
# 在下次读取时被截断成错误的值。Key 也不该有控制字符与超长内容。
|
||||
if any(c in val for c in ("\n", "\r", "\x00")) or len(val) > 4096:
|
||||
raise HTTPException(400, f"环境变量 {name} 的值非法(不得含换行/控制字符,长度 ≤4096)")
|
||||
updates[name] = val
|
||||
if updates:
|
||||
await _offload(_write_env_values, updates)
|
||||
return {"status": "ok", "applied": len(updates), "envs": _env_snapshot()}
|
||||
@@ -3487,8 +3529,12 @@ async def health(request: Request, _auth=Depends(require_auth_or_open)):
|
||||
@app.get("/health/{provider_key}")
|
||||
async def provider_health(request: Request, provider_key: str, _auth=Depends(require_auth)):
|
||||
# 第六轮安全审计: 本端点会用**网关持有的上游 Key** 去 GET {base_url}/models,
|
||||
# 等同于"未授权者借网关的凭证触发上游请求并读回结果"。故与 /health 同受
|
||||
# health_auth 保护(此前它已经是 require_auth_or_open,这里补注释说明必要性)。
|
||||
# 等同于"未授权者借网关的凭证触发上游请求并读回结果"。
|
||||
# 第三十轮更正: 上面这行的注释此前写着"与 /health 同受 health_auth 保护(此前它已经是
|
||||
# require_auth_or_open)"—— 与代码不符:**它用的是 require_auth,恒定要鉴权**,
|
||||
# 并不随 health_auth 放宽。这个"更严"的行为是刻意的(理由就是上一段:它会花掉上游额度),
|
||||
# 所以保留代码、把注释改对:**本端点不受 health_auth 影响,永远需要凭证**;
|
||||
# 想让探活工具不带头也能用,用 /healthz 或 GET /health(匿名只回 {"status":"ok"})。
|
||||
cfg = _cfg()
|
||||
if provider_key not in cfg.providers:
|
||||
raise HTTPException(404, f"未知供应商: {provider_key}")
|
||||
|
||||
+99
-12
@@ -1,28 +1,99 @@
|
||||
"""前端登录会话(短时、内存态)。
|
||||
"""前端登录会话(短时;可落盘,默认内存)。
|
||||
|
||||
设计:前端用**账号 + 密码**调 POST /auth/login 换一个 short-lived 的 `sess-` token,
|
||||
后续请求带这个会话 token —— 密码只在登录那一刻提交一次,前端不长期持有;
|
||||
API Key 也不需要交给浏览器。会话存内存,单实例必需;
|
||||
多实例如需共享会话再换 Redis(当前网关单实例,足够)。
|
||||
API Key 也不需要交给浏览器。
|
||||
|
||||
吊销语义(第八轮审计补):账号被删除、改密或被管理员重置密码时,其名下**全部会话**
|
||||
立即失效 —— 否则「删号 / 重置密码」无法止损(旧 token 仍能调用到 TTL 结束)。
|
||||
|
||||
落盘(第三十轮补):此前是纯内存,进程一重启**所有人被踢下线**(每次上线/改配置都掉线,
|
||||
运维体感很差,也逼着"为了不掉线而不重启")。现在可选落盘 `data/sessions.json`:
|
||||
|
||||
· **盘上只存 token 的 sha256**(`_fp()`),不存 token 本身 —— 备份/误传该文件也无法
|
||||
直接拿来冒充登录;代价是吊销/校验都要现算一次哈希(可忽略)。
|
||||
· 原子写(临时文件 + os.replace)+ 权限 600;写失败只告警、不抛 —— 落盘是"少掉线一次"
|
||||
的体验优化,不能让它把登录本身弄挂(真失败就退化成原来的纯内存行为)。
|
||||
· 载入时直接丢掉已过期的会话(TTL 判定与运行期一致)。
|
||||
· 仍不解决**多实例共享**(要共享还是得换 Redis);当前网关单实例,够用。
|
||||
|
||||
path=None(默认)→ 纯内存,测试与库内直连构造维持原语义。
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import hashlib
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import secrets
|
||||
import threading
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
log = logging.getLogger("api-gateway.sessions")
|
||||
|
||||
# 落盘文件名固定为 sessions.json;结构带 version,便于以后改格式时兼容读取。
|
||||
_FILE_VERSION = 1
|
||||
|
||||
|
||||
def _fp(token: str) -> str:
|
||||
"""token → 落盘用的指纹(sha256)。盘上永远不出现可直接使用的凭证。"""
|
||||
return hashlib.sha256(("sess:" + token).encode("utf-8")).hexdigest()
|
||||
|
||||
|
||||
class SessionStore:
|
||||
def __init__(self, ttl_seconds: int = 86400, max_tokens: int = 5000):
|
||||
def __init__(self, ttl_seconds: int = 86400, max_tokens: int = 5000,
|
||||
path: str | os.PathLike | None = None):
|
||||
self._ttl = ttl_seconds
|
||||
self._max = max_tokens
|
||||
self._path = Path(path) if path else None
|
||||
self._s: dict[str, dict] = {}
|
||||
self._lock = threading.Lock()
|
||||
self._load()
|
||||
|
||||
# ── 落盘 ─────────────────────────────────────────
|
||||
def _load(self) -> None:
|
||||
"""启动时载入;已过期的直接丢弃(不留到运行期再清)。"""
|
||||
if self._path is None or not self._path.exists():
|
||||
return
|
||||
try:
|
||||
raw = json.loads(self._path.read_text(encoding="utf-8"))
|
||||
entries = raw.get("sessions") if isinstance(raw, dict) else None
|
||||
except Exception as e: # 文件损坏/被手工改坏 → 当没有,别拦启动
|
||||
log.warning("会话文件读取失败(按空会话启动):%s", e)
|
||||
return
|
||||
now = time.time()
|
||||
kept = dropped = 0
|
||||
for k, v in (entries or {}).items():
|
||||
if not isinstance(v, dict):
|
||||
continue
|
||||
created = v.get("created")
|
||||
if not isinstance(created, (int, float)) or now - created > self._ttl:
|
||||
dropped += 1
|
||||
continue
|
||||
self._s[str(k)] = {"created": float(created), "ip": str(v.get("ip") or ""),
|
||||
"account": str(v.get("account") or "")}
|
||||
kept += 1
|
||||
if kept or dropped:
|
||||
log.info("已载入 %d 个会话(丢弃过期 %d 个)", kept, dropped)
|
||||
|
||||
def _save(self) -> None:
|
||||
"""整体重写(会话量小:上限 max_tokens 条)。写失败只告警。"""
|
||||
if self._path is None:
|
||||
return
|
||||
try:
|
||||
self._path.parent.mkdir(parents=True, exist_ok=True)
|
||||
text = json.dumps({"version": _FILE_VERSION, "sessions": self._s},
|
||||
ensure_ascii=False, separators=(",", ":"))
|
||||
tmp = self._path.with_name(self._path.name + ".tmp")
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
os.chmod(tmp, 0o600)
|
||||
os.replace(tmp, self._path)
|
||||
except Exception as e:
|
||||
log.warning("会话落盘失败(本次改动只在内存生效):%s", e)
|
||||
|
||||
# ── 基本属性 ─────────────────────────────────────
|
||||
def ttl(self) -> int:
|
||||
return self._ttl
|
||||
|
||||
@@ -32,9 +103,13 @@ class SessionStore:
|
||||
|
||||
def count(self) -> int:
|
||||
with self._lock:
|
||||
self._purge()
|
||||
return len(self._s)
|
||||
changed = self._purge()
|
||||
n = len(self._s)
|
||||
if changed:
|
||||
self._save()
|
||||
return n
|
||||
|
||||
# ── 增删查改 ─────────────────────────────────────
|
||||
def create(self, ip: str, account: str = "") -> str:
|
||||
with self._lock:
|
||||
self._purge()
|
||||
@@ -43,18 +118,20 @@ class SessionStore:
|
||||
del self._s[oldest]
|
||||
tok = "sess-" + secrets.token_hex(24)
|
||||
# ip 只做记录、不做绑定:移动网络/NAT 下换出口 IP 是常态,绑定会把人踢下线。
|
||||
self._s[tok] = {"created": time.time(), "ip": ip or "", "account": account or ""}
|
||||
self._s[_fp(tok)] = {"created": time.time(), "ip": ip or "", "account": account or ""}
|
||||
self._save()
|
||||
return tok
|
||||
|
||||
def validate(self, token: str, ip: str | None = None) -> bool:
|
||||
if not token:
|
||||
return False
|
||||
with self._lock:
|
||||
ent = self._s.get(token)
|
||||
ent = self._s.get(_fp(token))
|
||||
if not ent:
|
||||
return False
|
||||
if time.time() - ent["created"] > self._ttl:
|
||||
del self._s[token]
|
||||
del self._s[_fp(token)]
|
||||
self._save()
|
||||
return False
|
||||
return True
|
||||
|
||||
@@ -63,7 +140,7 @@ class SessionStore:
|
||||
if not token or not self.validate(token):
|
||||
return None
|
||||
with self._lock:
|
||||
ent = self._s.get(token)
|
||||
ent = self._s.get(_fp(token))
|
||||
return (ent or {}).get("account")
|
||||
|
||||
def is_session(self, token: str) -> bool:
|
||||
@@ -76,7 +153,8 @@ class SessionStore:
|
||||
|
||||
def revoke(self, token: str) -> None:
|
||||
with self._lock:
|
||||
self._s.pop(token, None)
|
||||
if self._s.pop(_fp(token), None) is not None:
|
||||
self._save()
|
||||
|
||||
def revoke_account(self, account: str) -> int:
|
||||
"""吊销某账号的全部会话,返回被踢掉的会话数(改密/重置密码/删号时调用)。"""
|
||||
@@ -86,14 +164,23 @@ class SessionStore:
|
||||
dead = [k for k, v in self._s.items() if v.get("account") == account]
|
||||
for k in dead:
|
||||
del self._s[k]
|
||||
if dead:
|
||||
self._save()
|
||||
return len(dead)
|
||||
|
||||
def clear(self) -> None:
|
||||
with self._lock:
|
||||
had = bool(self._s)
|
||||
self._s.clear()
|
||||
if had:
|
||||
self._save()
|
||||
|
||||
def _purge(self) -> None:
|
||||
def _purge(self) -> bool:
|
||||
"""清过期会话;返回是否有改动(有才值得落盘)。"""
|
||||
now = time.time()
|
||||
changed = False
|
||||
for k in list(self._s):
|
||||
if now - self._s[k]["created"] > self._ttl:
|
||||
del self._s[k]
|
||||
changed = True
|
||||
return changed
|
||||
@@ -506,6 +506,13 @@ def write_config(path: str | Path, text: str) -> dict[str, Any]:
|
||||
if path.exists():
|
||||
shutil.copy2(path, bak_path)
|
||||
shutil.copy2(path, stamp_path)
|
||||
# 第三十轮: copy2 是**照抄源文件权限**,源文件若是历史遗留的 644,备份也就 644。
|
||||
# 备份里同样可能有明文 token(正常应走 token_env),所以显式再钉一次 600。
|
||||
for p in (bak_path, stamp_path):
|
||||
try:
|
||||
os.chmod(p, 0o600)
|
||||
except OSError:
|
||||
pass
|
||||
_prune_backups(path)
|
||||
tmp = path.with_name(path.name + ".tmp")
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
|
||||
+4
-1
@@ -37,7 +37,10 @@ KEY_PREFIX = "wjd-" # 新建 API Key 的统一前缀(与对外品牌一
|
||||
LEGACY_KEY_PREFIXES: tuple[str, ...] = ("ak-",)
|
||||
_KEY_PREFIXES: tuple[str, ...] = (KEY_PREFIX,) + LEGACY_KEY_PREFIXES
|
||||
KEY_BYTES = 28 # token_urlsafe(28) ≈ 38 chars → 整把 key 42 字符
|
||||
MIN_PASSWORD = 4 # 显式设置/修改的密码下限(默认密码=账号名不受此限,按老板约定)
|
||||
MIN_PASSWORD = 8 # 显式设置/修改的密码下限(默认密码=账号名不受此限,按老板约定)
|
||||
# 第三十轮把下限从 4 提到 8:4 位口令在可离线爆破的空间里(1 万种)几乎等于没设。
|
||||
# 只对**新建时显式给密码 / 事后改密**生效 —— 登录校验不做长度判断,
|
||||
# 所以既有短口令账号(如 test)照常登录,只是不能再被改回短口令。
|
||||
MAX_KEYS_PER_MEMBER = 3 # 普通账号每人最多 3 把 API Key(防失控膨胀 / 泄漏后无限铸 Key)
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,129 @@
|
||||
"""视频任务归属(第三十轮新增)。
|
||||
|
||||
**为什么需要**:`GET /v1/videos/{video_id}` 原先不做归属判断(第十轮的口径是"轮询端点不记
|
||||
访问行,故不取 caller")。结果是:任何**已登录账号**只要拿到 video_id,就能读到别人视频任务
|
||||
的状态与产物 URL。视频 id 是供应商私有的随机串、猜不到,但与 `/logs`、`/metrics`、`/history`
|
||||
那套「按账号隔离」的口径不一致 —— 一个账号能看到的、另一个账号也能看到的资源,就不该靠"猜不到"当防线。
|
||||
|
||||
**怎么做**:创建视频成功那一刻(`POST /v1/videos` 拿到上游 `video_id`)记一条
|
||||
`video_id → 账号`,轮询时按它判归属。
|
||||
|
||||
**口径(刻意选择)**:
|
||||
· 管理员放行一切(管理员本来就该能排障;且 admin 的历史/日志本就不隔离)。
|
||||
· 记录里**有**这个 id 且不是请求者 → 404「视频任务不存在」。用 404 而不是 403:
|
||||
403 等于确认"这个 id 存在",会把 id 变成可探测的。
|
||||
· 记录里**没有**这个 id(本次改动之前创建的视频、落盘文件丢失、超 TTL 被清)→ **放行**。
|
||||
这是刻意的渐进收紧:宁可对老任务宽松,也不要让正常流程在部署当天突然 404。
|
||||
新创建的任务一律有记录,所以保护是即时生效的。
|
||||
|
||||
**存储**:`data/video_owners.json`(600,原子写)。量小(只存 id/账号/时间),
|
||||
按 TTL(默认 7 天)与条数上限滚动清理 —— 视频产物本身也不会在历史里留太久。
|
||||
path=None → 纯内存(测试/库内直连构造用)。
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import threading
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
log = logging.getLogger("api-gateway.video_owners")
|
||||
|
||||
_FILE_VERSION = 1
|
||||
|
||||
|
||||
class VideoOwnerStore:
|
||||
def __init__(self, path: str | os.PathLike | None = None,
|
||||
ttl_seconds: int = 7 * 86400, max_items: int = 2000):
|
||||
self._path = Path(path) if path else None
|
||||
self._ttl = int(ttl_seconds)
|
||||
self._max = int(max_items)
|
||||
self._m: dict[str, dict] = {}
|
||||
self._lock = threading.Lock()
|
||||
self._load()
|
||||
|
||||
# ── 落盘 ─────────────────────────────────────────
|
||||
def _load(self) -> None:
|
||||
if self._path is None or not self._path.exists():
|
||||
return
|
||||
try:
|
||||
raw = json.loads(self._path.read_text(encoding="utf-8"))
|
||||
items = raw.get("videos") if isinstance(raw, dict) else None
|
||||
except Exception as e:
|
||||
log.warning("视频归属文件读取失败(按空表启动):%s", e)
|
||||
return
|
||||
now = time.time()
|
||||
for k, v in (items or {}).items():
|
||||
if not isinstance(v, dict):
|
||||
continue
|
||||
created = v.get("created")
|
||||
if not isinstance(created, (int, float)) or now - created > self._ttl:
|
||||
continue
|
||||
self._m[str(k)] = {"account": str(v.get("account") or ""),
|
||||
"provider": str(v.get("provider") or ""),
|
||||
"created": float(created)}
|
||||
if self._m:
|
||||
log.info("已载入 %d 条视频归属记录", len(self._m))
|
||||
|
||||
def _save(self) -> None:
|
||||
if self._path is None:
|
||||
return
|
||||
try:
|
||||
self._path.parent.mkdir(parents=True, exist_ok=True)
|
||||
text = json.dumps({"version": _FILE_VERSION, "videos": self._m},
|
||||
ensure_ascii=False, separators=(",", ":"))
|
||||
tmp = self._path.with_name(self._path.name + ".tmp")
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
os.chmod(tmp, 0o600)
|
||||
os.replace(tmp, self._path)
|
||||
except Exception as e:
|
||||
# 落盘失败只影响"重启后还认不认归属"(会退化成放行),不该让创建视频这条主链路失败。
|
||||
log.warning("视频归属落盘失败:%s", e)
|
||||
|
||||
# ── 读写 ─────────────────────────────────────────
|
||||
def record(self, video_id: str, account: str, provider: str = "") -> None:
|
||||
"""创建视频成功后登记归属。video_id 为空则忽略(上游没回 id 时不记脏数据)。"""
|
||||
if not video_id:
|
||||
return
|
||||
with self._lock:
|
||||
now = time.time()
|
||||
self._m[video_id] = {"account": account or "", "provider": provider or "",
|
||||
"created": now}
|
||||
self._prune(now)
|
||||
self._save()
|
||||
|
||||
def owner(self, video_id: str) -> str | None:
|
||||
"""返回登记归属;没有记录返回 None(≠"不属于任何人",见模块头部的口径)。"""
|
||||
if not video_id:
|
||||
return None
|
||||
with self._lock:
|
||||
ent = self._m.get(video_id)
|
||||
if not ent:
|
||||
return None
|
||||
if time.time() - ent["created"] > self._ttl:
|
||||
del self._m[video_id]
|
||||
self._save()
|
||||
return None
|
||||
return ent.get("account") or None
|
||||
|
||||
def allows(self, video_id: str, account: str, is_admin: bool = False) -> bool:
|
||||
"""该账号能否访问这个视频任务。无记录 → 放行(渐进收紧,见模块头部)。"""
|
||||
if is_admin:
|
||||
return True
|
||||
who = self.owner(video_id)
|
||||
return who is None or who == (account or "")
|
||||
|
||||
def count(self) -> int:
|
||||
with self._lock:
|
||||
self._prune(time.time())
|
||||
return len(self._m)
|
||||
|
||||
def _prune(self, now: float) -> None:
|
||||
for k in [k for k, v in self._m.items() if now - v["created"] > self._ttl]:
|
||||
del self._m[k]
|
||||
while len(self._m) > self._max: # 超上限:先清最老的
|
||||
oldest = min(self._m, key=lambda k: self._m[k]["created"])
|
||||
del self._m[oldest]
|
||||
Reference in new issue
Block a user