feat(logs): 详情彻底不截断(捕获 4MiB / 入库 8MiB)+ 实时页按需取全文
- 请求体捕获上限 128KiB → 4MiB(CALLLOG_BODY_MAX);在途缓存条数 128 → 64 控内存
- 入库上限 256KiB → 8MiB(CALLLOG_CONTENT_MAX)
- 新增 GET /logs/entry/{id}:本人或管理员可取该条完整提示词/回复(实时页展开时调用)
- 实时列表仍给 8KB 预览 + body_len/resp_len,展开替换为全文并显示「完整 N 字」
- 实测 285KiB 提示词完整落库与返回
- 版本 2.9.11 → 2.9.12
This commit is contained in:
1 parent
32ab51a903
commit
1f83a684c3
6 files changed
+98
-12
No files matched your search
+2
-2
@@ -19,7 +19,7 @@
|
||||
- `CALLLOG_DB` 默认 `data/calllog.db`
|
||||
- `CALLLOG_RETENTION_DAYS` 默认 90
|
||||
- `CALLLOG_QUEUE_MAX` 默认 10000
|
||||
- `CALLLOG_CONTENT_MAX` 默认 262144(=256KiB,提示词/回复各自上限;详情页不截断)
|
||||
- `CALLLOG_CONTENT_MAX` 默认 8388608(=8MiB,提示词/回复各自上限;详情页完整显示)
|
||||
- `CALLLOG_DISABLED=1` 整体关闭(不回退任何现有行为)
|
||||
"""
|
||||
|
||||
@@ -40,7 +40,7 @@ _ROOT = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||||
DB_PATH = os.environ.get("CALLLOG_DB") or os.path.join(_ROOT, "data", "calllog.db")
|
||||
RETENTION_DAYS = int(os.environ.get("CALLLOG_RETENTION_DAYS") or 90)
|
||||
QUEUE_MAX = int(os.environ.get("CALLLOG_QUEUE_MAX") or 10000)
|
||||
CONTENT_MAX = int(os.environ.get("CALLLOG_CONTENT_MAX") or 262144)
|
||||
CONTENT_MAX = int(os.environ.get("CALLLOG_CONTENT_MAX") or 8388608)
|
||||
DISABLED = os.environ.get("CALLLOG_DISABLED", "") not in ("", "0", "false", "False")
|
||||
|
||||
BATCH = 200 # 攒够多少条提交一次
|
||||
|
||||
+31
-5
@@ -162,9 +162,10 @@ def _setup_logging() -> None:
|
||||
logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(name)s] %(levelname)s: %(message)s")
|
||||
log = logging.getLogger("api-gateway")
|
||||
|
||||
# 调用日志的内容上限(2026-10-23):提示词/回复按此长度截断,默认 128KiB(≈32k tokens)。
|
||||
# 详情页要求「不截断」,实际上 128KiB 已覆盖绝大多数对话;要真的无限就把这个值调大。
|
||||
_CONTENT_MAX = int(__import__("os").environ.get("CALLLOG_BODY_MAX") or 131072)
|
||||
# 调用日志的内容上限(2026-10-23,2.9.12 再放宽):默认 **4 MiB**(≈100 万 token 的文本)。
|
||||
# 老板要求「详情内容都不要截断」—— 4 MiB 对任何正常对话都等于不截断;
|
||||
# 内存占用靠下面的 BODY_BY_RID 条数上限(64 条在途)兜住,最坏 256 MiB、日常远低于此。
|
||||
_CONTENT_MAX = int(__import__("os").environ.get("CALLLOG_BODY_MAX") or 4194304)
|
||||
|
||||
|
||||
def _config_mtime() -> float:
|
||||
@@ -355,7 +356,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope
|
||||
# 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。
|
||||
# 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。
|
||||
# ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。
|
||||
VERSION = "2.9.11"
|
||||
VERSION = "2.9.12"
|
||||
|
||||
app = FastAPI(
|
||||
title="API Gateway",
|
||||
@@ -504,7 +505,8 @@ async def in_flight_tracker(request: Request, call_next):
|
||||
raw = await request.body()
|
||||
# 调用日志要看完整提示词:放宽到 128KiB(≈32k tokens),并只保留最近 N 条
|
||||
BODY_BY_RID[rid] = raw[:_CONTENT_MAX].decode("utf-8", "replace")
|
||||
if len(BODY_BY_RID) > 128:
|
||||
# 上限放宽到 4MiB 后,条数收紧到 64(并发的在途请求远小于此),控住内存
|
||||
if len(BODY_BY_RID) > 64:
|
||||
BODY_BY_RID.clear()
|
||||
except Exception:
|
||||
BODY_BY_RID.pop(rid, None)
|
||||
@@ -3192,6 +3194,26 @@ def _logs_for_account(account: str, n: int = 200) -> list[dict]:
|
||||
return _attach_polls(rows)
|
||||
|
||||
|
||||
@app.get("/logs/entry/{call_id}")
|
||||
async def logs_entry(call_id: int, request: Request, _auth=Depends(require_auth)):
|
||||
"""取某条日志的**完整**内容(提示词 + 回复,不截断)。
|
||||
|
||||
实时页签的列表为了轻量只给前 8KB 预览,展开时调这里拿全文。
|
||||
权限:**本人的记录**或管理员;其他人一律 403。
|
||||
"""
|
||||
row = calllog.store.get(call_id)
|
||||
if not row:
|
||||
raise HTTPException(404, f"日志不存在: {call_id}")
|
||||
me = request.state.account
|
||||
if getattr(request.state, "role", "") != "admin" and \
|
||||
me not in (row.get("account"), row.get("caller")):
|
||||
raise HTTPException(403, "无权查看他人的调用日志")
|
||||
return {"id": row.get("id"), "prompt": row.get("prompt") or "",
|
||||
"completion": row.get("completion") or "",
|
||||
"prompt_len": len(row.get("prompt") or ""),
|
||||
"completion_len": len(row.get("completion") or "")}
|
||||
|
||||
|
||||
@app.get("/logs/recent")
|
||||
async def logs_recent(request: Request, n: int = 200, _auth=Depends(require_auth)):
|
||||
"""「实时」页签的数据源(2026-10-23 起改为读库)。
|
||||
@@ -3224,8 +3246,12 @@ async def logs_recent(request: Request, n: int = 200, _auth=Depends(require_auth
|
||||
"stream": bool(it.get("stream")),
|
||||
"status": it.get("status"),
|
||||
"ms": it.get("latency_ms"),
|
||||
# 列表只给前 8KB 预览(200 条 × 几百 KB 会拖垮接口);
|
||||
# 展开时前端调 GET /logs/entry/{id} 取完整内容(见该端点注释)
|
||||
"body": (it.get("prompt") or "")[:8000],
|
||||
"response": (it.get("completion") or "")[:8000],
|
||||
"body_len": len(it.get("prompt") or ""),
|
||||
"resp_len": len(it.get("completion") or ""),
|
||||
"tokens": {"prompt_tokens": it.get("tok_prompt") or 0,
|
||||
"completion_tokens": it.get("tok_completion") or 0,
|
||||
"cached_tokens": it.get("tok_cached") or 0,
|
||||
|
||||
Reference in new issue
Block a user