From 4ef03aa8f0efe07b9ed9ae6894b7969df20b9f25 Mon Sep 17 00:00:00 2001 From: jidekin <294297426@qq.com> Date: Fri, 23 Oct 2026 11:36:26 +0800 Subject: [PATCH] =?UTF-8?q?feat(calllog):=20=E8=AF=A6=E6=83=85=E4=B8=8D?= =?UTF-8?q?=E6=88=AA=E6=96=AD=E8=AE=B0=E5=BD=95=EF=BC=88=E6=8D=95=E8=8E=B7?= =?UTF-8?q?/=E6=B8=85=E6=B4=97/=E5=85=A5=E5=BA=93=E4=B8=89=E5=A4=84?= =?UTF-8?q?=E4=B8=8A=E9=99=90=E5=85=A8=E9=83=A8=E6=94=BE=E5=BC=80=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 请求体捕获 8000 → 128KiB(_CONTENT_MAX,可用 CALLLOG_BODY_MAX 调) - 回复文本改用新增的 _content():128KiB 且保留换行/制表(_logsafe 会把换行压成 ?) - 入库上限 CALLLOG_CONTENT_MAX 默认 8000 → 256KiB(实际等于不截断) - 详情新增 prompt_full(完整提取内容,保留换行),与原始 JSON 并列展示 - BODY_BY_RID 有界 128 条,防止宽上限下内存膨胀 - 版本 2.9.1 → 2.9.2 --- CHANGELOG.md | 26 ++++++++++++++++++++++ app/calllog.py | 20 ++++++++++++----- app/main.py | 39 +++++++++++++++++++++++++-------- frontend/src/views/CallLogs.vue | 8 +++---- 4 files changed, 74 insertions(+), 19 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index c5a672a..2d278a2 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,31 @@ # CHANGELOG +## 2026-10-23 · 详情不再截断记录(2.9.1 → 2.9.2) + +老板:「点击进去看详情内容的时候不要截断记录」。 + +截断原本发生在**三个环节**,逐个拆掉: + +| 环节 | 原来 | 现在 | +|---|---|---| +| 请求体捕获 | `raw[:2000]`(后提到 8000)| `raw[:_CONTENT_MAX]`,默认 **128 KiB**(≈32k tokens)| +| 回复文本 | `_logsafe(..., 8000)` | 新增 `_content()`:上限 **128 KiB**,且**保留换行/制表** | +| 入库 | `CALLLOG_CONTENT_MAX=8000` | 默认 **262144(256 KiB)**,实际等于不截断 | + +**为什么换掉 `_logsafe`**:它是给单行文本日志用的(把 `\n` 压成 `?` 防日志行伪造), +用在调用日志上会把多行提示词全压成一行 `?`,详情根本没法看。新加的 `_content()` +只剥 NUL 等不可见控制字符,**换行与制表原样保留**。 + +- 详情接口新增 `prompt_full`:**完整提取出的输入内容**(保留换行排版),前端详情页 + 分两块展示 ——「内容(完整,保留换行)」+「原始请求体 JSON」(两者都不截断)。 +- 列表那列仍是单行预览(240 字),不因为详情放开而变重。 +- `BODY_BY_RID` 有界保留 128 条(宽上限下防止内存膨胀)。 + +**实测**:1499 行 / 46860 字符的提示词 → 详情 `prompt_full` 46860 字符 1499 行、 +原始 JSON 48454 字符,**均无截断标记**。 + +> 注意:本次改动只对**新产生**的记录生效;之前的记录在入库时就已被截断,无法回溯。 + ## 2026-10-23 · 调用日志列表加「内容」列(2.9.0 → 2.9.1) 老板:「列表的模型后面加一个字段,显示请求体的 content 内容」。 diff --git a/app/calllog.py b/app/calllog.py index 75ccd8e..c64f0a7 100644 --- a/app/calllog.py +++ b/app/calllog.py @@ -10,7 +10,7 @@ - **零新依赖**:`sqlite3` 是标准库,不引入 ORM / 数据库驱动(与本项目"依赖极简"的基调一致)。 - **不阻塞请求**:`stage()` 只往内存队列 append;后台 task 每 1 秒或攒满 `BATCH` 条批量写库。 队列满(默认 10000 条)即丢弃并计数,**绝不反压请求**。 -- **隐私**:API Key 只存前 8 位(`key_id`);提示词/回复按 `CALLLOG_CONTENT_MAX` 截断(默认 8000 字)。 +- **隐私**:API Key 只存前 8 位(`key_id`);提示词/回复按 `CALLLOG_CONTENT_MAX` 截断(默认 256KiB,实际上"不截断")。 - **保留**:默认 90 天,启动时清理一次 + 每 6 小时清理一次(不依赖外部 cron)。 - **只增不改**:日志表不做 UPDATE;清理只按 `ts` 删。 @@ -19,7 +19,7 @@ - `CALLLOG_DB` 默认 `data/calllog.db` - `CALLLOG_RETENTION_DAYS` 默认 90 - `CALLLOG_QUEUE_MAX` 默认 10000 -- `CALLLOG_CONTENT_MAX` 默认 8000(提示词/回复各自截断长度) +- `CALLLOG_CONTENT_MAX` 默认 262144(=256KiB,提示词/回复各自上限;详情页不截断) - `CALLLOG_DISABLED=1` 整体关闭(不回退任何现有行为) """ @@ -40,7 +40,7 @@ _ROOT = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) DB_PATH = os.environ.get("CALLLOG_DB") or os.path.join(_ROOT, "data", "calllog.db") RETENTION_DAYS = int(os.environ.get("CALLLOG_RETENTION_DAYS") or 90) QUEUE_MAX = int(os.environ.get("CALLLOG_QUEUE_MAX") or 10000) -CONTENT_MAX = int(os.environ.get("CALLLOG_CONTENT_MAX") or 8000) +CONTENT_MAX = int(os.environ.get("CALLLOG_CONTENT_MAX") or 262144) DISABLED = os.environ.get("CALLLOG_DISABLED", "") not in ("", "0", "false", "False") BATCH = 200 # 攒够多少条提交一次 @@ -101,7 +101,7 @@ def _clip(v: Any, n: int = CONTENT_MAX) -> str: return s -def prompt_preview(body: str | None, limit: int = 240) -> str: +def prompt_preview(body: str | None, limit: int = 240, collapse: bool = True) -> str: """从请求体 JSON 里抽出「用户实际说的话」,给列表做一行预览。 兼容三种入站格式: @@ -111,11 +111,17 @@ def prompt_preview(body: str | None, limit: int = 240) -> str: """ if not body: return "" + + def _norm(t: str) -> str: + # collapse=True:列表预览(单行、压空白);False:详情(保留换行排版) + t = " ".join(str(t).split()) if collapse else str(t) + return t[:limit] + try: import json as _json d = _json.loads(body) except Exception: # noqa: BLE001 - return " ".join(str(body).split())[:limit] + return _norm(body) text = "" msgs = d.get("messages") if isinstance(d, dict) else None if not isinstance(msgs, list) or not msgs: @@ -152,7 +158,7 @@ def prompt_preview(body: str | None, limit: int = 240) -> str: break if not text: text = body - return " ".join(str(text).split())[:limit] + return _norm(text) class CallLogStore: @@ -382,6 +388,8 @@ class CallLogStore: d["ts_iso"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(d["ts"])) # 详情也带一份「提取出的 content」,弹窗里第一屏就能看到用户说了什么 d["prompt_text"] = prompt_preview(d.get("prompt")) + # 详情页要看「完整且可读」的输入:保留换行、不压空白(列表那列是单行预览) + d["prompt_full"] = prompt_preview(d.get("prompt"), limit=10 ** 9, collapse=False) return d def stats(self, days: int = 7) -> dict[str, Any]: diff --git a/app/main.py b/app/main.py index 5f9e77e..0deedf4 100644 --- a/app/main.py +++ b/app/main.py @@ -162,6 +162,10 @@ def _setup_logging() -> None: logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(name)s] %(levelname)s: %(message)s") log = logging.getLogger("api-gateway") +# 调用日志的内容上限(2026-10-23):提示词/回复按此长度截断,默认 128KiB(≈32k tokens)。 +# 详情页要求「不截断」,实际上 128KiB 已覆盖绝大多数对话;要真的无限就把这个值调大。 +_CONTENT_MAX = int(__import__("os").environ.get("CALLLOG_BODY_MAX") or 131072) + def _config_mtime() -> float: try: @@ -351,7 +355,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope # 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。 # 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 -VERSION = "2.9.1" +VERSION = "2.9.2" app = FastAPI( title="API Gateway", @@ -498,8 +502,9 @@ async def in_flight_tracker(request: Request, call_next): if rid: try: raw = await request.body() - BODY_BY_RID[rid] = raw[:8000].decode("utf-8", "replace") - if len(BODY_BY_RID) > 2 * _BODY_MAX: + # 调用日志要看完整提示词:放宽到 128KiB(≈32k tokens),并只保留最近 N 条 + BODY_BY_RID[rid] = raw[:_CONTENT_MAX].decode("utf-8", "replace") + if len(BODY_BY_RID) > 128: BODY_BY_RID.clear() except Exception: BODY_BY_RID.pop(rid, None) @@ -998,6 +1003,22 @@ def _identity_from_credentials(key: str) -> tuple[str, str, str] | None: return ident[0], ident[1], "apikey" +def _content(v, maxlen: int = _CONTENT_MAX) -> str: + """调用日志用的「内容」清洗:**保留换行与制表**(详情页要看原文排版)。 + + 与 `_logsafe` 的区别:后者是给**单行文本日志**用的(会把 \n 压成 `?`, + 防 `%0a` 伪造日志行)。调用日志要展示提示词/回复原文,压掉换行就没法看了, + 所以这里只去 NUL 等不可见控制字符,换行/制表原样保留。 + """ + if v is None: + return "" + t = v if isinstance(v, str) else str(v) + t = "".join(ch for ch in t if ch in "\n\t\r" or ch.isprintable()) + if maxlen and len(t) > maxlen: + return t[:maxlen] + f"\n…(已截断,共 {len(t)} 字)" + return t + + def _upstream_detail(text: str) -> str: """从上游 4xx/5xx 响应体里抽出原文(可能是 {message} 或 {error:{message}})。""" try: @@ -1644,8 +1665,8 @@ async def _passthrough(request: Request, protocol: str): _access.add({"method": "POST", "kind": "chat", "path": f"/v1/{protocol}", "rid": rid, "model": model_in, "served": model_in, "provider": pkey, "caller": caller, "ok": ok, "stream": False, - "response": _logsafe(_resp_text(data) if ok else _upstream_detail( - json.dumps(data, ensure_ascii=False) if isinstance(data, dict) else str(data)), 8000)}) + "response": _content(_resp_text(data) if ok else _upstream_detail( + json.dumps(data, ensure_ascii=False) if isinstance(data, dict) else str(data)))}) if not ok: # 直传口径:上游的错误体**原样**回给客户端(错误文案也不翻译),只加一个 @@ -1690,7 +1711,7 @@ async def _passthrough_stream(request, rid, caller, protocol, adapter, cb, _access.add({"method": "POST", "kind": "chat", "path": f"/v1/{protocol}", "rid": rid, "model": model_in, "served": model_in, "provider": pkey, "caller": caller, "ok": False, "stream": True, - "response": _logsafe(_upstream_detail(raw.decode("utf-8", "replace")), 8000)}) + "response": _content(_upstream_detail(raw.decode("utf-8", "replace")))}) return Response(content=raw, status_code=resp.status_code, media_type=ctype, headers=headers) scanner = _UsageScanner(protocol) @@ -2051,7 +2072,7 @@ async def _chat_once(cfg, rid, caller, request, req, model_id, messages, tools): _access.add({"method": "POST", "kind": "chat", "path": "/v1/chat/completions", "rid": rid, "model": req.model, "served": model_id, "provider": pkey, "caller": caller, "ok": True, "stream": False, - "response": _logsafe(_resp_text(result), 8000)}) + "response": _content(_resp_text(result))}) resp = { "id": result.get("id", "") or f"chatcmpl-{rid}", "object": "chat.completion", "created": int(time.time()), "model": req.model, @@ -2179,7 +2200,7 @@ def _stream_response(request, req, model_id, messages, tools): _access.add({"method": "POST", "kind": "chat", "path": "/v1/chat/completions", "rid": rid, "model": req.model, "served": model_id, "provider": pkey, "caller": caller, "ok": True, "stream": True, - "response": _logsafe(_stream_log_text(resp_parts, reason_parts), 8000)}) + "response": _content(_stream_log_text(resp_parts, reason_parts))}) # 功能 8: 流式末尾发一个 usage 块(累计自上游 chunks 的 usage,若有) if stream_usage: uf = {'id': f'chatcmpl-{rid}', 'object': 'chat.completion.chunk', 'created': int(time.time()), @@ -2197,7 +2218,7 @@ def _stream_response(request, req, model_id, messages, tools): _access.add({"method": "POST", "kind": "chat", "path": "/v1/chat/completions", "rid": rid, "model": req.model, "served": model_id, "provider": pkey, "caller": caller, "ok": False, "stream": True, "error": str(e)[:200], - "response": _logsafe(_stream_log_text(resp_parts, reason_parts), 8000)}) + "response": _content(_stream_log_text(resp_parts, reason_parts))}) # 第六轮: 已向客户端输出过 content 时本来就无法回退(第二十七轮起更没有下一个 # 模型可退),统一发错误帧 + [DONE] 收尾,避免破坏已输出的 SSE 流。 yield f"data: {json.dumps({'error': str(e), 'served_model': model_id}, ensure_ascii=False)}\n\n" diff --git a/frontend/src/views/CallLogs.vue b/frontend/src/views/CallLogs.vue index 8bb0823..df2a295 100644 --- a/frontend/src/views/CallLogs.vue +++ b/frontend/src/views/CallLogs.vue @@ -124,11 +124,11 @@ ver{{ detail.ver || '—' }}
{{ detail.prompt_text || '—' }}
+
+ {{ detail.prompt_full || detail.prompt_text || '—' }}
{{ detail.prompt || '—' }}