fix(calllog): 流式请求的请求内容为空(请求体被提前 pop)

_flush_calllog 原先无条件 BODY_BY_RID.pop(rid),但流式请求的访问日志条目
要等 SSE 发完才由 AccessLog.add 产生,中间件收尾在 SSE 开始前就 pop 走了请求体。
改为:流式只 peek(留给 AccessLog.add),非流式才 pop(早失败条目必须在此取走)。
版本 2.9.4 → 2.9.5
This commit is contained in:
jidekin committed 2026-10-23 15:22:18 +08:00
1 parent 272fb9dd41
commit 36db428b90
2 files changed
+26 -2

No files matched your search

+19
View File
@@ -1,5 +1,24 @@
# CHANGELOG # CHANGELOG
## 2026-10-23 · 修复:流式请求的「请求内容」为空(2.9.4 → 2.9.5)
老板:「为什么请求内容看不到,是空的」。
**根因**:`_flush_calllog()`(请求中间件收尾)里对请求体用的是 `BODY_BY_RID.pop(rid)` ——
一次性取走。但**流式请求**的访问日志条目要等 SSE 真正发完才由 `AccessLog.add()` 产生,
而中间件收尾在 SSE **开始之前**就跑完了 → 请求体被提前 pop 掉,等条目生成时已经没了。
**表现**:非流式请求内容正常;**所有流式请求**的「请求内容」在实时日志与调用日志里都是空。
(`tokens` 不受影响,它走的是 `TOKENS_BY_RID` 侧信道,与 body 无关。)
**修复**:流式时只 `peek` 不 `pop`(把请求体留给 `AccessLog.add()` 取走);非流式仍直接 pop
(早失败的 synthetic 条目不会再产生条目,必须在这里 pop,否则 `BODY_BY_RID` 会泄漏)。
**实测**:修复后流式条目 `body` 长度 119 字、`tokens` 同时存在;调用日志里该条
`prompt_text` 正常显示 `流式请求内容修复验证 ABCDEF`。
> 修复前已产生的流式记录内容无法回溯(当时就没落库)。
## 2026-10-23 · 实时日志展开显示单笔 token 用量与缓存命中率(2.9.3 → 2.9.4) ## 2026-10-23 · 实时日志展开显示单笔 token 用量与缓存命中率(2.9.3 → 2.9.4)
老板:「日志里的实时点开后可以查看单笔使用的 token 量和命中缓存多少、命中率多少」。 老板:「日志里的实时点开后可以查看单笔使用的 token 量和命中缓存多少、命中率多少」。
+7 -2
View File
@@ -355,7 +355,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope
# 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。 # 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。
# 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。 # 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。
# ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。
VERSION = "2.9.4" VERSION = "2.9.5"
app = FastAPI( app = FastAPI(
title="API Gateway", title="API Gateway",
@@ -601,7 +601,12 @@ def _flush_calllog(request: Request, rid: str, status: int, latency_ms: float,
path=request.url.path, path=request.url.path,
account=getattr(request.state, "account", "") or "", account=getattr(request.state, "account", "") or "",
stream=stream, stream=stream,
body=BODY_BY_RID.pop(rid, "") or "", # 2026-10-23 修:流式请求的访问日志条目要等 SSE 真正发完才产生,
# 而本函数(中间件收尾)在 SSE 开始前就跑完了 —— 原先这里无条件 pop,
# 会把请求体提前取走,导致流式调用的「请求内容」永远为空。
# 所以:流式只 peek(留给 AccessLog.add 去 pop),非流式才直接取走
# (早失败的 synthetic 条目不会再产生,必须在这里 pop 掉,避免 BODY_BY_RID 泄漏)。
body=(BODY_BY_RID.get(rid, "") if stream else BODY_BY_RID.pop(rid, "")) or "",
) )
except Exception as e: # noqa: BLE001 except Exception as e: # noqa: BLE001
log.debug("调用日志落地失败(忽略): %s", e) log.debug("调用日志落地失败(忽略): %s", e)