api-gateway
b858f09075
fix(usage): 流式 usage 透传 prompt_tokens_details —— 修 QwenPaw 缓存命中率恒 0
老板报:QwenPaw 上用 ai 网关(wangjinding 供应商)调用 v4.1,
网页显示的缓存命中率一直是 0。
排查(实测,非推断):
- QwenPaw 侧 messages/tools 完全正常:6 份连续抓包逐条比对,前面所有消息
逐字节一致、仅末尾追加 2 条(msgs 362→372 单调递增),tools 26 个逐字节相同。
- 网关出站 payload 正常:model/stream/stream_options 全同,session 稳定。
- 用网关真实出站 payload 原样直打上游:cached_tokens=126464 / 126848(99% 命中)
⇒ 上游缓存一直好好的。
- 真因:**网关流式响应重建 usage 时只挑 prompt_tokens/completion_tokens/
total_tokens 三个字段累加,把 `prompt_tokens_details.cached_tokens` 丢了**,
末尾又用这份残缺 usage 覆盖上游原始值发给客户端 —— QwenPaw 从未收到缓存字段,
只能记 0。(同一 bug 让网关自己的控制台也看不到缓存命中。)
修复:
- 新增 `_merge_usage()`:整数累加、非整数(如 prompt_tokens_details 这类整份
快照)覆盖,实现**全字段透传**;流式累加改用它。
- `_UsageScanner`(直传线记账)顺带收集 cached_tokens,counts() 多返回该键
(消费方按名取值,不影响既有逻辑),网关控制台口径同步修正。
- 非流式路径本就原样透传 `result["usage"]`,无需改动。
回归:test_merge_usage_keeps_prompt_tokens_details、
test_usage_scanner_collects_cached_tokens。测试 198 passed / 0 failed。
上线验证:流式请求第 2 次 usage 已带 `prompt_tokens_details.cached_tokens=7168`。