修「token 统计恒 0」+ token 细分(缓存命中 / 推理)

老板 2026-09-28:「ai 网关 token 数统计有问题,一直都是 0;token 是不是可以细分,
命中缓存之类的;能细分就细分」。

【真因】/v1/chat/completions 的 **managed 流式路径**(改写分支,QwenPaw 实际走的就是它)
只把累计的 usage **转发给客户端**,从没写进指标。上游每轮都发 usage(实测 chunk 里带
prompt_tokens 与 prompt_tokens_details.cached_tokens)。
现场取证:网关记了 **663 次调用、tokens 恒为 {prompt: 0, completion: 0}**。
对照:直传路径(messages/responses)与非流式路径本来就有记账 —— 只漏了「流式 + 改写」。

【修复】该路径补 _record_usage_metrics(stream_usage)。

【顺带做 token 细分】(上游 usage 本来就有,此前只记总数):
- cached  = prompt_tokens_details.cached_tokens(命中缓存的输入量,已含在 prompt 内)
- reasoning = completion_tokens_details.reasoning_tokens(输出里的思考量,已含在 completion 内)
- Metrics.record_tokens(prompt, completion, cached=0, reasoning=0):全局与按账号两条桶都细分
- 四处记录点全接上;直传流式的扫描器补采 reasoning_tokens
- 新增辅助 _usage_detail()/_record_usage_metrics(),一处判据四路复用
- Prometheus 新增 api_gateway_tokens_cached_total / api_gateway_tokens_reasoning_total(含 HELP/TYPE)
- 前端「指标」页新增两张卡:缓存命中 Token(占输入 x%)、推理 Token(占输出 x%);中英文案对称

【上线实测】
- 瘦请求 → tokens {prompt: 62, completion: 2, cached: 0, reasoning: 1}
- 4k token 同前缀请求两次:第 1 次 cached=0;第 2 次 cached=1920 / prompt=4076
  → 网关累计 cached=1920(输入命中率 22.9%)
- Prometheus 导出同值

【测试】新增两条回归(managed 流式必须记账含细分、细分累加互不干扰),202 → 204 全过;
ci_check.sh 全绿;i18n 中英 759/759 对称。
This commit is contained in:
api-gateway committed 2026-09-28 18:42:26 +08:00
1 parent 9e2fc8e40a
commit 3b35b14a8a
7 files changed
+201 -9

No files matched your search

+10
View File
@@ -145,6 +145,13 @@ const totals = computed(() => {
return { ok, fail, all: ok + fail }
})
/** 占比(分母为 0 时返回 0,避免 NaN 显示) */
function pct(part: unknown, whole: unknown): string {
const p = Number(part) || 0
const w = Number(whole) || 0
return w > 0 ? ((p / w) * 100).toFixed(1) : '0.0'
}
const cards = computed(() => {
void resolved.value
const tk = data.value.tokens || {}
@@ -154,6 +161,9 @@ const cards = computed(() => {
{ k: t('metrics.requests'), v: all, note: t('dashboard.noteOkFail', { ok, fail }) },
{ k: t('metrics.failCount'), v: fail, note: t('metrics.failRateNote', { v: rate.toFixed(1) }) },
{ k: t('metrics.tokenUsage'), v: (tk.prompt || 0) + (tk.completion || 0), note: t('metrics.tokenNote', { p: tk.prompt ?? 0, c: tk.completion ?? 0 }) },
// 第三十四轮: token 细分 —— 缓存命中(含在输入里)与推理(含在输出里),各给一个占比
{ k: t('metrics.cachedTokens'), v: tk.cached || 0, note: t('metrics.cachedNote', { v: pct(tk.cached, tk.prompt) }) },
{ k: t('metrics.reasoningTokens'), v: tk.reasoning || 0, note: t('metrics.reasoningNote', { v: pct(tk.reasoning, tk.completion) }) },
// 第二十七轮: fallback 计数随路由功能删除 → 这张卡片的注脚改成运行时长
{ k: t('metrics.inflightPeak'), v: `${data.value.in_flight ?? 0} / ${data.value.in_flight_peak ?? 0}`, note: t('metrics.uptime') + ' ' + fmtUptime.value },
]