修「token 统计恒 0」+ token 细分(缓存命中 / 推理)
老板 2026-09-28:「ai 网关 token 数统计有问题,一直都是 0;token 是不是可以细分,
命中缓存之类的;能细分就细分」。
【真因】/v1/chat/completions 的 **managed 流式路径**(改写分支,QwenPaw 实际走的就是它)
只把累计的 usage **转发给客户端**,从没写进指标。上游每轮都发 usage(实测 chunk 里带
prompt_tokens 与 prompt_tokens_details.cached_tokens)。
现场取证:网关记了 **663 次调用、tokens 恒为 {prompt: 0, completion: 0}**。
对照:直传路径(messages/responses)与非流式路径本来就有记账 —— 只漏了「流式 + 改写」。
【修复】该路径补 _record_usage_metrics(stream_usage)。
【顺带做 token 细分】(上游 usage 本来就有,此前只记总数):
- cached = prompt_tokens_details.cached_tokens(命中缓存的输入量,已含在 prompt 内)
- reasoning = completion_tokens_details.reasoning_tokens(输出里的思考量,已含在 completion 内)
- Metrics.record_tokens(prompt, completion, cached=0, reasoning=0):全局与按账号两条桶都细分
- 四处记录点全接上;直传流式的扫描器补采 reasoning_tokens
- 新增辅助 _usage_detail()/_record_usage_metrics(),一处判据四路复用
- Prometheus 新增 api_gateway_tokens_cached_total / api_gateway_tokens_reasoning_total(含 HELP/TYPE)
- 前端「指标」页新增两张卡:缓存命中 Token(占输入 x%)、推理 Token(占输出 x%);中英文案对称
【上线实测】
- 瘦请求 → tokens {prompt: 62, completion: 2, cached: 0, reasoning: 1}
- 4k token 同前缀请求两次:第 1 次 cached=0;第 2 次 cached=1920 / prompt=4076
→ 网关累计 cached=1920(输入命中率 22.9%)
- Prometheus 导出同值
【测试】新增两条回归(managed 流式必须记账含细分、细分累加互不干扰),202 → 204 全过;
ci_check.sh 全绿;i18n 中英 759/759 对称。
This commit is contained in:
1 parent
968fc9d76d
commit
9a1fa219f3
7 files changed
+201
-9
No files matched your search
@@ -145,6 +145,13 @@ const totals = computed(() => {
|
||||
return { ok, fail, all: ok + fail }
|
||||
})
|
||||
|
||||
/** 占比(分母为 0 时返回 0,避免 NaN 显示) */
|
||||
function pct(part: unknown, whole: unknown): string {
|
||||
const p = Number(part) || 0
|
||||
const w = Number(whole) || 0
|
||||
return w > 0 ? ((p / w) * 100).toFixed(1) : '0.0'
|
||||
}
|
||||
|
||||
const cards = computed(() => {
|
||||
void resolved.value
|
||||
const tk = data.value.tokens || {}
|
||||
@@ -154,6 +161,9 @@ const cards = computed(() => {
|
||||
{ k: t('metrics.requests'), v: all, note: t('dashboard.noteOkFail', { ok, fail }) },
|
||||
{ k: t('metrics.failCount'), v: fail, note: t('metrics.failRateNote', { v: rate.toFixed(1) }) },
|
||||
{ k: t('metrics.tokenUsage'), v: (tk.prompt || 0) + (tk.completion || 0), note: t('metrics.tokenNote', { p: tk.prompt ?? 0, c: tk.completion ?? 0 }) },
|
||||
// 第三十四轮: token 细分 —— 缓存命中(含在输入里)与推理(含在输出里),各给一个占比
|
||||
{ k: t('metrics.cachedTokens'), v: tk.cached || 0, note: t('metrics.cachedNote', { v: pct(tk.cached, tk.prompt) }) },
|
||||
{ k: t('metrics.reasoningTokens'), v: tk.reasoning || 0, note: t('metrics.reasoningNote', { v: pct(tk.reasoning, tk.completion) }) },
|
||||
// 第二十七轮: fallback 计数随路由功能删除 → 这张卡片的注脚改成运行时长
|
||||
{ k: t('metrics.inflightPeak'), v: `${data.value.in_flight ?? 0} / ${data.value.in_flight_peak ?? 0}`, note: t('metrics.uptime') + ' ' + fmtUptime.value },
|
||||
]
|
||||
|
||||
Reference in new issue
Block a user