diff --git a/CHANGELOG.md b/CHANGELOG.md index 0c926f5..2472a76 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,20 @@ # CHANGELOG +## 2026-10-23 · 实时日志展开显示单笔 token 用量与缓存命中率(2.9.3 → 2.9.4) + +老板:「日志里的实时点开后可以查看单笔使用的 token 量和命中缓存多少、命中率多少」。 + +- **数据链路**:token 原本只进了调用日志的落库路径(`note_tokens` 侧信道 → `_row` pop)。 + 实时日志(内存环形缓冲)拿不到 —— 新增 `calllog.peek_tokens(rid)`(**只读不消耗**), + `AccessLog.add()` 把它挂到条目的 `tokens` 字段上。落库那份仍由 `_row()` 负责 pop 清空, + 两条路互不抢数据。 +- **实时日志页**(日志 → 实时 → 点开任意一条)新增一块「Token 用量」: + 输入 / 输出 / 缓存命中 / 推理,外加**缓存命中率**(`cached ÷ prompt`,保留一位小数)。 + 命中率按档位配色:≥50% 绿、>0 黄、0 淡显。 +- **调用日志详情弹窗**也补了同样一行 token(数据来自库里的 `tok_*` 列),两处口径一致。 +- 实测:同一把 key 连发 3 次相同请求 → 实时日志三条都带 + `输入 73 / 输出 20 / 缓存命中 0 / 推理 20`;命中率 0%(该次上游未报缓存命中,字段本身完整)。 + ## 2026-10-23 · 详情弹窗固定高度,内容区内部滚动(2.9.2 → 2.9.3) 老板:「点开详情的弹出框高度固定下,不要出现滚动条了,内容高度固定滚动条」。 diff --git a/app/calllog.py b/app/calllog.py index c64f0a7..a800e09 100644 --- a/app/calllog.py +++ b/app/calllog.py @@ -618,6 +618,17 @@ def note_tokens(rid: str, prompt: int, completion: int, break +def peek_tokens(rid: str) -> dict[str, int] | None: + """按 rid 偷看 token 用量(**不消耗**)—— 实时日志页展开时展示用。 + + 真正落库时由 `_row()` 负责 pop 清空,这里只读,避免两边抢同一份数据。 + """ + if not store.enabled or not rid: + return None + with _tok_lock: + return TOKENS_BY_RID.get(str(rid)) + + def on_access(entry: dict[str, Any]) -> None: """`AccessLog.add()` 调用:拿到访问日志条目;若响应元数据已就绪则立即落库。""" if not store.enabled: diff --git a/app/main.py b/app/main.py index a76150d..8364827 100644 --- a/app/main.py +++ b/app/main.py @@ -355,7 +355,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope # 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。 # 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 -VERSION = "2.9.3" +VERSION = "2.9.4" app = FastAPI( title="API Gateway", diff --git a/app/metrics.py b/app/metrics.py index ff58c6c..d424ca8 100644 --- a/app/metrics.py +++ b/app/metrics.py @@ -273,6 +273,15 @@ class AccessLog: snip = BODY_BY_RID.pop(rid, None) if snip: entry["body"] = snip + # 2026-10-23:把这次请求的 token 用量挂到日志条目上(实时页展开即可看到 + # prompt/completion/cached/reasoning 与缓存命中率)。 + try: + from app import calllog as _calllog + _tk = _calllog.peek_tokens(str(rid)) + if _tk: + entry["tokens"] = dict(_tk) + except Exception: # noqa: BLE001 + pass with self._lock: self._buf.append(entry) # 调用日志落地(2026-10-23):交给 app/calllog.py —— 它与请求中间件的响应元数据 diff --git a/frontend/src/locales/en.ts b/frontend/src/locales/en.ts index 909835e..dfac7f7 100644 --- a/frontend/src/locales/en.ts +++ b/frontend/src/locales/en.ts @@ -202,6 +202,12 @@ export default { provider: 'Provider', streaming: 'Streaming', loadErr: 'Failed to load logs', + tokens: 'Token usage', + tokPrompt: 'prompt', + tokCompletion: 'completion', + tokCached: 'cached', + tokReasoning: 'reasoning', + cacheHit: 'cache hit', }, calllogs: { title: 'Call log (persisted)', diff --git a/frontend/src/locales/zh.ts b/frontend/src/locales/zh.ts index 35a0fc6..3e25ba6 100644 --- a/frontend/src/locales/zh.ts +++ b/frontend/src/locales/zh.ts @@ -202,6 +202,12 @@ export default { provider: '供应商', streaming: '流式', loadErr: '加载日志失败', + tokens: 'Token 用量', + tokPrompt: '输入', + tokCompletion: '输出', + tokCached: '缓存命中', + tokReasoning: '推理', + cacheHit: '缓存命中率', }, calllogs: { title: '调用日志(持久化)', diff --git a/frontend/src/views/CallLogs.vue b/frontend/src/views/CallLogs.vue index fc77e2c..bad23d6 100644 --- a/frontend/src/views/CallLogs.vue +++ b/frontend/src/views/CallLogs.vue @@ -124,6 +124,13 @@ path{{ detail.path || '—' }} ver{{ detail.ver || '—' }} +
+ {{ t('logs.tokPrompt') }}{{ detail.tok_prompt || 0 }} + {{ t('logs.tokCompletion') }}{{ detail.tok_completion || 0 }} + {{ t('logs.tokCached') }}{{ detail.tok_cached || 0 }} + {{ t('logs.tokReasoning') }}{{ detail.tok_reasoning || 0 }} + {{ t('logs.cacheHit') }}{{ detail.tok_prompt ? (Math.round((detail.tok_cached || 0) / detail.tok_prompt * 1000) / 10) : 0 }}% +
{{ detail.prompt_full || detail.prompt_text || '—' }}
diff --git a/frontend/src/views/Logs.vue b/frontend/src/views/Logs.vue index 1f3ea87..961d8eb 100644 --- a/frontend/src/views/Logs.vue +++ b/frontend/src/views/Logs.vue @@ -89,6 +89,17 @@ {{ t('logs.provider') }} {{ row.provider || '—' }} {{ t('logs.streaming') }} {{ row.stream ? 'SSE' : t('common.no') }}

+ +
+ +
+ {{ t('logs.tokPrompt') }} {{ row.tokens.prompt_tokens ?? 0 }} + {{ t('logs.tokCompletion') }} {{ row.tokens.completion_tokens ?? 0 }} + {{ t('logs.tokCached') }} {{ row.tokens.cached_tokens ?? 0 }} + {{ t('logs.tokReasoning') }} {{ row.tokens.reasoning_tokens ?? 0 }} + {{ t('logs.cacheHit') }} {{ hitRate(row) }}% +
+
{{ row.body || '—' }}
{{ row.response || '—' }}
@@ -150,6 +161,18 @@ const appliedKw = ref('') const expandedKeys = ref([]) const expandedSet = computed(() => new Set(expandedKeys.value)) const rowKey = (row: any): string => row.rid || `${row.method}:${row.path}:${row.ts}` +/** 缓存命中率 = cached_tokens / prompt_tokens(0 保护)。 */ +function hitRate(row: any): number { + const t = row.tokens || {} + const p = Number(t.prompt_tokens) || 0 + const c = Number(t.cached_tokens) || 0 + return p > 0 ? Math.round((c / p) * 1000) / 10 : 0 +} +function hitCls(row: any): string { + const r = hitRate(row) + return r >= 50 ? 'hit-good' : r > 0 ? 'hit-mid' : 'hit-none' +} + function isOpen(row: any): boolean { return expandedSet.value.has(rowKey(row)) } @@ -335,6 +358,18 @@ onUnmounted(() => clearInterval(timer)) .log-row :deep(.gw-icon) { color: var(--muted-2); flex: none; } .kv { margin: 0 0 8px; display: flex; gap: 10px; flex-wrap: wrap; } +.tok-line { display: flex; flex-wrap: wrap; gap: 6px; } +.tok-item { + font-size: 11.5px; padding: 2px 8px; border-radius: 6px; + background: var(--chip); color: var(--muted-2); +} +.tok-item b { color: var(--text); font-variant-numeric: tabular-nums; } +.tok-hit.hit-good { background: color-mix(in srgb, var(--ok) 14%, transparent); color: var(--ok); } +.tok-hit.hit-good b { color: var(--ok); } +.tok-hit.hit-mid { background: color-mix(in srgb, #d9a300 14%, transparent); color: #a97c00; } +.tok-hit.hit-mid b { color: #a97c00; } +.tok-hit.hit-none { opacity: .65; } + .detail-block { margin-bottom: 8px; } .detail-block label { display: block; color: var(--muted-2); font-size: 11px; margin-bottom: 2px; } .detail-block pre {