feat(logs): 实时日志展开显示单笔 token 用量与缓存命中率

- calllog 新增 peek_tokens(rid):只读不消耗,供实时日志展示(落库仍由 _row pop)
- AccessLog.add 把 token 挂到条目 tokens 字段
- 实时日志展开新增「Token 用量」块:输入/输出/缓存命中/推理 + 命中率(cached÷prompt)
- 调用日志详情弹窗补同样一行 token(数据取自 tok_* 列)
- 版本 2.9.3 → 2.9.4
This commit is contained in:
jidekin committed 2026-10-23 15:19:39 +08:00
1 parent fdeeee5066
commit d2214bd355
8 files changed
+90 -1

No files matched your search

+15
View File
@@ -1,5 +1,20 @@
# CHANGELOG # CHANGELOG
## 2026-10-23 · 实时日志展开显示单笔 token 用量与缓存命中率(2.9.3 → 2.9.4)
老板:「日志里的实时点开后可以查看单笔使用的 token 量和命中缓存多少、命中率多少」。
- **数据链路**:token 原本只进了调用日志的落库路径(`note_tokens` 侧信道 → `_row` pop)。
实时日志(内存环形缓冲)拿不到 —— 新增 `calllog.peek_tokens(rid)`(**只读不消耗**),
`AccessLog.add()` 把它挂到条目的 `tokens` 字段上。落库那份仍由 `_row()` 负责 pop 清空,
两条路互不抢数据。
- **实时日志页**(日志 → 实时 → 点开任意一条)新增一块「Token 用量」:
输入 / 输出 / 缓存命中 / 推理,外加**缓存命中率**(`cached ÷ prompt`,保留一位小数)。
命中率按档位配色:≥50% 绿、>0 黄、0 淡显。
- **调用日志详情弹窗**也补了同样一行 token(数据来自库里的 `tok_*` 列),两处口径一致。
- 实测:同一把 key 连发 3 次相同请求 → 实时日志三条都带
`输入 73 / 输出 20 / 缓存命中 0 / 推理 20`;命中率 0%(该次上游未报缓存命中,字段本身完整)。
## 2026-10-23 · 详情弹窗固定高度,内容区内部滚动(2.9.2 → 2.9.3) ## 2026-10-23 · 详情弹窗固定高度,内容区内部滚动(2.9.2 → 2.9.3)
老板:「点开详情的弹出框高度固定下,不要出现滚动条了,内容高度固定滚动条」。 老板:「点开详情的弹出框高度固定下,不要出现滚动条了,内容高度固定滚动条」。
+11
View File
@@ -618,6 +618,17 @@ def note_tokens(rid: str, prompt: int, completion: int,
break break
def peek_tokens(rid: str) -> dict[str, int] | None:
"""按 rid 偷看 token 用量(**不消耗**)—— 实时日志页展开时展示用。
真正落库时由 `_row()` 负责 pop 清空,这里只读,避免两边抢同一份数据。
"""
if not store.enabled or not rid:
return None
with _tok_lock:
return TOKENS_BY_RID.get(str(rid))
def on_access(entry: dict[str, Any]) -> None: def on_access(entry: dict[str, Any]) -> None:
"""`AccessLog.add()` 调用:拿到访问日志条目;若响应元数据已就绪则立即落库。""" """`AccessLog.add()` 调用:拿到访问日志条目;若响应元数据已就绪则立即落库。"""
if not store.enabled: if not store.enabled:
+1 -1
View File
@@ -355,7 +355,7 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope
# 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。 # 2026-09-30: 2.6.1 → 2.7.0(按老板要求整个删除「火山方舟 Coding Plan」供应商:配置/模型/代码/文档/前端下拉/环境变量全清)。
# 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。 # 2026-09-30: 2.7.0 → 2.7.1(界面提示白话化:熔断器→供应商自动保护、引擎→运行环境、slug→标识;删 120 个未引用死键)。
# ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。
VERSION = "2.9.3" VERSION = "2.9.4"
app = FastAPI( app = FastAPI(
title="API Gateway", title="API Gateway",
+9
View File
@@ -273,6 +273,15 @@ class AccessLog:
snip = BODY_BY_RID.pop(rid, None) snip = BODY_BY_RID.pop(rid, None)
if snip: if snip:
entry["body"] = snip entry["body"] = snip
# 2026-10-23:把这次请求的 token 用量挂到日志条目上(实时页展开即可看到
# prompt/completion/cached/reasoning 与缓存命中率)。
try:
from app import calllog as _calllog
_tk = _calllog.peek_tokens(str(rid))
if _tk:
entry["tokens"] = dict(_tk)
except Exception: # noqa: BLE001
pass
with self._lock: with self._lock:
self._buf.append(entry) self._buf.append(entry)
# 调用日志落地(2026-10-23):交给 app/calllog.py —— 它与请求中间件的响应元数据 # 调用日志落地(2026-10-23):交给 app/calllog.py —— 它与请求中间件的响应元数据
+6
View File
@@ -202,6 +202,12 @@ export default {
provider: 'Provider', provider: 'Provider',
streaming: 'Streaming', streaming: 'Streaming',
loadErr: 'Failed to load logs', loadErr: 'Failed to load logs',
tokens: 'Token usage',
tokPrompt: 'prompt',
tokCompletion: 'completion',
tokCached: 'cached',
tokReasoning: 'reasoning',
cacheHit: 'cache hit',
}, },
calllogs: { calllogs: {
title: 'Call log (persisted)', title: 'Call log (persisted)',
+6
View File
@@ -202,6 +202,12 @@ export default {
provider: '供应商', provider: '供应商',
streaming: '流式', streaming: '流式',
loadErr: '加载日志失败', loadErr: '加载日志失败',
tokens: 'Token 用量',
tokPrompt: '输入',
tokCompletion: '输出',
tokCached: '缓存命中',
tokReasoning: '推理',
cacheHit: '缓存命中率',
}, },
calllogs: { calllogs: {
title: '调用日志(持久化)', title: '调用日志(持久化)',
+7
View File
@@ -124,6 +124,13 @@
<span><i>path</i>{{ detail.path || '—' }}</span> <span><i>path</i>{{ detail.path || '—' }}</span>
<span><i>ver</i>{{ detail.ver || '—' }}</span> <span><i>ver</i>{{ detail.ver || '—' }}</span>
</div> </div>
<div class="kv" v-if="detail.tok_prompt || detail.tok_completion || detail.tok_cached || detail.tok_reasoning">
<span><i>{{ t('logs.tokPrompt') }}</i>{{ detail.tok_prompt || 0 }}</span>
<span><i>{{ t('logs.tokCompletion') }}</i>{{ detail.tok_completion || 0 }}</span>
<span><i>{{ t('logs.tokCached') }}</i>{{ detail.tok_cached || 0 }}</span>
<span><i>{{ t('logs.tokReasoning') }}</i>{{ detail.tok_reasoning || 0 }}</span>
<span><i>{{ t('logs.cacheHit') }}</i>{{ detail.tok_prompt ? (Math.round((detail.tok_cached || 0) / detail.tok_prompt * 1000) / 10) : 0 }}%</span>
</div>
<div class="sec"> <div class="sec">
<label>{{ t('calllogs.colContent') }}(完整,保留换行)</label> <label>{{ t('calllogs.colContent') }}(完整,保留换行)</label>
<pre>{{ detail.prompt_full || detail.prompt_text || '—' }}</pre> <pre>{{ detail.prompt_full || detail.prompt_text || '—' }}</pre>
+35
View File
@@ -89,6 +89,17 @@
<b>{{ t('logs.provider') }}</b> <span class="code">{{ row.provider || '—' }}</span> <b>{{ t('logs.provider') }}</b> <span class="code">{{ row.provider || '—' }}</span>
<b>{{ t('logs.streaming') }}</b> <span class="code">{{ row.stream ? 'SSE' : t('common.no') }}</span> <b>{{ t('logs.streaming') }}</b> <span class="code">{{ row.stream ? 'SSE' : t('common.no') }}</span>
</p> </p>
<!-- 2026-10-23:单笔 token 用量 + 缓存命中率 -->
<div class="detail-block" v-if="row.tokens">
<label>{{ t('logs.tokens') }}</label>
<div class="tok-line">
<span class="tok-item">{{ t('logs.tokPrompt') }} <b>{{ row.tokens.prompt_tokens ?? 0 }}</b></span>
<span class="tok-item">{{ t('logs.tokCompletion') }} <b>{{ row.tokens.completion_tokens ?? 0 }}</b></span>
<span class="tok-item">{{ t('logs.tokCached') }} <b>{{ row.tokens.cached_tokens ?? 0 }}</b></span>
<span class="tok-item">{{ t('logs.tokReasoning') }} <b>{{ row.tokens.reasoning_tokens ?? 0 }}</b></span>
<span class="tok-item tok-hit" :class="hitCls(row)">{{ t('logs.cacheHit') }} <b>{{ hitRate(row) }}%</b></span>
</div>
</div>
<div class="detail-block"><label>{{ t('logs.request') }}</label><pre>{{ row.body || '—' }}</pre></div> <div class="detail-block"><label>{{ t('logs.request') }}</label><pre>{{ row.body || '—' }}</pre></div>
<div class="detail-block"><label>{{ t('logs.response') }}</label><pre>{{ row.response || '—' }}</pre></div> <div class="detail-block"><label>{{ t('logs.response') }}</label><pre>{{ row.response || '—' }}</pre></div>
<div class="detail-block" v-if="row.polls && row.polls.length"> <div class="detail-block" v-if="row.polls && row.polls.length">
@@ -150,6 +161,18 @@ const appliedKw = ref('')
const expandedKeys = ref<string[]>([]) const expandedKeys = ref<string[]>([])
const expandedSet = computed(() => new Set(expandedKeys.value)) const expandedSet = computed(() => new Set(expandedKeys.value))
const rowKey = (row: any): string => row.rid || `${row.method}:${row.path}:${row.ts}` const rowKey = (row: any): string => row.rid || `${row.method}:${row.path}:${row.ts}`
/** 缓存命中率 = cached_tokens / prompt_tokens(0 保护)。 */
function hitRate(row: any): number {
const t = row.tokens || {}
const p = Number(t.prompt_tokens) || 0
const c = Number(t.cached_tokens) || 0
return p > 0 ? Math.round((c / p) * 1000) / 10 : 0
}
function hitCls(row: any): string {
const r = hitRate(row)
return r >= 50 ? 'hit-good' : r > 0 ? 'hit-mid' : 'hit-none'
}
function isOpen(row: any): boolean { function isOpen(row: any): boolean {
return expandedSet.value.has(rowKey(row)) return expandedSet.value.has(rowKey(row))
} }
@@ -335,6 +358,18 @@ onUnmounted(() => clearInterval(timer))
.log-row :deep(.gw-icon) { color: var(--muted-2); flex: none; } .log-row :deep(.gw-icon) { color: var(--muted-2); flex: none; }
.kv { margin: 0 0 8px; display: flex; gap: 10px; flex-wrap: wrap; } .kv { margin: 0 0 8px; display: flex; gap: 10px; flex-wrap: wrap; }
.tok-line { display: flex; flex-wrap: wrap; gap: 6px; }
.tok-item {
font-size: 11.5px; padding: 2px 8px; border-radius: 6px;
background: var(--chip); color: var(--muted-2);
}
.tok-item b { color: var(--text); font-variant-numeric: tabular-nums; }
.tok-hit.hit-good { background: color-mix(in srgb, var(--ok) 14%, transparent); color: var(--ok); }
.tok-hit.hit-good b { color: var(--ok); }
.tok-hit.hit-mid { background: color-mix(in srgb, #d9a300 14%, transparent); color: #a97c00; }
.tok-hit.hit-mid b { color: #a97c00; }
.tok-hit.hit-none { opacity: .65; }
.detail-block { margin-bottom: 8px; } .detail-block { margin-bottom: 8px; }
.detail-block label { display: block; color: var(--muted-2); font-size: 11px; margin-bottom: 2px; } .detail-block label { display: block; color: var(--muted-2); font-size: 11px; margin-bottom: 2px; }
.detail-block pre { .detail-block pre {