feat(calllog): 调用日志落地(SQLite / 90 天 / 管理员可查全部)
- app/calllog.py:SQLite 表 api_calls(21 列,含提示词与回复)+ 异步批量写 + 双向握手
(流式请求的访问日志条目比响应晚到也能落库)+ 早失败补记 + 失败也记 Key 前 8 位
- 新增 4 个仅管理员端点:/logs/calls、/logs/calls/stats、/logs/calls/{id}、/logs/calls/export
- 前端:日志页新增「实时 / 调用日志」页签,新组件 CallLogs.vue(筛选/分页/详情/CSV 导出)
- 保留 90 天;队列满丢弃计数,不反压请求;零新依赖
- docs:新增 docs/call-log-design.md(方案对比与三个关键设计)
- 版本 2.7.3 → 2.8.0
This commit is contained in:
1 parent
19224f1993
commit
2c53504ad4
10 files changed
+1101
-4
No files matched your search
@@ -1,5 +1,47 @@
|
||||
# CHANGELOG
|
||||
|
||||
## 2026-10-23 · 调用日志落地(SQLite / 90 天 / 仅管理员可查全部)(2.7.3 → 2.8.0)
|
||||
|
||||
老板:「ai网关项目,现在我想把调用日志落地,有什么方案」→ 方案确认后:「1,要记 / 2,90天 /
|
||||
3,要前端查询界面,然后这个查询界面集成在日志菜单里,只有管理员有这个权限查看全部人的日志」。
|
||||
|
||||
### 后端:`app/calllog.py`(SQLite,零新依赖)
|
||||
- 表 `api_calls` **21 列**:时间、rid、账号、Key 前 8 位、类型、方法、路径、模型、实际模型、
|
||||
供应商、是否流式、成功、状态码、耗时、IP、UA、**提示词**、**回复**、网关版本。
|
||||
- **异步批量写**:`AccessLog.add()` → 内存队列 → 后台 task 每 1 秒或攒满 200 条 `executemany` 提交;
|
||||
队列满(默认 1 万条)即丢弃并计数,**绝不反压请求**;进程退出前 flush。
|
||||
- **双向握手**(本轮最关键的设计):一条日志的两半来自不同位置 —— 访问日志条目(`AccessLog.add`)
|
||||
和响应元数据(中间件收尾,含状态码/耗时/IP/UA)。两半先后顺序不确定:
|
||||
非流式是「条目先、元数据后」,**流式是「元数据先、条目后」**(SSE 真正发完才 add)。
|
||||
所以两边都先暂存,谁后到谁拼成一行落库。
|
||||
- **早失败也记**:未知模型 400、鉴权 401/403、限流 429 这类请求走不到 `AccessLog.add`,
|
||||
中间件用请求体补一条(含模型名与提示词),否则日志里只剩一行"400、无模型",排查时没有信息量。
|
||||
- **失败也记 Key 前缀**:401 时 `request.state.credential` 是空的,但恰恰这时最需要知道
|
||||
客户端拿的是哪把 Key —— 记前 8 位即可对账(2026-10-23 的真实工单就是靠这个抓到
|
||||
「客户端在发 `wjd-5Da_…`,而库里他的有效 Key 是 `wjd-15zs…`」)。
|
||||
- 保留 **90 天**:启动时清理 + 每 6 小时清理一次;`CALLLOG_RETENTION_DAYS` 可调。
|
||||
- 隐私:**API Key 只存前 8 位**;提示词/回复按 `CALLLOG_CONTENT_MAX`(默认 8000 字)截断;
|
||||
库文件权限 600。IP 存完整地址(仅管理员可见,便于与 WAF/防火墙日志对账)。
|
||||
|
||||
### 接口(新增 4 个,全部**仅管理员**)
|
||||
| 端点 | 用途 |
|
||||
|---|---|
|
||||
| `GET /logs/calls` | 分页 + 筛选(时间段/账号/模型/成功失败/状态码/类型/关键词),`content=1` 时带内容 |
|
||||
| `GET /logs/calls/stats` | 按天、按模型、按账号、按状态码聚合 + 库大小/写入/丢弃计数 |
|
||||
| `GET /logs/calls/{id}` | 单条详情(含完整提示词与回复)|
|
||||
| `GET /logs/calls/export` | CSV 导出(最多 5 万条,UTF-8 BOM,Excel 直接打开)|
|
||||
|
||||
成员访问以上端点一律 **403**(`_require_admin_logs`)。
|
||||
|
||||
### 前端:集成在「日志」菜单
|
||||
- 日志页顶部新增两个页签:**实时**(原有内存环形缓冲)/ **调用日志**(仅管理员可见)。
|
||||
- 新组件 `CallLogs.vue`:日期范围、账号、模型、仅成功/仅失败、关键词(内容/rid/IP/UA)筛选;
|
||||
列表显示时间/账号/模型/耗时/状态/流式/UA;点击行弹出详情看**完整提示词与回复**;CSV 导出。
|
||||
|
||||
### 现状说明
|
||||
- `/metrics` 仍是内存态(重启清零),本次没动它;**调用日志是持久化的**,
|
||||
需要历史统计时可以基于 `api_calls` 做(二期可把 Dashboard 数据源切过来)。
|
||||
|
||||
## 2026-10-22 · 成员只看自己的用量 + AI 接口不再被 WAF 误杀(2.7.2 → 2.7.3)
|
||||
|
||||
老板:「改,替换重启,更新文档,推送 gitea」;随后补充「成员在首页是要看到自己调用的次数统计」。
|
||||
|
||||
Reference in new issue
Block a user