feat(agents): 图片附件 + 修两个真 bug(版本 2.5.0 → 2.5.1)
老板要求「图片附件功能加上,其他的先不做」。
QwenPaw 侧格式(实测确认后再动手):{"type":"image","image_url":"<data-URI>"
—— 塞纯红 64×64 PNG 的 data URI,模型正确答出「红色」。
改动:
- app/adapters/qwenpaw_engine.py:放行图片内容块,并同时支持两种写法 ——
AgentScope 原生 image 与 OpenAI 风格 image_url(前端发的是后者);
新增 _image_url();缺 url 的块跳过;audio/video/file 仍忽略
- views/Agents.vue:对话输入区加附件按钮(pickImage 复用现有浏览器内压缩,最多 4 张)
+ 待发缩略图可删 + 消息气泡内渲染图片;允许「只发图不带字」
- lib/agents.ts:content 放宽为 string | any[]
- i18n 新增 4 键,中英对称 879/879
修掉两个真 bug(本轮才暴露):
1. image_url 写法被忽略 —— 分支只认 type=="image",而前端发 image_url
→ 图片会静默丢失(功能等于没做)。测试用例抓出来的。
2. /agents/{slug}/chat 500 —— 上轮加计量打标时 log.info(..., rounds) 写在
rounds = ... 之前,UnboundLocalError → 端点 500。已加回归用例
test_agent_chat_endpoint_source_order 固化(这类声明顺序错误跑不出来)。
上线实测:两张图(红+蓝)→ 模型答「红色,蓝色」顺序正确,system_suffix 同时生效,
usage wjd/24112 tokens/缓存 2048;浏览器路径也验证过(上传→缩略图→发送→渲染→无 JS 错误)。
已知引擎侧行为(非网关问题):QwenPaw SSE 只有 text 事件、无独立 reasoning 通道,
模型有时把思考写进正文;且上下文会污染视觉判断(同图脏上下文答「白色」、干净会话答「蓝色」)。
测试 218 → 219 全过。
This commit is contained in:
1 parent
c0706d1846
commit
c62be67aa8
9 files changed
+230
-16
No files matched your search
@@ -1,5 +1,49 @@
|
||||
# CHANGELOG
|
||||
|
||||
## 2026-09-29 · 智能体支持图片附件(版本 2.5.0 → 2.5.1)
|
||||
|
||||
老板要求:「图片附件功能加上,其他的先不做」。
|
||||
|
||||
**QwenPaw 侧的格式(实测确认)**:`{"type":"image","image_url":"<data-URI 或 http URL>"}`
|
||||
—— 塞一张纯红 64×64 PNG 的 data URI,模型正确答出「红色」。格式端到端验证通过后才动手。
|
||||
|
||||
**改动**:
|
||||
- `app/adapters/qwenpaw_engine.py`:内容块转换**放行图片**,并**同时支持两种写法** ——
|
||||
AgentScope 原生 `{"type":"image","image_url":"<uri>"}` 与 OpenAI 风格
|
||||
`{"type":"image_url","image_url":{"url":"<uri>"}}`(前端「对话」页发的是后者)。
|
||||
新增 `_image_url()` 提取函数;缺 `url` 的图片块跳过(不产生空块);
|
||||
不支持的媒体类型(audio/video/file)仍忽略。
|
||||
- 前端 `views/Agents.vue`:对话输入区加**附件按钮**(`pickImage` 复用现有浏览器内压缩,
|
||||
最多 4 张)+ 待发缩略图(可单张删除)+ 消息气泡内渲染图片;允许「只发图不带字」。
|
||||
- `lib/agents.ts`:`content` 类型放宽为 `string | any[]`(支持内容块数组)。
|
||||
- i18n 新增 4 键(attach/imgMax/imgErr/imgCount),中英对称 **879/879**。
|
||||
|
||||
**踩到并修掉的两个真 bug(都是本轮才暴露)**:
|
||||
1. **`image_url` 写法被忽略** —— 转换分支只认 `type == "image"`,而前端发的是
|
||||
`{"type":"image_url", ...}` → 图片会**静默丢失**(功能等于没做)。测试用例抓出来的。
|
||||
2. **`/agents/{slug}/chat` 500** —— 上一轮加「计量打标」日志时,`log.info(..., rounds)`
|
||||
被写在 `rounds = ...` **之前**,`UnboundLocalError` → 整个端点 500。
|
||||
**已加回归用例 `test_agent_chat_endpoint_source_order` 固化**(这类声明顺序错误跑不出来,
|
||||
只能靠读代码或真机调用发现 —— 本轮就是因为"打标改完没重新真机验证"才漏过)。
|
||||
|
||||
**上线实测**:
|
||||
```
|
||||
POST /agents/code-review/chat(两张图:红 + 蓝)
|
||||
→ 模型答「红色,蓝色」(顺序正确;system_suffix「只给结论」同时在生效)
|
||||
→ usage: wjd / 24112 tokens / 缓存 2048
|
||||
```
|
||||
浏览器路径也验证过(上传 → 缩略图 → 发送 → 消息内渲染图片 → 无 JS 错误)。
|
||||
|
||||
**一个已知的引擎侧行为(非网关问题)**:QwenPaw 的 SSE **只有 `text` 事件、没有独立的
|
||||
reasoning 通道** —— 模型有时会把思考过程写进正文一起发出来(实测见过
|
||||
"The user asks: ... I'll just answer 蓝色")。网关无法分离(除非改 QwenPaw 的流协议)。
|
||||
另外**上下文会污染视觉判断**:先让模型答错一次,它下一轮会被自己的错误答案带偏
|
||||
(实测同一张蓝图,脏上下文答「白色」、干净会话答「蓝色」)。
|
||||
|
||||
**测试**:218 → **219 全过**(新增图片内容块转换用例,覆盖两种写法/只图/缺 url/不支持类型/多图顺序,
|
||||
以及上面那条声明顺序回归)。
|
||||
|
||||
|
||||
## 2026-09-29 · 新增「智能体」功能模块(路线 A:界面在网关,引擎 QwenPaw)
|
||||
|
||||
老板要求:「在 ai 网关里做智能体 agent,新的一个菜单」。**一期只对管理员开放**,成熟后下发普通用户。
|
||||
|
||||
Reference in new issue
Block a user