From 96301897c46a7c26822d137a3ce3a6d48d03119a Mon Sep 17 00:00:00 2001 From: api-gateway Date: Tue, 29 Sep 2026 14:00:49 +0800 Subject: [PATCH] =?UTF-8?q?feat(agents):=20=E5=9B=BE=E7=89=87=E9=99=84?= =?UTF-8?q?=E4=BB=B6=20+=20=E4=BF=AE=E4=B8=A4=E4=B8=AA=E7=9C=9F=20bug?= =?UTF-8?q?=EF=BC=88=E7=89=88=E6=9C=AC=202.5.0=20=E2=86=92=202.5.1?= =?UTF-8?q?=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 老板要求「图片附件功能加上,其他的先不做」。 QwenPaw 侧格式(实测确认后再动手):{"type":"image","image_url":"" —— 塞纯红 64×64 PNG 的 data URI,模型正确答出「红色」。 改动: - app/adapters/qwenpaw_engine.py:放行图片内容块,并同时支持两种写法 —— AgentScope 原生 image 与 OpenAI 风格 image_url(前端发的是后者); 新增 _image_url();缺 url 的块跳过;audio/video/file 仍忽略 - views/Agents.vue:对话输入区加附件按钮(pickImage 复用现有浏览器内压缩,最多 4 张) + 待发缩略图可删 + 消息气泡内渲染图片;允许「只发图不带字」 - lib/agents.ts:content 放宽为 string | any[] - i18n 新增 4 键,中英对称 879/879 修掉两个真 bug(本轮才暴露): 1. image_url 写法被忽略 —— 分支只认 type=="image",而前端发 image_url → 图片会静默丢失(功能等于没做)。测试用例抓出来的。 2. /agents/{slug}/chat 500 —— 上轮加计量打标时 log.info(..., rounds) 写在 rounds = ... 之前,UnboundLocalError → 端点 500。已加回归用例 test_agent_chat_endpoint_source_order 固化(这类声明顺序错误跑不出来)。 上线实测:两张图(红+蓝)→ 模型答「红色,蓝色」顺序正确,system_suffix 同时生效, usage wjd/24112 tokens/缓存 2048;浏览器路径也验证过(上传→缩略图→发送→渲染→无 JS 错误)。 已知引擎侧行为(非网关问题):QwenPaw SSE 只有 text 事件、无独立 reasoning 通道, 模型有时把思考写进正文;且上下文会污染视觉判断(同图脏上下文答「白色」、干净会话答「蓝色」)。 测试 218 → 219 全过。 --- CHANGELOG.md | 44 +++++++++++++++++++++ app/adapters/qwenpaw_engine.py | 38 ++++++++++++++++-- app/agents_routes.py | 9 +++-- app/main.py | 4 +- frontend/src/lib/agents.ts | 2 +- frontend/src/locales/en.ts | 4 ++ frontend/src/locales/zh.ts | 4 ++ frontend/src/views/Agents.vue | 69 +++++++++++++++++++++++++++++--- tests/test_gateway.py | 72 ++++++++++++++++++++++++++++++++++ 9 files changed, 230 insertions(+), 16 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index 9a95a91..a923f36 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,49 @@ # CHANGELOG +## 2026-09-29 · 智能体支持图片附件(版本 2.5.0 → 2.5.1) + +老板要求:「图片附件功能加上,其他的先不做」。 + +**QwenPaw 侧的格式(实测确认)**:`{"type":"image","image_url":""}` +—— 塞一张纯红 64×64 PNG 的 data URI,模型正确答出「红色」。格式端到端验证通过后才动手。 + +**改动**: +- `app/adapters/qwenpaw_engine.py`:内容块转换**放行图片**,并**同时支持两种写法** —— + AgentScope 原生 `{"type":"image","image_url":""}` 与 OpenAI 风格 + `{"type":"image_url","image_url":{"url":""}}`(前端「对话」页发的是后者)。 + 新增 `_image_url()` 提取函数;缺 `url` 的图片块跳过(不产生空块); + 不支持的媒体类型(audio/video/file)仍忽略。 +- 前端 `views/Agents.vue`:对话输入区加**附件按钮**(`pickImage` 复用现有浏览器内压缩, + 最多 4 张)+ 待发缩略图(可单张删除)+ 消息气泡内渲染图片;允许「只发图不带字」。 +- `lib/agents.ts`:`content` 类型放宽为 `string | any[]`(支持内容块数组)。 +- i18n 新增 4 键(attach/imgMax/imgErr/imgCount),中英对称 **879/879**。 + +**踩到并修掉的两个真 bug(都是本轮才暴露)**: +1. **`image_url` 写法被忽略** —— 转换分支只认 `type == "image"`,而前端发的是 + `{"type":"image_url", ...}` → 图片会**静默丢失**(功能等于没做)。测试用例抓出来的。 +2. **`/agents/{slug}/chat` 500** —— 上一轮加「计量打标」日志时,`log.info(..., rounds)` + 被写在 `rounds = ...` **之前**,`UnboundLocalError` → 整个端点 500。 + **已加回归用例 `test_agent_chat_endpoint_source_order` 固化**(这类声明顺序错误跑不出来, + 只能靠读代码或真机调用发现 —— 本轮就是因为"打标改完没重新真机验证"才漏过)。 + +**上线实测**: +``` +POST /agents/code-review/chat(两张图:红 + 蓝) +→ 模型答「红色,蓝色」(顺序正确;system_suffix「只给结论」同时在生效) +→ usage: wjd / 24112 tokens / 缓存 2048 +``` +浏览器路径也验证过(上传 → 缩略图 → 发送 → 消息内渲染图片 → 无 JS 错误)。 + +**一个已知的引擎侧行为(非网关问题)**:QwenPaw 的 SSE **只有 `text` 事件、没有独立的 +reasoning 通道** —— 模型有时会把思考过程写进正文一起发出来(实测见过 +"The user asks: ... I'll just answer 蓝色")。网关无法分离(除非改 QwenPaw 的流协议)。 +另外**上下文会污染视觉判断**:先让模型答错一次,它下一轮会被自己的错误答案带偏 +(实测同一张蓝图,脏上下文答「白色」、干净会话答「蓝色」)。 + +**测试**:218 → **219 全过**(新增图片内容块转换用例,覆盖两种写法/只图/缺 url/不支持类型/多图顺序, +以及上面那条声明顺序回归)。 + + ## 2026-09-29 · 新增「智能体」功能模块(路线 A:界面在网关,引擎 QwenPaw) 老板要求:「在 ai 网关里做智能体 agent,新的一个菜单」。**一期只对管理员开放**,成熟后下发普通用户。 diff --git a/app/adapters/qwenpaw_engine.py b/app/adapters/qwenpaw_engine.py index 8cda9cd..ac01a3f 100644 --- a/app/adapters/qwenpaw_engine.py +++ b/app/adapters/qwenpaw_engine.py @@ -11,6 +11,7 @@ - 回 SSE(前缀固定 `data: `,**没有 event: 行**) - 事件:`text` / `plugin_call` / `plugin_call_output` / `data` / `message` / `response` / `turn_usage` - `role: "system"` 的输入消息**被接受且生效**(实测)→ `system_suffix` 走这条 +- **图片输入**:`{"type":"image", "image_url":""}`(实测可识别) - `model` 字段**被忽略**(实测)→ 模型是 profile 级,不在请求里指定 网关对前端的输出形状(自定义、简单): @@ -67,7 +68,9 @@ def build_input(messages: list[dict[str, Any]], system_suffix: str = "") -> list if role not in ("user", "assistant", "system"): role = "user" content = m.get("content") - # content 允许是字符串或 [{type:text,text}] 形状 + # content 允许:字符串 / [{type:text,text}] / [{type:image,image_url}] + # 图片格式(2026-09-29 实测确认):{"type":"image","image_url":""} + # —— 端到端验证过:塞一张纯红 64×64 PNG 的 data URI,模型正确答出"红色"。 if isinstance(content, str): parts = [{"type": "text", "text": content}] elif isinstance(content, list): @@ -75,15 +78,42 @@ def build_input(messages: list[dict[str, Any]], system_suffix: str = "") -> list for c in content: if isinstance(c, str): parts.append({"type": "text", "text": c}) - elif isinstance(c, dict) and c.get("type") == "text": - parts.append({"type": "text", "text": str(c.get("text") or "")}) - # 图片等一期不支持,静默跳过(计划「一期不做图片/附件」) + elif isinstance(c, dict): + ctype = c.get("type") + if ctype == "text": + parts.append({"type": "text", "text": str(c.get("text") or "")}) + elif ctype in ("image", "image_url"): + # 两种写法都认(实测见 test_qwenpaw_engine_image_content_passthrough): + # AgentScope 原生 `{"type":"image","image_url":""}` + # OpenAI 风格 `{"type":"image_url","image_url":{"url":""}}` + # —— 前端「对话」页发的是后者,所以必须同时支持。 + url = _image_url(c) + if url: + parts.append({"type": "image", "image_url": url}) + else: + log.debug("图片块缺 image_url,已跳过") + # 其余类型(audio/video/file)暂不支持,忽略 else: parts = [{"type": "text", "text": str(content or "")}] out.append({"role": role, "content": parts}) return out +def _image_url(block: dict[str, Any]) -> str: + """从图片内容块里取出 URL。兼容两种写法: + + - AgentScope 原生:`{"type":"image", "image_url":"data:image/png;base64,..."}` + - OpenAI 风格: `{"type":"image_url", "image_url":{"url":"..."}}` + """ + v = block.get("image_url") + if isinstance(v, str): + return v.strip() + if isinstance(v, dict): + u = v.get("url") + return str(u).strip() if u else "" + return "" + + def build_body(messages: list[dict[str, Any]], session_id: str, system_suffix: str = "") -> dict[str, Any]: return { diff --git a/app/agents_routes.py b/app/agents_routes.py index 6a41641..98c21de 100644 --- a/app/agents_routes.py +++ b/app/agents_routes.py @@ -343,12 +343,13 @@ def install(app: FastAPI, *, store: AgentStore, p = a.params or {} suffix = str(p.get("system_suffix") or "") - # 第四十轮(计量打标):让日志能一眼看出"这次调用是网关的智能体发出的", - # 与管理员在「对话」页直接聊区分开。明细(谁/哪个智能体/多少 token)落 agent_runs。 - log.info("agent chat: slug=%s account=%s session=%s rounds=%d", - slug, account, session_id, rounds) started = time.time() rounds = len([m for m in messages if isinstance(m, dict) and m.get("role") == "user"]) + # 计量打标:让日志能一眼看出"这次调用是网关的智能体发出的", + # 与管理员在「对话」页直接聊区分开。明细(谁/哪个智能体/多少 token)落 agent_runs。 + # 注意:这行必须在 rounds 赋值**之后**(曾因前置引用 rounds 导致 500)。 + log.info("agent chat: slug=%s account=%s session=%s rounds=%d", + slug, account, session_id, rounds) tool_count = 0 total_tokens = 0 status = "ok" diff --git a/app/main.py b/app/main.py index 6c49596..dd8c514 100644 --- a/app/main.py +++ b/app/main.py @@ -336,9 +336,9 @@ _docs_on = config.server.docs_enabled # 安全默认关(report: /docs、/ope # 本轮修复: 版本号收敛到单一常量。此前 "2.4.0" 硬编码在 FastAPI / / 导航 / /auth/login # 三处,/health 干脆没返回版本 —— 前端「网关版本」一直显示 v-。 -# 2026-09-29: 2.4.0 → 2.4.1(前端间距规范统一);2.4.1 → 2.5.0(新增「智能体」功能模块)。 +# 2026-09-29: 2.4.0 → 2.4.1(前端间距规范统一);2.4.1 → 2.5.0(新增「智能体」功能模块);2.5.0 → 2.5.1(智能体支持图片附件)。 # ★ 版本号纪律:每次改动都要往上加,小改动加小版本号、大改动加大版本号(README 有专章)。 -VERSION = "2.5.0" +VERSION = "2.5.1" app = FastAPI( title="API Gateway", diff --git a/frontend/src/lib/agents.ts b/frontend/src/lib/agents.ts index d42d17e..df3c90f 100644 --- a/frontend/src/lib/agents.ts +++ b/frontend/src/lib/agents.ts @@ -100,7 +100,7 @@ export const stopAgent = (slug: string, chatId: string) => */ export function streamAgentChat( slug: string, - messages: { role: string; content: string }[], + messages: { role: string; content: string | any[] }[], sessionId: string, onEvent: (ev: AgentEvent) => void, ): () => void { diff --git a/frontend/src/locales/en.ts b/frontend/src/locales/en.ts index 2d4368e..fd22fc5 100644 --- a/frontend/src/locales/en.ts +++ b/frontend/src/locales/en.ts @@ -469,6 +469,10 @@ export default { runOk: 'OK', runStopped: 'Stopped', runTimeout: 'Timeout', + attach: 'Attach image', + imgMax: 'Up to {n} images', + imgErr: 'Failed to pick image: {msg}', + imgCount: '{n}/{max}', runDefaultTitle: 'Chat', cacheHit: 'cache {n}', meLabel: 'Me', diff --git a/frontend/src/locales/zh.ts b/frontend/src/locales/zh.ts index 5492169..cf2705d 100644 --- a/frontend/src/locales/zh.ts +++ b/frontend/src/locales/zh.ts @@ -473,6 +473,10 @@ export default { runOk: '成功', runStopped: '已停止', runTimeout: '超时', + attach: '添加图片', + imgMax: '最多 {n} 张', + imgErr: '选图失败:{msg}', + imgCount: '{n}/{max} 张', runDefaultTitle: '对话', cacheHit: '缓存 {n}', meLabel: '我', diff --git a/frontend/src/views/Agents.vue b/frontend/src/views/Agents.vue index 7b66791..5f5e2a4 100644 --- a/frontend/src/views/Agents.vue +++ b/frontend/src/views/Agents.vue @@ -171,6 +171,10 @@ +
+ +
+
…
@@ -189,10 +193,22 @@ :placeholder="t('agents.inputPlaceholder')" @keydown.enter.exact.prevent="send" /> +
+
+ + × +
+ {{ t('agents.imgCount', { n: pendingImgs.length, max: MAX_IMGS }) }} +
+ + {{ cur.engine_model || '—' }} - + {{ t('chat.send') }} @@ -351,6 +367,7 @@