// 第十三轮: 页面端「上传图片 / 音频 → data URI」工具。 // // 为什么不上传到服务端再拿公网 URL? // Agnes 要求素材能被它公开访问,但实测它同样接受 `data:image/png;base64,...` / // `data:audio/wav;base64,...`(图像生成、视频 keyframe/reference、对话视觉三条路径都跑通过)。 // 浏览器端直接转 data URI 是最短路径:不落盘、不占公网带宽、也不用新增上传端点与临时文件清理。 // // 但**必须压缩**:网关注入体上限 2MB(server.max_body_size),Nginx 也是 client_max_body_size 2m, // 而 base64 会把体积再放大 4/3。手机随手拍的 3~5MB 照片直接转 base64 只会换来一个 413。 // 所以这里按用途分级压缩 + 逐级降档,并在提交前做「整包体积」预算检查。 import i18n from '../i18n' /** 网关 Nginx / 应用层的请求体上限(字节),留一点余量给 prompt 与 JSON 结构。 */ export const BODY_BUDGET = 1_700_000 // 第三十轮: 本模块抛出的错误是**直接给用户看**的(页面 catch 后 toast),原先全是硬编码中文 —— // 切英文后整片报错仍是中文。这里取全局 t(模块不是组件,用不了 useI18n): // i18n.global 是响应式实例,语言切换后这些文案立即跟着变。 const tr = (key: string, args: Record = {}) => i18n.global.t(key, args) export interface MediaPreset { /** 长边上限(像素) */ maxSide: number /** JPEG 质量 */ quality: number /** 单件 data URI 目标上限(字节) */ maxBytes: number /** 用途名(**i18n 键**,不是文案本身):只用在报错里告诉用户是哪一档超限了 */ labelKey: string } /** 各用途的压缩档位。数值来自实测:1024px/q0.82 的普通照片约 150~300KB(base64 后 ×1.37)。 */ export const PRESETS: Record = { // 对话视觉:给模型看的,1024px 足够(再大也只会烧 token) chat: { maxSide: 1024, quality: 0.8, maxBytes: 500_000, labelKey: 'upload.presetChat' }, // 图生图 / 多图合成:保留构图细节 ref: { maxSide: 1024, quality: 0.85, maxBytes: 500_000, labelKey: 'upload.presetRef' }, // 视频首/尾帧:画面直接进视频,给到 1280px frame: { maxSide: 1280, quality: 0.85, maxBytes: 450_000, labelKey: 'upload.presetFrame' }, // 视频参考图:最多 5 张,单件必须小(5 × 300KB ≈ 1.5MB,逼近 2MB 上限) videoRef: { maxSide: 1024, quality: 0.8, maxBytes: 300_000, labelKey: 'upload.presetVideoRef' }, // 视频参考音频:无浏览器端压缩手段,只能卡体积(最多 3 段) audio: { maxSide: 0, quality: 0, maxBytes: 420_000, labelKey: 'upload.presetAudio' }, // 第二十二轮 意见反馈附图:一条最多 3 张,管理员要在电脑上看清细节,给到 1280px; // 但整包(3 张 + 缩略图)必须落在网关/Nginx 的 2MB 上限内,所以单张卡 400KB。 feedback: { maxSide: 1280, quality: 0.8, maxBytes: 400_000, labelKey: 'upload.presetFeedback' }, } export interface PickedMedia { /** 原始文件名(用于卡片/标签展示) */ name: string kind: 'image' | 'audio' /** 直接塞进请求体的 data URI */ uri: string /** 压成缩略图后的 data URI(对话历史只存这个,避免把历史文件撑爆) */ thumb: string /** data URI 的字节数(base64 长度换算) */ bytes: number /** 压缩后的像素尺寸(图片才有) */ width?: number height?: number /** 是否做过有损压缩(用于提示用户"已压缩") */ compressed: boolean } const AUDIO_EXT = ['mp3', 'wav', 'm4a', 'aac', 'ogg', 'oga', 'flac', 'opus', 'webm'] /** base64 data URI 的实际字节数(4 个 base64 字符 = 3 字节)。 */ export function dataUriBytes(uri: string): number { const i = uri.indexOf(',') if (i < 0) return uri.length const b64 = uri.slice(i + 1) const pad = b64.endsWith('==') ? 2 : b64.endsWith('=') ? 1 : 0 return Math.max(0, Math.floor((b64.length * 3) / 4) - pad) } export function formatBytes(n: number): string { if (n < 1024) return `${n}B` if (n < 1024 * 1024) return `${(n / 1024).toFixed(0)}KB` return `${(n / 1024 / 1024).toFixed(2)}MB` } function extOf(name: string): string { return (name.split('.').pop() || '').toLowerCase() } export function isAudioFile(f: File): boolean { return (f.type || '').startsWith('audio/') || AUDIO_EXT.includes(extOf(f.name)) } export function isImageFile(f: File): boolean { if ((f.type || '').startsWith('image/')) return true return ['png', 'jpg', 'jpeg', 'webp', 'gif', 'bmp'].includes(extOf(f.name)) } function readAsDataUri(f: Blob): Promise { return new Promise((resolve, reject) => { const fr = new FileReader() fr.onerror = () => reject(new Error(tr('upload.errRead'))) fr.onload = () => resolve(String(fr.result || '')) fr.readAsDataURL(f) }) } async function loadBitmap(file: File): Promise<{ w: number; h: number; draw: CanvasImageSource; dispose: () => void }> { // 优先 createImageBitmap(快、不占 DOM);老浏览器回落到 + objectURL if (typeof createImageBitmap === 'function') { try { const bmp = await createImageBitmap(file) return { w: bmp.width, h: bmp.height, draw: bmp, dispose: () => bmp.close && bmp.close() } } catch { /* 落到 分支(部分浏览器对某些格式不支持) */ } } const url = URL.createObjectURL(file) try { const img = await new Promise((resolve, reject) => { const el = new Image() el.onload = () => resolve(el) el.onerror = () => reject(new Error(tr('upload.errDecode'))) el.src = url }) return { w: img.naturalWidth, h: img.naturalHeight, draw: img, dispose: () => URL.revokeObjectURL(url), } } catch (e) { URL.revokeObjectURL(url) throw e } } async function encodeCanvas(file: File, maxSide: number, quality: number): Promise<{ uri: string; width: number; height: number }> { const src = await loadBitmap(file) try { const scale = Math.min(1, maxSide / Math.max(src.w || 1, src.h || 1)) const w = Math.max(1, Math.round((src.w || 1) * scale)) const h = Math.max(1, Math.round((src.h || 1) * scale)) const cv = document.createElement('canvas') cv.width = w cv.height = h const ctx = cv.getContext('2d') if (!ctx) throw new Error(tr('upload.errNoCanvas')) // 白底:PNG 透明区转 JPEG 会变黑,铺一层白更接近原图观感 ctx.fillStyle = '#ffffff' ctx.fillRect(0, 0, w, h) ctx.drawImage(src.draw, 0, 0, w, h) return { uri: cv.toDataURL('image/jpeg', quality), width: w, height: h } } finally { src.dispose() } } /** 生成缩略图(对话历史、列表预览用)。失败时回落到原图,不阻断主流程。 */ export async function makeThumb(dataUri: string, maxSide = 256, quality = 0.6): Promise { try { const blob = await (await fetch(dataUri)).blob() const file = new File([blob], 'thumb.jpg', { type: blob.type || 'image/jpeg' }) return (await encodeCanvas(file, maxSide, quality)).uri } catch { return dataUri } } /** * 图片 → data URI(自动压缩到预设档位内)。 * * 策略:文件本来就不大且是无损格式 → 原样用;否则画布重编码,并按 * 「原档 → 0.75×边长 → 0.5×边长」逐级降档,直到落进 maxBytes 预算。 */ export async function pickImage(file: File, preset: MediaPreset): Promise { if (!isImageFile(file)) throw new Error(tr('upload.errNotImage', { name: file.name })) const raw = await readAsDataUri(file) // 小体积 PNG/WEBP 直接原样用(避免无谓的有损压缩,也保住透明通道) if (raw.length <= preset.maxBytes && /png|webp|gif|bmp/i.test(file.type || extOf(file.name))) { return { name: file.name, kind: 'image', uri: raw, thumb: await makeThumb(raw), bytes: raw.length, compressed: false, } } const tries: Array<[number, number]> = [ [preset.maxSide, preset.quality], [Math.round(preset.maxSide * 0.75), Math.max(0.5, preset.quality - 0.1)], [Math.round(preset.maxSide * 0.5), 0.6], [Math.round(preset.maxSide * 0.35), 0.5], ] let last = '' for (const [side, q] of tries) { const enc = await encodeCanvas(file, side, q) last = enc.uri if (enc.uri.length <= preset.maxBytes) { return { name: file.name, kind: 'image', uri: enc.uri, thumb: await makeThumb(enc.uri), bytes: enc.uri.length, width: enc.width, height: enc.height, compressed: true, } } } throw new Error(tr('upload.errTooBigAfterCompress', { name: file.name, size: formatBytes(dataUriBytes(last)), label: tr(preset.labelKey), max: formatBytes(preset.maxBytes), })) } /** 音频 → data URI(浏览器端无法重编码,只做体积与格式校验)。 */ export async function pickAudio(file: File, preset: MediaPreset = PRESETS.audio): Promise { if (!isAudioFile(file)) throw new Error(tr('upload.errNotAudio', { name: file.name, ext: AUDIO_EXT.join('/') })) if (file.size > preset.maxBytes) { throw new Error(tr('upload.errAudioTooBig', { name: file.name, size: formatBytes(file.size), max: formatBytes(preset.maxBytes), })) } const uri = await readAsDataUri(file) return { name: file.name, kind: 'audio', uri, thumb: '', bytes: uri.length, compressed: false } } /** 按类型自动选择解析方式。 */ export async function pickMedia(file: File, preset: MediaPreset): Promise { return isAudioFile(file) ? pickAudio(file, PRESETS.audio) : pickImage(file, preset) } /** * 提交前的整包预算检查:素材 + 提示词必须落在网关/Nginx 的请求体上限内。 * 抛出可读错误(页面直接展示),而不是让浏览器拿到一个 413。 */ export function assertBodyBudget(parts: Array, extraBytes = 0): void { const total = parts.reduce((n, p) => n + (p ? p.length : 0), 0) + extraBytes if (total > BODY_BUDGET) { throw new Error( tr('upload.errBodyBudget', { size: formatBytes(total), max: formatBytes(BODY_BUDGET) }) + tr('upload.errBodyBudgetTip'), ) } }