Files
xiaoyin-gateway/frontend/src/lib/upload.ts
T
api-gateway 13789da6d1 第三十轮: 全面体检发现项全部修 —— 下载白名单/视频归属/会话落盘/i18n 收口/口令下限
老板对上一轮「只查未改」的体检清单回「全部」,逐项修完并直接上生产验证。

P0 产物下载白名单(实测复现的真 bug)
- Agnes 水印版产物走另一个 CDN(maas-watermark-prod-new.cn-wlcb.ufileos.com),
  download.allowed_hosts 只有普通版域名 → admin 老产物点「下载」必 400。
- 补域名;yaml + README 写明这张表是出网白名单、换 CDN 要同步维护。
- 生产实测:水印图下载 200 / 129871 bytes(改前 400);非白名单域名仍 400。

视频任务归属(新增 app/video_owners.py)
- GET /v1/videos/{id} 原先不判归属,任何登录账号拿到 id 就能读别人任务状态与产物 URL。
- 创建成功时登记 video_id→账号,轮询判权:他人 404(不用 403,避免 id 变存在性探针)、
  admin 放行、无登记的老任务放行(渐进收紧)。落盘 data/video_owners.json(600/TTL 7 天)。

登录会话落盘(app/sessions.py)
- 原先纯内存 → 每次重启全体被踢;现在 data/sessions.json:只存 token 的 sha256、
  原子写 + 600、写失败只告警、载入丢过期。吊销语义不变且吊销也落盘。
- 生产实测:登录拿 token → 重启 → 同一 token 仍 200;文件里不含明文 token。

口令下限 4→8(app/users.py)
- 只作用于「显式给密码/事后改密」;登录不判长度,既有短口令账号照常登。

/config/env 值校验
- 拒绝 \n / \r / \x00 与 >4096(带换行的值能在 .env 里凭空多出几行改掉别的变量)。
- 生产实测 400 且 md5(data/.env) 未变。

其它后端/一致性
- history 四个端点补 _offload(整份读写 ≤4MB,此前是唯一还在事件循环里同步跑的 IO)。
- /health/{provider} 注释更正:一直是 require_auth(恒定鉴权、不随 health_auth 放宽)。
- GET / 导航的 docs 一行改为仅在 docs_enabled 时列出;FastAPI 描述补 OpenCode Go。
- _req_headers 陈旧注释、_media_headers 与测速探针的「有意随机 session」注明。
- app/settings.py 备份写完显式 chmod 600(copy2 会照抄源的 644)。

前端 i18n 收口
- Videos 素材摘要 / lib/upload.ts 全部报错 / charts.ts 空态 → i18n(中英 737/737)。
- 删除 router.ts 中无人消费的 meta.title(只有中文的死元数据)。
- check-i18n.mjs 新增「硬编码中文」扫描(剥注释后扫字符串字面量,允许清单只放语言自称)。

文档 / 基建
- README:.env 补 OPENCODE_API_KEY、两层 .env 的 override 关系、auth.users 死引用、
  「自动路由」措辞、下载白名单维护、密码 8 位、测试计数 165→179。
- .env.example 重写(删 B_AI_API_KEY、补 OPENCODE 与全部可覆盖路径)。
- Makefile:lint 改 compileall(原手写清单漏了 6 个模块);test 注释改实话(环境无 pytest)。
- .gitignore 补 6 项;data/gateway.yaml*.bak 三个文件 git rm --cached(本地保留)。
- 新增 scripts/ci_check.sh:一条命令跑完 compileall + 单测 + i18n/SVG 体检 + vue-tsc + build。
- flake8 --select=F,E9 清到 0。

测试
- 179 passed / 0 failed(173→179)。新增会话落盘/过期丢弃、视频归属语义 + 端点级 404、
  env 值校验 + 沙箱写、口令下限。
- 修隐患:新增 GATEWAY_ENV_FILE 覆盖 —— 此前测试若覆盖写路径会直接改生产 data/.env。

CSP 结论
- 实测(A/B):去掉 'unsafe-eval' 后登录页 #app 全空、表单不渲染;根因是 vue-i18n 运行时
  消息编译器(打包产物里唯一一处 new Function)。正解是构建期预编译文案,不是放宽 CSP。
2026-09-18 22:45:20 +08:00

235 lines
10 KiB
TypeScript
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// 第十三轮: 页面端「上传图片 / 音频 → data URI」工具。
//
// 为什么不上传到服务端再拿公网 URL?
// Agnes 要求素材能被它公开访问,但实测它同样接受 `data:image/png;base64,...` /
// `data:audio/wav;base64,...`(图像生成、视频 keyframe/reference、对话视觉三条路径都跑通过)。
// 浏览器端直接转 data URI 是最短路径:不落盘、不占公网带宽、也不用新增上传端点与临时文件清理。
//
// 但**必须压缩**:网关注入体上限 2MB(server.max_body_size),Nginx 也是 client_max_body_size 2m,
// 而 base64 会把体积再放大 4/3。手机随手拍的 3~5MB 照片直接转 base64 只会换来一个 413。
// 所以这里按用途分级压缩 + 逐级降档,并在提交前做「整包体积」预算检查。
import i18n from '../i18n'
/** 网关 Nginx / 应用层的请求体上限(字节),留一点余量给 prompt 与 JSON 结构。 */
export const BODY_BUDGET = 1_700_000
// 第三十轮: 本模块抛出的错误是**直接给用户看**的(页面 catch 后 toast),原先全是硬编码中文 ——
// 切英文后整片报错仍是中文。这里取全局 t(模块不是组件,用不了 useI18n):
// i18n.global 是响应式实例,语言切换后这些文案立即跟着变。
const tr = (key: string, args: Record<string, unknown> = {}) => i18n.global.t(key, args)
export interface MediaPreset {
/** 长边上限(像素) */
maxSide: number
/** JPEG 质量 */
quality: number
/** 单件 data URI 目标上限(字节) */
maxBytes: number
/** 用途名(**i18n 键**,不是文案本身):只用在报错里告诉用户是哪一档超限了 */
labelKey: string
}
/** 各用途的压缩档位。数值来自实测:1024px/q0.82 的普通照片约 150~300KB(base64 后 ×1.37)。 */
export const PRESETS: Record<string, MediaPreset> = {
// 对话视觉:给模型看的,1024px 足够(再大也只会烧 token)
chat: { maxSide: 1024, quality: 0.8, maxBytes: 500_000, labelKey: 'upload.presetChat' },
// 图生图 / 多图合成:保留构图细节
ref: { maxSide: 1024, quality: 0.85, maxBytes: 500_000, labelKey: 'upload.presetRef' },
// 视频首/尾帧:画面直接进视频,给到 1280px
frame: { maxSide: 1280, quality: 0.85, maxBytes: 450_000, labelKey: 'upload.presetFrame' },
// 视频参考图:最多 5 张,单件必须小(5 × 300KB ≈ 1.5MB,逼近 2MB 上限)
videoRef: { maxSide: 1024, quality: 0.8, maxBytes: 300_000, labelKey: 'upload.presetVideoRef' },
// 视频参考音频:无浏览器端压缩手段,只能卡体积(最多 3 段)
audio: { maxSide: 0, quality: 0, maxBytes: 420_000, labelKey: 'upload.presetAudio' },
// 第二十二轮 意见反馈附图:一条最多 3 张,管理员要在电脑上看清细节,给到 1280px;
// 但整包(3 张 + 缩略图)必须落在网关/Nginx 的 2MB 上限内,所以单张卡 400KB。
feedback: { maxSide: 1280, quality: 0.8, maxBytes: 400_000, labelKey: 'upload.presetFeedback' },
}
export interface PickedMedia {
/** 原始文件名(用于卡片/标签展示) */
name: string
kind: 'image' | 'audio'
/** 直接塞进请求体的 data URI */
uri: string
/** 压成缩略图后的 data URI(对话历史只存这个,避免把历史文件撑爆) */
thumb: string
/** data URI 的字节数(base64 长度换算) */
bytes: number
/** 压缩后的像素尺寸(图片才有) */
width?: number
height?: number
/** 是否做过有损压缩(用于提示用户"已压缩") */
compressed: boolean
}
const AUDIO_EXT = ['mp3', 'wav', 'm4a', 'aac', 'ogg', 'oga', 'flac', 'opus', 'webm']
/** base64 data URI 的实际字节数(4 个 base64 字符 = 3 字节)。 */
export function dataUriBytes(uri: string): number {
const i = uri.indexOf(',')
if (i < 0) return uri.length
const b64 = uri.slice(i + 1)
const pad = b64.endsWith('==') ? 2 : b64.endsWith('=') ? 1 : 0
return Math.max(0, Math.floor((b64.length * 3) / 4) - pad)
}
export function formatBytes(n: number): string {
if (n < 1024) return `${n}B`
if (n < 1024 * 1024) return `${(n / 1024).toFixed(0)}KB`
return `${(n / 1024 / 1024).toFixed(2)}MB`
}
function extOf(name: string): string {
return (name.split('.').pop() || '').toLowerCase()
}
export function isAudioFile(f: File): boolean {
return (f.type || '').startsWith('audio/') || AUDIO_EXT.includes(extOf(f.name))
}
export function isImageFile(f: File): boolean {
if ((f.type || '').startsWith('image/')) return true
return ['png', 'jpg', 'jpeg', 'webp', 'gif', 'bmp'].includes(extOf(f.name))
}
function readAsDataUri(f: Blob): Promise<string> {
return new Promise((resolve, reject) => {
const fr = new FileReader()
fr.onerror = () => reject(new Error(tr('upload.errRead')))
fr.onload = () => resolve(String(fr.result || ''))
fr.readAsDataURL(f)
})
}
async function loadBitmap(file: File): Promise<{ w: number; h: number; draw: CanvasImageSource; dispose: () => void }> {
// 优先 createImageBitmap(快、不占 DOM);老浏览器回落到 <img> + objectURL
if (typeof createImageBitmap === 'function') {
try {
const bmp = await createImageBitmap(file)
return { w: bmp.width, h: bmp.height, draw: bmp, dispose: () => bmp.close && bmp.close() }
} catch { /* 落到 <img> 分支(部分浏览器对某些格式不支持) */ }
}
const url = URL.createObjectURL(file)
try {
const img = await new Promise<HTMLImageElement>((resolve, reject) => {
const el = new Image()
el.onload = () => resolve(el)
el.onerror = () => reject(new Error(tr('upload.errDecode')))
el.src = url
})
return {
w: img.naturalWidth, h: img.naturalHeight, draw: img,
dispose: () => URL.revokeObjectURL(url),
}
} catch (e) {
URL.revokeObjectURL(url)
throw e
}
}
async function encodeCanvas(file: File, maxSide: number, quality: number): Promise<{
uri: string; width: number; height: number
}> {
const src = await loadBitmap(file)
try {
const scale = Math.min(1, maxSide / Math.max(src.w || 1, src.h || 1))
const w = Math.max(1, Math.round((src.w || 1) * scale))
const h = Math.max(1, Math.round((src.h || 1) * scale))
const cv = document.createElement('canvas')
cv.width = w
cv.height = h
const ctx = cv.getContext('2d')
if (!ctx) throw new Error(tr('upload.errNoCanvas'))
// 白底:PNG 透明区转 JPEG 会变黑,铺一层白更接近原图观感
ctx.fillStyle = '#ffffff'
ctx.fillRect(0, 0, w, h)
ctx.drawImage(src.draw, 0, 0, w, h)
return { uri: cv.toDataURL('image/jpeg', quality), width: w, height: h }
} finally {
src.dispose()
}
}
/** 生成缩略图(对话历史、列表预览用)。失败时回落到原图,不阻断主流程。 */
export async function makeThumb(dataUri: string, maxSide = 256, quality = 0.6): Promise<string> {
try {
const blob = await (await fetch(dataUri)).blob()
const file = new File([blob], 'thumb.jpg', { type: blob.type || 'image/jpeg' })
return (await encodeCanvas(file, maxSide, quality)).uri
} catch {
return dataUri
}
}
/**
* 图片 → data URI(自动压缩到预设档位内)。
*
* 策略:文件本来就不大且是无损格式 → 原样用;否则画布重编码,并按
* 「原档 → 0.75×边长 → 0.5×边长」逐级降档,直到落进 maxBytes 预算。
*/
export async function pickImage(file: File, preset: MediaPreset): Promise<PickedMedia> {
if (!isImageFile(file)) throw new Error(tr('upload.errNotImage', { name: file.name }))
const raw = await readAsDataUri(file)
// 小体积 PNG/WEBP 直接原样用(避免无谓的有损压缩,也保住透明通道)
if (raw.length <= preset.maxBytes && /png|webp|gif|bmp/i.test(file.type || extOf(file.name))) {
return {
name: file.name, kind: 'image', uri: raw, thumb: await makeThumb(raw),
bytes: raw.length, compressed: false,
}
}
const tries: Array<[number, number]> = [
[preset.maxSide, preset.quality],
[Math.round(preset.maxSide * 0.75), Math.max(0.5, preset.quality - 0.1)],
[Math.round(preset.maxSide * 0.5), 0.6],
[Math.round(preset.maxSide * 0.35), 0.5],
]
let last = ''
for (const [side, q] of tries) {
const enc = await encodeCanvas(file, side, q)
last = enc.uri
if (enc.uri.length <= preset.maxBytes) {
return {
name: file.name, kind: 'image', uri: enc.uri, thumb: await makeThumb(enc.uri),
bytes: enc.uri.length, width: enc.width, height: enc.height, compressed: true,
}
}
}
throw new Error(tr('upload.errTooBigAfterCompress', {
name: file.name, size: formatBytes(dataUriBytes(last)),
label: tr(preset.labelKey), max: formatBytes(preset.maxBytes),
}))
}
/** 音频 → data URI(浏览器端无法重编码,只做体积与格式校验)。 */
export async function pickAudio(file: File, preset: MediaPreset = PRESETS.audio): Promise<PickedMedia> {
if (!isAudioFile(file)) throw new Error(tr('upload.errNotAudio', { name: file.name, ext: AUDIO_EXT.join('/') }))
if (file.size > preset.maxBytes) {
throw new Error(tr('upload.errAudioTooBig', {
name: file.name, size: formatBytes(file.size), max: formatBytes(preset.maxBytes),
}))
}
const uri = await readAsDataUri(file)
return { name: file.name, kind: 'audio', uri, thumb: '', bytes: uri.length, compressed: false }
}
/** 按类型自动选择解析方式。 */
export async function pickMedia(file: File, preset: MediaPreset): Promise<PickedMedia> {
return isAudioFile(file) ? pickAudio(file, PRESETS.audio) : pickImage(file, preset)
}
/**
* 提交前的整包预算检查:素材 + 提示词必须落在网关/Nginx 的请求体上限内。
* 抛出可读错误(页面直接展示),而不是让浏览器拿到一个 413。
*/
export function assertBodyBudget(parts: Array<string | undefined>, extraBytes = 0): void {
const total = parts.reduce((n, p) => n + (p ? p.length : 0), 0) + extraBytes
if (total > BODY_BUDGET) {
throw new Error(
tr('upload.errBodyBudget', { size: formatBytes(total), max: formatBytes(BODY_BUDGET) }) +
tr('upload.errBodyBudgetTip'),
)
}
}