上游会话 id:客户端显式带 x-opencode-session 时优先用它
老板要求:「x-opencode-session 如果 api 请求有带的话优先用请求上的,没有再用 apikey 的那个方式」。
取值优先级(_upstream_session):
① 入站 x-opencode-session 头(本轮新增) → sha256("s:{账号}:{客户端值}")[:32]
② conversation_id → sha256("{账号}:{conversation_id}")[:32]
③ 用这个 API Key 自己(一个 Key 一个稳定会话)→ sha256("k:{去前缀Key}")[:32]
④ 登录页会话(无 Key) → sha256("u:{账号}")[:32]
- 仍按账号哈希:保留第二十六轮的账号隔离(两个账号写同一个值也不会被绑到同一上游会话标识)
- 入站值过 conversation_id 同款入口校验(仅 ASCII、≤128 字符),非法值静默丢弃并回退
(可选头不该把请求打回 400);三个调用点(直传 / managed 非流式 / managed 流式)全接
- 新增 _inbound_session(request) 与 SESSION_HEADER 常量
实测(生产):同一会话头连打两次同一段 4k 前缀 → cached 0 → 1920(稳定复用);不带头回退
Key 派生也命中。同时更正一条旧认知:上游缓存**并非严格按 session 隔离**(换会话头同前缀
照样命中 1920),会话 id 是「纳入缓存」的前提而非隔离边界 —— README 与代码注释已同步。
测试 204 → 206 全过(新增取值优先级+账号隔离、入站头端到端两条);ci_check 全绿。
This commit is contained in:
1 parent
3b35b14a8a
commit
c68a76cb8c
4 files changed
+190
-15
No files matched your search
@@ -54,12 +54,31 @@ api-gateway/
|
||||
> `extra_headers`**(适配器缓存会把它冻结)。会话 id 的取值逻辑(方案 A + 第二十六轮加固):
|
||||
> 前端对话页为「同一段对话」维持一个稳定 `conversation_id` 并随请求带来;**纯 API 调用**则在请求体
|
||||
> 里带同名字段(用 OpenAI SDK 时放 `extra_body={"conversation_id": ...}`)。网关**不原样透传**,
|
||||
> 而是派生成 `sha256("{账号}:{conversation_id}")[:32]` 再作为 `x-opencode-session` 发往上游:
|
||||
> 同一账号的同一段对话**恒定不变**(给上游一个语义正确的「对话级」标识,而不是每请求一个随机值),
|
||||
> 不同账号之间**天然隔离**(两人碰巧用了同一个字符串,也不会共用同一个上游会话标识);
|
||||
> 请求未带(或传空白串)时回退为每次请求一个随机 UUID(仍能过强校验)。
|
||||
> 而是按下面的**优先级**派生成一个稳定值再作为 `x-opencode-session` 发往上游
|
||||
> (第三十五轮更新;任何一级都**不再回退成随机 UUID** —— 随机 = 缓存命中率恒为 0):
|
||||
>
|
||||
> - **关于提示词缓存(实测更正,2026-09-18):不要指望用稳定会话 id 来吃缓存。**
|
||||
> | 优先级 | 来源 | 派生方式 |
|
||||
> | --- | --- | --- |
|
||||
> | ① | **入站 `x-opencode-session` 头**(客户端显式指定,第三十五轮新增) | `sha256("s:{账号}:{客户端值}")[:32]` |
|
||||
> | ② | 请求里的 `conversation_id` | `sha256("{账号}:{conversation_id}")[:32]` |
|
||||
> | ③ | 都没带 → 用**这个 API Key 自己**(一个 Key 一个稳定会话) | `sha256("k:{去前缀Key}")[:32]` |
|
||||
> | ④ | 连 Key 都没有(登录页会话) | `sha256("u:{账号}")[:32]` |
|
||||
>
|
||||
> - ①「客户端带了就用客户端的」:客户端最清楚哪几次调用算同一段对话,比网关拿 Key 兜底更贴合
|
||||
> 它的会话划分;但**仍按账号哈希**,保留账号隔离 —— 否则两个账号只要用同一个值就会共用上游
|
||||
> 缓存作用域。值同样过 `conversation_id` 那套入口校验
|
||||
> (仅 ASCII、≤128 字符),非法值**静默丢弃并回退**(可选头不该把请求打回 400)。
|
||||
> - 同一账号的同一段对话**恒定不变**,不同账号之间**天然隔离**(两人碰巧用了同一个字符串也不会
|
||||
> 共用同一个上游会话标识)。
|
||||
>
|
||||
> - **关于提示词缓存**:会话 id 稳定是**吃到缓存的前提**,但不是充分条件(上游缓存本身是
|
||||
> 机会性的)。2026-09-28 复测:同一个稳定会话下、同一段 4k token 前缀连打两次,
|
||||
> 第二次 `cached_tokens=1920`(命中);而 2026-09-18 的观测里同一 session 连打 6 次
|
||||
> 得到 `[0,0,0,0,896,896]`(前几次未命中、之后才命中)。所以:**别把它当保证**,
|
||||
> 但**千万别让它随机** —— 每请求一个随机 UUID 等于永远不命中。
|
||||
> **2026-09-28 实测更正**:上游缓存**并非严格按 session 隔离** —— 换一个会话头、同一段 4k
|
||||
> 前缀照样命中(1920)。所以会话 id 是「纳入缓存」的前提之一,**不是隔离边界**,也别拿缓存
|
||||
> 命中率当会话隔离的判据。
|
||||
> 多轮实测(真实 key、长 prompt 约 940 token)显示 `cached_tokens` 与该头**没有稳定关系**:
|
||||
> 同一 session 连打 6 次得到 `[0,0,0,0,896,896]`(前 4 次未命中,之后才命中);
|
||||
> 等缓存落定后**换全新 session** 打同一 prompt,也是「命中 936」与「不命中 0」混合出现。
|
||||
|
||||
Reference in new issue
Block a user