fix: 模型级强制参数(kimi-k2.7-code 锁 temperature=1)+ 测速超时/错误文案
- config: ModelInfo.params + MODEL_PARAM_KEYS 白名单 + _parse_model_params(写错即 ConfigError) - adapters: _forced_params 在 payload 组装后强制覆盖;_learn_from_upstream_error 按上游 400 要求修正并重发一次(非原样重试);流式已吐内容则不重发 - main: /v1/models 暴露 params;探针超时 15s→30s;_speedtest_error_text 说清超时/上游原文 - settings: 面板保存保留手写 models[].params(原先会被静默清掉) - gateway.yaml: kimi-k2.7-code params.temperature=1 - 前端: Models 挂锁+参数固定标签;Chat 温度 chip 挂锁+抽屉提示;新增 lock 图标;中英对称 - tests: +10 → 168 passed / 0 failed
This commit is contained in:
1 parent
43a4f8613b
commit
840c5c83aa
14 files changed
+631
-13
No files matched your search
@@ -30,4 +30,10 @@ def create_adapter(
|
||||
timeout=timeout,
|
||||
media=pconfig.media,
|
||||
requires_session_header=pconfig.requires_session_header,
|
||||
# 第二十五轮: 把模型级强制参数(providers.*.models[].params)随适配器带下去。
|
||||
# 适配器按 model id 查表,在**组装完 payload 之后**覆盖,客户端无法绕过。
|
||||
# 放在适配器而非每个调用点:所有入口(对话 / 流式 / 批量 / 一键测速)自动一致,
|
||||
# 不会出现"主链路修了、测速还漏着"的偏差。
|
||||
# 配置变更时 main._apply_config 会丢弃整个适配器缓存,约束不会滞留旧值。
|
||||
model_params={m.id: dict(m.params) for m in pconfig.models if m.params},
|
||||
)
|
||||
@@ -11,13 +11,31 @@ Agnes / 火山方舟 两家均使用 OpenAI 兼容 API
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
import re
|
||||
import uuid
|
||||
from typing import Any, AsyncIterator
|
||||
|
||||
import httpx
|
||||
|
||||
from app.adapters.base import BaseAdapter, json_or_raise
|
||||
from app.config import MODEL_PARAM_KEYS
|
||||
from app.models import CHAT_CORE_KEYS, PROTECTED_VIDEO_KEYS, strip_protected
|
||||
|
||||
log = logging.getLogger("api-gateway")
|
||||
|
||||
# ── 上游"某参数只允许取某个值"的报错形态(第二十五轮)──
|
||||
# 各家措辞不同,这里收录已实测到的两类:
|
||||
# OpenCode Go: "Error from provider (Console Go): [invalid_request_error]
|
||||
# invalid temperature: only 1 is allowed for this model"
|
||||
# "max_tokens must be greater than 2"
|
||||
# 参数名不写死 —— 同类约束也可能出现在 top_p / max_tokens 上。
|
||||
_PARAM_ONLY_RE = re.compile(
|
||||
r"invalid\s+([a-z_][a-z0-9_]*)\s*:\s*only\s+([-+]?\d+(?:\.\d+)?)\s+is allowed", re.I)
|
||||
_PARAM_MIN_RE = re.compile(
|
||||
r"([a-z_][a-z0-9_]*)\s+must be greater than\s+(\d+)", re.I)
|
||||
|
||||
|
||||
|
||||
class OpenAICompatAdapter(BaseAdapter):
|
||||
"""适用于所有 OpenAI 兼容 /chat/completions 端点的适配器。"""
|
||||
@@ -30,6 +48,7 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
timeout: int = 120,
|
||||
media=None,
|
||||
requires_session_header: bool = False,
|
||||
model_params: dict[str, dict[str, Any]] | None = None,
|
||||
):
|
||||
super().__init__(name=name, base_url=base_url, timeout=timeout, media=media)
|
||||
self._headers: dict[str, str] = headers or {}
|
||||
@@ -37,6 +56,77 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
# 不能放静态 headers(_get_adapter 会缓存适配器、冻结 header),
|
||||
# 所以在每次请求时动态生成一个 UUID 会话头。
|
||||
self._requires_session = requires_session_header
|
||||
# 模型级强制参数:model id → {参数名: 强制值}(来自 gateway.yaml 的 models[].params)
|
||||
self._model_params: dict[str, dict[str, Any]] = {
|
||||
k: dict(v) for k, v in (model_params or {}).items() if v
|
||||
}
|
||||
# 运行期自学习到的参数约束(进程内,不落盘):见 _learn_from_upstream_error。
|
||||
# 仅作兜底 —— 管理员在 gateway.yaml 写死 params 后就不再需要它。
|
||||
self._learned_params: dict[str, dict[str, Any]] = {}
|
||||
|
||||
# ── 模型级强制参数 / 上游参数约束自学习(第二十五轮) ──
|
||||
|
||||
def _forced_params(self, model: str) -> dict[str, Any]:
|
||||
"""该模型发往上游前**必须使用**的参数值。
|
||||
|
||||
两层,配置优先:`gateway.yaml` 的 `models[].params` > 运行期自学习值。
|
||||
配置优先是刻意的 —— 管理员写死的口径是最终口径,自学习绝不能把它改掉。
|
||||
"""
|
||||
out = dict(self._learned_params.get(model) or {})
|
||||
out.update(self._model_params.get(model) or {})
|
||||
return out
|
||||
|
||||
def _learn_from_upstream_error(self, model: str, exc: Exception) -> dict[str, Any] | None:
|
||||
"""上游 400 说"这个参数只允许 X"→ 记下 X,并返回修正后的参数集供重发。
|
||||
|
||||
返回 None = 报文里没识别出可修正的参数(调用方按原样抛错)。
|
||||
|
||||
这不是「重试」:报文一模一样地重发只会再吃一次同样的 400,必须先把参数改成
|
||||
上游允许的值。学到之后会缓存到本适配器实例,后续请求直接按修正值组装 payload,
|
||||
不再多跑这一轮往返;配置变更时 main 会丢弃适配器缓存,学习值随之失效。
|
||||
"""
|
||||
resp = getattr(exc, "response", None)
|
||||
if resp is None or getattr(resp, "status_code", None) != 400:
|
||||
return None
|
||||
try:
|
||||
text = resp.text or ""
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
fixes: dict[str, Any] = {}
|
||||
for m in _PARAM_ONLY_RE.finditer(text):
|
||||
name = m.group(1).lower()
|
||||
if name in MODEL_PARAM_KEYS:
|
||||
raw = m.group(2)
|
||||
fixes[name] = float(raw) if "." in raw else int(raw)
|
||||
for m in _PARAM_MIN_RE.finditer(text):
|
||||
name = m.group(1).lower()
|
||||
if name in MODEL_PARAM_KEYS and name not in fixes:
|
||||
fixes[name] = int(m.group(2)) + 1 # “must be greater than N” → 发 N+1
|
||||
if not fixes:
|
||||
return None
|
||||
|
||||
cfg_params = self._model_params.get(model) or {}
|
||||
learned = dict(self._learned_params.get(model) or {})
|
||||
changed: dict[str, Any] = {}
|
||||
for k, v in fixes.items():
|
||||
if k in cfg_params:
|
||||
# 管理员已在 params 里写死该参数 → 不偷偷覆盖配置;但冲突必须说出来,
|
||||
# 否则用户只会看到「明明配了却还是 400」,无从下手。
|
||||
if cfg_params[k] != v:
|
||||
log.warning("模型 %s 的 params.%s=%r 与上游要求(%r)冲突,仍按配置发送",
|
||||
model, k, cfg_params[k], v)
|
||||
continue
|
||||
if learned.get(k) != v:
|
||||
learned[k] = v
|
||||
changed[k] = v
|
||||
if not changed:
|
||||
return None # 没学到新东西 → 不重发,避免在同一约束上来回打转
|
||||
self._learned_params[model] = learned
|
||||
log.warning("上游限制了模型 %s 的参数:%s —— 已自动修正并按修正值重发一次;"
|
||||
"建议在 gateway.yaml 该模型下写死 params,省掉以后每次这一轮额外往返",
|
||||
model, changed)
|
||||
return self._forced_params(model)
|
||||
|
||||
def _req_headers(self, session_id: str | None = None) -> dict[str, str]:
|
||||
"""每次请求的 headers。需要会话头的供应商动态注入 x-opencode-session。
|
||||
@@ -85,6 +175,11 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
# 以及供应商特有参数)必须放行 —— 见 models.CHAT_CORE_KEYS 的说明。
|
||||
if extra:
|
||||
payload.update(strip_protected(extra, CHAT_CORE_KEYS))
|
||||
# 第二十五轮: 模型级强制参数放在**最后**覆盖 —— 客户端(含 extra 逃生舱)改不动它。
|
||||
# 这是应对"上游只接受某个值"的最终口径,优先级高于客户端的一切输入。
|
||||
forced = self._forced_params(model)
|
||||
if forced:
|
||||
payload.update(forced)
|
||||
return payload
|
||||
|
||||
async def chat(
|
||||
@@ -105,6 +200,18 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
model, messages, temperature, top_p, max_tokens,
|
||||
stream, stop, tools, tool_choice, extra,
|
||||
)
|
||||
try:
|
||||
return await self._post_chat(payload, session_id)
|
||||
except httpx.HTTPStatusError as e:
|
||||
# 上游嫌参数(如 temperature)不合法时,按它要求的值修正后**重发一次**。
|
||||
# fixed 为 None(不是参数约束 / 已学过仍失败)则原样抛错,不做无谓重发。
|
||||
fixed = self._learn_from_upstream_error(model, e)
|
||||
if fixed is None:
|
||||
raise
|
||||
return await self._post_chat({**payload, **fixed}, session_id)
|
||||
|
||||
async def _post_chat(self, payload: dict[str, Any], session_id: str | None) -> dict[str, Any]:
|
||||
"""执行一次非流式 /chat/completions 请求(不含参数修正逻辑)。"""
|
||||
# Bug 4 修复: 用 lease 占用 client,热重载 close 会等本次请求结束才真正关连接
|
||||
async with self._lease() as client:
|
||||
resp = await client.post("/chat/completions", json=payload, headers=self._req_headers(session_id))
|
||||
@@ -114,7 +221,7 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
# 统一返回格式
|
||||
return {
|
||||
"provider": self.name,
|
||||
"model": model,
|
||||
"model": payload.get("model", ""),
|
||||
"choices": data.get("choices", []),
|
||||
"usage": data.get("usage"),
|
||||
"raw": data,
|
||||
@@ -138,6 +245,27 @@ class OpenAICompatAdapter(BaseAdapter):
|
||||
model, messages, temperature, top_p, max_tokens,
|
||||
True, stop, tools, tool_choice, extra,
|
||||
)
|
||||
started = False
|
||||
try:
|
||||
async for chunk in self._stream_once(payload, session_id):
|
||||
started = True
|
||||
yield chunk
|
||||
return
|
||||
except httpx.HTTPStatusError as e:
|
||||
# 已经开始吐内容就不能重发(会重复输出 / 串话);只有"开局就被上游 400 顶回来"
|
||||
# 才允许按上游要求修正参数重来一次。
|
||||
if started:
|
||||
raise
|
||||
fixed = self._learn_from_upstream_error(model, e)
|
||||
if fixed is None:
|
||||
raise
|
||||
payload = {**payload, **fixed}
|
||||
async for chunk in self._stream_once(payload, session_id):
|
||||
yield chunk
|
||||
|
||||
async def _stream_once(self, payload: dict[str, Any],
|
||||
session_id: str | None) -> AsyncIterator[dict]:
|
||||
"""执行一次流式 /chat/completions(不含参数修正逻辑)。"""
|
||||
# Bug 4 修复: lease 在整个流式期间持有占用,热重载/关闭不会掐断在途流
|
||||
async with self._lease() as client:
|
||||
async with client.stream(
|
||||
|
||||
+63
-2
@@ -15,6 +15,19 @@ class ConfigError(ValueError):
|
||||
|
||||
|
||||
# ── 模型 / 供应商 ──
|
||||
# 模型级「强制参数」(providers.<key>.models[].params)允许出现的键。
|
||||
#
|
||||
# 只放采样 / 长度类参数:它们不影响"调哪个模型、走什么协议",被覆盖最坏也只是改变生成风格。
|
||||
# 而 model / messages / stream / tools / stop 这类**结构性**键一旦允许出现在这里,
|
||||
# 等于把路由与协议语义交给配置文件,等于重开一条越权面(见 app/models.py 的
|
||||
# PROTECTED_PAYLOAD_KEYS 说明),故一律不放行。
|
||||
MODEL_PARAM_KEYS: frozenset[str] = frozenset({
|
||||
"temperature", "top_p", "top_k", "min_tokens", "max_tokens",
|
||||
"presence_penalty", "frequency_penalty", "repetition_penalty",
|
||||
"seed", "logit_bias", "n",
|
||||
})
|
||||
|
||||
|
||||
@dataclass
|
||||
class ModelInfo:
|
||||
id: str
|
||||
@@ -25,6 +38,14 @@ class ModelInfo:
|
||||
# 其余文本模型(ark-code 等)文档未声明图像输入 → 默认 False。
|
||||
# 用途:① /v1/models 暴露给前端标注/告警;② 带图请求走路由别名时把有视觉能力的模型排到前面。
|
||||
vision: bool = False
|
||||
# 第二十五轮(模型参数硬约束): 该模型**必须用**的上游参数,发送前强制覆盖客户端传值。
|
||||
# 背景:OpenCode Go 的 kimi-k2.7-code 只接受 temperature=1,客户端传 0(含一键测速的
|
||||
# 探针,它固定发 temperature=0)会被上游 400:
|
||||
# "invalid temperature: only 1 is allowed for this model"
|
||||
# 配置成 {"temperature": 1} 后,网关无论收到什么值都按 1 发 —— 用户在前端把温度滑块
|
||||
# 拉到 0 也不会再 400(值被网关改成上游唯一允许的那个)。
|
||||
# 键必须在 MODEL_PARAM_KEYS 白名单内,否则 validate_config 直接报错(不静默失效)。
|
||||
params: dict[str, Any] = field(default_factory=dict)
|
||||
|
||||
|
||||
@dataclass
|
||||
@@ -225,6 +246,10 @@ class GatewayConfig:
|
||||
"vision": m.vision,
|
||||
"provider": pkey,
|
||||
"provider_name": pconfig.name,
|
||||
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。
|
||||
# 前端据此标注「该模型温度已由网关固定」,API 调用方也能提前知道
|
||||
# 自己传的采样参数会被上游要求覆盖,省掉一轮「传了没生效」的困惑。
|
||||
"params": dict(m.params or {}),
|
||||
})
|
||||
return result
|
||||
|
||||
@@ -296,6 +321,40 @@ def _opt_int(v: Any, field_name: str, default: int, minimum: int | None = None)
|
||||
return val
|
||||
|
||||
|
||||
def _parse_model_params(v: Any, where: str) -> dict[str, Any]:
|
||||
"""解析模型级「强制参数」(第二十五轮)。
|
||||
|
||||
形如 `params: {temperature: 1}` —— 网关发往上游前用这些值**覆盖**客户端传的同名参数。
|
||||
用来应对上游的硬约束(某模型只接受 temperature=1 之类):否则客户端传别的值就 400,
|
||||
而且用户在前端拉个滑块就踩雷,根本不可能自己猜出上游要什么。
|
||||
|
||||
容错口径(宁可报错,不可静默失效):
|
||||
- 缺失 / None → {}(不是错误,只是这个模型没有约束);
|
||||
- 不是映射 → ConfigError;
|
||||
- 参数名不在 MODEL_PARAM_KEYS 白名单内 → ConfigError(防止把 model/messages/stream
|
||||
这类结构性键配进来,那等于让配置文件改写路由语义);
|
||||
- 值类型必须是标量 / list / dict。
|
||||
"""
|
||||
if v is None:
|
||||
return {}
|
||||
if not isinstance(v, dict):
|
||||
raise ConfigError(
|
||||
f"{where} 必须是映射(如 {{temperature: 1}}),得到 {type(v).__name__}: {v!r}")
|
||||
out: dict[str, Any] = {}
|
||||
for k, val in v.items():
|
||||
key = str(k).strip()
|
||||
if not key:
|
||||
raise ConfigError(f"{where} 出现空参数名")
|
||||
if key not in MODEL_PARAM_KEYS:
|
||||
raise ConfigError(
|
||||
f"{where}.{key} 不是允许的模型参数(允许:{', '.join(sorted(MODEL_PARAM_KEYS))})")
|
||||
if val is None or isinstance(val, (bool, int, float, str, list, dict)):
|
||||
out[key] = val
|
||||
else:
|
||||
raise ConfigError(f"{where}.{key} 的值类型不支持: {type(val).__name__}")
|
||||
return out
|
||||
|
||||
|
||||
def _parse_media(pval: dict[str, Any]) -> MediaConfig:
|
||||
m = pval.get("media", {}) or {}
|
||||
return MediaConfig(
|
||||
@@ -423,8 +482,10 @@ def parse_config(raw: dict[str, Any]) -> GatewayConfig:
|
||||
)
|
||||
models = [
|
||||
ModelInfo(id=m.get("id", ""), display_name=m.get("display_name", ""),
|
||||
type=m.get("type", "text"), vision=_opt_bool(m.get("vision"), "providers.*.models.*.vision", False))
|
||||
for m in pval.get("models", [])
|
||||
type=m.get("type", "text"), vision=_opt_bool(m.get("vision"), "providers.*.models.*.vision", False),
|
||||
params=_parse_model_params(
|
||||
m.get("params"), f"providers.{pkey}.models[{idx}].params"))
|
||||
for idx, m in enumerate(pval.get("models", []))
|
||||
]
|
||||
providers[pkey] = ProviderConfig(
|
||||
key=pkey,
|
||||
|
||||
+33
-3
@@ -868,6 +868,27 @@ def _speedtest_retryable(e: Exception) -> bool:
|
||||
return status == 429 or (status is not None and status >= 500)
|
||||
|
||||
|
||||
def _speedtest_error_text(e: Exception, timeout: float) -> str:
|
||||
"""测速探针的失败文案(第二十五轮):把「超时」和「上游原文」这两个关键信息说清楚。
|
||||
|
||||
修复前只回 `str(e)`,形如 `Client error '400 Bad Request' for url ...` ——
|
||||
上游真正的原因(如 `invalid temperature: only 1 is allowed for this model`)
|
||||
根本看不到;超时更是只显示成含糊的「调用失败」。结果是:
|
||||
「参数被上游拒绝」(每次都失败)与「模型响应慢」(偶发失败)
|
||||
在前端长得一模一样,只能靠猜 —— 排查这两个模型时就是这么被误导的。
|
||||
"""
|
||||
if isinstance(e, (httpx.TimeoutException, TimeoutError)):
|
||||
return f"上游超时(>{int(timeout)}s 未响应)"
|
||||
resp = getattr(e, "response", None)
|
||||
if resp is not None:
|
||||
detail = _upstream_detail(getattr(resp, "text", "") or "")
|
||||
if detail:
|
||||
return detail
|
||||
return f"上游返回 HTTP {getattr(resp, 'status_code', '?')}(无响应正文)"
|
||||
text = str(e)
|
||||
return _upstream_detail(text) or text[:200] or "调用失败"
|
||||
|
||||
|
||||
def _clear_auth_fails(request: Request) -> None:
|
||||
"""登录成功后清掉该来源的失败计数:否则同一出口 IP(办公室 NAT)被前人失败连带,
|
||||
真人输对密码后紧接一次手误就吃 429。"""
|
||||
@@ -1123,7 +1144,10 @@ def _models_payload():
|
||||
"display_name": m["display_name"],
|
||||
"type": m["type"], "provider": m["provider"], "provider_name": m["provider_name"],
|
||||
# 第十三轮: 暴露「是否支持图像输入」,前端据此标注/告警(对话页带图时提示换模型)
|
||||
"vision": bool(m.get("vision"))})
|
||||
"vision": bool(m.get("vision")),
|
||||
# 第二十五轮: 暴露模型级强制参数(如 {"temperature": 1})。前端据此标挂锁,
|
||||
# API 调用方也能提前知道自己传的采样参数会被上游要求覆盖。
|
||||
"params": dict(m.get("params") or {})})
|
||||
for r in cfg.all_routes():
|
||||
data.append({"id": r["name"], "object": "model", "created": created,
|
||||
"owned_by": "gateway", "type": "route", "models": r["models"],
|
||||
@@ -1164,7 +1188,13 @@ async def models_speedtest(request: Request, _auth=Depends(require_auth)):
|
||||
except Exception:
|
||||
_body = {}
|
||||
only = _body.get("model") if isinstance(_body, dict) else None
|
||||
probe_timeout = 15.0
|
||||
# 探针超时(第二十五轮: 15s → 30s):
|
||||
# 15s 对"慢的推理模型"太紧 —— 实测 mimo-v2.5 过网关 2.9s~8.4s、agnes-2.5-flash 11s,
|
||||
# 上游一排队就冲破 15s,被记成「调用失败」,和「模型真的坏了」完全分不清。
|
||||
# 30s ≈ 实测最慢值的 3 倍,仍远小于真实对话链路用的 server.timeout。
|
||||
# 注意:该 timeout 只作用于**本探针自己创建的 adapter**(适配器缓存 key 含 timeout),
|
||||
# 改它不影响用户对话的超时行为。
|
||||
probe_timeout = 30.0
|
||||
results: list[dict] = []
|
||||
for m in cfg.all_models():
|
||||
if m.get("type") != "text":
|
||||
@@ -1201,7 +1231,7 @@ async def models_speedtest(request: Request, _auth=Depends(require_auth)):
|
||||
ok = True
|
||||
break
|
||||
except Exception as e:
|
||||
err = _upstream_detail(str(e))
|
||||
err = _speedtest_error_text(e, probe_timeout)
|
||||
if attempt < 3 and _speedtest_retryable(e):
|
||||
await asyncio.sleep(0.3 * attempt)
|
||||
else:
|
||||
|
||||
+18
-3
@@ -89,7 +89,10 @@ def config_to_view(cfg: GatewayConfig) -> dict[str, Any]:
|
||||
"requires_session_header": bool(p.requires_session_header),
|
||||
"media": {k: getattr(p.media, k) for k in MEDIA_KEYS},
|
||||
"models": [
|
||||
{"id": m.id, "display_name": m.display_name, "type": m.type, "vision": bool(m.vision)}
|
||||
{"id": m.id, "display_name": m.display_name, "type": m.type, "vision": bool(m.vision),
|
||||
# 第二十五轮: 回传模型级强制参数。面板不提供编辑入口(在 YAML 全文编辑器里改),
|
||||
# 但必须一路带着走 —— 否则读回来再提交一次就会把它弄丢。
|
||||
"params": dict(m.params or {})}
|
||||
for m in p.models
|
||||
],
|
||||
}
|
||||
@@ -220,14 +223,26 @@ def view_to_raw(cfg: GatewayConfig, raw: dict[str, Any], view: dict[str, Any]) -
|
||||
media_in = _as_dict(pv.get("media"), f"providers.{key}.media")
|
||||
base_media = _as_dict(base_p.get("media"), f"providers.{key}.media")
|
||||
models = []
|
||||
# 第二十五轮: 模型项要「以文件原文为底」再覆盖面板管得着的键。
|
||||
# 面板的模型编辑器只认 id/display_name/type/vision 四个字段,若照着它重建,
|
||||
# 手写在 YAML 里的 models[].params(模型级强制参数,如 temperature: 1)
|
||||
# 会被**静默清掉** —— 管理员只是在页面上改了别的东西,上游硬约束就没了,
|
||||
# 之后又变成"这个模型怎么老是 400"。按 id 对齐原文、保留其余键即可。
|
||||
base_models: dict[str, dict[str, Any]] = {}
|
||||
for bm in (base_p.get("models") or []):
|
||||
if isinstance(bm, dict) and str(bm.get("id") or "").strip():
|
||||
base_models[str(bm["id"]).strip()] = bm
|
||||
for i, m in enumerate(pv.get("models") or []):
|
||||
m = _as_dict(m, f"providers.{key}.models[{i}]")
|
||||
models.append({
|
||||
"id": str(m.get("id") or "").strip(),
|
||||
mid = str(m.get("id") or "").strip()
|
||||
item = dict(base_models.get(mid) or {})
|
||||
item.update({
|
||||
"id": mid,
|
||||
"display_name": str(m.get("display_name") or "").strip(),
|
||||
"type": str(m.get("type") or "text").strip(),
|
||||
"vision": bool(m.get("vision", False)),
|
||||
})
|
||||
models.append(item)
|
||||
providers[key] = {
|
||||
"name": str(pv.get("name") or key).strip(),
|
||||
"base_url": str(pv.get("base_url") or "").strip(),
|
||||
|
||||
Reference in new issue
Block a user