v2.9.16 · MIT 开源 · 纯本地部署

一个网关,
接住所有模型

把 4 家供应商、81 个模型收进同一个 OpenAI 兼容接口。
三条协议线原样直传,网关只做路由、鉴权和限流,不改你的字段。

纯后端 FastAPI配置驱动 · 热加载自带 Web 管理台

Docker / 源码部署 · Python 3.10+ · 不依赖任何云服务

✓三线直传
✓统一密钥
✓熔断 · 限流
✓成本统计
✓MIT 开源
终端 — 换一个 model,就换一家供应商
# 同一个接口,model 决定走向哪一家
$ curl https://api.wangjinding.com/v1/chat/completions \
    -H "Authorization: Bearer sk-你的key" \
    -d '{"model": "agnes-3.0-flash",
         "messages": [{"role":"user","content":"你好"}]}'

200 OK  {"choices":[{"message":{"content":"你好!有什么可以帮你?"}}]}

一个网关,解决三件事

以前每接一家模型就要改一次代码、换一套鉴权、记一套错误码。 现在它们都在你身后,接口只有一个。

⇄一个 Key,四家供应商

请求里的 model 决定走向哪家:1min.ai 43 个模型、OpenCode Go 27 个、Agnes AI 10 个、Dots(小红书) 1 个。换模型不用换 SDK、不用换域名。

⑃三条协议线,原样直传

OpenAI Chat、Anthropic Messages、Responses 三条线各按自家协议转发,网关不翻译字段。选错线直接 400,并告诉这个模型支持哪几条。

◎管得住:熔断、限流、成本

同一模型自动重试 + 供应商级熔断;两级限流(全局 / 供应商);每次调用都有 token、耗时、成本估算,落在日志和 /metrics 里。

一套后端,
把复杂度吃掉

4家供应商
共 81 个模型
3条协议线
原样直传
2万+行 Python
单进程 FastAPI
0依赖云服务
数据都在自己机器上

改配置不用重启:POST /admin/reload 热加载

该有的都有,不该有的一个没有

没有账号体系绑死你、没有额度套餐、没有强制上报。装上就是你的。

⇄多供应商分发

model 名决定供应商;同名模型可配多条路由,按顺序故障转移。配置写在 YAML 里,改完热加载。

⑃三线直传

OpenAI Chat / Anthropic Messages / OpenAI Responses 三条线各走自家协议,字段不加工,客户端 SDK 直接可用。

⛨熔断 · 重试

同模型失败自动重试;某家供应商连续失败就熔断一段时间,请求自动绕开,chat 与媒体各自独立计数。

◔两级限流

全局 QPS + 每供应商 QPS 双层保护,超了返回 429 并带 Retry-After,不会把上游打爆。

▣图像与视频

/v1/images/generations 直出图片;/v1/videos 支持异步轮询、等待模式和 Webhook 回调。

▲指标与成本

/metrics 出 JSON,/metrics/prometheus 直接给 Prometheus 抓;按定价表估算每笔调用花多少钱。

↻热加载

改完 gateway.yaml 调一次 reload,新配置立即生效,不中断在途请求。

☺账号 + 每账号 Key

管理台账号密码登录,每个账号自己建 API Key,互不干扰;停用只影响该账号。

▤自带管理台

Vue 写的 Web 控制台:看日志、调配置、试模型、查用量,不用登服务器改文件。

接口就那么几个

都是 OpenAI 兼容路径,换 base_url 就能接上你现有的客户端。

POST/v1/chat/completions对话(OpenAI 线)
POST/v1/messages对话(Anthropic 线,也认 x-api-key)
POST/v1/responses对话(Responses 线)
POST/v1/chat/completions/batch并发多 prompt 一次发出
POST/v1/images/generations出图
POST/v1/videos出视频(异步 / 等待 / Webhook)
GET/models这个网关现在有哪些模型
GET/metrics用量、耗时、成本(JSON / Prometheus)
GET/health运维看板

部署,三条命令的事

一台小机器就够:单进程 FastAPI,内存几百 MB,没有数据库、没有中间件。

⌨从源码跑起来

git clone https://git.wangjinding.com/Jidekin/api-gateway.git
cd api-gateway
pip install -r requirements.txt

cp .env.example .env        # 填各家供应商的 token
vim data/gateway.yaml       # 配供应商、模型、限流

python run.py               # 默认 127.0.0.1:8808

起来之后打开 http://127.0.0.1:8808/admin 就是管理台。

⌗配一个供应商长这样

# data/gateway.yaml
providers:
  agnes:
    base_url: https://api.agnes-ai.cn/v1
    api_key: ${AGNES_API_KEY}
    models:
      - name: agnes-3.0-flash
        protocols: [chat, messages]
        pricing: { input: 0.0, output: 0.0 }

配好 reload 一下,GET /models 就能看到它。

关于小银网关

一家人用的模型入口。不对外卖额度、不做 SaaS —— 代码在你自己机器上跑, 密钥在你自己手里,日志在你自己盘上。

技术栈 FastAPI Python 3.10+ 配置驱动 YAML Vue 管理台
供应商 1min.ai(43 个模型)· OpenCode Go(27)· Agnes AI(10)· Dots AI 小红书(1,512K 上下文)
部署方式 源码 python run.py 或 Docker;单进程,无数据库、无 Redis、无消息队列。
许可 MIT License,可自由使用、修改、分发。

✓隐私

数据不出你的机器。网关只在上游调用时刻才连外网,其余时间全是本地。

⚖许可

MIT。改完自己用、给朋友用、拿去二次开发都行。

⌨自己改

2 万行 Python,一个 app/main.py 就是全部后端;前端 Vue 单独构建,产物直接塞进 frontend/dist。