把 4 家供应商、81 个模型收进同一个 OpenAI 兼容接口。
三条协议线原样直传,网关只做路由、鉴权和限流,不改你的字段。
Docker / 源码部署 · Python 3.10+ · 不依赖任何云服务
# 同一个接口,model 决定走向哪一家
$ curl https://api.wangjinding.com/v1/chat/completions \
-H "Authorization: Bearer sk-你的key" \
-d '{"model": "agnes-3.0-flash",
"messages": [{"role":"user","content":"你好"}]}'
200 OK {"choices":[{"message":{"content":"你好!有什么可以帮你?"}}]}
以前每接一家模型就要改一次代码、换一套鉴权、记一套错误码。 现在它们都在你身后,接口只有一个。
请求里的 model 决定走向哪家:1min.ai 43 个模型、OpenCode Go 27 个、Agnes AI 10 个、Dots(小红书) 1 个。换模型不用换 SDK、不用换域名。
OpenAI Chat、Anthropic Messages、Responses 三条线各按自家协议转发,网关不翻译字段。选错线直接 400,并告诉这个模型支持哪几条。
同一模型自动重试 + 供应商级熔断;两级限流(全局 / 供应商);每次调用都有 token、耗时、成本估算,落在日志和 /metrics 里。
改配置不用重启:POST /admin/reload 热加载
没有账号体系绑死你、没有额度套餐、没有强制上报。装上就是你的。
model 名决定供应商;同名模型可配多条路由,按顺序故障转移。配置写在 YAML 里,改完热加载。
OpenAI Chat / Anthropic Messages / OpenAI Responses 三条线各走自家协议,字段不加工,客户端 SDK 直接可用。
同模型失败自动重试;某家供应商连续失败就熔断一段时间,请求自动绕开,chat 与媒体各自独立计数。
全局 QPS + 每供应商 QPS 双层保护,超了返回 429 并带 Retry-After,不会把上游打爆。
/v1/images/generations 直出图片;/v1/videos 支持异步轮询、等待模式和 Webhook 回调。
/metrics 出 JSON,/metrics/prometheus 直接给 Prometheus 抓;按定价表估算每笔调用花多少钱。
改完 gateway.yaml 调一次 reload,新配置立即生效,不中断在途请求。
管理台账号密码登录,每个账号自己建 API Key,互不干扰;停用只影响该账号。
Vue 写的 Web 控制台:看日志、调配置、试模型、查用量,不用登服务器改文件。
都是 OpenAI 兼容路径,换 base_url 就能接上你现有的客户端。
不是效果图。下面每一张都是管理台正在跑的样子,数据来自我自己这台机器。
一台小机器就够:单进程 FastAPI,内存几百 MB,没有数据库、没有中间件。
git clone https://git.wangjinding.com/Jidekin/xiaoyin-gateway.git
cd xiaoyin-gateway
pip install -r requirements.txt
cp .env.example .env # 填各家供应商的 token
vim data/gateway.yaml # 配供应商、模型、限流
python run.py # 默认 127.0.0.1:8808
起来之后打开 http://127.0.0.1:8808/web 就是管理台。
# data/gateway.yaml
providers:
agnes:
base_url: https://api.agnes-ai.cn/v1
api_key: ${AGNES_API_KEY}
models:
- name: agnes-3.0-flash
protocols: [chat, messages]
pricing: { input: 0.0, output: 0.0 }
配好 reload 一下,GET /models 就能看到它。
一家人用的模型入口。不对外卖额度、不做 SaaS —— 代码在你自己机器上跑, 密钥在你自己手里,日志在你自己盘上。
python run.py 或 Docker;单进程,无数据库、无 Redis、无消息队列。
数据不出你的机器。网关只在上游调用时刻才连外网,其余时间全是本地。
MIT。改完自己用、给朋友用、拿去二次开发都行。
2 万行 Python,一个 app/main.py 就是全部后端;前端 Vue 单独构建,产物直接塞进 frontend/dist。