大佬写的AI聚合api网关系统源码

一、基础信息

• 组织：QuantumNous（主维护者：Calcium-Ion）

• 后端语言：Go，Gin 框架，GORM ORM

• 前端：React19 + TS + Rsbuild + TailwindCSS，使用 Bun 构建

• 数据库：SQLite（默认开箱即用）、MySQL、PostgreSQL；日志库可独立使用 ClickHouse

• 缓存：内存缓存 + Redis（多节点、分布式限流必须 Redis）

• 协议：AGPL-3.0；如果你二次修改并且对外提供服务，必须公开修改后的源码

• 定位：统一网关，把几十家不同厂商格式各异的大模型接口，对外转换成一套兼容 OpenAI 的接口；同时内置完整多租户、计费、额度、审计、用户管理系统，不是单纯代理

• 当前版本：v1.0.0-rc，已经完成新版前端重构，支持新旧面板切换
  

二、核心功能1. 渠道与协议转换（最核心）内置独立模块 relaykit，专门做协议互转：

• ✅ OpenAI / Claude / Gemini / Azure / Bedrock / DeepSeek / 通义 / 豆包 / Kimi 等四十多家上游

• ✅ Chat、Embedding、Rerank、TTS、ASR、图像生成、视频生成（Seedance）、Suno 音乐

• ✅ 流式输出、Function Call、Reasoning、多模态图片输入、WebSocket Realtime

• ✅ 自动把 Claude / Gemini 的请求体翻译成 OpenAI 格式返回，客户端不用改代码切换模型

• ✅ 智能路由：加权随机、按模型绑定渠道、失败自动降级重试、渠道熔断、优先级路由、按成本路由
  

2. 用户、密钥、权限体系（多租户）

• 角色：Root、管理员、普通用户

• 用户注册、邮箱验证码、OIDC / Telegram / Discord 第三方登录、两步验证、通行密钥

• 用户组：不同组可以访问不同模型，独立定价、独立限速

• API Key：用户自己生成，支持绑定模型白名单、限额、过期时间；所有调用绑定这个 key

• 细粒度限流：单用户、单 key、单渠道、全局速率限制
  

3. 计费 & 额度系统（区别于 LiteLLM、原生 OneAPI）

• 支持阶梯定价、输入 / 输出分开计价、缓存感知计费（适配 Claude / OpenAI prompt cache）

• 钱包、充值、支付对接、邀请码、订阅套餐

• 用量日志、看板、成本统计、调用审计日志，可以单独分离日志库

• 预扣额度机制，防止超额透支
  

4. 插件系统 Task PluginJS 插件机制，用来对接异步任务类模型：Midjourney、万相、Seedance、Suno；这类模型不是同步返回结果，而是提交任务轮询获取结果，插件负责封装任务提交、查询、回调。
5. Web 控制台

• 模型广场、渠道测试、在线 Playground，直接在网页调试对话

• 全局设置、发信、登录配置、代理、模型重命名、模型映射

• 多语言：简体中文、繁体、英文、日文、法语等
  

6. 部署模式

• Docker /docker-compose（主流，就是你宝塔正在部署的）

• 源码编译部署

• 支持多实例集群（共享数据库 + Redis + 相同加密密钥）

这套系统怎么说呢非常的牛逼
github地址：https://github.com/QuantumNous/new-api
安装不来的朋友可以问下豆包或者发给ai让ai帮你安装，简简单单的！