三大AI 网关评测：LiteLLM、New API 与 1Panel AI 网关

随着大模型推理从"调用公网 API"走向"私有化 / 混合部署"，企业对 AI 网关的诉求已经从"统一接口"升级为"统一治理"。管理员不仅希望通过一个端点接入多家模型，还需要清晰掌握以下信息：

• 当前有哪些模型在线、哪些渠道可用；
• Token 消耗、请求成功率、成本归属；
• API Key 的分发、回收与权限边界；
• 限流、熔断、内容合规与审计记录。

企业需要集中管理多源大模型，实现模型状态监控、Token 用量统计、API Key 权限管控、限流熔断、审计合规等。当模型、使用人员越来越多，一套可观测、可审计的 AI 网关，能够大幅降低运维管理成本。本文选取 LiteLLM、New API、1Panel AI 网关三款主流 AI 网关产品，从产品定位、安装部署、功能使用、权限管控、用量统计做对比，方便企业运维与 AI 团队选型参考。

一、产品定位

1. LiteLLM：全球化 AI 网关与模型调度中枢

LiteLLM 是面向平台团队的企业级 AI 网关，提供统一 OpenAI 兼容接口，支持上百种大模型对接，主打协议转换、请求调度。支持虚拟密钥、用量统计、预算管控，海外生态完善，更适合公有模型接入。

2. New API：面向中文运营的新一代大模型网关

New API 是基于 One API fork 的"AI 资产管理系统"，主打"渠道、令牌、用户 / 分组、计费 / 充值"的完整运营链路。它的功能组织方式与国内站长、开发者、API 转售运营商的需求高度贴合：一个管理后台即可维护多个上游渠道、批量生成下游令牌、设置分组倍率、查看数据看板、处理充值兑换码。

3. 1Panel AI 网关：从基础设施到智能体的统一管理

1Panel AI 网关面向企业 AI 使用与治理，集成 AI 网关、Skills Hub、MCP 市场，提供模型接入调度、密钥管控、多角色权限、审计与运维报表能力，统一管理大模型服务与智能体应用，支撑私有化场景下企业 AI 业务使用。

表 1 LiteLLM、New API、1Panel AI 网关 产品定位对比

对比维度	LiteLLM	New API	1Panel AI 网关
核心定位	全球化 AI 网关与模型治理中枢	中文 AI 资产运营与计费平台	企业专属的 AI 统一接入与治理平台
网关角色	协议翻译 + 调度中枢	渠道封装 + 运营计费	统一代理 + 智能路由 + 用量与合规治理
用户群体	全球化平台团队 / AI 平台工程师	个人开发者 / 中小团队 / API 运营商	企业运维团队、AI 应用管理员

二、安装部署

1Panel AI 网关（单容器）：30MB 镜像 = 全功能。1Panel 应用市场一键安装，数据、缓存全在内置轻量数据库中，0 个额外容器，开箱即用。

New API（多容器）：虽然应用镜像 30MB，但官方推荐部署需要额外拉 MySQL（约 200MB）和 Redis（约 50MB）。实际完整跑起来，加起来要拉 280MB 以上，还要写 Compose 文件连网段、配环境变量。"应用轻，但全家桶重"。

LiteLLM（多容器）：应用镜像 500MB 以上，同样需要额外挂 Postgres（约 400MB）和 Redis（约 50MB），整套接近 1GB，配置复杂。

三、功能上手体验

LiteLLM、New API、1Panel AI 网关三款产品均围绕"统一接入大模型"展开，但功能组织方式不同。LiteLLM 更偏向"模型组 + 部署 + 策略"的开发者视角，New API 更偏向"渠道 + 令牌 + 运营"的站长视角，1Panel AI 网关则更偏向"算力 → 推理 → 网关 → 门户"的一体化视角。

1. LiteLLM 上手体验

① 注册模型供应商

在 LiteLLM Proxy 中，模型通过 config.yaml 或 Admin UI 注册。以 UI 为例，管理员进入 Models + Endpoints 页面，可以看到当前已注册的模型列表，并点击 Add Model 新增供应商。

② 生成虚拟密钥

LiteLLM 的密钥模型为：Model Group / Deployment → Virtual Key。Virtual Key 是应用真正调用的 Key，它可以绑定到 Team、Internal User、End User，并限制可用模型、预算、RPM / TPM。

③ 密钥运维管理

Virtual Key 详情页会展示 Key 的预算、已用额度、模型限制、RPM / TPM 限制。企业版支持 Key 自动轮转，并对接 AWS / Azure / GCP / HashiCorp Vault 等 Secret Manager。

2. New API 上手体验

① 添加上游模型渠道

New API 的模型接入以"渠道"为单位。管理员在后台进入渠道管理，选择类型（OpenAI、Claude、Gemini、Azure、自定义等），填入上游 Key 与 Base URL，系统会自动拉取或手动映射模型列表。

② 配置渠道调度策略

New API 的密钥链路为：渠道（上游 Key）→ 令牌（下游 Key）。渠道负责"连向哪家供应商"，令牌负责"对外暴露什么"。渠道支持分组、加权随机、多 Key 轮询、失败重试；令牌支持分组、模型限制、倍率、有效期、独立查询。

③ 管理访问令牌

New API 在"渠道 → 令牌"这条链路上做得最贴近 Token 运营场景：一个上游渠道可以被多个用户 / 令牌共享，不同用户分组可设置不同倍率，管理员还能通过兑换码、充值系统完成商业化计费。

3. 1Panel AI 网关上手体验

① 添加上游模型账号

1Panel AI 网关通过账号池统一管理上游厂商密钥。点击添加账号，选择模型供应商，填入上游 API Key、接口地址，完成模型映射、优先级、最大并发等参数配置。账号池内可统一维护多家大模型账号，支持启用 / 禁用、编辑、删除，实现上游模型资源集中纳管。

② 模型广场

模型广场是 1Panel AI 网关的模型统一管理入口，集中纳管所有接入的大模型。

③ 创建访问密钥

在 API Keys 页面创建下游访问密钥，生成业务调用所用 API Key。支持密钥列表管理，可查看密钥名称、密钥值、创建时间、最近使用时间，对密钥执行编辑、删除操作，用于业务系统对接网关调用大模型。

四、权限管控

1. LiteLLM

采用 Organization - Team - Internal User - Virtual Key 四层权限体系，内置多类角色，企业版可实现团队预算、模型白名单与日志独立路由。

2. New API

具备普通 / 管理员 / 超级管理员角色，依靠用户分组实现权限隔离，支持账号管控、差异化权限计费及跨分组容灾调度，适配多租户运营。

3. 1Panel AI 网关

席位管理采用用户组 → 用户 → API Key 三级继承管控体系，建立清晰的资源边界。以用户组为粒度统一配置 QPS 并发限额、Token 配额和可用模型范围，用户组下所有 API Key 自动继承对应权限，实现调用配额、模型白名单与可用状态的一键统管。支持 API Key 全生命周期管理，不同用户组之间数据、密钥、调用记录相互隔离，满足企业多部门、多业务线共用 AI 网关的合规管控需求。

五、用量统计

1. LiteLLM

自带 UI 用量看板，支持多维度消耗统计，指标可导出至 Prometheus 或回传各类观测平台。

2. New API

控制台内置数据看板，支持多套计费模式与预付费、兑换码，最贴近 API 转售运营场景。

3. 1Panel AI 网关

内置全维度统计看板，支持按用户、供应商、模型、上游账号、时间等多维度筛选，集中展示请求量、总 Token（区分输入 / 输出）、缓存 Token 等核心指标。

六、选型指南

在体验了 LiteLLM、New API、1Panel AI 网关之后，我们做出总结如下：

表 2 LiteLLM、New API、1Panel AI 网关 能力对比

评估维度	LiteLLM	New API	1Panel AI 网关
产品定位	全球化开源 LLM 网关	国内模型分发与计费中转	企业专属的 AI 统一接入与治理平台
安装便捷性	安装包大，依赖复杂	安装包小，但依赖多	安装包小，单容器一键部署
模型接入广度	100+ 全球厂商	30+ 国内渠道	覆盖公有云 / 本地 GPU / 国产算力
路由与高可用	负载均衡 / 重试 / 故障降级	权重随机 + 健康检测	智能语义路由 + 账号池故障转移
成本管控与计费	预算封顶、RPM / TPM 限流	额度分组、按次计费	三级配额 + 四级并发 + 成本可视化
权限与多租户	企业级 SSO / RBAC 需付费	简易 RBAC，无组织分层	用户组 - 用户 - Key 三级权限 + 多租户
可观测与日志	对接第三方组件	内置看板	内置看板 + ES 全量审计，满足等保
内容合规	无中文敏感词库	仅关键词拦截	敏感词 + 语义双重审核
UI 与上手	YAML 配置，上手门槛高	配置参数繁杂，新手难以上手	可视化图形界面，零配置开箱即用
离线私有化部署	支持离线，运维配套不足	支持离线，无政企适配	原生离线包，适配政企隔离内网
商业支持与 SLA	企业能力需付费订阅	社区免费版，无商业 SLA	社区版免费，企业版原厂支持 + SLA
离线私有化部署	支持离线	支持离线	原生离线包，适配政企隔离内网
社区 / 授权 / 支持	开源 Star 高，企业能力收费	免费无商业 SLA	社区版免费，企业版原厂支持 + SLA

综合对比可以看到，三家均能实现大模型 API 代理转发：LiteLLM 偏开发侧灵活集成，适合技术团队二次开发；New API 轻量易部署，满足中小型分发计费场景；1Panel AI 网关则在可视化管理、权限管控、用量审计、向量适配上优势突出，开箱即用、适配政企私有化环境，是综合更优之选。企业可按自身技术栈、运维能力与业务规模灵活选型。