开发案例：LLMOneApi —— AI API 分销运营平台

一、项目背景

行业趋势

2023 年以来，以大语言模型（LLM）为代表的生成式 AI 技术呈现爆发式增长。OpenAI 的 GPT 系列、Anthropic 的 Claude、Google 的 Gemini、Meta 的 Llama，以及国内百度文心一言、阿里通义千问、DeepSeek、智谱 GLM 等模型相继投入商用。企业对大模型 API 的调用需求从单一的对话补全扩展到图像生成、语音合成与识别、视频生成、文本嵌入等多种场景。

这一趋势带来了新的商业机会——越来越多的企业希望通过聚合多家大模型 API，以分销运营的模式向终端客户提供一站式 AI 能力服务。然而，市场上缺乏现成的、开箱即用的分销运营管理平台。

项目起源

LLMOneApi 是基于成熟的通用 API 网关开源项目进行二次开发的商业化产品。选择该项目作为底座的原因在于：

• 已经具备了成熟的渠道管理、令牌管理、用户体系和 OpenAI 兼容接口能力。
• 支持众多主流大模型供应商的适配接入。
• 开源许可证对商业使用友好。

在此基础之上，我们启动了分销运营能力的完整建设，经过多轮迭代开发，从 MVP 阶段推进到可部署运营的生产版本。

项目定位

LLMOneApi 的定位是一套面向平台运营商的 AI API 分销管理平台，核心价值在于连接上游大模型供应商与下游终端用户，提供从渠道接入、模型定价、用户管理、额度充值到使用计费的全链路运营能力。平台目前已完成交付部署并进入稳定运营阶段。

二、客户痛点分析

在项目启动之前，我们深入调研了目标客户群体的核心痛点，归纳为以下六个方面：

1. 多供应商 API 接入分散，管理成本高

不同大模型供应商提供各自的调用接口、认证方式和 SDK。运营方需要为每个供应商分别对接、分别管理密钥、分别监控，运维负担极重。例如部分供应商使用固定的 API Key 认证，部分使用有时效性的 Access Token，部分使用不同的签名方式。运营方如果直接对接多家供应商，团队需要维护多种接入逻辑，且每次新供应商接入都需要重复开发。

2. 缺少分销商运营体系

许多平台运营商采用”平台→分销商→终端用户”的商业模式。分销商需要拥有独立的管理后台来管理名下用户、查看消费数据、自定义终端售价、独立配置收款方式。市面上大多数 API 网关产品只支持单层用户管理，缺乏分销商角色和数据隔离能力。

3. 计费模型单一，无法覆盖多模态场景

标准的 Token 计费方式无法满足多样化的计费场景：

平台需要一套灵活的计费框架，能够按模型类型配置不同的计费模式和单价。

4. 支付与资金管理闭环缺失

AI API 分销业务涉及复杂的资金流转：终端用户向平台充值购买额度、分销商向平台充值、平台需要记录每笔充值的金额和费用、需要支持多种支付方式、需要提供钱包流水和账单导出等对账能力。简单的 API 网关无法满足这些业务需求。

5. 渠道故障发现不及时

当某个供应商的 API 服务出现故障时，如果没有自动检测机制，故障可能持续较长时间才被发现。人工巡检成本高，且无法做到 7×24 小时监控。请求打到故障渠道后返回错误，影响用户体验。故障渠道恢复后需要人工重新启用，响应慢。

6. 日志与数据缺乏精细化

运营方需要了解每个用户在什么时间调用了什么模型、每次调用的计费详情，同时需要确保历史账单不受后续调价影响，还需要分销商级别的数据汇总与安全隔离。

三、解决方案

3.1 整体架构设计

LLMOneApi 采用前后端分离的架构设计，后端使用 Go 语言构建高性能 API 网关，前端使用 React 提供管理界面。

                   终端用户（浏览器 / API 客户端）
                            │
                    ┌───────┴───────┐
                    │   负载均衡     │
                    └───────┬───────┘
                            │
            ┌───────────────┴───────────────┐
            │         LLMOneApi 服务          │
            │  ┌──────────────────────────┐  │
            │  │     Web 框架 + 中间件      │  │
            │  │  ┌─────┐ ┌──────┐ ┌───┐  │  │
            │  │  │路由 │ │中间件│ │API │  │  │
            │  │  └─────┘ └──────┘ └───┘  │  │
            │  ├──────────────────────────┤  │
            │  │  业务逻辑层：渠道 / 定价    │  │
            │  │  用户 / 钱包 / 日志 / 健康  │  │
            │  ├──────────────────────────┤  │
            │  │     数据访问层（ORM）       │  │
            │  └──────────────────────────┘  │
            └───────────────┬───────────────┘
                            │
                    ┌───────┼───────┐
                    ▼       ▼       ▼
                ┌──────┐ ┌──────┐ ┌──────┐
                │ 数据库 │ │ 缓存  │ │ 存储  │
                └──────┘ └──────┘ └──────┘

3.2 供应商接入架构

LLMOneApi 采用适配器模式实现供应商无关设计。所有供应商统一实现相同的适配器接口，新增供应商只需开发对应的适配器模块，即可无缝接入系统。目前已经适配的供应商覆盖四大类：

四、功能全景详解

4.1 角色权限体系

平台定义了四级角色，每级角色拥有不同的管理权限和数据访问范围：

超级管理员

系统最高权限，可以管理所有渠道、配置全平台模型定价、管理所有层级用户、设置支付商户和运营参数、查看和导出全平台日志及钱包数据。

平台管理员

负责平台日常运营，包括管理分销商和普通用户账号、为分销商分配可用的模型和渠道授权、审核处理用户问题反馈、查看全平台消费和充值日志。

分销商

作为中间运营层，拥有独立的管理后台。可以管理名下普通用户、查看名下所有用户的消费日志、在平台授权范围内设置零售倍率、独立配置收款与运营策略。

普通用户

终端 API 使用者，可以使用 AI 对话与多模态功能、创建和管理 API 令牌、查看使用日志和消费明细、在线充值、提交问题反馈。

前端菜单权限（概览）

4.2 模型定价与计费引擎

价格目录管理

平台管理员可以在价格管理页面维护完整的定价目录，支持的配置维度包括：

• 模型类型：聊天对话、图像生成、视频生成、语音合成、语音识别、文本嵌入。
• 计费模式：Token 计费、图片数量计费、视频秒数计费、字符数计费、音频秒数计费、固定价格计费。
• 价格配置：区分输入价格、输出价格、缓存价格，支持阶梯定价。
• 币种：支持人民币（CNY）和美元（USD）。
• 标签：可为模型添加”高速”、”高性价比”等标签辅助用户选择。

分销商倍率机制

定价体系采用”平台基准价 × 分销商零售倍率 = 终端售价”的模型。超级管理员或平台管理员设置平台基准价后，分销商可在授权范围内调整零售倍率，倍率变更后实际计费和模型广场展示同步更新。

计费流程概览

用户发起 API 请求 → 查询模型价格（含倍率计算）
    → 转发请求到供应商 → 提取用量信息
    → 计算费用 → 扣除用户额度 → 写入消费日志

语音识别（STT）特有计费逻辑

语音转文字服务采用按上传音频实际时长计费的方式，系统自动解析用户上传的音频文件获取实际时长作为计费依据，不依赖供应商返回的时间字段。这一设计确保了计费的准确性和透明性。

4.3 渠道健康管理

健康检查与状态管理

系统定期对每个渠道自动执行健康检查，追踪连续成功和连续失败次数，实现完整的生命周期管理：

• 健康状态：渠道正常工作。
• 降级状态：出现偶发失败但未达到自动禁用阈值。
• 恢复中状态：连续失败达到阈值后自动禁用，系统逐步恢复探测。
• 不健康状态：长时间无法恢复，标记为不健康。

失败重试排除机制

当 API 请求在某个渠道失败时，系统自动发起重试，但会排除已经失败的渠道，确保请求不会反复打到同一个故障渠道，从而显著提高整体请求成功率。

4.4 钱包与支付体系

支付流程

用户发起充值 → 创建支付订单 → 选择支付方式
    │
    ├── 支付宝 → 跳转收银台 → 异步回调
    ├── 微信支付 → 展示二维码 → 扫码支付 → 异步回调
    ├── 模拟支付 → 直接确认（测试环境）
    └── 外部链接 → 跳转预设页面
    │
    ▼
    支付回调：验证签名 → 更新订单 → 到账 → 记录流水与日志

订单类型

费用策略

系统支持灵活的费用配置，包括支付宝/微信支付的手续费率设置。下单时自动冻结当前的费用策略快照，后续费率变更不影响已生成的订单，确保历史数据准确。

营销支持

4.5 问题反馈系统

工单系统简化为问题反馈，支持三类反馈类型：

处理流程：用户提交反馈 → 平台管理员审核 → 回复处理结果或填写驳回理由 → 关闭。

4.6 数据隔离

后端数据隔离是系统的核心设计原则，贯穿所有业务模块：

• 用户数据隔离：普通用户只能访问自己的数据；分销商只能访问名下用户数据。
• 日志隔离：日志按角色自动过滤，不同角色查看不同范围。
• 钱包隔离：分销商的流水数据不与其他分销商交叉。
• 模型授权隔离：分销商只能看到被授权的模型和渠道。
• 导出隔离：所有数据导出接口应用同样的隔离逻辑。

五、技术创新与亮点

1. Go 语言高性能后端

编译为单一二进制，不依赖运行时环境。Go 的协程模型天然支持高并发 API 转发。单个实例资源占用低、启动速度快，适合容器化部署和弹性伸缩。

2. 供应商适配器模式

通过统一的适配器接口，将不同供应商的 API 差异封装在各自的适配器模块中。新增供应商只需开发对应的适配器，无需修改核心转发逻辑，具备良好的可扩展性。

3. 计费快照机制

每次消费发生时，系统将当时的完整价格信息冻结为快照写入日志。这一机制确保即使后续调整了模型价格，历史账单依然保持准确，用户在任何时候查看历史消费记录都能看到当时的实际价格，审计和财务对账有据可查。

4. 分销数据隔离架构

系统通过归属标识实现多层数据隔离：

平台（超级管理员 / 平台管理员）
    ├── 分销商 A
    │       ├── 普通用户（归属 A）
    │       ├── 日志（A 及其名下用户）
    │       └── 钱包（A 的账户）
    └── 分销商 B
            ├── 普通用户（归属 B）
            ├── 日志（B 及其名下用户）
            └── 钱包（B 的账户）

各分销商之间的数据完全隔离，平台管理员可查看全平台数据但无法修改超级管理员账户。

5. 渠道健康全链路管理

覆盖从检测到恢复的完整链路：定时检测 → 状态追踪 → 自动禁用 → 请求排除 → 自动恢复 → UI 可视化展示。运营人员可在渠道管理页面直观查看各渠道的健康状态。

6. 容器化交付

提供完整的 Docker 部署方案，支持 MySQL + Redis 的生产架构。构建 Docker 镜像后即可在服务器上完成部署，支持零停机更新。

六、项目价值与成效

对平台运营方

对分销商

• 独立运营空间：拥有独立的管理后台，管理名下用户的授权、定价和使用数据。
• 灵活定价：在平台授权范围内自定义零售倍率，自主控制利润空间。
• 收款自主：独立配置支付商户和运营策略。
• 数据隔离：名下用户数据完全隔离，业务安全合规。

对终端用户

• 统一接口：一套兼容接口调用多家大模型，降低集成成本。
• 价格透明：模型广场展示公开定价，消费明细清晰可查。
• 在线充值：支持支付宝/微信支付，即时到账。
• 自助管理：集中管理 API 令牌，随时查看使用日志和消费统计。

七、项目亮点速览

八、客户评价

“LLMOneApi 帮助我们快速搭建起了 AI API 分销运营体系，从供应商接入、用户管理到计费支付实现了全流程闭环。渠道健康检查和自动切换功能显著降低了我们的运维压力，分销商角色的设计让我们能够灵活拓展下游合作伙伴。”

—— 平台运营负责人

“作为分销商，我可以独立管理名下客户，自定义售价，独立配置收款方式。数据完全隔离让我们的业务安全合规，这是其他方案无法提供的。”

—— 某签约分销商

九、结语

LLMOneApi 不仅是一个大模型 API 聚合网关，更是一套完整的 AI API 分销运营解决方案。它帮助平台运营商在 AI 浪潮中快速建立从上游到终端的商业闭环，实现技术价值向商业价值的转化。

项目从确定方向到交付运营，经历了完整的需求分析、架构设计、迭代开发和测试部署流程。我们的技术团队展示了扎实的技术能力，最终交付了一个稳定、可扩展、具备市场竞争力的产品。

如需了解更多详情，欢迎联系我们获取演示或技术交流。