统一接入
组织统一调用大模型。
核心能力
统一的 LLM 访问网关
聚合多个大模型供应商，通过统一接入令牌、模型别名、配额、限流、并发、熔断与用量审计提供受控的模型访问。
- 统一令牌与模型别名路由。
- 配额、限流、并发与熔断。
- 用量计费与审计记录。
产品能力
接入令牌
统一令牌路由。
模型别名
多供应商模型映射。
配额限流
配额、限流与并发。
用量审计
计费与审计。
架构说明
作为统一 LLM 接入网关，聚合多供应商模型，以统一令牌与别名路由，提供配额、限流、并发、熔断与用量审计。
运行链路
- 业务接入，通过统一令牌访问模型。
- 计费接入，上报用量用于计费审计。
结果追踪
- 记录调用与令牌，用量可追踪。
- 支持计费报表，便于成本与审计。
应用场景
按对象类型、运行环境和操作目标组织产品使用场景。
配额控制
按令牌与配额限流。
用量审计
计费与审计记录。