智能路由

type
status
date
slug
summary
tags
category
icon
password
AIrouter 的智能路由引擎负责将每一次 API 请求分配到最合适的渠道，保障服务的稳定性和可用性。

工作原理

核心能力

加权随机负载均衡

为同一模型的不同渠道配置权重值。路由引擎按照权重比例分配请求流量，实现：
  • 充分利用多个供应商资源
  • 灵活控制各渠道的流量占比
  • 避免单一渠道过载
示例：假设模型 gpt-5.3-codex 配置了 A、B 两个渠道，权重分别为 3 和 1，则约 75% 的请求流向 A，25% 流向 B。

失败自动重试

当某个渠道返回错误（超时、限流、服务不可用等）时，路由引擎会自动将请求切换到下一个可用渠道。
  • 对用户完全透明，调用方不会感知到渠道切换
  • 可配置最大重试次数
  • 支持错误类型过滤（仅对可恢复错误重试）

渠道健康监测

系统自动监控各渠道的健康状态：
指标
说明
成功率
渠道请求成功的比例
响应时间
渠道平均响应延迟
可用状态
渠道是否处于启用状态
当渠道持续异常时，系统会自动降低其权重或暂停使用，待恢复后重新纳入调度。

用户级别限流

为不同用户群体设置差异化的请求频率限制：
  • 按每分钟请求次数（RPM）限制
  • 按每分钟 Token 数（TPM）限制
  • 防止滥用，保障所有用户的服务质量
上一篇
模型库总览
下一篇
Playground 试用区
Loading...