OrcaRouter 的核心功能
自适应智能路由
OrcaRouter 通过嵌入向量对每个提示进行评分，并通过一个从真实流量中在线学习的模型进行路由，自动将每个请求发送到最适配的模型。
路由精度领先
截至 2026 年 6 月，该路由器在公开的 RouterArena 排行榜上以 75.5% 的准确率位居首位，领先于 GPT-5、Azure、Martian 和 NotDiamond。
零 Token 加成
所有 200 多个模型均按上游提供商公布的价格计费，无任何 token 加成，使路由在每个层次上均免费。
一个端点接入 200+ 模型
单个兼容 OpenAI 的端点即可访问来自 Anthropic、Google、阿里云和 Moonshot 等提供商的 200 多个模型。
自动故障转移
当提供商触发速率限制或返回 5xx 错误时，OrcaRouter 会在响应开始前的 50 毫秒内，从 200 多个选项中重试至健康的模型。
可配置的路由目标
工作区可配置多种路由模式，包括 Cheapest、Balanced、Quality 和 Adaptive，每种模式针对不同的优先级进行优化。
安全护栏
每次请求均执行提示注入检测、敏感数据拦截和主题强制策略，以防止滥用和数据泄露。
智能体防火墙
API 密钥治理和模型访问控制可限制每个智能体或服务通过网关能够访问的模型和能力。
可观测性
内置仪表盘跟踪所有路由流量的请求量、延迟、成本、模型使用情况和故障率。
路由即代码
路由逻辑可通过带有 CEL 表达式的版本控制 YAML 来表达，数秒内即可部署，无需任何客户端更改或重新部署。
负载均衡
流量在提供商和模型之间分发，以优化成本、延迟和可用性，同时防止任何单一上游过载。
OrcaRouter 的用例
- [创业团队]：通过单一端点访问200多个LLM，无需管理多个API密钥或供应商集成。
- [工程团队]：自动将提示词路由至最优模型，零手动调优即可平衡质量与成本。
- [企业安全团队]：通过集中治理层在整个AI使用中强制执行护栏和智能体防火墙策略。
- [运维团队]：当上游供应商限速或宕机时，自动实现50毫秒以内故障转移，保障服务连续性。
- [财务团队]：通过智能路由选择满足质量要求的最便宜模型，将AI支出降低多达40%。
