OrcaRouter 的核心功能
自適應智能路由
OrcaRouter 透過嵌入向量對每個提示進行評分，並經由一個從真實流量中線上學習的模型進行路由，自動將每個請求發送至最合適的模型。
路由準確度領先
截至 2026 年 6 月，該路由器在公開的 RouterArena 排行榜上以 75.5% 的準確率位居首位，領先於 GPT-5、Azure、Martian 和 NotDiamond。
零 Token 加成
所有 200 多個模型均按上游提供商公佈的價格計費，無任何 token 加成，使路由在各層級上均為免費。
一個端點接入 200+ 模型
單個相容 OpenAI 的端點即可存取來自 Anthropic、Google、阿里雲和 Moonshot 等提供商的 200 多個模型。
自動故障轉移
當提供商觸發速率限制或返回 5xx 錯誤時，OrcaRouter 會在回應開始前的 50 毫秒內，從 200 多個選項中重試至健康的模型。
可配置的路由目標
工作區可配置多種路由模式，包括 Cheapest、Balanced、Quality 和 Adaptive，每種模式針對不同的優先級進行最佳化。
安全護欄
每次請求均執行提示注入偵測、敏感資料攔截和主題強制政策，以防止濫用和資料外洩。
AI 代理防火牆
API 金鑰治理和模型存取權限可限制每個代理或服務透過閘道能夠存取的模型和功能。
可觀測性
內建儀表板追蹤所有路由流量的請求量、延遲、成本、模型使用情況和故障率。
路由即程式碼
路由邏輯可透過帶有 CEL 運算式的版本控制 YAML 來表達，數秒內即可部署，無需任何用戶端變更或重新部署。
負載平衡
流量在提供商和模型之間分配，以最佳化成本、延遲和可用性，同時防止任何單一上游過載。
OrcaRouter 的用例
- [創業團隊]：透過單一端點存取200多個LLM，無需管理多個API金鑰或供應商整合。
- [工程團隊]：自動將提示詞路由至最佳模型，無需手動調整即可平衡品質與成本。
- [企業安全團隊]：透過集中式治理層在整個AI使用中強制執行護欄與代理防火牆政策。
- [營運團隊]：當上游供應商限速或故障時，自動在50毫秒內完成故障轉移，確保服務不中斷。
- [財務團隊]：透過智慧路由選擇符合品質要求的最便宜模型，將AI支出減少最多40%。
