OrcaRouter 핵심 기능

적응형 스마트 라우팅

OrcaRouter는 임베딩을 통해 각 프롬프트를 평가하고 실제 트래픽에서 온라인 학습하는 모델을 통해 라우팅하여 각 요청을 가장 적합한 모델로 자동 전송합니다.

라우팅 정확도 선두

이 라우터는 공개 RouterArena 리더보드에서 75.5%의 정확도로 2026년 6월 기준 GPT-5, Azure, Martian, NotDiamond을 앞서며 1위를 차지하고 있습니다.

제로 토큰 마크업

200개 이상의 모든 모델은 업스트림 제공업체의 공시 가격으로 청구되며 토큰 마크업이 전혀 없어 모든 등급에서 라우팅이 무료입니다.

하나의 엔드포인트로 200+ 모델

OpenAI 호환 단일 엔드포인트로 Anthropic, Google, Alibaba Cloud, Moonshot 등 제공업체의 200개 이상의 모델에 액세스할 수 있습니다.

자동 장애 조치

제공업체가 속도 제한에 도달하거나 5xx 오류를 반환하면 OrcaRouter는 응답이 시작되기 전 50밀리초 이내에 200개 이상의 옵션 중 정상 모델로 재시도합니다.

구성 가능한 라우팅 목표

작업공간에 Cheapest, Balanced, Quality, Adaptive 등 각각 다른 우선순위에 최적화된 라우팅 모드를 구성할 수 있습니다.

가드레일

프롬프트 인젝션 탐지, 민감한 데이터 차단, 주제 강제 정책이 모든 요청에 대해 실행되어 오용과 데이터 유출을 방지합니다.

에이전트 방화벽

API 키 거버넌스와 모델 액세스 제어를 통해 각 에이전트나 서비스가 게이트웨이를 통해 도달할 수 있는 모델과 기능을 제한합니다.

옵저버빌리티

내장 대시보드가 라우팅된 모든 트래픽의 요청량, 지연 시간, 비용, 모델 사용량 및 장애율을 추적합니다.

코드로서의 라우팅

라우팅 로직은 CEL 표현식이 포함된 버전 관리 YAML로 표현할 수 있으며, 클라이언트 측 변경이나 재배포 없이 수초 내에 배포할 수 있습니다.

로드 밸런싱

트래픽은 비용, 지연 시간, 가용성을 최적화하기 위해 제공업체와 모델 간에 분산되며, 단일 업스트림에 과부하가 발생하지 않도록 방지합니다.

• [스타트업]：단일 엔드포인트로 200개 이상의 LLM에 접근. 여러 API 키나 공급자 통합을 관리할 필요가 없습니다.
• [엔지니어링 팀]：프롬프트를 자동으로 최적 모델에 라우팅. 수동 튜닝 없이 품질과 비용의 균형을 유지합니다.
• [엔터프라이즈 보안 팀]：중앙 집중식 거버넌스 계층에서 모든 AI 사용 전반에 가드레일과 에이전트 방화벽 정책을 적용합니다.
• [운영 팀]：업스트림 공급자가 속도 제한을 걸거나 다운되면 자동으로 50ms 미만의 장애 조치를 수행하여 서비스 연속성을 유지합니다.
• [재무 팀]：품질 요건을 충족하는 가장 저렴한 모델을 선택하는 지능형 라우팅을 통해 AI 지출을 최대 40%까지 절감합니다.