Artificial Analysis의 Speech Agent Arena에서 Cartesia Managed Agents, Elo 1115점 기록
Artificial Analysis에 따르면, 음성 에이전트 구축 및 배포를 위한 Cartesia의 완전 관리형 플랫폼인 Cartesia Managed Agents는 Speech Agent Arena에서 Elo 1115점(95% 신뢰구간 1086–1144, 샘플 685개)을 기록했습니다. 이는 Cartesia의 이전 음성 에이전트 제품인 Cartesia Line(1017점)보다 98점 높은 점수입니다. 두 신뢰구간은 겹치지 않습니다. 이 결과는 Artificial Analysis 자체 평가입니다.
보고된 결과:
- 도구 호출이 필요한 작업에서 Managed Agents는 Elo 1112점을 기록했습니다.
- Task Success Rate(도구 호출이 가능한 대화 중, 올바른 최종 작업 완료 도구 호출로 끝나는 비율)는 91.7%로, Cartesia Line의 77.5%에서 상승했습니다.
이 아레나에서는 참가자가 같은 과제를 두고 정체를 알 수 없는 시스템 두 개와 실시간 음성 대화를 나눈 뒤 더 선호하는 쪽을 선택합니다. Managed Agents는 여러 모델을 조합한 시스템입니다. Cartesia의 Ink 음성-텍스트 변환 모델과 Sonic 텍스트-음성 변환 모델이 개발자가 선택한 LLM과 함께 작동합니다. Artificial Analysis는 GPT-5.5와 Skylar 및 Daniel 음성을 사용해 테스트했습니다.
Artificial Analysis가 공개한 가격은 통화 시간 분당 $0.06(시간당 $3.60)이며, LLM 사용료는 모델별로 별도 청구됩니다.
출처
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.