Artificial Analysis: Salesforce의 SOV-Transcribe-1, 단어 오류율 2.3%로 최고 오픈 웨이트 음성-텍스트 모델

Artificial Analysis에 따르면 Salesforce의 Missionforce Sovereign AI 팀이 새로 공개한 오픈 웨이트 음성-텍스트 모델 SOV-Transcribe-1은 AA-WER Index에서 2.3%를 기록했습니다. 오픈 웨이트 모델 중 1위이며, 독점 모델을 포함한 전체 44개 모델 중 7위입니다. 가중치는 Hugging Face에서 공개되어 있습니다.

• 다른 오픈 모델과 비교: 그다음 순위인 Mistral의 Voxtral Small과 NVIDIA의 Nemotron 3.5 Transcribe는 모두 2.8%를 기록했습니다.
• 크기: 이 모델의 활성 파라미터는 4.6B(전체 26.6B)입니다. Artificial Analysis는 활성 파라미터 수가 Voxtral Small(24B)보다 약 5배 적고 Nemotron 3.5 Transcribe(4B)와 비슷하다고 설명합니다.
• 데이터셋별 성능: 수익 발표 콘퍼런스콜 데이터셋인 Earnings22에서 오픈 웨이트 모델 중 가장 높은 성능을 보였습니다(Voxtral Small의 4.8% 대비 4.1%). 의회 발언 데이터셋인 VoxPopuli에서도 근소하게 앞섰습니다(1.8% 대비 1.5%). Artificial Analysis의 음성 에이전트 대화 데이터셋인 AA-AgentTalk에서는 Nemotron 3.5 Transcribe와 같은 1.8%를 기록했습니다.
• 속도: Salesforce의 호스팅 엔드포인트에서 Speed Factor 60x를 기록해, 오디오 1분을 약 1초 만에 텍스트로 변환합니다.

순위와 수치는 Artificial Analysis 자체 측정 결과입니다.