Artificial Analysis: Salesforce's SOV-Transcribe-1 is het beste spraak-naar-tekstmodel met open weights, met een woordfoutpercentage van 2,3%

Volgens Artificial Analysis scoort SOV-Transcribe-1, een nieuw spraak-naar-tekstmodel met open weights van Salesforce's Missionforce Sovereign AI-team, 2,3% op de AA-WER Index. Daarmee staat het op #1 onder modellen met open weights en op #7 van in totaal 44 modellen, inclusief propriëtaire modellen. De weights zijn beschikbaar op Hugging Face.

• Vergeleken met andere open modellen: de twee daaropvolgende modellen, Voxtral Small van Mistral en Nemotron 3.5 Transcribe van NVIDIA, scoren beide 2,8%.
• Omvang: het model heeft 4,6B actieve parameters (26,6B in totaal). Artificial Analysis merkt op dat dit ongeveer 5 keer minder actieve parameters zijn dan bij Voxtral Small (24B) en ongeveer evenveel als bij Nemotron 3.5 Transcribe (4B).
• Per dataset: het staat bovenaan onder modellen met open weights voor earnings calls in Earnings22 (4,1% tegenover 4,8% voor Voxtral Small) en scoort iets beter op parlementaire toespraken in VoxPopuli (1,5% tegenover 1,8%). Op AA-AgentTalk, de dataset van Artificial Analysis met gesprekken met voice agents, scoort het 1,8%, gelijk aan Nemotron 3.5 Transcribe.
• Snelheid: op Salesforce's gehoste endpoint haalt het een Speed Factor van 60x: ongeveer één seconde om een minuut audio te transcriberen.

De ranglijst en cijfers zijn eigen metingen van Artificial Analysis.