Artificial Analysis: SOV-Transcribe-1 von Salesforce ist mit 2,3 % Wortfehlerrate das führende Speech-to-Text-Modell mit offenen Gewichten

Laut Artificial Analysis erreicht SOV-Transcribe-1, ein neues Speech-to-Text-Modell mit offenen Gewichten des Missionforce-Sovereign-AI-Teams von Salesforce, im AA-WER Index einen Wert von 2,3 %. Damit liegt es unter den Modellen mit offenen Gewichten auf Platz 1 und unter insgesamt 44 Modellen – einschließlich proprietärer Modelle – auf Platz 7. Die Gewichte sind auf Hugging Face verfügbar.

• Im Vergleich zu anderen offenen Modellen: Die beiden nächstplatzierten Modelle, Voxtral Small von Mistral und Nemotron 3.5 Transcribe von NVIDIA, erreichen beide 2,8 %.
• Größe: Das Modell hat 4,6B aktive Parameter (insgesamt 26,6B). Artificial Analysis merkt an, dass das etwa fünfmal weniger aktive Parameter sind als bei Voxtral Small (24B) und ungefähr so viele wie bei Nemotron 3.5 Transcribe (4B).
• Nach Datensatz: Bei Earnings22, einem Datensatz mit Earnings Calls, liegt es unter den Modellen mit offenen Gewichten vorn (4,1 % gegenüber 4,8 % bei Voxtral Small). Bei parlamentarischen Reden aus VoxPopuli liegt es knapp vorn (1,5 % gegenüber 1,8 %). Bei AA-AgentTalk, dem Datensatz von Artificial Analysis mit Gesprächen mit Sprachagenten, erreicht es 1,8 % und liegt damit gleichauf mit Nemotron 3.5 Transcribe.
• Geschwindigkeit: Auf dem gehosteten Endpunkt von Salesforce erreicht es einen Speed Factor von 60x und transkribiert eine Minute Audio in etwa einer Sekunde.

Das Ranking und die Werte beruhen auf eigenen Messungen von Artificial Analysis.