Artificial Analysis: Salesforce’un SOV-Transcribe-1 modeli, %2,3 kelime hata oranıyla açık ağırlıklı konuşmayı metne dönüştürme modelleri arasında zirvede

Artificial Analysis’a göre Salesforce’un Missionforce Sovereign AI ekibinden yeni açık ağırlıklı konuşmayı metne dönüştürme modeli SOV-Transcribe-1, AA-WER Index’te %2,3 puan aldı. Bu sonuç, açık ağırlıklı modeller arasında 1., tescilli modeller de dahil toplam 44 model arasında ise 7. sırada. Model ağırlıkları Hugging Face’te.

• Diğer açık modellerle karşılaştırma: Sıradaki iki model, Mistral’ın Voxtral Small modeli ile NVIDIA’nın Nemotron 3.5 Transcribe modeli, %2,8 puan aldı.
• Boyut: Modelin 4,6B etkin parametresi (toplam 26,6B) var. Artificial Analysis, bunun Voxtral Small’dan (24B) yaklaşık 5 kat daha az etkin parametreye karşılık geldiğini ve Nemotron 3.5 Transcribe’a (4B) yakın olduğunu belirtiyor.
• Veri kümelerine göre: Earnings22 kazanç görüşmelerinde açık ağırlıklı modeller arasında lider (%4,1; Voxtral Small %4,8), VoxPopuli parlamento konuşmalarında ise az farkla önde (%1,5’e karşı %1,8). Artificial Analysis’ın sesli ajan konuşmalarından oluşan veri kümesi AA-AgentTalk’ta %1,8 puan alarak Nemotron 3.5 Transcribe ile aynı seviyede.
• Hız: Salesforce’un barındırdığı uç noktada 60x Speed Factor’a ulaşıyor; bir dakikalık sesi yazıya dökmek yaklaşık bir saniye sürüyor.

Sıralama ve rakamlar, Artificial Analysis’ın kendi ölçümlerine dayanıyor.