Arena: Meta'nın Muse Ember modeli, Agent Arena'da görev başına 1,9¢ maliyetle verimli modellerin başında
Arena'ya göre Meta'nın Muse Ember (Max) modeli, gerçek işlerde kullanılmak üzere geliştirilen verimli modeller arasında yeni lider. Agent Arena'da tüm ölçütlerde OpenAI'ın GPT-6 Luna (Max) ve Anthropic'in Claude Haiku 5.5 (High) modellerini geride bırakıyor:
| Model | Net iyileşme | Görev başına maliyet | Görev başına süre | | --- | --- | --- | --- | | Muse Ember (Max) | +2.3% | 1.9¢ | 27 s | | GPT-6 Luna (Max) | +1.4% | 7.0¢ | 5.8 min | | Claude Haiku 5.5 (High) | +0.4% | 6.9¢ | 1.9 min |
Arena, Ember'ın Luna'dan yaklaşık 13 kat hızlı olduğunu ve her iki modelin maliyetinin üçte birinden daha aza mal olduğunu belirtiyor. Ayrıca Ember'ın iş görevlerindeki yönlendirilebilirlik puanına ilişkin bir analize ve kullanıcıların modelle gerçekleştirdiği gerçek dünya görevlerine dikkat çekiyor. Bunlar Arena'nın kendi verileri; daha önce yayımlanan bir Arena raporunda Ember, +1.7% net iyileşmeyle 25. sıradaydı.
Kaynaklar
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.