Arena, Meta'nın Muse Ember modelini Agent Arena'da görev başına yaklaşık 0,02 dolarla 25. sırada gösteriyor
Arena, Meta'nın Muse Ember (Max) modelinin topluluğundan gelen 6.000 ajan tabanlı oturumda, Agent Arena genel sıralamasında 25. olduğunu ve net iyileşmenin +%1,7 olduğunu söylüyor. Buna göre model, 24. sıradaki Muse Wonder (Max) ile aynı seviyede.
Arena, modeli diğer iki küçük modelle karşılaştırıyor:
| Model | Sıra | Net iyileşme | Görev başına maliyet | Görev başına süre | Çıktı belirteçleri | | --- | --- | --- | --- | --- | --- | | Muse Ember (Max) | #25 | +%1,7 | $0.02 | 0,5 dk. | 11.6K | | GPT-6 Luna (Max) | #26 | +%1,6 | $0.09 | 6 dk. | 41.2K | | Claude Haiku 5.5 (High) | #29 | +%0,5 | $0.08 | 1,8 dk. | 24.3K |
Arena, Ember'ın medyan görev maliyetinin diğer ikisinin yaklaşık 4 kat altında olduğunu, Luna'dan yaklaşık 12 kat, Haiku 5.5'ten ise 3,5 kat hızlı tamamladığını ve sırasıyla %72 ve %52 daha az çıktı belirteci kullandığını söylüyor. Bunlar Arena'nın kendi verileri.
Kaynaklar
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.