Artificial Analysis, kodla oluşturulan pazarlama videoları için bir benchmark olan Code2Video-AA'yı kullanıma sunuyor

Artificial Analysis, HeyGen ile ortaklaşa geliştirdiği ve HeyGen'in Code2Video Bench'inin kendi uygulaması olan Code2Video-AA'yı tanıttı. Modellere 114 ürün ve marka pazarlama brief'i veriliyor; her birine araç kullanmadan, tek bir yanıtta HyperFrames HTML kompozisyonuyla karşılık vermeleri gerekiyor. Kompozisyon, ağ erişimi olmadan videoya dönüştürülüyor. Bir değerlendirici model (Gemini 4 Argon, high), videoları etkileşim, istemin amacına uygunluk, kompozisyon, zamansal tutarlılık ve işçilik açısından ikili olarak karşılaştırıyor; beş eksendeki Elo puanlarının ortalaması da genel puanı oluşturuyor. 35.000'den fazla değerlendirme, 27 modeli sıralıyor. Sonuçlar Artificial Analysis'in kendi sonuçlarıdır.

Bildirilen sonuçlar:

• Claude Opus 5.5 (max with fallback), 1536 Elo ile lider. Sıradaki modellerden 93 puan önde ve beş eksenin tamamında zirvede; en büyük farkı işçilikte. Görev başına maliyeti $3.08.
• Claude Sonnet 5.5 (1443) ile GPT-6 Astra (1427), ikinci sıra için istatistiksel olarak başa baş.
• GPT-6.1 Sol (max), 1369 puan ve görev başına $0.31 maliyetle dördüncü sırada; maliyeti Opus 5.5'in yaklaşık onda biri. Modellerin görev başına maliyeti $0.01 ile $3.89 arasında değişiyor ve sekiz model Elo-maliyet Pareto sınırında yer alıyor.
• Açık ağırlıklı modeller en az 483 puan geride: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) ve MiMo-V2.6-Pro (1052) en üst sıradakiler; görev başına maliyetleri $0.01 ile $0.08 arasında.