Artificial Analysis lancia Code2Video-AA, un benchmark di video di marketing realizzati con codice

Artificial Analysis ha presentato Code2Video-AA, una propria implementazione di Code2Video Bench di HeyGen, sviluppata in collaborazione con HeyGen. Ai modelli vengono forniti 114 brief di marketing per prodotti e brand e devono rispondere a ciascuno con una composizione HTML HyperFrames in un’unica risposta, senza strumenti; la composizione viene convertita in video senza accesso alla rete. Un modello valutatore (Gemini 4 Argon, high) confronta coppie di video in base a coinvolgimento, aderenza all’intento del prompt, composizione, coerenza temporale e qualità esecutiva; i punteggi Elo sui cinque assi vengono poi mediati per ottenere il punteggio complessivo. Oltre 35.000 valutazioni classificano 27 modelli. I risultati sono quelli di Artificial Analysis.

Risultati riportati:

• Claude Opus 5.5 (max with fallback) è in testa con 1536 Elo, 93 punti davanti ai modelli successivi, e primeggia su tutti e cinque gli assi, con il vantaggio maggiore sulla qualità esecutiva. Costa $3.08 per attività.
• Claude Sonnet 5.5 (1443) e GPT-6 Astra (1427) sono statisticamente alla pari al secondo posto.
• GPT-6.1 Sol (max) è quarto con 1369 e $0.31 per attività, circa un decimo del costo di Opus 5.5. Il costo per attività varia da $0.01 a $3.89 tra i modelli, e otto modelli si trovano sulla frontiera di Pareto del rapporto tra Elo e costo.
• I modelli open-weight sono indietro di almeno 483 punti: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) e MiMo-V2.6-Pro (1052) sono i primi, con costi da $0.01 a $0.08 per attività.