Artificial Analysis lance Code2Video-AA, un benchmark de vidéos marketing créées en code

Artificial Analysis a présenté Code2Video-AA, sa propre implémentation de Code2Video Bench de HeyGen, développée en partenariat avec HeyGen. Les modèles reçoivent 114 briefs de marketing produit et de marque et doivent répondre à chacun avec une composition HTML HyperFrames en une seule réponse, sans outils ; la composition est ensuite rendue en vidéo sans accès au réseau. Un modèle évaluateur (Gemini 4 Argon, high) compare les vidéos deux à deux selon leur capacité à susciter l’engagement, le respect de l’intention du prompt, la composition, la cohérence temporelle et la qualité d’exécution. Les notes Elo des cinq axes sont moyennées pour produire le score principal. Plus de 35 000 évaluations classent 27 modèles. Les résultats sont ceux d’Artificial Analysis.

Résultats rapportés :

• Claude Opus 5.5 (max avec fallback) arrive en tête avec 1536 Elo, soit 93 points d’avance sur les modèles suivants, et domine sur les cinq axes, avec son avance la plus importante en qualité d’exécution. Il coûte 3,08 $ par tâche.
• Claude Sonnet 5.5 (1443) et GPT-6 Astra (1427) sont à égalité statistique en deuxième position.
• GPT-6.1 Sol (max) est quatrième avec 1369 points et coûte 0,31 $ par tâche, soit environ un dixième du coût d’Opus 5.5. Le coût par tâche varie de 0,01 $ à 3,89 $ selon les modèles, et huit modèles se trouvent sur la frontière de Pareto Elo-coût.
• Les modèles à poids ouverts accusent un retard d’au moins 483 points : DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) et MiMo-V2.6-Pro (1052) sont les mieux classés, à un coût de 0,01 $ à 0,08 $ par tâche.