Artificial Analysis lance Code2Video-AA, un benchmark de vidéos marketing créées en code

Artificial Analysis a présenté Code2Video-AA, sa propre implémentation de Code2Video Bench de HeyGen, développée en partenariat avec HeyGen. Les modèles reçoivent 114 briefs de marketing produit et de marque et doivent répondre à chacun avec une composition HTML HyperFrames en une seule réponse, sans outils ; la composition est rendue en vidéo sans accès au réseau. Un modèle évaluateur (Gemini 4 Argon, high) compare les vidéos deux à deux selon l’engagement, le respect de l’intention du prompt, la composition, la cohérence temporelle et la qualité d’exécution. Les notes Elo des cinq axes sont moyennées pour obtenir le score principal. Plus de 35 000 évaluations classent 27 modèles. Ces résultats sont ceux d’Artificial Analysis.

Résultats communiqués :

• Claude Opus 5.5 (max with fallback) arrive en tête avec 1536 Elo, soit 93 points d’avance sur les modèles suivants, et domine les cinq axes, avec son plus gros avantage sur la qualité d’exécution. Il coûte $3.08 par tâche.
• Claude Sonnet 5.5 (1443) et GPT-6 Astra (1427) sont statistiquement à égalité en deuxième position.
• GPT-6.1 Sol (max) arrive quatrième avec 1369 et coûte $0.31 par tâche, soit environ un dixième du coût d’Opus 5.5. Le coût par tâche varie de $0.01 à $3.89 selon les modèles, et huit modèles se situent sur la frontière de Pareto Elo/coût.
• Les modèles à poids ouverts accusent un retard d’au moins 483 points : DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) et MiMo-V2.6-Pro (1052) sont les mieux classés, pour un coût de $0.01 à $0.08 par tâche.