Artificial Analysis lança o Code2Video-AA, um benchmark de vídeos de marketing criados com código
A Artificial Analysis apresentou o Code2Video-AA, sua própria implementação do Code2Video Bench da HeyGen, desenvolvida em parceria com a HeyGen. Os modelos recebem 114 briefings de marketing de produtos e marcas e devem responder a cada um com uma composição HTML do HyperFrames em uma única resposta, sem ferramentas; a composição é renderizada em vídeo sem acesso à rede. Um modelo avaliador (Gemini 4 Argon, high) compara pares de vídeos em termos de engajamento, intenção do prompt, composição, consistência temporal e execução, e as classificações Elo dos cinco eixos são calculadas pela média para gerar a pontuação principal. Mais de 35.000 avaliações classificam 27 modelos. Os resultados são da própria Artificial Analysis.
Resultados divulgados:
- Claude Opus 5.5 (max com fallback) lidera com 1536 Elo, 93 pontos à frente dos modelos seguintes, e fica no topo dos cinco eixos, com sua maior vantagem em execução. Custa US$ 3,08 por tarefa.
- Claude Sonnet 5.5 (1443) e GPT-6 Astra (1427) estão estatisticamente empatados em segundo lugar.
- GPT-6.1 Sol (max) fica em quarto, com 1369 e US$ 0,31 por tarefa, cerca de um décimo do custo do Opus 5.5. O custo por tarefa entre os modelos varia de US$ 0,01 a US$ 3,89, e oito modelos estão na fronteira de Pareto entre Elo e custo.
- Modelos de pesos abertos ficam pelo menos 483 pontos atrás: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) e MiMo-V2.6-Pro (1052) são os melhores, a US$ 0,01 a US$ 0,08 por tarefa.
Fontes
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.