Artificial Analysis запускает Code2Video-AA — бенчмарк маркетинговых видеороликов, созданных с помощью кода

Artificial Analysis представила Code2Video-AA — собственную реализацию Code2Video Bench от HeyGen, созданную в партнёрстве с HeyGen. Модели получают 114 брифов для маркетинговых роликов о продуктах и брендах и должны ответить на каждый из них композицией HyperFrames в формате HTML за один запрос, без использования инструментов; композиция преобразуется в видео без доступа к сети. Модель-судья (Gemini 4 Argon, high) сравнивает пары видео по вовлечённости, соответствию замыслу запроса, композиции, временной согласованности и мастерству исполнения, а оценки Elo по пяти критериям усредняются и формируют итоговый балл. Более 35 000 вердиктов позволяют ранжировать 27 моделей. Результаты принадлежат Artificial Analysis.

Результаты по данным Artificial Analysis:

• Claude Opus 5.5 (max with fallback) лидирует с 1536 Elo, опережая следующие модели на 93 балла, и занимает первое место по всем пяти критериям; наибольший отрыв — по мастерству исполнения. Стоимость одной задачи — $3.08.
• Claude Sonnet 5.5 (1443) и GPT-6 Astra (1427) статистически неразличимы и делят второе место.
• GPT-6.1 Sol (max) занимает четвёртое место с результатом 1369 и стоимостью $0.31 за задачу — примерно в десять раз дешевле Opus 5.5. Стоимость задачи у разных моделей составляет от $0.01 до $3.89, а восемь моделей входят в границу Парето по соотношению Elo и стоимости.
• Модели с открытыми весами отстают минимум на 483 балла. Лучшие из них — DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) и MiMo-V2.6-Pro (1052); стоимость задачи составляет от $0.01 до $0.08.