Artificial Analysis uruchamia Code2Video-AA, benchmark filmów marketingowych tworzonych za pomocą kodu

Artificial Analysis zaprezentowało Code2Video-AA, własną implementację Code2Video Bench firmy HeyGen, opracowaną we współpracy z HeyGen. Modele otrzymują 114 briefów marketingowych dotyczących produktów i marek i muszą odpowiedzieć na każdy z nich kompozycją HTML w HyperFrames w jednej odpowiedzi, bez użycia narzędzi; kompozycja jest renderowana do wideo bez dostępu do sieci. Model oceniający (Gemini 4 Argon, high) porównuje pary filmów pod kątem zaangażowania, zgodności z intencją promptu, kompozycji, spójności czasowej i jakości wykonania, a średnia ocen Elo z pięciu osi daje wynik główny. Ponad 35 000 werdyktów pozwoliło uszeregować 27 modeli. Wyniki pochodzą od Artificial Analysis.

Zgłoszone wyniki:

• Claude Opus 5.5 (max with fallback) prowadzi z wynikiem 1536 Elo, o 93 punkty wyprzedzając kolejne modele, i osiąga najlepszy wynik we wszystkich pięciu kategoriach, z największą przewagą w jakości wykonania. Kosztuje 3,08 USD za zadanie.
• Claude Sonnet 5.5 (1443) i GPT-6 Astra (1427) są statystycznie ex aequo na drugim miejscu.
• GPT-6.1 Sol (max) zajmuje czwarte miejsce z wynikiem 1369 i kosztem 0,31 USD za zadanie — około jednej dziesiątej kosztu Opus 5.5. Koszt zadania wśród modeli wynosi od 0,01 do 3,89 USD, a osiem modeli znajduje się na granicy Pareto dla zależności Elo od kosztu.
• Modele z otwartymi wagami tracą co najmniej 483 punkty: najlepsze z nich to DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) i MiMo-V2.6-Pro (1052), których koszt wynosi od 0,01 do 0,08 USD za zadanie.