Artificial Analysis uruchamia AA-Video-I2V v2.1, benchmark modeli image-to-video

Artificial Analysis uruchomiła AA-Video-I2V v2.1 i AA-Video-I2V-Silent v2.1 — benchmark modeli image-to-video. Każdy prompt łączy obraz początkowy w rozdzielczości 1080p z przygotowanym dla niego promptem i jest oznaczony kategorią zastosowania, możliwości oraz stylu wizualnego; modele są oceniane w rozdzielczości do 1080p i klasyfikowane w 10 kategoriach zastosowań oraz 10 kategoriach możliwości. W rankingu ogólnym próbki są równomiernie dobierane z tych kategorii. Wyniki pochodzą od Artificial Analysis.

Ranking AA-Video-I2V v2.1 opiera się na ponad 58 000 głosów prywatnych oceniających z USA i Wielkiej Brytanii, oddanych na ponad 1 000 promptów; wersja Silent — na ponad 44 000 głosów dotyczących 500 promptów. Artificial Analysis podaje, że tylko 5% promptów znajduje się w jej publicznej arenie, a prompty są co miesiąc zmieniane, by ograniczyć ryzyko zanieczyszczenia wyników.

Podawane przez firmę wyniki:

• Dreamina Seedance 2.5 zajmuje 1. miejsce w rankingu ogólnym, ze statystycznym remisem z Seedance 2.0 i rodziną MiniMax H3, oraz prowadzi w 11 rankingach kategorii. Przy cenie 34,12 USD za minutę jest najdroższym modelem w pierwszej dziesiątce.
• Dreamina Seedance 2.0 zajmuje 2. miejsce w rankingu ogólnym oraz 1. miejsce w kategoriach synchronizacji dźwięku i oświetlenia oraz materiałów.
• MiniMax H3 (768p), model z otwartymi wagami, zajmuje 3. miejsce. Kosztuje 4,80 USD za minutę, czyli około siedem razy mniej niż Seedance 2.5, i zajmuje 1. miejsce w kategorii renderowania tekstu. Znajduje się na granicy Pareto jakości i ceny w obu benchmarkach.
• MiniMax H3 Max, poddany dalszemu treningowi przez fal, zajmuje 4. miejsce z dźwiękiem i 1. miejsce w wersji Silent.
• Bach 1.0 Pro od Video Rebirth zajmuje 3. miejsce w wersji Silent, ze statystycznym remisem o 1. miejsce, i kosztuje 7,20 USD za minutę.
• Rankingi różnią się od wyników dla text-to-video: Wan 3.0, lider AA-Video-T2V v2.1, zajmuje tu 5. miejsce, a Gemini Omni Flash 1.1 jest 9. w rankingu ogólnym, ale 3. w kategorii synchronizacji dźwięku.