Artificial Analysis lanceert AA-Video-I2V v2.1, een benchmark voor image-to-video-modellen

Artificial Analysis heeft AA-Video-I2V v2.1 en AA-Video-I2V-Silent v2.1 gelanceerd, benchmarks voor image-to-video-modellen. Elke prompt koppelt een startafbeelding in 1080p aan een prompt die ervoor is geschreven en is getagd op gebruikssituatie, capaciteit en visuele stijl; modellen worden beoordeeld tot maximaal 1080p en gerangschikt in 10 gebruikssituaties en 10 capaciteiten. De totaalscore wordt berekend op basis van een gelijk aantal voorbeelden uit elk onderdeel. De resultaten zijn van Artificial Analysis zelf.

De rangschikking van AA-Video-I2V v2.1 is gebaseerd op meer dan 58.000 stemmen van besloten beoordelaars in de VS en het VK, verspreid over 1.000 prompts. De Silent-versie is gebaseerd op meer dan 44.000 stemmen over 500 prompts. Artificial Analysis zegt dat slechts 5% van de prompts in de openbare arena wordt gebruikt en dat prompts maandelijks rouleren om besmetting te voorkomen.

Gerapporteerde resultaten:

• Dreamina Seedance 2.5 staat overall op #1, statistisch gelijk met Seedance 2.0 en de MiniMax H3-familie, en voert 11 categorieranglijsten aan. Met $34.12 per minuut is het het duurste model in de top 10.
• Dreamina Seedance 2.0 staat op #2 en op #1 voor Audio Synchronization en Lighting & Materials.
• MiniMax H3 (768p), een model met open weights, staat op #3 voor $4.80 per minuut, ongeveer een zevende van de prijs van Seedance 2.5, en op #1 voor Text Rendering. Het bevindt zich op de Pareto-frontier voor kwaliteit versus prijs van beide benchmarks.
• MiniMax H3 Max, verder getraind door fal, staat op #4 met audio en op #1 in de Silent-versie.
• Bach 1.0 Pro van Video Rebirth staat op #3 in de Silent-versie, statistisch gelijk met #1, voor $7.20 per minuut.
• De ranglijsten verschillen van die voor text-to-video: Wan 3.0, dat AA-Video-T2V v2.1 aanvoert, staat hier op #5, en Gemini Omni Flash 1.1 staat overall op #9, maar op #3 voor Audio Synchronization.