Artificial Analysis запускает AA-Video-I2V v2.1 — бенчмарк для моделей преобразования изображений в видео

Artificial Analysis запустила AA-Video-I2V v2.1 и AA-Video-I2V-Silent v2.1 — бенчмарки для моделей преобразования изображений в видео. Каждый запрос включает исходное изображение в разрешении 1080p и специально составленный для него промпт; запросы помечены по сценарию использования, возможностям и визуальному стилю. Модели оцениваются с разрешением до 1080p и ранжируются в 10 сценариях использования и по 10 возможностям. В общем рейтинге выборка равномерно распределена между ними. Результаты принадлежат самой Artificial Analysis.

В рейтинге AA-Video-I2V v2.1 учтено более 58 000 голосов частных оценщиков из США и Великобритании по 1 000 промптам, а в версии Silent — более 44 000 голосов по 500 промптам. По данным Artificial Analysis, только 5% промптов доступны на публичной арене; промпты ежемесячно меняются, чтобы снизить риск загрязнения данных.

Результаты по данным Artificial Analysis:

• Dreamina Seedance 2.5 занимает #1 в общем рейтинге, статистически не уступая Seedance 2.0 и семейству MiniMax H3, и лидирует в 11 тематических категориях. При цене $34.12 за минуту это самая дорогая модель в топ-10.
• Dreamina Seedance 2.0 занимает #2 и лидирует в категориях «Синхронизация аудио» и «Освещение и материалы».
• MiniMax H3 (768p), модель с открытыми весами, занимает #3 при цене $4.80 за минуту — примерно в семь раз дешевле Seedance 2.5 — и лидирует в категории «Отображение текста». В обоих бенчмарках она находится на границе Парето по качеству и цене.
• MiniMax H3 Max, дополнительно обученная fal, занимает #4 с аудио и #1 в версии Silent.
• Bach 1.0 Pro от Video Rebirth занимает #3 в версии Silent и статистически не уступает модели на #1 месте; цена — $7.20 за минуту.
• Рейтинги отличаются от рейтингов преобразования текста в видео: Wan 3.0, лидирующая в AA-Video-T2V v2.1, здесь занимает #5, а Gemini Omni Flash 1.1 — #9 в общем рейтинге, но #3 в категории «Синхронизация аудио».