Artificial Analysis: без инструментов результат Claude Fable 5.2 на VIALS-AA падает с 67% до 44% — ниже, чем у Haiku 5.5 с инструментами

Artificial Analysis повторила тест VIALS-AA — свой бенчмарк визуального мышления в биологических науках — в формате одного запроса: вопрос и изображения передавались модели без инструментов. По умолчанию в бенчмарке модели работают как агенты: размышляют, запускают код и просматривают изображения в песочнице. По данным компании, использование инструментов почти вдвое повышает средние результаты моделей: примерно с 25% до 47%.

• Fable 5.2 (max): 67% с инструментами при стоимости $4.20 за задачу; 44% без инструментов при стоимости $0.73 за задачу — ниже, чем у Claude Haiku 5.5 (max) с инструментами.
• Haiku 5.5 (max): 49% с инструментами при стоимости $0.07 за задачу. По данным Artificial Analysis, часто дешевле всего достичь нужного результата с помощью более компактной модели и инструментов: Claude Opus 5.5 без инструментов набирает 34% при стоимости $0.33.
• Задачи на подсчёт: в 23 задачах по подсчёту клеток и количественной оценке доля прохождения Fable падает с 65% с инструментами до 9% без них; у Opus 5.5 — с 57% до 4%; у Claude Sonnet 5.5 — с 65% до 13%. Результат GPT-6 Astra падает с 61% до 35%, а GPT-6.1 Sol — с 61% до 39%. В 23 задачах по филогенетике Astra справляется с 78% задач с инструментами и с 83% без них.
• Кто выигрывает больше всего: десять моделей с результатом ниже 31% без инструментов в среднем делают около 42 вызовов инструментов на задачу, а семь моделей с результатом выше этого порога — около 23. MiMo-V2.6-Pro повышает результат с 5% до 43%, делая около 49 вызовов на задачу; Gemini 3.8 Flash (high) — с 16% до 41%, делая около 68 вызовов. Astra и Sol делают около 8 вызовов на задачу и повышают результат на 13 и 16 пунктов соответственно.
• Стоимость: инструменты увеличивают стоимость каждой задачи для всех моделей: от роста с $0.21 до $0.27 у Astra до увеличения в 5,8 раза у Fable. Самые большие множители роста — у Qwen3.8 Max (0902, xhigh): 28×, Gemini 3.8 Flash: 20× и MiMo-V2.6-Pro: 15×.

Это собственные измерения Artificial Analysis.