Artificial Analysis: senza strumenti, Claude Fable 5.2 scende dal 67% al 44% su VIALS-AA, sotto Haiku 5.5 con strumenti

Artificial Analysis ha rieseguito VIALS-AA, il suo benchmark di ragionamento visivo nelle scienze della vita, in formato one-shot: un’unica richiesta con la domanda e le immagini, senza strumenti. Per impostazione predefinita, nel benchmark i modelli lavorano come agenti che ragionano, eseguono codice e visualizzano immagini in una sandbox. Secondo l’azienda, l’uso degli strumenti quasi raddoppia i punteggi dei modelli, portandoli da circa il 25% a circa il 47% in media.

• Fable 5.2 (max): 67% con strumenti a $4.20 per attività; 44% senza strumenti a $0.73 per attività, un risultato inferiore a quello di Claude Haiku 5.5 (max) con strumenti.
• Haiku 5.5 (max): 49% con strumenti a $0.07 per attività. Artificial Analysis afferma che spesso il modo più economico per raggiungere un determinato punteggio è usare un modello più piccolo con strumenti: Claude Opus 5.5 senza strumenti ottiene il 34% a $0.33.
• Attività di conteggio: nelle 23 attività di conteggio e quantificazione cellulare, il tasso pass^3 di Fable scende dal 65% con strumenti al 9% senza; quello di Opus 5.5 dal 57% al 4%; quello di Claude Sonnet 5.5 dal 65% al 13%. GPT-6 Astra scende dal 61% al 35% e GPT-6.1 Sol dal 61% al 39%. Nelle 23 attività di filogenetica, Astra supera il test nel 78% dei casi con strumenti e nell’83% senza.
• Chi guadagna di più: i dieci modelli con un punteggio inferiore al 31% senza strumenti effettuano in media circa 42 chiamate agli strumenti per attività, contro le circa 23 dei sette modelli con punteggi superiori. MiMo-V2.6-Pro passa dal 5% al 43% con circa 49 chiamate per attività; Gemini 3.8 Flash (high) dal 16% al 41% con circa 68. Astra e Sol effettuano circa 8 chiamate per attività e guadagnano rispettivamente 13 e 16 punti.
• Costo: gli strumenti aumentano il costo per attività per ogni modello, da $0.21 a $0.27 per Astra fino a un aumento di 5,8 volte per Fable; i moltiplicatori più alti sono quelli di Qwen3.8 Max (0902, xhigh), pari a 28×, Gemini 3.8 Flash a 20× e MiMo-V2.6-Pro a 15×.

Si tratta di misurazioni effettuate da Artificial Analysis.