SemiAnalysis : Claude Fable 5.2 fait son entrée en tête de son classement GDPx avec un score de 16,4 %, à un coût par tâche supérieur de 31 % à celui de Fable 5.1
Selon SemiAnalysis, Claude Fable 5.2 fait son entrée en tête de son classement GDPx avec un score de 16,4 %. L’entreprise indique que les progrès par rapport à Claude Opus 5.5 concernent principalement la conception de puces (+10,8 %) et le génie logiciel (+15,5 %), avec des gains plus modestes en science des matériaux (+5,3 %) et en biologie (+7,7 %), et peu de changements en finance quantitative et en conception matérielle.
Dans la catégorie RSI, que SemiAnalysis utilise pour suivre les capacités de recherche en IA, l’entreprise indique que Fable 5.2 obtient un score à peu près identique à celui de Claude Sonnet 5.5. Elle estime que cela concorde avec la déclaration d’Anthropic selon laquelle l’entreprise a limité les progrès en recherche sur l’IA pendant l’entraînement.
À partir de l’analyse des déroulés du modèle, SemiAnalysis indique que Fable 5.2 teste son travail beaucoup plus minutieusement : il écrit souvent des centaines, voire des milliers de cas de test, alors qu’Opus 5.5 et Fable 5.1 s’arrêtaient à une vingtaine. Selon l’entreprise, cette persévérance a un coût : le coût moyen par tâche est supérieur de 31 % à celui de Fable 5.1 (88,15 $ contre 67,16 $), même si Fable 5.2 coûte 20 % moins cher par million de tokens.
SemiAnalysis qualifie Fable 5.2 d’amélioration marginale, sans commune mesure avec la sortie initiale de Mythos. Ces chiffres et opinions sont ceux de SemiAnalysis.
Sources
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.