Artificial Analysis veröffentlicht Intelligence Index v5, Claude Opus 5.5 an der Spitze

Artificial Analysis hat Version 5 seines Intelligence Index veröffentlicht, einer kombinierten Bewertung der Modellfähigkeiten, mit zwei neuen Benchmarks und drei Aktualisierungen. Nach eigenen Angaben basiert erstmals der Großteil des Index auf privaten Datensätzen. Außerdem wurde Progress Index v1 eingeführt, der Sprachmodelle, die seit November 2022 veröffentlicht wurden, auf einer gemeinsamen Fähigkeitsskala einordnet.

Was die Benchmark-Website berichtet (eigene Messungen):

• Neu: FrontierCode 2.0, Cognitions privater Coding-Benchmark mit 132 Aufgaben in realen Open-Source-Repositories, bewertet danach, ob ein Maintainer die Änderung übernehmen würde; und Terminal-Bench-Science, bei dem GPT-6 Astra (max) mit 63 % führt, gefolgt von Claude Opus 5.5 (max) mit 59 %.
• Aktualisiert: HLE-Diamond ersetzt Humanity's Last Exam (Claude Opus 5.5 (max) führt mit 68 %, GPT-6 Astra (max) erreicht 64 %), AA-Omniscience v1.1 ist eine bereinigte Version des Wissens- und Halluzinationstests, und CritPt v2 wird anhand einer privaten, schwierigen Teilmenge mit 40 Fragen bewertet.
• Gewichtung: Knowledge Work 25 %, Coding 25 % (FrontierCode 2.0 15 %, Terminal-Bench 4.0 10 %), Science 25 %.
• Kein einzelnes Modell führt bei allen neun Bewertungen. Claude Opus 5.5 liegt bei drei vorn, fünf weitere Modelle führen bei den übrigen sechs.
• Modelle mit offenen Gewichten fallen weiter zurück: Der Spitzenreiter Kimi K3.1 Pro (Gewichte noch nicht veröffentlicht) erreicht 46 Punkte und liegt damit 12 Punkte hinter der Spitze; in v4.3 betrug der Abstand 3 Punkte. Unter den Modellen mit veröffentlichten Gewichten erzielen DeepSeek V4.1 Flash 1017 (max) und GLM-5.3 (max) mit 32 Punkten die höchsten Werte.
• Kosten pro Index-Aufgabe: Claude Opus 5.5 (max) 10,04 $, GPT-6 Astra (max) 6,24 $, GPT-6.1 Sol (max) 1,27 $. Sol liegt höchstens 4 Punkte hinter Opus 5.5 und kostet etwa ein Achtel.
• Der Aufwand macht einen größeren Unterschied: Opus 5.5 erreicht bei niedrigem Aufwand 35 Punkte und bei maximalem Aufwand 58, bei zehnfachen Kosten pro Aufgabe (0,98 $ gegenüber 10,04 $).
• Modelle verwenden pro Aufgabe mehr Ausgabetokens als in v4.3: Der Median stieg von 35.000 auf 59.000.

Ein Repost auf X berichtet, dass GPT-6.1 Terra (max) im neuen Index 51 Punkte erreicht.