METR publiceert zijn beoordeling van de vraag of AI de AI-ontwikkeling bij Anthropic versnelt

METR, de non-profitorganisatie voor AI-evaluatie, heeft een rapport gepubliceerd over een risicobeoordeling waaraan een team binnen METR sinds augustus werkt, met interne informatie van Anthropic, om te beoordelen of AI zelf de AI-ontwikkeling versnelt. Ook publiceerde METR een afzonderlijke beoordeling van het gedeelte over AI-R&D in het risicorapport van Anthropic van augustus 2026.

Volgens METR beoordeelden medewerkers (ongeveer 2,5 fte) van 12 augustus tot en met 29 oktober de interne gegevens van Anthropic. Het merendeel van het team denkt nu dat Anthropic zijn modellen per oktober 2026 waarschijnlijk ongeveer twee keer zo snel beter maakt in goed gespecificeerde taken als van maart 2024 tot oktober 2025, al is de onzekerheid groot (het zou niet verbaasd zijn als de factor 1,3x of 3x is). METR schat de verbetering van benchmarkscores op de versie van de Epoch Capabilities Index van Anthropic sinds oktober 2025 op 1,9x (95%-interval: 1,5–2,8x) en vermoedt dat AI ongeveer 80% van de huidige versnelling veroorzaakt. Volgens METR kwam de versnelling niet door een snellere groei van de trainingsrekenkracht. Het vond geen duidelijke knelpunten voor verdere versnelling, al is het daar niet zeker van.

METR zegt dat Anthropic het recht had om niet-openbare informatie weg te laten en het merendeel van het bewijs heeft weggelaten dat METR het meest informatief vond voor zijn conclusies. Het bericht had op 5 november 864 punten op X.