Anthropic licht toe hoe 1.000 Fable 5.2-agents een formeel bewijs van de Laatste stelling van Fermat reproduceerden

Anthropic zegt dat een team van 1.000 agents met een vroege versie van Claude Fable 5.2 in 28,7 uur een Lean-formalisering van de Laatste stelling van Fermat reproduceerde, in wat het een experiment op kleine schaal noemt. De formalisering uit september, gemaakt door tientallen agents op een intern model dat ongeveer vergelijkbaar was met Fable 5.1 en onder begeleiding van een onderzoeker werkte, kostte 11 dagen en ongeveer 6 miljard outputtokens. Volgens Anthropic gebruikte de nieuwe run een derde van het aantal outputtokens en leverde die een bewijs op dat een zevende zo lang was, zonder het Prove2Me-platform of sturing door een onderzoeker.

Opzet. Elke agent beschikte over een shell en een bestandseditor in een eigen lichte virtuele machine zonder netwerktoegang, met Lean en Mathlib, een eigen Git-branch met merge requests naar main en een gedeelde Postgres-database. Anthropic gaf het team 60 stellingen om te bewijzen, een schets van één zin van de klassieke aanpak, de benodigde definities en 47 bewezen lemma's uit het eerdere werk, met één leider en 999 helpers. Het zegt geen verdere aanwijzingen te hebben gegeven over de organisatie.

Wat de agents deden. Volgens Anthropic maakte de leider in de eerste 10 minuten vijf databasetabellen aan voor orders, opdrachten, notities, subtaken en afgerond werk. In het begin beoordeelden helpers 47 van de 60 stellingen als niet haalbaar binnen het beschikbare budget; de leider zette ze opzij, maar pakte ze weer op nadat de eerste 10 in ongeveer 70 minuten waren bewezen. Rond uur 18 zette het ongeveer 750 helpers aan het werk met Langlands–Tunnell, waarvan de captain de kans op tijdige voltooiing op minder dan 1% had geschat. De helpers verdeelden het werk in een boom van 2.418 taken met maximaal 10 niveaus. Het bewijs was klaar op uur 28,4 en de laatste stelling op uur 28,7.

Veiligheidsmaatregelen. Anthropic zegt dat naast de sandboxes een classifier met instructies elke shell-opdracht en bestandsbewerking controleerde voordat die werd uitgevoerd. Een blokkade zou het hele team stilleggen voor menselijke beoordeling; daarnaast controleerde een offline monitor de acties van het team. Volgens Anthropic voldeed geen van de ruim één miljoen toolaanroepen aan de criteria voor blokkering. De run gebruikte alleen de monitor op basis van acties; kort daarna voegde Anthropic een monitor toe die ook chain of thought en communicatie tussen agents leest. Het merkt op dat het dergelijke experimenten uitvoert met modellen waarvoor de beoordeling van de afstemming vóór release mogelijk nog niet is afgerond.

Voorbehouden. Anthropic zegt dat het resultaat de behoefte aan domeinspecifieke platforms zoals Prove2Me niet wegneemt. Agents geven bovendien vaak vroeg op bij moeilijke problemen en schatten de moeilijkheid verkeerd in, waardoor aanmoediging door mensen nog steeds kan helpen.