Anthropic erläutert, wie 1.000 Fable-5.2-Agenten einen formalen Beweis von Fermats letztem Satz reproduzierten

Anthropic zufolge reproduzierte ein Team aus 1.000 Agenten, die eine frühe Version von Claude Fable 5.2 ausführten, innerhalb von 28,7 Stunden eine Lean-Formalisierung von Fermats letztem Satz – in einem Experiment, das das Unternehmen als Spielzeugexperiment bezeichnet. Für seine Formalisierung im September benötigten Dutzende Agenten auf einem internen Modell, das ungefähr mit Fable 5.1 vergleichbar war, sowie die Anleitung eines Forschers 11 Tage und etwa 6 Milliarden Ausgabetokens. Anthropic zufolge verbrauchte der neue Durchlauf ein Drittel so viele Ausgabetokens und erzeugte einen Beweis, der nur ein Siebtel so lang war – und das ohne die Plattform Prove2Me oder die Steuerung durch einen Forscher.

Aufbau. Jeder Agent verfügte in einer eigenen leichtgewichtigen virtuellen Maschine ohne Netzwerkzugriff über eine Shell und einen Datei-Editor, Lean und Mathlib, einen eigenen Git-Branch mit Merge Requests an main sowie Zugriff auf eine gemeinsame Postgres-Datenbank. Anthropic gab dem Team 60 zu beweisende Aussagen, eine einzeilige Skizze des klassischen Lösungswegs, die erforderlichen Definitionen und 47 bewiesene Lemmata aus der früheren Arbeit an die Hand. Das Team bestand aus einem Leiter und 999 Helfern. Weitere Hinweise zur Organisation gab es laut Anthropic nicht.

Was die Agenten taten. Laut Anthropic legte der Leiter in den ersten 10 Minuten fünf Datenbanktabellen für Reihenfolge, Zuweisungen, Notizen, Teilaufgaben und abgeschlossene Arbeit an. Zu Beginn hielten die Helfer 47 der 60 Aussagen innerhalb des vorgegebenen Budgets für nicht lösbar; der Leiter stellte sie zunächst zurück, nahm sie aber wieder auf, nachdem die ersten 10 in etwa 70 Minuten bewiesen worden waren. Gegen Stunde 18 setzte das Team rund 750 Helfer auf Langlands–Tunnell an, dessen Erfolgschance der Teamleiter auf unter 1 % für einen rechtzeitigen Abschluss geschätzt hatte. Die Helfer zerlegten das Problem in einen Baum aus 2.418 Aufgaben mit bis zu 10 Ebenen. Der Beweis gelang nach 28,4 Stunden, der endgültige Satz nach 28,7 Stunden.

Sicherheitsvorkehrungen. Anthropic zufolge prüfte zusätzlich zu den Sandboxes ein durch einen Prompt gesteuerter Klassifikator jeden Shell-Befehl und jede Dateiänderung vor der Ausführung. Eine Blockierung hätte das gesamte Team für eine menschliche Überprüfung angehalten; außerdem überwachte ein Offline-Monitor die Aktionen des Teams. Laut Anthropic erfüllte keiner der mehr als eine Million Tool-Aufrufe die Kriterien für eine Blockierung. Beim Durchlauf kam nur der aktionsbasierte Monitor zum Einsatz; kurz danach ergänzte Anthropic einen Monitor, der auch Chain of Thought und die Kommunikation zwischen den Agenten liest. Das Unternehmen weist darauf hin, solche Experimente mit Modellen durchzuführen, deren Sicherheitsbewertung vor der Veröffentlichung möglicherweise noch nicht abgeschlossen ist.

Einschränkungen. Anthropic zufolge macht das Ergebnis domänenspezifische Plattformen wie Prove2Me nicht überflüssig. Agenten geben bei schwierigen Problemen oft früh auf und schätzen deren Schwierigkeit falsch ein; menschliche Ermutigung kann daher weiterhin helfen.