Anthropic opisuje, jak 1 000 agentów Fable 5.2 odtworzyło formalny dowód Wielkiego Twierdzenia Fermata

Anthropic twierdzi, że zespół 1 000 agentów działających na wczesnej wersji Claude Fable 5.2 odtworzył formalizację Wielkiego Twierdzenia Fermata w Lean w 28,7 godziny — w eksperymencie, który firma określa jako zabawowy. Formalizacja z września, przygotowana przez dziesiątki agentów na wewnętrznym modelu mniej więcej porównywalnym z Fable 5.1, przy wskazówkach badacza, zajęła 11 dni i pochłonęła około 6 miliardów tokenów wyjściowych. Anthropic twierdzi, że w nowym podejściu zużyto o jedną trzecią mniej tokenów wyjściowych, a dowód był siedem razy krótszy — bez platformy Prove2Me i bez badacza nadzorującego pracę.

Konfiguracja. Każdy agent miał powłokę i edytor plików w odrębnej, lekkiej maszynie wirtualnej bez dostępu do sieci, a także Lean i Mathlib, własną gałąź Git z pull requestami scalającymi do main oraz wspólną bazę danych Postgres. Anthropic przekazało zespołowi 60 twierdzeń do udowodnienia, jednostronicowy szkic klasycznej metody, potrzebne definicje i 47 udowodnionych lematów z wcześniejszej pracy. Zespół składał się z jednego lidera i 999 pomocników. Firma twierdzi, że nie udzieliła żadnych innych wskazówek dotyczących organizacji pracy.

Działania agentów. Anthropic twierdzi, że w ciągu pierwszych 10 minut lider utworzył pięć tabel w bazie danych: dotyczących kolejno zleceń, przydziałów, notatek, podzadań i ukończonych prac. Na początku pomocnicy ocenili, że 47 z 60 twierdzeń nie da się udowodnić w ramach dostępnego budżetu; lider odłożył je na później, po czym wrócił do nich po udowodnieniu pierwszych 10 twierdzeń, co zajęło około 70 minut. Około 18. godziny przekierował około 750 pomocników do pracy nad twierdzeniem Langlandsa–Tunnella, któremu ich kapitan dawał mniej niż 1% szans na ukończenie na czas. Pomocnicy podzielili je na drzewo 2 418 zadań o głębokości do 10 poziomów. Dowód został ukończony w 28,4 godziny, a końcowe twierdzenie — w 28,7 godziny.

Zabezpieczenia. Anthropic twierdzi, że oprócz piaskownic klasyfikator oparty na promptach sprawdzał każde polecenie powłoki i każdą edycję pliku przed ich wykonaniem. W przypadku blokady cały zespół miał się zatrzymać i czekać na weryfikację człowieka; działania zespołu sprawdzał też monitor offline. Według firmy żadne z ponad miliona wywołań narzędzi nie spełniło kryteriów blokady. W eksperymencie wykorzystano tylko monitor oparty na działaniach; wkrótce potem Anthropic dodało monitor, który analizuje również tok rozumowania i komunikację między agentami. Firma zaznacza, że przeprowadza takie eksperymenty na modelach, które mogły jeszcze nie przejść jej oceny dopasowania przed premierą.

Zastrzeżenia. Anthropic twierdzi, że wynik nie eliminuje potrzeby korzystania z wyspecjalizowanych platform, takich jak Prove2Me. Agenci mają też tendencję do zbyt wczesnego poddawania się przy trudnych problemach i błędnej oceny ich trudności, dlatego zachęta ze strony człowieka może nadal pomagać.