Anthropic spiega come 1.000 agenti Fable 5.2 abbiano riprodotto una dimostrazione formale dell’ultimo teorema di Fermat

Anthropic afferma che un team di 1.000 agenti basati su una versione preliminare di Claude Fable 5.2 ha riprodotto una formalizzazione Lean dell’ultimo teorema di Fermat in 28,7 ore, in quello che definisce un esperimento giocattolo. La formalizzazione di settembre, realizzata da decine di agenti con un modello interno grosso modo paragonabile a Fable 5.1 e sotto la guida di un ricercatore, aveva richiesto 11 giorni e circa 6 miliardi di token in output. Anthropic afferma che la nuova esecuzione ha usato un terzo dei token in output e prodotto una dimostrazione lunga un settimo, senza la piattaforma Prove2Me né la supervisione di un ricercatore.

Configurazione. Ogni agente disponeva di una shell e di un editor di file nella propria macchina virtuale leggera, priva di accesso alla rete e dotata di Lean e Mathlib; aveva inoltre un proprio branch Git, con richieste di merge verso main, e accesso a un database Postgres condiviso. Anthropic ha fornito al team 60 enunciati da dimostrare, una descrizione in una frase dell’approccio classico, le definizioni necessarie e 47 lemmi già dimostrati nel lavoro precedente, assegnando un ruolo di coordinamento a un agente e 999 agenti di supporto. Afferma di non aver dato altre indicazioni sull’organizzazione.

Cosa hanno fatto gli agenti. Anthropic afferma che, nei primi 10 minuti, l’agente coordinatore ha creato cinque tabelle nel database per ordini, assegnazioni, note, sottoattività e lavoro completato. All’inizio, gli agenti di supporto hanno giudicato 47 dei 60 enunciati impossibili da dimostrare entro il tempo a disposizione; il coordinatore li ha accantonati, per poi riprenderli dopo che i primi 10 erano stati dimostrati in circa 70 minuti. Intorno alla diciottesima ora, ha assegnato circa 750 agenti di supporto al teorema di Langlands–Tunnell, che il responsabile aveva valutato con meno dell’1% di probabilità di essere dimostrato in tempo. Gli agenti di supporto lo hanno suddiviso in un albero di 2.418 attività, profondo fino a 10 livelli; la dimostrazione è stata completata all’ora 28,4 e il teorema finale all’ora 28,7.

Controlli di sicurezza. Anthropic afferma che, oltre alle sandbox, un classificatore guidato da prompt ha controllato ogni comando shell e modifica ai file prima dell’esecuzione; un blocco avrebbe fermato l’intero team per una revisione umana, mentre un monitor offline esaminava le azioni del team. Secondo Anthropic, nessuna delle oltre un milione di chiamate agli strumenti ha raggiunto la soglia per essere bloccata. L’esecuzione ha usato solo il monitor basato sulle azioni; poco dopo, Anthropic ha aggiunto un monitor che legge anche la catena di pensiero e le comunicazioni tra agenti. L’azienda osserva che conduce esperimenti di questo tipo con modelli che potrebbero non aver ancora completato la valutazione di allineamento precedente al rilascio.

Limiti. Anthropic afferma che il risultato non elimina la necessità di piattaforme specifiche per il dominio come Prove2Me e che gli agenti tendono ad arrendersi presto davanti ai problemi difficili e a valutarne male la difficoltà, perciò l’incoraggiamento umano può ancora essere d’aiuto.