Anthropic detalha como 1.000 agentes Fable 5.2 reproduziram uma prova formal do Último Teorema de Fermat

A Anthropic afirma que uma equipe de 1.000 agentes usando uma versão inicial do Claude Fable 5.2 reproduziu uma formalização em Lean do Último Teorema de Fermat em 28,7 horas, no que chama de experimento de brinquedo. Sua formalização de setembro, feita por dezenas de agentes em um modelo interno aproximadamente comparável ao Fable 5.1, com orientação de um pesquisador, levou 11 dias e cerca de 6 bilhões de tokens de saída. A Anthropic afirma que a nova execução usou um terço dos tokens de saída e produziu uma prova com um sétimo do tamanho, sem a plataforma Prove2Me nem a condução de um pesquisador.

Configuração. Cada agente tinha um shell e um editor de arquivos em sua própria máquina virtual leve, sem acesso à rede, com Lean e Mathlib, sua própria branch do Git com solicitações de mesclagem para a branch main e um banco de dados Postgres compartilhado. A Anthropic deu à equipe 60 afirmações para provar, um esboço de uma frase do caminho clássico, as definições necessárias e 47 lemas provados no trabalho anterior, com um líder e 999 auxiliares. Segundo a empresa, não deu outras orientações sobre como se organizar.

O que os agentes fizeram. A Anthropic afirma que, nos primeiros 10 minutos, o líder criou cinco tabelas no banco de dados para ordens, atribuições, notas, subtarefas e trabalho concluído. No início, os auxiliares consideraram inviável provar 47 das 60 afirmações dentro do prazo; o líder as deixou de lado e voltou a elas depois que as primeiras 10 foram provadas em cerca de 70 minutos. Por volta da hora 18, transferiu cerca de 750 auxiliares para Langlands–Tunnell, cuja probabilidade de conclusão a tempo o responsável estimara em menos de 1%. Os auxiliares dividiram o problema em uma árvore de 2.418 tarefas, com até 10 níveis de profundidade, e a prova foi concluída na hora 28,4, com o teorema final na hora 28,7.

Controles de segurança. A Anthropic afirma que, além dos ambientes isolados, um classificador com instruções verificou cada comando de shell e edição de arquivo antes da execução; um bloqueio interromperia toda a equipe para análise humana, enquanto um monitor offline analisava as ações da equipe. Segundo a empresa, nenhuma das mais de um milhão de chamadas de ferramentas atingiu o limiar para ser bloqueada. A execução usou apenas o monitor baseado em ações; pouco depois, a Anthropic acrescentou um monitor que também lê a cadeia de pensamento e a comunicação entre agentes. A empresa observa que realiza esses experimentos com modelos que talvez ainda não tenham concluído sua avaliação de alinhamento pré-lançamento.

Ressalvas. A Anthropic afirma que o resultado não elimina a necessidade de plataformas específicas de domínio, como a Prove2Me, e que os agentes tendem a desistir cedo de problemas difíceis e a avaliar mal sua dificuldade, por isso o incentivo humano ainda pode ajudar.