Anthropic explique comment 1 000 agents Fable 5.2 ont reproduit une preuve formelle du dernier théorème de Fermat

Anthropic affirme qu’une équipe de 1 000 agents exécutant une première version de Claude Fable 5.2 a reproduit une formalisation Lean du dernier théorème de Fermat en 28,7 heures, dans ce qu’elle qualifie d’expérience jouet. En septembre, la formalisation réalisée par des dizaines d’agents sur un modèle interne à peu près comparable à Fable 5.1, sous la direction d’un chercheur, avait pris 11 jours et environ 6 milliards de jetons de sortie. Anthropic affirme que cette nouvelle exécution a utilisé trois fois moins de jetons de sortie et produit une preuve sept fois plus courte, sans la plateforme Prove2Me ni les directives d’un chercheur.

Configuration. Chaque agent disposait d’un shell et d’un éditeur de fichiers dans sa propre machine virtuelle légère, sans accès au réseau, avec Lean et Mathlib, sa propre branche Git permettant de soumettre des demandes de fusion vers main, ainsi qu’une base de données Postgres partagée. Anthropic a confié à l’équipe 60 énoncés à démontrer, une esquisse en une phrase de la démarche classique, les définitions nécessaires et 47 lemmes démontrés lors des travaux précédents, avec un chef et 999 assistants. Elle affirme ne lui avoir donné aucune autre indication sur l’organisation.

Travail des agents. Anthropic affirme que le chef a créé cinq tables dans la base de données pour les ordres, les affectations, les notes, les sous-tâches et les travaux terminés au cours des 10 premières minutes. Au début, les assistants ont jugé que 47 des 60 énoncés étaient impossibles à démontrer dans le temps imparti ; le chef les a mis de côté, puis les a repris après que les 10 premiers ont été démontrés en environ 70 minutes. Vers la 18e heure, il a affecté environ 750 assistants au théorème de Langlands–Tunnell, que son capitaine estimait avoir moins de 1 % de chances d’être démontré à temps. Les assistants l’ont décomposé en un arbre de 2 418 tâches, d’une profondeur maximale de 10 niveaux ; le théorème a été démontré à la 28,4e heure, et le théorème final à la 28,7e.

Mesures de sécurité. Anthropic affirme qu’en plus des environnements isolés, un classificateur guidé par une consigne vérifiait chaque commande shell et chaque modification de fichier avant exécution, et qu’un blocage aurait suspendu toute l’équipe pour examen humain, tandis qu’un moniteur hors ligne examinait les actions de l’équipe. Selon l’entreprise, aucun des plus d’un million d’appels d’outils n’a atteint le seuil de blocage. L’exécution n’a utilisé que le moniteur fondé sur les actions ; Anthropic a ajouté peu après un moniteur qui lit également la chaîne de pensée et les communications entre agents. L’entreprise précise qu’elle mène ce type d’expériences avec des modèles dont l’évaluation d’alignement avant publication n’est peut-être pas terminée.

Réserves. Anthropic affirme que ce résultat ne rend pas inutiles les plateformes spécialisées comme Prove2Me et que les agents ont tendance à abandonner trop tôt les problèmes difficiles et à mal évaluer leur difficulté ; les encouragements humains peuvent donc toujours être utiles.