Anthropic рассказала, как 1 000 агентов на базе Fable 5.2 воспроизвели формальное доказательство Великой теоремы Ферма

Anthropic утверждает, что команда из 1 000 агентов на ранней версии Claude Fable 5.2 за 28,7 часа воспроизвела формализацию Великой теоремы Ферма на Lean — в рамках эксперимента, который компания называет игрушечным. В сентябре формализация, созданная десятками агентов на внутренней модели, примерно сопоставимой с Fable 5.1, под руководством исследователя, заняла 11 дней и около 6 миллиардов выходных токенов. По словам Anthropic, новый запуск потребовал втрое меньше выходных токенов и дал доказательство в семь раз короче — без платформы Prove2Me и без участия исследователя, направлявшего работу.

Настройка. У каждого агента были оболочка и редактор файлов в собственной облегчённой виртуальной машине без доступа к сети, Lean и Mathlib, собственная ветка Git с запросами на слияние в main и общая база данных Postgres. Anthropic поручила команде доказать 60 утверждений, предоставила краткий план классического подхода в одном предложении, необходимые определения и 47 лемм, доказанных в ходе предыдущей работы; один агент был руководителем, остальные 999 — помощниками. По словам компании, никаких иных указаний по организации работы она не давала.

Что делали агенты. Anthropic сообщает, что в первые 10 минут руководитель создал пять таблиц в базе данных для порядков, назначений, заметок, подзадач и завершённой работы. В начале помощники сочли, что 47 из 60 утверждений невозможно доказать в рамках отведённого бюджета; руководитель отложил их, но вернулся к ним после того, как примерно за 70 минут были доказаны первые 10. Примерно на 18-м часу около 750 помощников переключили на теорему Ланглендса—Таннела, вероятность успеть доказать которую руководитель оценил менее чем в 1%. Помощники разбили её на дерево из 2 418 задач глубиной до 10 уровней. Доказательство было получено на 28,4-м часу, а окончательная теорема — на 28,7-м.

Меры безопасности. Anthropic утверждает, что помимо изолированных сред классификатор, которому задавали соответствующий запрос, проверял каждую команду оболочки и каждое изменение файла до выполнения. Блокировка останавливала бы работу всей команды для проверки человеком, а действия команды параллельно анализировал офлайн-монитор. По словам компании, ни один из более чем миллиона вызовов инструментов не достиг порога блокировки. В этом запуске использовался только монитор, анализирующий действия; вскоре после этого Anthropic добавила монитор, который также читает цепочку рассуждений и сообщения между агентами. Компания отмечает, что проводит такие эксперименты на моделях, которые могли ещё не пройти оценку выравнивания перед выпуском.

Оговорки. Anthropic утверждает, что этот результат не отменяет необходимости в специализированных платформах вроде Prove2Me. Кроме того, агенты склонны рано сдаваться при решении сложных задач и неверно оценивать их сложность, поэтому поддержка человека всё ещё может помочь.