Anthropic, 1,000개의 Fable 5.2 에이전트가 페르마의 마지막 정리의 형식적 증명을 재현한 과정을 공개

Anthropic은 초기 버전의 Claude Fable 5.2를 실행하는 에이전트 1,000개 팀이 페르마의 마지막 정리를 Lean으로 형식화한 증명을 28.7시간 만에 재현했다고 밝혔습니다. Anthropic은 이를 장난감 실험이라고 부릅니다. 9월에 진행한 형식화 작업은 Fable 5.1과 대략 비슷한 수준의 내부 모델을 사용한 에이전트 수십 개가 연구자의 지시에 따라 수행했으며, 11일과 출력 토큰 약 60억 개가 걸렸습니다. Anthropic에 따르면 이번 작업은 출력 토큰을 3분의 1만 사용했고 증명의 길이는 7분의 1이었으며, Prove2Me 플랫폼이나 연구자의 지시 없이 진행됐습니다.

설정. 각 에이전트는 네트워크 접속이 차단된 경량 가상 머신에서 셸과 파일 편집기를 사용했고, Lean과 Mathlib, 메인 브랜치에 병합 요청을 올릴 수 있는 자체 Git 브랜치, 공유 Postgres 데이터베이스를 갖췄습니다. Anthropic은 팀에 증명할 명제 60개, 고전적인 접근법을 한 문장으로 요약한 설명, 필요한 정의와 이전 작업에서 증명한 보조정리 47개를 제공했습니다. 구성은 리드 1개와 보조 에이전트 999개였습니다. Anthropic은 작업을 구성하는 방법에 관해 다른 지침은 주지 않았다고 밝혔습니다.

에이전트의 작업. Anthropic에 따르면 리드는 처음 10분 동안 순서, 할당, 메모, 하위 작업, 완료된 작업을 관리하는 데이터베이스 테이블 5개를 만들었습니다. 초반에 보조 에이전트들은 예산 내에 증명할 수 없다고 판단한 명제가 60개 중 47개였고, 리드는 이를 보류했습니다. 이후 첫 10개를 약 70분 만에 증명하자 다시 해당 명제들을 맡았습니다. 약 18시간이 지났을 때 리드는 보조 에이전트 약 750개를 Langlands–Tunnell 문제에 투입했습니다. 당시 담당 리드는 제시간에 끝낼 확률을 1% 미만으로 봤습니다. 보조 에이전트들은 이 문제를 최대 10단계 깊이의 작업 트리로 나누어 2,418개 작업으로 분할했고, 28.4시간째에 증명을 마쳤으며 최종 정리는 28.7시간째에 완성됐습니다.

안전 통제. Anthropic은 샌드박스 외에도 프롬프트 기반 분류기가 모든 셸 명령과 파일 편집을 실행 전에 검사했으며, 차단이 발생하면 사람의 검토를 위해 팀 전체 작업이 중단되도록 했다고 밝혔습니다. 오프라인 모니터도 팀의 동작을 검토했습니다. Anthropic에 따르면 백만 건이 넘는 도구 호출 중 차단 기준에 해당하는 것은 하나도 없었습니다. 이번 실행에는 행동 기반 모니터만 사용했습니다. Anthropic은 얼마 뒤 사고 과정과 에이전트 간 통신도 읽는 모니터를 추가했습니다. 또한 출시 전 정렬 평가를 마치지 않았을 수 있는 모델로도 이런 실험을 진행한다고 덧붙였습니다.

주의 사항. Anthropic은 이번 결과가 Prove2Me 같은 분야별 플랫폼의 필요성을 없애지는 않는다고 밝혔습니다. 에이전트는 어려운 문제를 일찍 포기하고 난이도를 잘못 판단하는 경향이 있어, 사람의 격려가 여전히 도움이 될 수 있다고도 했습니다.