Anthropic menjelaskan bagaimana 1.000 agen Fable 5.2 mereproduksi pembuktian formal Teorema Terakhir Fermat

Anthropic mengatakan tim yang terdiri dari 1.000 agen dengan versi awal Claude Fable 5.2 mereproduksi formalisasi Lean untuk Teorema Terakhir Fermat dalam 28,7 jam, dalam eksperimen yang disebutnya sebagai eksperimen main-main. Formalisasi pada bulan September, yang dikerjakan puluhan agen dengan model internal yang kira-kira setara dengan Fable 5.1 serta arahan seorang peneliti, memakan waktu 11 hari dan sekitar 6 miliar token keluaran. Anthropic mengatakan proses baru ini menggunakan sepertiga jumlah token keluaran dan menghasilkan pembuktian yang panjangnya seper tujuh, tanpa platform Prove2Me atau arahan dari peneliti.

Penyiapan. Setiap agen memiliki shell dan editor file di mesin virtual ringan miliknya sendiri tanpa akses jaringan, Lean dan Mathlib, cabang Git sendiri dengan permintaan penggabungan ke main, serta database Postgres bersama. Anthropic memberi tim tersebut 60 pernyataan untuk dibuktikan, sketsa satu kalimat tentang pendekatan klasik, definisi yang diperlukan dan 47 lemma yang telah dibuktikan dari pekerjaan sebelumnya, dengan satu pemimpin dan 999 asisten. Anthropic mengatakan tidak memberikan panduan lain tentang cara mengatur pekerjaan.

Yang dilakukan para agen. Anthropic mengatakan pemimpin tim membuat lima tabel database untuk urutan, penugasan, catatan, subtugas, dan pekerjaan yang selesai dalam 10 menit pertama. Pada awalnya, para asisten menilai 47 dari 60 pernyataan mustahil diselesaikan dalam batas anggaran; pemimpin mengesampingkannya, lalu kembali mengerjakannya setelah 10 pernyataan pertama dibuktikan dalam sekitar 70 menit. Sekitar jam ke-18, pemimpin mengalihkan sekitar 750 asisten ke Langlands–Tunnell, yang oleh ketuanya diperkirakan memiliki peluang kurang dari 1% untuk selesai tepat waktu. Para asisten membaginya menjadi pohon berisi 2.418 tugas dengan kedalaman hingga 10 tingkat, dan pembuktiannya selesai pada jam ke-28,4, dengan teorema terakhir selesai pada jam ke-28,7.

Kontrol keselamatan. Anthropic mengatakan bahwa selain sandbox, sebuah pengklasifikasi yang diberi prompt memeriksa setiap perintah shell dan penyuntingan file sebelum dijalankan; jika diblokir, seluruh tim akan dihentikan untuk ditinjau manusia, sementara sebuah monitor luring meninjau tindakan tim. Anthropic mengatakan tidak satu pun dari lebih dari satu juta pemanggilan alat memenuhi ambang untuk diblokir. Proses ini hanya menggunakan monitor berbasis tindakan; tak lama kemudian Anthropic menambahkan monitor yang juga membaca rantai pemikiran dan komunikasi ant agen. Anthropic mencatat bahwa eksperimen seperti ini dijalankan pada model yang mungkin belum menyelesaikan penilaian penyelarasan sebelum dirilis.

Catatan. Anthropic mengatakan hasil ini tidak menghilangkan kebutuhan akan platform khusus domain seperti Prove2Me, dan bahwa agen cenderung menyerah terlalu dini pada masalah sulit serta keliru menilai tingkat kesulitannya, sehingga dorongan dari manusia masih dapat membantu.