Anthropic, 1.000 Fable 5.2 ajanının Fermat'nın Son Teoremi'nin biçimsel bir ispatını nasıl yeniden ürettiğini ayrıntılarıyla anlattı

Anthropic, Claude Fable 5.2'nin erken bir sürümünü çalıştıran 1.000 ajandan oluşan bir ekibin, şirketin oyuncak deney olarak nitelendirdiği çalışmada Fermat'nın Son Teoremi'nin Lean biçimselleştirmesini 28,7 saatte yeniden ürettiğini söylüyor. Eylül ayında, Fable 5.1 ile kabaca denk bir dahili modelde çalışan onlarca ajanın bir araştırmacının yönlendirmesiyle yaptığı biçimselleştirme 11 gün ve yaklaşık 6 milyar çıktı belirteci almıştı. Anthropic, yeni çalıştırmanın üçte bir kadar çıktı belirteci kullandığını ve Prove2Me platformu olmadan ya da bir araştırmacının yönlendirmesi olmaksızın, uzunluğu öncekinin yedide biri olan bir ispat ürettiğini söylüyor.

Kurulum. Her ajanın, ağ erişimi olmayan, kendi hafif sanal makinesinde bir kabuğu ve dosya düzenleyicisi, Lean ve Mathlib, ana dala birleştirme istekleri gönderen kendi Git dalı ve paylaşılan bir Postgres veritabanı vardı. Anthropic ekibe kanıtlanması gereken 60 önerme, klasik yaklaşımın tek cümlelik bir taslağı, gereken tanımları ve önceki çalışmada kanıtlanmış 47 lemayı verdi; bir lider ve 999 yardımcı ajan görevlendirdi. Şirket, ekibe nasıl organize olması gerektiği konusunda başka bir yönlendirme vermediğini söylüyor.

Ajanlar ne yaptı? Anthropic, lider ajanın ilk 10 dakikada sıralama, atama, notlar, alt görevler ve tamamlanmış işler için beş veritabanı tablosu oluşturduğunu söylüyor. Başlangıçta yardımcılar, 60 önermeden 47'sini ayrılan süre içinde kanıtlanamaz olarak değerlendirdi; lider bunları bir kenara bıraktı, ardından ilk 10 önerme yaklaşık 70 dakikada kanıtlanınca yeniden ele aldı. 18. saat civarında, kaptanının zamanında bitirme olasılığını %1'in altında gördüğü Langlands–Tunnell teoremine yaklaşık 750 yardımcı ajanı yönlendirdi. Yardımcılar bunu, 10 seviyeye kadar inen 2.418 görevlik bir ağaca böldü; teorem 28,4. saatte, son teorem ise 28,7. saatte kanıtlandı.

Güvenlik denetimleri. Anthropic, yalıtılmış ortamlara ek olarak, çalıştırılmadan önce her kabuk komutunu ve dosya düzenlemesini istemle yönlendirilen bir sınıflandırıcının denetlediğini; engelleme kararı verilmesinin tüm ekibi insan incelemesi için durduracağını ve çevrimdışı bir izleyicinin de ekibin eylemlerini incelediğini söylüyor. Şirkete göre bir milyondan fazla araç çağrısının hiçbiri engellenmesi gereken eşiğe ulaşmadı. Çalıştırmada yalnızca eylem tabanlı izleyici kullanıldı; Anthropic kısa süre sonra düşünce zincirini ve ajanlar arası iletişimi de okuyan bir izleyici ekledi. Şirket, bu tür deneyleri, yayımlama öncesi uyum değerlendirmesini henüz tamamlamamış olabilecek modellerde yürüttüğünü belirtiyor.

Uyarılar. Anthropic, sonucun Prove2Me gibi alana özgü platformlara duyulan ihtiyacı ortadan kaldırmadığını ve ajanların zor problemlerde erken pes edip zorluklarını yanlış değerlendirme eğiliminde olduğunu; dolayısıyla insan teşvikinin hâlâ fayda sağlayabileceğini söylüyor.