Anthropic trình bày cách 1.000 tác tử Fable 5.2 tái tạo chứng minh hình thức của Định lý cuối cùng của Fermat

Anthropic cho biết một nhóm gồm 1.000 tác tử chạy phiên bản ban đầu của Claude Fable 5.2 đã tái tạo một hình thức hóa bằng Lean của Định lý cuối cùng của Fermat trong 28,7 giờ, trong một thử nghiệm mà họ gọi là thử nghiệm đồ chơi. Bản hình thức hóa hồi tháng 9, do hàng chục tác tử thực hiện trên một mô hình nội bộ có năng lực tương đương gần với Fable 5.1, dưới sự chỉ đạo của một nhà nghiên cứu, mất 11 ngày và khoảng 6 tỷ token đầu ra. Anthropic cho biết lần chạy mới dùng số token đầu ra bằng một phần ba và tạo ra chứng minh ngắn bằng một phần bảy, không sử dụng nền tảng Prove2Me hay có nhà nghiên cứu chỉ đạo.

Thiết lập. Mỗi tác tử có một shell và trình chỉnh sửa tệp trong máy ảo nhẹ riêng, không có quyền truy cập mạng, cùng Lean và Mathlib, nhánh Git riêng với các yêu cầu hợp nhất vào nhánh main, và một cơ sở dữ liệu Postgres dùng chung. Anthropic giao cho nhóm 60 mệnh đề cần chứng minh, phác thảo một câu về hướng tiếp cận cổ điển, các định nghĩa cần thiết và 47 bổ đề đã được chứng minh từ công trình trước đó, với một trưởng nhóm và 999 trợ lý. Họ cho biết không đưa ra hướng dẫn nào khác về cách tổ chức.

Các tác tử đã làm gì. Anthropic cho biết trưởng nhóm tạo năm bảng cơ sở dữ liệu về thứ tự công việc, phân công, ghi chú, nhiệm vụ con và việc đã hoàn thành trong 10 phút đầu. Ban đầu, các trợ lý nhận định 47 trong số 60 mệnh đề không thể giải quyết trong giới hạn tài nguyên; trưởng nhóm tạm gác chúng, rồi quay lại sau khi 10 mệnh đề đầu tiên được chứng minh trong khoảng 70 phút. Khoảng giờ thứ 18, nhóm chuyển khoảng 750 trợ lý sang bài toán Langlands–Tunnell, mà trưởng nhóm của bài toán đánh giá có xác suất hoàn thành đúng hạn dưới 1%. Các trợ lý chia bài toán thành một cây gồm 2.418 nhiệm vụ, sâu tối đa 10 cấp; bài toán được chứng minh ở giờ thứ 28,4 và định lý cuối cùng ở giờ thứ 28,7.

Biện pháp kiểm soát an toàn. Anthropic cho biết ngoài các môi trường sandbox, một bộ phân loại được nhắc lệnh đã kiểm tra mọi lệnh shell và chỉnh sửa tệp trước khi thực thi; nếu có lệnh bị chặn, toàn bộ nhóm sẽ dừng để con người xem xét, trong khi một bộ giám sát ngoại tuyến theo dõi hành động của nhóm. Họ cho biết không có lệnh gọi công cụ nào trong hơn một triệu lần đạt ngưỡng cần chặn. Lần chạy chỉ sử dụng bộ giám sát dựa trên hành động; Anthropic bổ sung ngay sau đó một bộ giám sát cũng đọc chuỗi suy nghĩ và trao đổi giữa các tác tử. Họ lưu ý rằng các thử nghiệm như vậy được chạy trên những mô hình có thể chưa hoàn tất đánh giá về căn chỉnh trước khi phát hành.

Lưu ý. Anthropic cho biết kết quả này không loại bỏ nhu cầu về các nền tảng chuyên biệt theo lĩnh vực như Prove2Me; các tác tử thường bỏ cuộc quá sớm trước những bài toán khó và đánh giá sai độ khó của chúng, vì vậy sự động viên của con người vẫn có thể hữu ích.