Ricursive AI ra mắt Ripple-65B Preview, mô hình trọng số mở dạng dense 65B dành cho lập trình bằng tác tử

Ricursive AI ra mắt Ripple-65B Preview vào ngày 4 tháng 11, một mô hình ngôn ngữ dense có 65 tỷ tham số mà công ty cho biết đã tiền huấn luyện từ đầu. Công ty tuyên bố mô hình lập kỷ lục mới cho các mô hình trọng số mở của Mỹ trong những tác vụ lập trình bằng tác tử, vượt qua các mô hình lớn hơn nhiều mà công ty nêu tên: Muse Spark Open-816B, Beam-501B, Inkling-975B và Nemotron 3 Ultra-550B. Đây là những tuyên bố của chính công ty.

Ricursive cho biết mô hình được tiền huấn luyện trên 12 nghìn tỷ token, hỗ trợ ngữ cảnh lên đến 1M token và đạt 80.52 trên Terminal-Bench 2.1, so với 80.1 của Beam 501B từ Reflection. Công ty ước tính tổng chi phí nghiên cứu và phát triển là 32 triệu USD. Công ty cho biết mô hình có trên Hugging Face, Together AI, GMI Cloud và OpenRouter.

Shayan Talaei, một trong các tác giả của mô hình, cho biết đây là thành tích tốt nhất mới của Mỹ trong nhóm mô hình trọng số mở trên Terminal-Bench 2.1. Ông nói một nhóm nòng cốt gồm năm nhà nghiên cứu đã xây dựng mô hình, và họ chọn thiết kế dense để giảm độ trễ khi xử lý các chuỗi dài gồm những lần gọi mô hình và công cụ, đồng thời đơn giản hóa hệ thống huấn luyện và triển khai. Ông cho biết họ không mua dữ liệu hậu huấn luyện mà tự xây dựng các quy trình tạo và lọc dữ liệu dựa trên các hệ thống huấn luyện và suy luận mã nguồn mở, đồng thời tinh chỉnh hệ thống học tăng cường và lộ trình tác vụ cùng nhau.