OpenAI cho biết các tác nhân lập trình hiện tự hoàn thành gần một nửa số nhiệm vụ nghiên cứu kéo dài từ hai đến bốn giờ
Trong báo cáo ngày 18 tháng 11, OpenAI công bố các phép đo nội bộ về cách các tác nhân lập trình đang làm thay đổi hoạt động nghiên cứu AI của công ty, cập nhật báo cáo hồi tháng 9. Công ty gọi mức cải thiện này là “không đồng đều” và cho biết con người vẫn giữ vai trò trung tâm trong công việc.
- Mức độ hoàn thành nhiệm vụ: OpenAI ước tính tỷ lệ tác nhân hoàn thành nhiệm vụ mà không cần con người can thiệp đã tăng từ tháng 3 đến tháng 10, từ 23% lên 46% với các nhiệm vụ mà con người sẽ mất từ hai đến bốn giờ, và từ 13% lên 35% với nhiệm vụ kéo dài từ bốn đến tám giờ. Theo từng loại nhiệm vụ, tỷ lệ hoàn thành là 79% đối với giám sát các đợt huấn luyện, 72% đối với trả lời câu hỏi kỹ thuật, 35% đối với khởi chạy các đợt huấn luyện, 29% đối với xây dựng môi trường đánh giá và tác nhân, và 25% đối với viết mã suy luận và phục vụ mô hình.
- Mức sử dụng: Tính theo giá niêm yết của API, mức sử dụng tác nhân hằng ngày của nhà nghiên cứu trung vị đạt 2.400 USD vào tháng 10 (tăng 62% so với tháng 9), còn mức ở phân vị thứ 90 đạt 23.000 USD (tăng 105%). Số ngày làm việc với tác nhân trên mỗi nhà nghiên cứu tăng từ 0,5 lên 5,7. OpenAI cho biết tính đến tháng 9, giá trị tương đương API của việc sử dụng tác nhân cao gấp khoảng hai lần khoản thù lao không bao gồm cổ phần của các nhà nghiên cứu, trong khi triển khai nội bộ chiếm 2% năng lực tính toán dành cho nghiên cứu.
- Khảo sát: Trong khảo sát 101 nhân viên nghiên cứu, mức trung vị sẵn sàng đánh đổi 40% nhân sự trong nhóm hoặc 30% năng lực tính toán của nhóm để tiếp tục dùng các tác nhân lập trình tiên tiến trong ba tháng. Trong một khảo sát nhỏ hơn, 27 trong số 28 người trả lời dự đoán họ sẽ làm việc năng suất hơn với mô hình nội bộ mới nhất so với một kỹ sư nghiên cứu tầm trung kết hợp với mô hình năm 2024.
- Ý tưởng: Các nhà nghiên cứu cho biết con người đưa ra những ý tưởng then chốt đằng sau GPT-6 Astra và GPT-6.2 Astra, còn các mô hình hỗ trợ triển khai chúng. Một số nhà nghiên cứu về tiền huấn luyện cho biết Codex đã giúp phát triển ý tưởng cho GPT-6.2 Astra.
- An toàn: OpenAI cho biết khối lượng công việc An toàn và Căn chỉnh được ghi nhận đã tăng 77% từ tháng 1 đến tháng 9, mức tăng lớn nhất trong mọi lĩnh vực nghiên cứu; mức tăng này bắt đầu mạnh lên sau sự cố Hugging Face hồi tháng 7.
OpenAI cho biết báo cáo nhằm hỗ trợ việc theo dõi công khai các chỉ số về tự cải tiến đệ quy, và không nên được hiểu là ý định theo đuổi điều đó. Các số liệu là ước tính riêng của OpenAI; công ty lưu ý rằng dữ liệu về giao nhiệm vụ và tự báo cáo có những hạn chế.
Nguồn
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.