OpenAI giới thiệu LifeVal, bộ benchmark cho các tác vụ trợ lý cá nhân hằng ngày

OpenAI cho biết họ đã xây dựng LifeVal, một bộ benchmark mới dựa trên phản hồi của hàng nghìn người dùng ChatGPT về những việc họ mong muốn trợ lý cá nhân giúp đỡ nhất. Các tác vụ trải dài từ tìm dịch vụ trông trẻ đến tiếp cận dịch vụ chính phủ và quản lý tài chính cá nhân.

OpenAI cho biết họ bắt đầu từ hai nghiên cứu về cách sử dụng thời gian—American Time Use Survey và Multinational Time Use Study—rồi bổ sung khảo sát riêng với 3.995 người trả lời đại diện về mặt nhân khẩu học. Các tác vụ thu được bao quát việc chăm sóc người thân, sức khỏe, giáo dục, quản lý gia đình, tài chính cá nhân, mua sắm và dịch vụ chính phủ; nhiều tác vụ yêu cầu thực hiện hành động như đặt chỗ hoặc đặt mua, chứ không chỉ trả lời câu hỏi.

OpenAI cho biết họ đã sử dụng LifeVal trong năm qua để theo dõi và cải thiện các mô hình của mình về khả năng dùng trình duyệt, dùng máy tính và thực hiện tác vụ qua connector. Họ công bố các điểm số tốt nhất từng ghi nhận của GPT-6 Astra ở từng tác vụ, chẳng hạn đạt 100% khi đặt lớp học cảm giác cho trẻ mới biết đi và đặt mua thực phẩm halal trong phạm vi ngân sách, và 90,4% với kế hoạch chuẩn bị bữa ăn cho một phụ huynh vừa được chẩn đoán mắc bệnh tiểu đường. Đây là số liệu do chính OpenAI công bố.