OpenAI giới thiệu BioBasicsBench, bộ chuẩn đánh giá các tác vụ khoa học wet-lab thường ngày

OpenAI giới thiệu BioBasicsBench, bộ chuẩn đánh giá gồm 100 tác vụ wet-lab thường lệ, được xây dựng cùng Ligo, một công ty công nghệ sinh học tập trung vào thiết kế enzyme. Các tác vụ sử dụng bằng chứng thực nghiệm thô (ảnh gel, đĩa khuẩn lạc, ảnh hiển vi, tệp giải trình tự, dữ liệu xuất từ thiết bị và video thao tác trong phòng thí nghiệm) thuộc các lĩnh vực phương pháp nghiên cứu protein, chụp ảnh và đo tế bào, định lượng và xét nghiệm, phương pháp axit nucleic và nhân dòng phân tử. Các nhà khoa học xây dựng tác vụ dựa trên thí nghiệm của chính họ, còn câu trả lời được chấm theo bộ tiêu chí do chuyên gia soạn, có tính điểm một phần.

OpenAI đã đánh giá bảy mô hình của mình (từ GPT-5.2 đến GPT-6 Astra) với 37 cấu hình mô hình và mức độ nỗ lực suy luận. Ở mức xhigh, điểm thưởng trung bình như sau:

• GPT-6 Astra: 66.7%
• GPT-6.1 Sol: 62.0%
• GPT-5.6 Sol: 43.8%
• GPT-6 Luna: 38.3%
• GPT-5.5: 35.4%

OpenAI cho biết Astra tiến bộ nhờ khả năng xử lý đa phương thức tích hợp tốt hơn, chẳng hạn phát hiện đĩa đối chứng bị dán nhãn sai loại kháng sinh, và nhận ra khi dữ liệu không đủ để đưa ra kết luận. OpenAI cũng nêu những điểm Astra vẫn còn mắc lỗi: để giả định lấn át kết quả đối chứng, xem nhẹ các quan sát trái ngược và đếm thừa số khuẩn lạc trên đĩa khoảng 12%.