OpenAI memperkenalkan BioBasicsBench, tolok ukur untuk tugas-tugas sains laboratorium basah sehari-hari

OpenAI memperkenalkan BioBasicsBench, tolok ukur untuk 100 tugas rutin di laboratorium basah yang dikembangkan bersama Ligo, perusahaan bioteknologi yang berfokus pada desain enzim. Tugas-tugas ini menggunakan bukti eksperimen mentah (gambar gel, cawan koloni, mikroskopi, berkas sekuensing, hasil ekspor instrumen, dan video pekerjaan di meja laboratorium) dalam berbagai bidang, termasuk metode protein, pencitraan dan sitometri, kuantifikasi dan pengujian, metode asam nukleat, serta kloning molekuler. Para ilmuwan menyusun tugas berdasarkan eksperimen mereka sendiri, dan jawaban dinilai menggunakan rubrik yang ditulis para ahli dan memberikan kredit parsial.

OpenAI mengevaluasi tujuh modelnya (GPT-5.2 hingga GPT-6 Astra) dalam 37 kombinasi model dan tingkat upaya penalaran. Pada tingkat xhigh, berikut angka imbalan rata-ratanya:

• GPT-6 Astra: 66.7%
• GPT-6.1 Sol: 62.0%
• GPT-5.6 Sol: 43.8%
• GPT-6 Luna: 38.3%
• GPT-5.5: 35.4%

OpenAI mengatakan peningkatan Astra berasal dari kemampuan multimodal bawaan yang lebih kuat, seperti mendeteksi bahwa label antibiotik pada cawan kontrol keliru, serta mengenali saat data tidak cukup untuk mendukung suatu kesimpulan. OpenAI juga memaparkan hal-hal yang masih menjadi kelemahan Astra: membiarkan asumsi mengesampingkan kontrol, mengabaikan pengamatan yang bertentangan, dan menghitung koloni pada cawan secara berlebihan sekitar 12%.