OpenAI、日常的なウェットラボ科学タスクのベンチマーク「BioBasicsBench」を発表

OpenAIは、酵素設計に注力するバイオテクノロジー企業Ligoと共同で作成した、日常的なウェットラボ作業100件のベンチマーク「BioBasicsBench」を発表しました。タスクでは、タンパク質手法、イメージングとサイトメトリー、定量とアッセイ、核酸手法、分子クローニングにわたる、未加工の実験データ（ゲル画像、コロニープレート、顕微鏡画像、シーケンスファイル、機器の出力データ、実験台での作業を撮影した動画）を使用します。科学者が自身の実験に基づいてタスクを作成し、専門家が作成した部分点付きの採点基準で回答を評価します。

OpenAIは、7つのモデル（GPT-5.2からGPT-6 Astraまで）を、モデルと推論努力の設定を組み合わせた37通りで評価しました。xhigh設定での平均報酬は次のとおりです。

• GPT-6 Astra：66.7%
• GPT-6.1 Sol：62.0%
• GPT-5.6 Sol：43.8%
• GPT-6 Luna：38.3%
• GPT-5.5：35.4%

OpenAIによると、Astraの性能向上は、コントロールプレートに誤った抗生物質のラベルが付いていることを見抜くといった、ネイティブなマルチモーダル処理能力の向上と、データから結論を導けない場合を認識する能力によるものです。一方、Astraが依然として失敗する例として、仮定を優先してコントロールを軽視すること、矛盾する観察結果を過小評価すること、プレート上のコロニーを約12%多く数えることも挙げています。