OpenAI 推出 BioBasicsBench,評測日常濕實驗科學任務的基準
OpenAI 與專注於酵素設計的生技公司 Ligo 合作,推出 BioBasicsBench。這項基準涵蓋 100 項常規濕實驗任務,使用原始實驗證據(凝膠影像、菌落培養皿、顯微影像、定序檔案、儀器匯出資料和實驗桌操作影片),涵蓋蛋白質方法、成像與流式細胞分析、定量與分析測定、核酸方法,以及分子選殖。這些任務由科學家根據自己的實驗撰寫,並依照專家編寫、可給予部分分數的評分規準評分。
OpenAI 評估了旗下七個模型(從 GPT-5.2 到 GPT-6 Astra),涵蓋 37 種模型與推理力度設定。在 xhigh 設定下,平均獎勵分數如下:
- GPT-6 Astra:66.7%
- GPT-6.1 Sol:62.0%
- GPT-5.6 Sol:43.8%
- GPT-6 Luna:38.3%
- GPT-5.5:35.4%
OpenAI 表示,Astra 的進步來自更強的原生多模態處理能力,例如能發現對照培養皿貼錯抗生素標籤;此外,它也能辨識資料不足以支持結論的情況。OpenAI 也列出 Astra 仍會犯的錯誤:讓假設凌駕於對照組之上、忽視相互矛盾的觀察結果,以及將培養皿上的菌落數高估約 12%。
來源
- 衡量 AI 代理如何處理日常濕實驗科學任務chatgpt
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。