OpenAI, 일상적인 습식 실험실 과학 작업을 평가하는 벤치마크 BioBasicsBench 공개

OpenAI가 생명공학 기업 Ligo와 함께 개발한, 일상적인 습식 실험실 작업 100개를 평가하는 벤치마크 BioBasicsBench를 공개했습니다. Ligo는 효소 설계에 주력하는 기업입니다. 이 작업은 단백질 기법, 이미징 및 세포분석, 정량화 및 분석법, 핵산 기법, 분자 클로닝 등 여러 분야에 걸친 원시 실험 증거(겔 이미지, 콜로니 플레이트, 현미경 사진, 시퀀싱 파일, 기기 출력물, 실험대 작업 동영상)를 활용합니다. 과학자들이 직접 수행한 실험을 바탕으로 작업을 작성했으며, 전문가가 만든 채점 기준에 따라 부분 점수도 부여합니다.

OpenAI는 자사 모델 7종(GPT-5.2부터 GPT-6 Astra까지)을 모델 및 추론 노력 수준 설정 37가지에 걸쳐 평가했습니다. xhigh 설정에서 평균 보상 점수는 다음과 같습니다.

• GPT-6 Astra: 66.7%
• GPT-6.1 Sol: 62.0%
• GPT-5.6 Sol: 43.8%
• GPT-6 Luna: 38.3%
• GPT-5.5: 35.4%

OpenAI는 Astra의 성능 향상이 잘못된 항생제 라벨이 붙은 대조군 플레이트를 알아채는 것과 같은, 기본 멀티모달 처리 능력의 향상과 데이터만으로 결론을 내릴 수 없는 경우를 인식하는 능력에서 비롯됐다고 설명합니다. 또한 Astra가 여전히 보이는 실패 양상으로 대조군보다 가정을 우선시하는 것, 모순되는 관찰 결과를 가볍게 여기는 것, 플레이트의 콜로니 수를 약 12% 과대 계수하는 것을 꼽았습니다.