OpenAI представляет BioBasicsBench — бенчмарк повседневных задач в мокрой лаборатории

OpenAI представляет BioBasicsBench — бенчмарк из 100 типовых задач в мокрой лаборатории, созданный совместно с Ligo, биотехнологической компанией, специализирующейся на разработке ферментов. Для решения задач используются исходные экспериментальные данные: изображения гелей, чашек с колониями и микроскопии, файлы секвенирования, выгрузки с приборов и видео лабораторной работы. Задачи охватывают методы работы с белками, визуализацию и цитометрию, количественный анализ и анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование. Их составили учёные на основе собственных экспериментов, а ответы оцениваются по рубрикам, подготовленным экспертами и допускающим частичный балл.

OpenAI протестировала семь своих моделей (от GPT-5.2 до GPT-6 Astra) в 37 сочетаниях моделей и уровней усилий на рассуждение. На уровне xhigh средняя награда составила:

• GPT-6 Astra: 66,7%
• GPT-6.1 Sol: 62,0%
• GPT-5.6 Sol: 43,8%
• GPT-6 Luna: 38,3%
• GPT-5.5: 35,4%

По словам OpenAI, Astra добилась улучшений благодаря более эффективной встроенной работе с мультимодальными данными — например, она замечает, что на контрольной чашке указано неверное название антибиотика, — а также умению распознавать ситуации, когда данные не позволяют сделать вывод. OpenAI также перечисляет, в чём Astra всё ещё ошибается: позволяет предположению перевесить результаты контроля, не учитывает противоречащие наблюдения и завышает подсчёт колоний на чашке примерно на 12%.