OpenAI apresenta o BioBasicsBench, um benchmark de tarefas cotidianas de ciência em laboratório

OpenAI apresenta o BioBasicsBench, um benchmark de 100 tarefas rotineiras de laboratório desenvolvido com a Ligo, uma empresa de biotecnologia focada em design de enzimas. As tarefas usam evidências experimentais brutas (imagens de gel, placas de colônias, microscopia, arquivos de sequenciamento, exportações de instrumentos e vídeos de trabalho no laboratório) em métodos de proteínas, imagem e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular. Cientistas criaram as tarefas com base em seus próprios experimentos, e as respostas são avaliadas segundo rubricas elaboradas por especialistas, que atribuem crédito parcial.

A OpenAI avaliou sete de seus modelos (do GPT-5.2 ao GPT-6 Astra) em 37 configurações de modelo e nível de esforço de raciocínio. No nível xhigh, estes são os valores de recompensa média:

• GPT-6 Astra: 66,7%
• GPT-6.1 Sol: 62,0%
• GPT-5.6 Sol: 43,8%
• GPT-6 Luna: 38,3%
• GPT-5.5: 35,4%

A OpenAI afirma que os avanços do Astra vêm de um tratamento multimodal nativo mais robusto — por exemplo, ao perceber que uma placa de controle estava com o rótulo do antibiótico errado — e da capacidade de reconhecer quando os dados não permitem chegar a uma conclusão. A empresa também lista em que o Astra ainda falha: deixar uma suposição se sobrepor aos controles, desconsiderar observações contraditórias e contar colônias a mais em uma placa, em cerca de 12%.