OpenAI presenta BioBasicsBench, un benchmark di attività scientifiche di routine in laboratorio umido

OpenAI presenta BioBasicsBench, un benchmark di 100 attività di routine in laboratorio umido, sviluppato con Ligo, un’azienda biotecnologica specializzata nella progettazione di enzimi. Le attività si basano su prove sperimentali grezze (immagini di gel, piastre con colonie, microscopia, file di sequenziamento, esportazioni degli strumenti e video del lavoro al banco) e riguardano metodi per le proteine, imaging e citometria, quantificazione e saggi, metodi per gli acidi nucleici e clonaggio molecolare. Gli scienziati le hanno ideate sulla base dei propri esperimenti; le risposte vengono valutate con rubriche redatte da esperti che assegnano anche punteggi parziali.

OpenAI ha valutato sette dei suoi modelli (da GPT-5.2 a GPT-6 Astra) in 37 configurazioni di modello e livello di ragionamento. Al livello xhigh, questi sono i punteggi medi di reward:

• GPT-6 Astra: 66,7%
• GPT-6.1 Sol: 62,0%
• GPT-5.6 Sol: 43,8%
• GPT-6 Luna: 38,3%
• GPT-5.5: 35,4%

OpenAI afferma che i progressi di Astra derivano da una gestione multimodale nativa più efficace, per esempio nel rilevare che su una piastra di controllo era indicato l’antibiotico sbagliato, e dalla capacità di riconoscere quando i dati non consentono di trarre una conclusione. Elenca anche i casi in cui Astra continua a sbagliare: lasciare che un presupposto prevalga sui controlli, svalutare osservazioni contraddittorie e sovrastimare di circa il 12% il numero di colonie su una piastra.