OpenAI introduceert BioBasicsBench, een benchmark voor alledaagse taken in het natlab

OpenAI introduceert BioBasicsBench, een benchmark met 100 routinetaken in het natlab, ontwikkeld met Ligo, een biotechbedrijf dat zich richt op enzymontwerp. De taken zijn gebaseerd op ruwe experimentele gegevens (gelafbeeldingen, kweekplaten, microscopie, sequencingbestanden, exports van instrumenten en video's van laboratoriumwerk) en bestrijken eiwitmethoden, beeldvorming en cytometrie, kwantificering en assays, nucleïnezuurmethoden en moleculair kloneren. Wetenschappers stelden de taken op aan de hand van hun eigen experimenten; antwoorden worden beoordeeld met door experts opgestelde rubrics die gedeeltelijke punten toekennen.

OpenAI evalueerde zeven van zijn modellen (van GPT-5.2 tot GPT-6 Astra) in 37 combinaties van model en redeneerinspanning. Dit zijn de cijfers voor de gemiddelde beloning bij de instelling xhigh:

• GPT-6 Astra: 66,7%
• GPT-6.1 Sol: 62,0%
• GPT-5.6 Sol: 43,8%
• GPT-6 Luna: 38,3%
• GPT-5.5: 35,4%

Volgens OpenAI zijn de verbeteringen van Astra te danken aan sterkere native multimodale verwerking, zoals het opmerken dat op een controleplaat het verkeerde antibioticumlabel stond, en aan het herkennen wanneer de gegevens geen conclusie ondersteunen. OpenAI noemt ook waar Astra nog tekortschiet: aannames laten prevaleren boven de controles, tegenstrijdige waarnemingen terzijde schuiven en het aantal kolonies op een plaat met ongeveer 12% overschatten.