OpenAI présente BioBasicsBench, un benchmark de tâches courantes en laboratoire expérimental

OpenAI présente BioBasicsBench, un benchmark de 100 tâches courantes en laboratoire expérimental, développé avec Ligo, une entreprise de biotechnologie spécialisée dans la conception d’enzymes. Les tâches s’appuient sur des données expérimentales brutes (images de gels, boîtes de culture, images de microscopie, fichiers de séquençage, exports d’instruments et vidéos de manipulations à la paillasse) et couvrent les méthodes liées aux protéines, l’imagerie et la cytométrie, la quantification et les tests, les méthodes liées aux acides nucléiques et le clonage moléculaire. Des scientifiques les ont élaborées à partir de leurs propres expériences, et les réponses sont évaluées à l’aide de grilles de notation rédigées par des experts, qui accordent des points partiels.

OpenAI a évalué sept de ses modèles (de GPT-5.2 à GPT-6 Astra) selon 37 configurations de modèle et de niveau d’effort de raisonnement. Voici les résultats de récompense moyenne obtenus par les modèles avec le réglage xhigh :

• GPT-6 Astra : 66.7 %
• GPT-6.1 Sol : 62.0 %
• GPT-5.6 Sol : 43.8 %
• GPT-6 Luna : 38.3 %
• GPT-5.5 : 35.4 %

Selon OpenAI, les progrès d’Astra s’expliquent par une meilleure prise en charge native du multimodal, qui lui permet notamment de repérer qu’une boîte témoin portait une étiquette indiquant le mauvais antibiotique, ainsi que par sa capacité à reconnaître quand les données ne permettent pas de tirer une conclusion. OpenAI recense aussi les erreurs qui persistent chez Astra : laisser une hypothèse prendre le pas sur les contrôles, minimiser des observations contradictoires et surestimer d’environ 12 % le nombre de colonies sur une boîte.