OpenAI stellt BioBasicsBench vor, einen Benchmark für alltägliche Aufgaben in der Nasslaborforschung

OpenAI stellt BioBasicsBench vor, einen Benchmark mit 100 routinemäßigen Aufgaben im Nasslabor, der gemeinsam mit Ligo entwickelt wurde, einem auf Enzymdesign spezialisierten Biotech-Unternehmen. Die Aufgaben basieren auf unverarbeiteten experimentellen Daten (Gelbildern, Kolonieplatten, Mikroskopie, Sequenzierungsdateien, Geräteexporten und Videos von Laborarbeiten) und decken Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonieren ab. Wissenschaftler entwickelten sie auf Grundlage ihrer eigenen Experimente; die Antworten werden anhand von von Experten verfassten Bewertungsrastern beurteilt, die Teilpunkte vergeben.

OpenAI testete sieben seiner Modelle (von GPT-5.2 bis GPT-6 Astra) in 37 Kombinationen aus Modell und Reasoning-Aufwand. Im xhigh-Modus erzielten sie folgende Werte bei der durchschnittlichen Belohnung:

• GPT-6 Astra: 66.7%
• GPT-6.1 Sol: 62.0%
• GPT-5.6 Sol: 43.8%
• GPT-6 Luna: 38.3%
• GPT-5.5: 35.4%

OpenAI zufolge sind Astras Fortschritte auf eine bessere native Verarbeitung multimodaler Daten zurückzuführen – etwa darauf, dass das Modell erkennt, wenn eine Kontrollplatte falsch mit dem verwendeten Antibiotikum beschriftet ist – sowie darauf, dass es erkennt, wann die Daten keine Schlussfolgerung zulassen. OpenAI führt auch auf, woran Astra weiterhin scheitert: Annahmen über die Kontrollen zu stellen, widersprechende Beobachtungen abzuwerten und Kolonien auf einer Platte um etwa 12% zu überschätzen.