OpenAI przedstawia BioBasicsBench — benchmark codziennych zadań z pracy w laboratorium biologicznym

OpenAI przedstawia BioBasicsBench — benchmark obejmujący 100 rutynowych zadań laboratoryjnych, opracowany we współpracy z Ligo, firmą biotechnologiczną zajmującą się projektowaniem enzymów. Zadania opierają się na surowych danych eksperymentalnych (zdjęciach żeli, płytkach z koloniami, obrazach mikroskopowych, plikach z sekwencjonowania, eksportach z urządzeń i nagraniach pracy przy stole laboratoryjnym) i dotyczą metod badania białek, obrazowania i cytometrii, ilościowego oznaczania i testów, metod pracy z kwasami nukleinowymi oraz klonowania molekularnego. Naukowcy opracowali je na podstawie własnych eksperymentów, a odpowiedzi ocenia się według kryteriów przygotowanych przez ekspertów, które przyznają również punkty częściowe.

OpenAI oceniło siedem swoich modeli (od GPT-5.2 do GPT-6 Astra) w 37 konfiguracjach modelu i poziomu wysiłku rozumowania. Oto wyniki średniej nagrody dla ustawienia xhigh:

• GPT-6 Astra: 66,7%
• GPT-6.1 Sol: 62,0%
• GPT-5.6 Sol: 43,8%
• GPT-6 Luna: 38,3%
• GPT-5.5: 35,4%

OpenAI twierdzi, że przewaga Astra wynika z lepszej natywnej obsługi wielu modalności — na przykład model potrafi zauważyć, że na płytce kontrolnej błędnie oznaczono antybiotyk — oraz z rozpoznawania, kiedy dane nie pozwalają wyciągnąć wniosków. Firma wymienia też problemy, które wciąż trapią Astrę: dopuszczanie, by założenie przeważyło nad kontrolami, pomijanie sprzecznych obserwacji oraz zawyżanie liczby kolonii na płytce o około 12%.