OpenAI, gündelik ıslak laboratuvar bilimi görevlerinden oluşan bir kıyaslama testi olan BioBasicsBench’i tanıttı

OpenAI, enzim tasarımına odaklanan bir biyoteknoloji şirketi olan Ligo ile birlikte geliştirilen, rutin ıslak laboratuvar görevlerinden oluşan 100 maddelik bir kıyaslama testi olan BioBasicsBench’i tanıttı. Görevler; protein yöntemleri, görüntüleme ve sitometri, miktar tayini ve analizler, nükleik asit yöntemleri ve moleküler klonlama alanlarında ham deneysel kanıtları (jel görüntüleri, koloni plakları, mikroskopi, dizileme dosyaları, cihaz çıktıları ve laboratuvar tezgâhındaki çalışmaların videoları) kullanıyor. Bilim insanları görevleri kendi deneyimlerinden yola çıkarak hazırladı; yanıtlar, kısmi puan veren ve uzmanlarca yazılmış değerlendirme ölçütlerine göre puanlanıyor.

OpenAI, yedi modelini (GPT-5.2’den GPT-6 Astra’ya kadar) 37 model ve akıl yürütme yoğunluğu ayarında değerlendirdi. xhigh ayarındaki ortalama ödül sonuçları şöyle:

• GPT-6 Astra: %66,7
• GPT-6.1 Sol: %62,0
• GPT-5.6 Sol: %43,8
• GPT-6 Luna: %38,3
• GPT-5.5: %35,4

OpenAI, Astra’nın kazanımlarını; kontrol plakasında yanlış antibiyotik etiketinin bulunduğunu fark etmek gibi, çok modlu verileri doğal biçimde daha iyi işlemesine ve verilerin bir sonuca varmayı desteklemediğini anlayabilmesine bağlıyor. Ayrıca Astra’nın hâlâ başarısız olduğu noktaları da sıralıyor: bir varsayımın kontrolleri geçersiz kılmasına izin vermek, çelişen gözlemleri göz ardı etmek ve bir plakadaki koloni sayısını yaklaşık %12 fazla hesaplamak.