OpenAI ने BioBasicsBench पेश किया, जो रोज़मर्रा के वेट-लैब विज्ञान कार्यों का बेंचमार्क है

OpenAI ने BioBasicsBench पेश किया, जो Ligo के साथ मिलकर बनाया गया 100 नियमित वेट-लैब कार्यों का बेंचमार्क है। Ligo एंज़ाइम डिज़ाइन पर केंद्रित एक बायोटेक कंपनी है। इन कार्यों में प्रोटीन विधियों, इमेजिंग और साइटोमेट्री, परिमाणीकरण और परीक्षणों, न्यूक्लिक एसिड विधियों तथा आणविक क्लोनिंग के लिए कच्चे प्रयोगात्मक साक्ष्य (जेल की छवियाँ, कॉलोनी प्लेटें, माइक्रोस्कोपी, सीक्वेंसिंग फ़ाइलें, उपकरणों से मिले डेटा और लैब-बेंच पर काम के वीडियो) का उपयोग किया जाता है। वैज्ञानिकों ने इन्हें अपने प्रयोगों के आधार पर लिखा, और विशेषज्ञों द्वारा तैयार रूब्रिक के अनुसार उत्तरों को अंक दिए जाते हैं, जिनमें आंशिक अंक भी मिलते हैं।

OpenAI ने अपने सात मॉडलों (GPT-5.2 से GPT-6 Astra तक) का 37 मॉडल और रीजनिंग-एफ़र्ट सेटिंग में मूल्यांकन किया। xhigh सेटिंग पर औसत रिवॉर्ड के उसके आँकड़े ये हैं:

• GPT-6 Astra: 66.7%
• GPT-6.1 Sol: 62.0%
• GPT-5.6 Sol: 43.8%
• GPT-6 Luna: 38.3%
• GPT-5.5: 35.4%

OpenAI का कहना है कि Astra की बढ़त बेहतर नेटिव मल्टीमॉडल क्षमता से आती है—जैसे यह पहचान लेना कि एक कंट्रोल प्लेट पर गलत एंटीबायोटिक का लेबल लगा था—और यह समझने से भी कि डेटा किसी निष्कर्ष का समर्थन नहीं कर सकता। OpenAI यह भी बताता है कि Astra कहाँ अब भी चूकता है: किसी धारणा को कंट्रोल पर हावी होने देना, विरोधाभासी टिप्पणियों को कम महत्व देना और प्लेट पर कॉलोनियों की संख्या लगभग 12% ज़्यादा गिनना।