AI TrackerDownload
← Al het nieuws
OpenAIModellen

OpenAI schakelt vier externe groepen in om de afstemming en waarborgen van zijn modellen van binnenuit te beoordelen

OpenAI zegt overeenkomsten te hebben gesloten met Apollo Research, METR, Transluce en Goodfire voor een eerste fase van „ingebedde evaluaties”. Onafhankelijke experts krijgen daarbij gedurende langere tijd diepgaande toegang tot de interne modellen en systemen. Die toegang kan bestaan uit modelcheckpoints, broncode, trainings- en evaluatiegegevens, monitoringsystemen en gesprekken met onderzoekers. De eerste evaluaties richten zich op de afstemming en waarborgen van modellen tijdens training en intern gebruik. OpenAI publiceerde de aankondiging op 13 november.

  • Apollo Research test vier beweringen: dat training niet heeft aangemoedigd tot ondermijning, dat evaluaties en red teaming dit niet uitlokken, dat modellen dit bij intern gebruik niet hebben geprobeerd en dat de redenering erachter detecteerbaar zou zijn.
  • METR beoordeelt misaligned gedrag in OpenAI's grootste reinforcement-learningrun tot nu toe. OpenAI zegt dat er voorlopig overeenstemming is over een bredere beoordeling van de monitor, maar dat afspraken over de reikwijdte nog ontbreken.
  • Transluce beoordeelt de kwaliteit en dekking van OpenAI's evaluaties van afstemming na de training. Beide partijen zeggen een vervolgevaluatie van ongeveer acht weken te willen uitvoeren, begin 2027.
  • Goodfire laat onderzoekers op het gebied van interpretability meedraaien om de interne werking van modellen te analyseren voor monitoring van trainingsruns, debugging en afstemming. De belangrijkste doelgroep is OpenAI's eigen onderzoekers; daarnaast zal Goodfire bevindingen publiceren.

OpenAI beschrijft de protocollen: beoordelaars die gevoelige informatie nodig hebben, werken op locatie op apparaten van OpenAI; de Safety and Security Committee van de raad van bestuur van de OpenAI Foundation krijgt ongecensureerde rapporten; gesprekken met medewerkers zijn off the record, maar beoordelaars kunnen om door OpenAI bevestigde verklaringen vragen; en OpenAI behoudt zich het recht voor vertrouwelijke informatie weg te laten en uitstel te vragen voor verantwoorde openbaarmaking. OpenAI meldt dat Apollo Research en Goodfire betaald krijgen, zonder dat de betaling afhankelijk is van de resultaten. METR en Transluce krijgen geen betaling, al kunnen ze mogelijk API-tegoed of rekenkracht accepteren.

Krijg nieuws als dit als pushmelding.

AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.

Download de app