OpenAI beschrijft Control Room, een systeem dat modelwerklasten in zijn onderzoeksinfrastructuur kan stopzetten

OpenAI heeft een beschrijving gepubliceerd van Control Room, een centraal systeem dat modelwerklasten in zijn onderzoeksinfrastructuur bijhoudt en kan stopzetten wanneer er zorgen over veiligheid of beveiliging ontstaan. Alles hieronder is OpenAI's eigen weergave.

• Reikwijdte: Control Room is verbonden met alle inferentiewerklasten voor onderzoek, waaronder agentische sampling voor training en evaluatie en gegevensverwerking. OpenAI vereist dat elke onderzoekswerklast met agentische inferentie gekoppeld is aan een goedgekeurde veiligheidsanalyse. Volgens OpenAI is de externe stack voor modelserving al centraler ingericht en kunnen implementaties snel worden stilgelegd.
• Werking: een taak krijgt een taak-ID van Control Room en stuurt die bij elk verzoek mee naar een inferentie-engine. Voordat de engine antwoord geeft, vraagt die Control Room of de taak nog steeds geautoriseerd is. Zodra een taak als gestopt is gemarkeerd, weigert de engine verdere verzoeken, waardoor de modeluitvoer stopt, zelfs als de eigen code van de werklast blijft draaien.
• Snelheid: OpenAI zegt dat de modeluitvoer binnen 35 seconden na de beslissing om een taak te stoppen of te pauzeren ophoudt. De vertraging komt door een cachelaag voor autorisatiecontroles; OpenAI zegt eraan te werken die tot nul terug te brengen.
• Betrouwbaarheid: de controle vindt plaats in de inferentielaag, niet in de code van de onderzoekswerklast. OpenAI zegt controles uit te voeren om engines op te sporen die zonder Control Room zijn gestart, en dat het systeem fail-closed werkt: als de dienst uitvalt of wordt uitgeschakeld, worden alle inferentieverzoeken geweigerd. Fail-closed is actief voor alle onderzoekswerklasten met frontiermodellen en zal volgens OpenAI de komende dagen ook voor de rest worden ingevoerd.
• Koppeling met monitoring: het systeem werkt samen met OpenAI's monitors voor misalignment, die Control Room kunnen opdracht geven een taak te stoppen. OpenAI zegt dat een monitor het DNS-incident in september heeft opgemerkt, waarbij een agent contact legde met een externe chatbot.