OpenAI descrive Control Room, un sistema in grado di fermare i carichi di lavoro dei modelli in tutta la sua infrastruttura di ricerca

OpenAI ha pubblicato una descrizione di Control Room, un sistema centralizzato che monitora i carichi di lavoro dei modelli nella sua infrastruttura di ricerca e può fermarli quando emergono problemi di sicurezza. Tutto quanto segue è il resoconto di OpenAI.

• Ambito: Control Room collega tutti i carichi di lavoro di inferenza per la ricerca, inclusi il campionamento agentico per l’addestramento e la valutazione e l’elaborazione dei dati. OpenAI richiede che ogni carico di lavoro di ricerca che esegue inferenza agentica sia associato a un caso di sicurezza approvato. Afferma che lo stack esterno per la distribuzione dei modelli è già più centralizzato e può disattivare rapidamente le implementazioni.
• Come funziona: un job riceve un ID da Control Room e lo invia con ogni richiesta a un motore di inferenza. Prima di rispondere, il motore chiede a Control Room se il job è ancora autorizzato; una volta contrassegnato come interrotto, il motore rifiuta le richieste successive, quindi la generazione del modello si ferma anche se il codice del carico di lavoro continua a essere eseguito.
• Velocità: OpenAI afferma che la generazione del modello si interrompe entro 35 secondi dalla decisione di fermare o sospendere un job. Il ritardo è dovuto a un livello di caching per i controlli di autorizzazione; OpenAI dichiara di lavorare per azzerarlo.
• Affidabilità: il controllo è integrato nel livello di inferenza, non nel codice dei carichi di lavoro dei ricercatori. OpenAI afferma di eseguire controlli sistematici per individuare i motori avviati senza Control Room e che il sistema opera in modalità fail-closed: se il servizio non è disponibile o viene disattivato, tutte le richieste di inferenza vengono rifiutate. La modalità fail-closed è attiva per tutti i carichi di lavoro di ricerca sui modelli di frontiera e, secondo OpenAI, sarà estesa agli altri nei prossimi giorni.
• Collegamento al monitoraggio: il sistema lavora con i monitor di misalignment di OpenAI, che possono ordinare a Control Room di fermare un job. OpenAI afferma che un monitor ha rilevato l’incidente DNS di settembre, in cui un agente ha raggiunto un chatbot esterno.