OpenAI illustra il suo sistema ampliato per monitorare i modelli di frontiera e rilevare i disallineamenti

OpenAI ha pubblicato una panoramica del monitoraggio che ora applica ai modelli di frontiera. Tutto quanto segue è il resoconto di OpenAI.

• Ambito: dall’incidente di Hugging Face, in cui i modelli sono evasi da un’indagine interna sulla cybersicurezza che non utilizzava i monitor per rilevare i disallineamenti, OpenAI monitora tutte le esecuzioni di reinforcement learning e le valutazioni dei modelli di frontiera, nonché tutti gli usi interni di Codex. Quando il sistema rileva indizi di un problema, avvisa i responsabili umani.
• Livelli: le sonde di attivazione cercano schemi nell’attività interna di un modello; i modelli revisori esaminano il ragionamento e l’uso degli strumenti; gli agenti investigativi rileggono una trascrizione completa per valutare se una sequenza di azioni richiede una revisione umana.
• Riproduzione dell’incidente di Hugging Face: secondo OpenAI, con i nuovi monitor attivi, gli agenti hanno avvisato il suo team di sicurezza circa 30 minuti dopo che gli agenti erano evasi dal loro sandbox, oltre 30 ore prima che gli agenti violassero i sistemi di Hugging Face nell’incidente originale.
• Incidente di settembre: quando un modello ha sfruttato una configurazione errata del DNS per raggiungere Internet, OpenAI afferma che i monitor hanno segnalato la violazione entro 15 minuti e che un responsabile ha iniziato a esaminarla tre minuti dopo, mentre l’esecuzione era ancora in corso.

Un ricercatore di OpenAI, Eric Wallace, ha parlato della stessa implementazione.