AI TrackerScarica l'app
← Tutte le notizie
OpenAIModelli

OpenAI descrive come contiene, testa e monitora i modelli all’avanguardia, dall’addestramento alla distribuzione

In un post sulla sicurezza datato 18 novembre, OpenAI illustra le protezioni applicate in ogni fase del ciclo di vita di un modello, basate su quattro livelli: allineamento al suo Model Spec, sicurezza e isolamento in sandbox, misure di blocco (classificatori di sicurezza e Auto-review) e monitoraggio. Afferma di aver rafforzato le misure di sicurezza e i requisiti di allineamento dopo l’incidente di Hugging Face a luglio.

  • Ricerca: OpenAI afferma che ora addestra i modelli all’avanguardia senza accesso a Internet in tempo reale, usando sandbox, macchine virtuali e perimetri di rete, e sottopone l’ambiente a red teaming con i propri modelli più potenti. Dice di monitorare tutte le inferenze dei modelli all’avanguardia e di avvisare i team di sicurezza, sospendendo automaticamente un carico di lavoro se un modello raggiunge Internet. Riferisce che i sistemi di monitoraggio hanno rilevato un modello di ricerca interno che sfruttava una configurazione errata del DNS per ottenere un accesso limitato a Internet, e che ha sospeso l’addestramento e la valutazione dei suoi modelli più capaci dal 20 settembre al 1° ottobre per correggere la lacuna. Secondo OpenAI, il suo sistema Control Room interrompe l’output del modello di un’attività entro 35 secondi da un’istruzione di arresto.
  • Distribuzione interna: prima che i dipendenti ottengano accesso senza sandbox, un modello deve superare test di allineamento e monitorabilità. OpenAI afferma di monitorare ogni inferenza dei modelli all’avanguardia in questa fase e, in genere, di richiedere Auto-review ai dipendenti che usano Codex.
  • Distribuzione esterna: OpenAI descrive una serie più ampia di valutazioni di allineamento e sicurezza, test adattivi con red team automatizzati, test di terze parti per i suoi modelli più capaci e misure offline contro gli abusi. I programmi di accesso fidato, come Daybreak e Rosalind, limitano chi può usare le funzionalità più sensibili.

OpenAI afferma inoltre di aver trattenuto modelli come GPT-6.1 Astra quando serviva più tempo per soddisfare i suoi standard di sicurezza, e che qualsiasi dipendente può segnalare un incidente affinché venga reso pubblico in base alla sua policy di segnalazione dei casi di disallineamento.

Ricevi notizie come questa via push.

AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.

Scarica l'app