OpenAI incarica quattro gruppi esterni di valutare dall’interno l’allineamento e le misure di sicurezza dei suoi modelli
OpenAI afferma di aver firmato accordi con Apollo Research, METR, Transluce e Goodfire per una prima fase di «valutazioni integrate», durante la quale esperti indipendenti ottengono un accesso approfondito ai suoi modelli e sistemi interni per un periodo prolungato. L’accesso può includere checkpoint dei modelli, codice sorgente, dati di addestramento e valutazione, sistemi di monitoraggio e colloqui con i ricercatori. Le prime valutazioni riguardano l’allineamento e le misure di sicurezza dei modelli durante l’addestramento e l’uso interno. OpenAI ha pubblicato l’annuncio il 13 novembre.
- Apollo Research verificherà quattro affermazioni: che l’addestramento non abbia incentivato comportamenti sovversivi, che le valutazioni e il red teaming non li facciano emergere, che i modelli non abbiano tentato di adottarli durante l’uso interno e che il ragionamento alla base di tali comportamenti sarebbe rilevabile.
- METR valuterà i comportamenti disallineati nel più grande ciclo di reinforcement learning di OpenAI finora. OpenAI afferma che è stato raggiunto un accordo preliminare per una valutazione più ampia dei sistemi di monitoraggio, in attesa di definire l’ambito.
- Transluce valuterà la qualità e la copertura delle valutazioni di allineamento post-addestramento di OpenAI. Entrambe le parti dichiarano di voler condurre una valutazione successiva di circa otto settimane all’inizio del 2027.
- Goodfire affiancherà ricercatori specializzati nell’interpretabilità, che analizzeranno il funzionamento interno dei modelli per monitorare i cicli di addestramento, eseguire il debugging e favorire l’allineamento. Il pubblico principale è costituito dai ricercatori di OpenAI, ma verranno pubblicati anche i risultati.
OpenAI descrive i protocolli: i valutatori che necessitano di informazioni sensibili lavorano in sede usando dispositivi di OpenAI; il Safety and Security Committee del consiglio di amministrazione della OpenAI Foundation riceve rapporti senza omissioni; i colloqui con il personale restano non ufficiali, anche se i valutatori possono richiedere dichiarazioni certificate da OpenAI; OpenAI mantiene il diritto di oscurare informazioni riservate e di chiedere ritardi per una divulgazione responsabile. L’azienda dichiara che Apollo Research e Goodfire accettano un compenso non subordinato ai risultati, mentre METR e Transluce non lo fanno, anche se potrebbero accettare crediti API o risorse di calcolo.
Fonti
Discussioni
- First phase of embedded assessments at OpenAIHacker News · 15 commenti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.