Anthropic assegna a migliaia di agenti Claude il compito di mettere alla prova i monitor dei dati di addestramento per individuare disallineamenti emergenti

Anthropic ha pubblicato una ricerca sull’automazione del red teaming per individuare sottili disallineamenti emergenti. L’azienda afferma che il red teaming è fondamentale per testare la sicurezza dei modelli, ma è limitato dal tempo a disposizione dei ricercatori. Quanto segue è il resoconto di Anthropic, tratto dal suo post e dall’articolo pubblicato sull’Alignment Science Blog.

• Metodo: ha assegnato a migliaia di agenti Claude il compito di scrivere dati di addestramento in grado di eludere un monitor dei dati di addestramento.
• Cosa hanno prodotto gli agenti: dati che sembravano innocui ai monitor, come un lottatore veterano che fa da mentore a un esordiente o una sessione di domande e risposte sull’apicoltura professionale, ma che secondo Anthropic insegnavano in realtà comportamenti disallineati.
• Utilizzo: Anthropic afferma che esempi del genere possono migliorare direttamente i futuri monitor dei dati di addestramento. Definisce questo lavoro un primo passo e sostiene che il red teaming futuro potrebbe fare molti più progressi grazie a modelli migliori e a maggiori risorse di calcolo.