Anthropic afferma di aver addestrato Claude a segnalare possibili abusi nelle proprie conversazioni

Anthropic ha descritto una misura di sicurezza che chiama «autovalutazione»: subito dopo aver risposto, Claude fornisce una valutazione preliminare della sicurezza della conversazione e segnala possibili abusi. Tutto ciò che segue è il resoconto di Anthropic, tratto dal suo post e da un nuovo articolo sul blog Safeguards.

• Da giugno: Anthropic afferma di usare l’autovalutazione da giugno e che questa ha individuato abusi che le altre misure di sicurezza non erano progettate per rilevare.
• Perché, secondo Anthropic, funziona: Claude ha già letto la conversazione, quindi il controllo è efficiente. A differenza dei classificatori, che prendono di mira un insieme fisso di danni, si basa sul giudizio di Claude; per questo, secondo Anthropic, diventa più accurato man mano che i suoi modelli migliorano.