Anthropic pubblica 10 raccomandazioni per progettare, condurre e rendicontare le valutazioni di sicurezza

Anthropic ha pubblicato un post sul proprio Engineering Blog con 10 raccomandazioni su come progettare, condurre e rendicontare le valutazioni di sicurezza. Secondo l’azienda, queste valutazioni sono fondamentali per capire se un modello è pronto per essere distribuito, quali misure di sicurezza predisporre e su quali aspetti concentrare formazione e ricerca.

Il post, basato sull’esperienza diretta di Anthropic e sulle sue system card, riprende le riforme introdotte in psicologia dopo la crisi della replicabilità, come la preregistrazione. Tra le raccomandazioni:

• Comporre il team con esperti sia del settore sia dei metodi e condurre le valutazioni in un ambiente sandbox senza accesso a Internet, con monitoraggio in tempo reale. Anthropic afferma che, dopo alcuni incidenti interni, ha rafforzato i propri ambienti di valutazione e sospeso molte valutazioni che consentivano ai modelli di accedere a Internet.
• Misurare ciò che si intende misurare. Il tasso di rifiuto è spesso una metrica inadatta: per le conversazioni sull’autolesionismo, Anthropic riferisce un «tasso di risposta appropriata», valutato sull’intera conversazione a più turni in base a una griglia per esperti, e affianca prompt dannosi a prompt innocui dello stesso ambito per individuare i rifiuti eccessivi.
• Preferire simulazioni a più turni basate su comportamenti osservati. Anthropic afferma che le sue valutazioni a turno singolo sono ormai sature: per ogni modello recente, il tasso di risposte innocue è compreso tra il 94% e il 98%, quindi servono soprattutto a verificare eventuali regressioni.
• Calibrare i valutatori, mantenere criteri atomici e binari e far esaminare da persone i casi su cui il valutatore è incerto.

L’annuncio di Anthropic ha ottenuto 881 punti su X il 13 novembre.