Anthropic publica 10 recomendaciones para diseñar, ejecutar y presentar evaluaciones de seguridad

Anthropic publicó una entrada en su blog de ingeniería con 10 recomendaciones sobre cómo diseñar, ejecutar y presentar evaluaciones de seguridad. Afirma que estas evaluaciones son fundamentales para entender si un modelo está listo para implementarse, qué medidas de protección hay que crear para él y en qué aspectos centrarse en la formación y la investigación.

La entrada, basada en la experiencia de Anthropic y sus fichas de sistema, retoma reformas de la psicología posteriores a su crisis de replicación, como el prerregistro. Entre sus recomendaciones:

• Formar el equipo con expertos tanto en el dominio como en metodología y ejecutar las evaluaciones en un entorno aislado sin acceso a internet, con supervisión en tiempo real. Anthropic afirma que, tras sus propios incidentes, reforzó sus entornos de evaluación y pausó muchas evaluaciones que dan a los modelos acceso a internet.
• Medir lo que se pretende medir. La tasa de rechazo suele ser una variable inadecuada: para las conversaciones sobre autolesiones, Anthropic informa una «tasa de respuesta adecuada», evaluada a lo largo de una conversación completa de varios turnos según una rúbrica de expertos, y combina indicaciones dañinas con otras benignas del mismo ámbito para detectar rechazos excesivos.
• Preferir simulaciones de varios turnos basadas en comportamientos observados. Anthropic afirma que sus evaluaciones de un solo turno están saturadas: todos los modelos recientes alcanzan tasas de respuesta inocua del 94 % al 98 %, por lo que sirven principalmente para comprobar regresiones.
• Calibrar a los evaluadores, mantener los criterios atómicos y binarios, y hacer que personas revisen los casos sobre los que el evaluador no está seguro.

El anuncio de Anthropic tuvo 881 puntos en X el 13 de noviembre.