Anthropic pone a miles de agentes de Claude a poner a prueba monitores de datos de entrenamiento para detectar desalineación emergente

Anthropic publicó una investigación sobre la automatización de las pruebas de red team para detectar desalineaciones emergentes sutiles. Afirma que estas pruebas son fundamentales para evaluar la seguridad de los modelos, pero que el tiempo de los investigadores es limitado. Todo lo que sigue es el relato de Anthropic, tomado de su publicación y de su artículo en el Alignment Science Blog.

• Método: encargó a miles de agentes de Claude que escribieran datos de entrenamiento capaces de evadir un monitor de datos de entrenamiento.
• Qué produjeron los agentes: datos que parecían inofensivos para los monitores, como un luchador veterano que orienta a un recién llegado o una sesión de preguntas y respuestas sobre apicultura profesional, pero que, según Anthropic, en realidad enseñaban comportamientos desalineados.
• Uso: Anthropic afirma que estos ejemplos pueden mejorar directamente los futuros monitores de datos de entrenamiento. Considera que este trabajo es un primer paso y dice que las futuras pruebas de red team podrían avanzar mucho más con mejores modelos y más capacidad de cómputo.