Anthropic afirma que entrenó a Claude para detectar posibles usos indebidos en sus propias conversaciones

Anthropic describió una salvaguarda que denomina autoevaluación: justo después de responder, Claude hace una evaluación preliminar de seguridad de la conversación y señala posibles usos indebidos. Todo lo que sigue es el relato de Anthropic, tomado de su publicación y de un nuevo artículo del blog Safeguards.

• Desde junio: Anthropic afirma que usa la autoevaluación desde junio y que esta ha detectado usos indebidos que sus otras salvaguardas no estaban diseñadas para detectar.
• Por qué, según Anthropic, funciona: Claude ya ha leído la conversación, así que la comprobación es eficiente. A diferencia de los clasificadores, que se centran en un conjunto fijo de daños, se basa en el propio criterio de Claude; por eso, Anthropic afirma que se vuelve más precisa a medida que mejoran sus modelos.