Anthropic affirme avoir entraîné Claude à signaler les utilisations potentiellement abusives dans ses propres conversations

Anthropic a décrit une mesure de protection qu’elle appelle l’auto-évaluation : juste après avoir répondu, Claude réalise une évaluation préliminaire de la sécurité de la conversation et signale les utilisations potentiellement abusives. Tout ce qui suit est le propre récit d’Anthropic, tiré de son article et d’un nouveau billet sur les mesures de protection.

• Depuis juin : Anthropic affirme utiliser l’auto-évaluation depuis juin et indique qu’elle a permis de détecter des utilisations abusives que ses autres mesures de protection n’étaient pas conçues pour repérer.
• Pourquoi, selon l’entreprise, cela fonctionne : Claude a déjà lu la conversation, donc la vérification est efficace. Contrairement aux classificateurs, qui ciblent un ensemble fixe de préjudices, cette méthode s’appuie sur le propre jugement de Claude. Anthropic affirme donc qu’elle gagne en précision à mesure que ses modèles s’améliorent.