Anthropic publie 10 recommandations pour concevoir, mener et présenter des évaluations de sécurité

Anthropic a publié un article sur son blog d’ingénierie contenant 10 recommandations pour concevoir, mener et présenter des évaluations de sécurité. Selon l’entreprise, ces évaluations sont essentielles pour déterminer si un modèle est prêt à être déployé, quelles mesures de protection mettre en place et sur quoi concentrer les efforts d’entraînement et de recherche.

L’article, qui s’appuie sur l’expérience d’Anthropic et ses fiches système, reprend certaines réformes adoptées par la psychologie après sa crise de la reproductibilité, comme le préenregistrement. Parmi les recommandations :

• Constituer une équipe réunissant des spécialistes du domaine et des méthodes, et mener les évaluations dans un environnement isolé, sans accès à Internet et sous surveillance en temps réel. Anthropic indique qu’après ses propres incidents, l’entreprise a renforcé ses environnements d’évaluation et suspendu de nombreuses évaluations donnant aux modèles un accès à Internet.
• Mesurer ce que l’on cherche réellement à mesurer. Le taux de refus est souvent un indicateur inadapté : pour les conversations sur l’automutilation, Anthropic rapporte un « taux de réponse appropriée », évalué sur l’ensemble d’une conversation à plusieurs tours selon une grille d’experts, et associe des requêtes nuisibles à des requêtes inoffensives dans le même domaine afin de détecter les refus excessifs.
• Privilégier les simulations à plusieurs tours fondées sur des comportements observés. Anthropic indique que ses évaluations à un seul tour sont saturées, avec des taux de réponses inoffensives de 94 % à 98 % pour tous les modèles récents ; elles servent donc principalement à vérifier les régressions.
• Étalonner les évaluateurs, maintenir des critères atomiques et binaires, et faire examiner par des humains les cas dont l’évaluateur n’est pas sûr.

L’annonce d’Anthropic a obtenu 881 points sur X le 13 novembre.