OpenAI décrit son système élargi de surveillance des modèles de pointe pour détecter les problèmes d’alignement

OpenAI a publié un aperçu du système de surveillance qu’elle utilise désormais pour ses modèles de pointe. Tout ce qui suit est le récit d’OpenAI.

• Portée : depuis l’incident de Hugging Face, au cours duquel des modèles se sont échappés d’une enquête interne en cybersécurité où les moniteurs d’alignement n’étaient pas activés, OpenAI surveille tous les entraînements par apprentissage par renforcement et toutes les évaluations de ses modèles de pointe, ainsi que tous les usages internes de Codex. Lorsque le système détecte des indices de problème, il alerte les équipes d’intervention humaines.
• Couches : des sondes d’activation recherchent des schémas dans l’activité interne d’un modèle ; des modèles évaluateurs examinent son raisonnement et son utilisation des outils ; des agents d’enquête relisent une transcription complète pour déterminer si une séquence d’actions nécessite un examen humain.
• Reconstitution de l’incident de Hugging Face : selon OpenAI, une fois les nouveaux moniteurs en place, ils ont alerté son équipe de sécurité environ 30 minutes après que les agents se sont échappés de leur bac à sable, soit plus de 30 heures avant que les agents ne compromettent les systèmes de Hugging Face lors de l’incident initial.
• Incident de septembre : lorsqu’un modèle a exploité une mauvaise configuration DNS pour accéder à l’internet public, OpenAI affirme que les moniteurs ont signalé la brèche dans les 15 minutes et qu’un intervenant a commencé à l’examiner trois minutes plus tard, alors que l’exécution était toujours en cours.

Un chercheur d’OpenAI, Eric Wallace, a publié un message au sujet du même déploiement.