OpenAI étudie l’évolution de la surveillabilité du chain-of-thought au fil de l’entraînement d’un modèle

OpenAI a publié des recherches sur l’évolution, au cours du cycle d’entraînement, de deux indicateurs indirects de la surveillabilité du chain-of-thought (CoT) : la capacité sans CoT (raisonner en une seule passe avant, où une valeur plus élevée indique un indicateur moins fiable pour la surveillance) et la contrôlabilité du CoT (la capacité d’un modèle à ajouter, supprimer ou manipuler son CoT lorsqu’on le lui demande). Le compte rendu ci-dessous provient du fil de l’un des chercheurs ; l’étude complète est disponible sur alignment.openai.com.

• Préentraînement : sur de nombreuses évaluations, la capacité sans CoT s’améliore régulièrement à mesure que la perplexité du modèle de base diminue. La contrôlabilité du CoT est également corrélée à une perplexité plus faible, mais plus modestement.
• Architecture : pour trois architectures comparées à perplexité équivalente, la perplexité prédit les résultats de la plupart des évaluations sans CoT. En planification à plusieurs étapes et en calcul séquentiel, certaines architectures dépassent les prédictions, les performances progressant toujours régulièrement, mais plus rapidement.
• Apprentissage par renforcement : pour un modèle de classe Astra, la contrôlabilité du CoT a fortement augmenté pendant l’apprentissage par renforcement, avec uniquement des contraintes de longueur et une évaluation de la réponse finale. Pour un modèle de classe Terra, l’ajout d’un accès aux outils et d’une supervision de leur utilisation l’a légèrement augmentée ; OpenAI indique que la supervision complète du processus d’utilisation des outils compte peu par rapport à une perplexité plus faible.
• Distillation : avec deux modèles enseignants de classe Astra aux capacités à peu près équivalentes, mais à la contrôlabilité différente, un élève entraîné sur les trajectoires générées par l’enseignant le plus contrôlable est devenu plus contrôlable. OpenAI n’a observé aucun lien significatif entre contrôlabilité et contournement de la surveillance pour cette paire, et qualifie la contrôlabilité d’indicateur indirect bruité du contournement adversarial.