AI TrackerTélécharger
← Toutes les actus
OpenAIModèles

OpenAI mandate quatre organismes externes pour évaluer de l’intérieur l’alignement et les garde-fous de ses modèles

OpenAI indique avoir conclu des accords avec Apollo Research, METR, Transluce et Goodfire pour une première phase d’« évaluations intégrées », durant laquelle des experts indépendants bénéficient d’un accès approfondi à ses modèles et systèmes internes sur une période prolongée. Cet accès peut inclure des points de contrôle de modèles, le code source, des données d’entraînement et d’évaluation, des systèmes de surveillance ainsi que des échanges avec des chercheurs. Les premières évaluations portent sur l’alignement et les garde-fous des modèles pendant l’entraînement et lors de leur utilisation en interne. OpenAI a publié cette annonce le 13 novembre.

  • Apollo Research évaluera quatre affirmations : l’entraînement n’a pas incité à la subversion ; les évaluations et le red teaming ne la provoquent pas ; les modèles n’ont pas tenté de s’y livrer lors de leur utilisation en interne ; et tout raisonnement allant dans ce sens serait détectable.
  • METR évaluera les comportements désalignés lors du plus important entraînement par apprentissage par renforcement mené à ce jour par OpenAI. OpenAI indique qu’un accord préliminaire a été trouvé sur une évaluation plus large des systèmes de surveillance, mais que sa portée reste à définir.
  • Transluce évaluera la qualité et la couverture des évaluations de l’alignement après entraînement d’OpenAI. Les deux parties disent vouloir mener une évaluation de suivi d’environ huit semaines au début de 2027.
  • Goodfire intégrera des chercheurs en interprétabilité chargés d’analyser les mécanismes internes des modèles afin de surveiller les entraînements, de déboguer et d’évaluer l’alignement. Le public visé est avant tout constitué des chercheurs d’OpenAI, mais des résultats seront également publiés.

OpenAI décrit les protocoles : les évaluateurs qui ont besoin d’informations sensibles travaillent sur place, avec des appareils d’OpenAI ; le comité de sûreté et de sécurité du conseil d’administration de l’OpenAI Foundation reçoit des rapports non expurgés ; les échanges avec le personnel restent confidentiels, mais les évaluateurs peuvent demander des déclarations attestées par OpenAI ; enfin, OpenAI se réserve le droit de masquer des informations confidentielles et de demander un délai avant leur divulgation, conformément aux pratiques de divulgation responsable. OpenAI précise qu’Apollo Research et Goodfire sont rémunérés, sans que leur paiement dépende des résultats, tandis que METR et Transluce ne le sont pas, même s’ils peuvent accepter des crédits API ou des ressources de calcul.

Recevez ce genre d'actus en notification.

AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.

Télécharger l'app