OpenAI contrata a cuatro grupos externos para evaluar desde dentro la alineación y las salvaguardas de sus modelos
OpenAI afirma haber firmado acuerdos con Apollo Research, METR, Transluce y Goodfire para una primera fase de «evaluaciones integradas», en la que expertos independientes obtienen acceso profundo a sus modelos y sistemas internos durante un periodo prolongado. El acceso puede incluir puntos de control de modelos, código fuente, datos de entrenamiento y evaluación, sistemas de supervisión y conversaciones con investigadores. Las primeras evaluaciones abarcan la alineación y las salvaguardas de los modelos durante el entrenamiento y el uso interno. OpenAI publicó el anuncio el 13 de noviembre.
- Apollo Research pondrá a prueba cuatro afirmaciones: que el entrenamiento no incentivó la subversión, que las evaluaciones y los ejercicios de red teaming no la provocan, que los modelos no han intentado llevarla a cabo durante el uso interno y que sería posible detectar el razonamiento que la sustenta.
- METR evaluará el comportamiento desalineado en la mayor ejecución de aprendizaje por refuerzo de OpenAI hasta la fecha. OpenAI afirma que hay un acuerdo preliminar para una evaluación más amplia de los monitores, pero que está pendiente de acordar su alcance.
- Transluce evaluará la calidad y cobertura de las evaluaciones de alineación posteriores al entrenamiento de OpenAI. Ambas partes afirman que tienen la intención de realizar una evaluación de seguimiento de unas ocho semanas a principios de 2027.
- Goodfire integrará investigadores de interpretabilidad para analizar el funcionamiento interno de los modelos con fines de supervisión de las ejecuciones de entrenamiento, depuración y alineación. Su público principal son los propios investigadores de OpenAI; también publicará sus hallazgos.
OpenAI describe los protocolos: quienes necesiten información confidencial trabajarán en las instalaciones con dispositivos de OpenAI; el Comité de Seguridad y Protección de la junta directiva de OpenAI Foundation recibirá informes sin censura; las conversaciones con el personal serán extraoficiales, aunque los evaluadores podrán solicitar declaraciones avaladas por OpenAI; y OpenAI se reserva el derecho de censurar información confidencial y solicitar retrasos para divulgarla de forma responsable. La empresa declara que Apollo Research y Goodfire reciben pagos no condicionados a los resultados, mientras que METR y Transluce no, aunque podrían aceptar créditos de API o capacidad de cómputo.
Fuentes
Debates
- First phase of embedded assessments at OpenAIHacker News · 15 comentarios
Recibe noticias como esta por push.
AI Tracker te avisa cuando algo cambia en las herramientas que usas.