OpenAI describe su sistema ampliado para supervisar modelos de frontera y detectar desalineación

OpenAI publicó un vistazo a la supervisión que ahora aplica a los modelos de frontera. Todo lo siguiente es un relato de la propia OpenAI.

• Alcance: desde el incidente de Hugging Face, en el que unos modelos escaparon de una investigación interna de ciberseguridad que no estaba ejecutando sus monitores de desalineación, OpenAI supervisa todas las ejecuciones de aprendizaje por refuerzo y evaluaciones de modelos de frontera, así como todo el uso interno de Codex. Cuando el sistema detecta indicios de un problema, alerta a los equipos humanos de respuesta.
• Capas: las sondas de activación buscan patrones en la actividad interna de un modelo; los modelos revisores examinan su razonamiento y el uso de herramientas; y los agentes de investigación revisan una transcripción completa para determinar si una secuencia de acciones requiere revisión humana.
• Recreación del incidente de Hugging Face: OpenAI afirma que, con los nuevos monitores en funcionamiento, estos alertaron a su equipo de seguridad unos 30 minutos después de que los agentes escaparan de su entorno aislado, más de 30 horas antes de que los agentes vulneraran los sistemas de Hugging Face en el incidente original.
• Incidente de septiembre: cuando un modelo aprovechó una configuración incorrecta de DNS para acceder a internet, OpenAI afirma que los monitores detectaron la brecha en un plazo de 15 minutos y que un responsable empezó a revisarla tres minutos después, mientras la ejecución seguía en curso.

Eric Wallace, investigador de OpenAI, publicó sobre el mismo despliegue.