OpenAI estudia cómo cambia la monitorización de la cadena de pensamiento durante el entrenamiento de un modelo

OpenAI publicó una investigación sobre cómo evolucionan durante el ciclo de entrenamiento dos indicadores indirectos de la monitorización de la cadena de pensamiento (CoT): la capacidad sin CoT (razonar en una sola pasada hacia delante; cuanto mayor es, peor es como indicador de monitorización) y la controlabilidad de CoT (la capacidad de un modelo para añadir, eliminar o manipular su CoT cuando se le indica). El texto que sigue procede del hilo de uno de los investigadores; el informe completo está en alignment.openai.com.

• Preentrenamiento: en muchas evaluaciones, la capacidad sin CoT mejora de forma constante a medida que baja la perplejidad del modelo base. La controlabilidad de CoT también se correlaciona con una perplejidad menor, aunque de forma más débil.
• Arquitectura: al comparar tres arquitecturas con una perplejidad similar, esta predice la mayoría de los resultados de las evaluaciones sin CoT. En planificación de varios pasos y cálculo serial, algunas arquitecturas superan lo previsto; el rendimiento sigue escalando de forma constante, pero más pronunciada.
• Aprendizaje por refuerzo: en un modelo de la clase Astra, la controlabilidad de CoT aumentó considerablemente durante el aprendizaje por refuerzo con solo restricciones de longitud y evaluación de la respuesta final. En un modelo de la clase Terra, añadir acceso a herramientas y supervisión de su uso la elevó ligeramente; OpenAI afirma que la supervisión completa del proceso de uso de herramientas importa poco frente a una perplejidad menor.
• Destilación: con dos modelos docentes de la clase Astra, de capacidades similares pero distinta controlabilidad, un modelo estudiante entrenado con las trayectorias del docente más controlable se volvió más controlable. OpenAI no observó una relación significativa entre la controlabilidad y la evasión de la monitorización en este par, y considera que la controlabilidad es un indicador indirecto ruidoso de la evasión adversaria.