OpenAI изучает, как изменяется возможность мониторинга цепочки рассуждений в ходе обучения модели

OpenAI опубликовала исследование о том, как на протяжении всего цикла обучения меняются два косвенных показателя возможности мониторинга цепочки рассуждений (CoT): способность обходиться без CoT (рассуждение за один прямой проход; чем она выше, тем хуже этот показатель отражает возможность мониторинга) и управляемость CoT (способность модели добавлять, удалять или изменять свою CoT по запросу). Текст ниже основан на треде одного из исследователей; полная версия опубликована на alignment.openai.com.

• Предварительное обучение: в ходе многих оценок способность обходиться без CoT плавно растёт по мере снижения перплексии базовой модели. Управляемость CoT также коррелирует с более низкой перплексией, но слабее.
• Архитектура: при сопоставимой перплексии у трёх архитектур перплексия объясняет результаты большинства оценок способности обходиться без CoT. В многошаговом планировании и последовательных вычислениях некоторые архитектуры превосходят прогноз: их результаты по-прежнему плавно растут, но быстрее.
• Обучение с подкреплением: у модели класса Astra управляемость CoT существенно выросла в ходе обучения с подкреплением, где учитывались только ограничения длины и оценка окончательного ответа. У модели класса Terra добавление доступа к инструментам и контроля за их использованием дало небольшой прирост; по словам OpenAI, полное контролирование процесса работы с инструментами имеет мало значения по сравнению с более низкой перплексией.
• Дистилляция: из двух учителей класса Astra с примерно одинаковыми возможностями, но разной управляемостью, учитель, чьи ответы использовались для обучения, повлиял на результат: студент, обученный на ответах более управляемого учителя, сам стал более управляемым. OpenAI не обнаружила значимой связи между управляемостью и способностью уклоняться от мониторинга для этой пары и называет управляемость ненадёжным показателем противодействия уклонению.