OpenAI estuda como a monitorabilidade da cadeia de pensamento muda ao longo do treinamento de um modelo

A OpenAI publicou uma pesquisa sobre como dois indicadores indiretos da monitorabilidade da cadeia de pensamento (CoT) evoluem ao longo do ciclo de treinamento: capacidade sem CoT (raciocínio em uma única passagem direta, em que valores maiores indicam um indicador pior para monitoramento) e controlabilidade da CoT (capacidade do modelo de adicionar, remover ou manipular sua CoT quando solicitado). O relato abaixo é de uma thread de um dos pesquisadores; o artigo completo está em alignment.openai.com.

• Pré-treinamento: em muitas avaliações, a capacidade sem CoT melhora de forma constante à medida que a perplexidade do modelo-base diminui. A controlabilidade da CoT também se correlaciona com uma perplexidade menor, mas de forma mais fraca.
• Arquitetura: entre três arquiteturas com perplexidade equivalente, a perplexidade prevê a maioria das avaliações de capacidade sem CoT. Em planejamento com múltiplas etapas e computação serial, algumas arquiteturas superam a previsão, com desempenho que continua escalando de forma constante, porém mais acentuada.
• Aprendizado por reforço: em um modelo da classe Astra, a controlabilidade da CoT aumentou substancialmente durante o RL com apenas restrições de comprimento e avaliação da resposta final. Em um modelo da classe Terra, adicionar acesso a ferramentas e supervisão do uso de ferramentas elevou esse valor ligeiramente; segundo a OpenAI, a supervisão completa do processo de uso de ferramentas tem pouca importância em comparação com uma perplexidade menor.
• Destilação: usando dois professores da classe Astra com capacidades aproximadamente equivalentes, mas controlabilidades diferentes, um aluno treinado com as trajetórias do professor mais controlável tornou-se mais controlável. A OpenAI não observou uma relação significativa entre controlabilidade e evasão de monitoramento nesse par e afirma que a controlabilidade é um indicador indireto ruidoso de evasão adversarial.