OpenAI onderzoekt hoe de monitorbaarheid van chain-of-thought verandert tijdens de training van een model

OpenAI publiceerde onderzoek naar hoe twee maatstaven voor de monitorbaarheid van chain-of-thought (CoT) zich ontwikkelen gedurende de trainingscyclus: het vermogen zonder CoT (redeneren in één forward pass, waarbij een hogere score een slechtere maatstaf voor monitoring is) en de stuurbaarheid van CoT (het vermogen van een model om CoT toe te voegen, te verwijderen of aan te passen wanneer daarom wordt gevraagd). Onderstaand verslag komt uit een thread van een van de onderzoekers; de volledige publicatie staat op alignment.openai.com.

• Pretraining: bij veel evaluaties verbetert het vermogen zonder CoT geleidelijk naarmate de perplexity van het basismodel daalt. De stuurbaarheid van CoT hangt ook samen met een lagere perplexity, maar zwakker.
• Architectuur: bij drie architecturen met een vergelijkbare perplexity voorspelt perplexity de meeste evaluaties van het vermogen zonder CoT. Bij meerstapsplanning en seriële berekeningen presteren sommige architecturen beter dan voorspeld; de prestaties schalen nog steeds geleidelijk, maar steiler.
• Reinforcement learning: bij een model van de Astra-klasse nam de stuurbaarheid van CoT tijdens RL aanzienlijk toe, met alleen lengtebeperkingen en beoordeling van het eindantwoord. Bij een model van de Terra-klasse zorgden toegang tot tools en supervisie op tools voor een lichte stijging; volgens OpenAI is volledige supervisie van toolprocessen van weinig belang vergeleken met een lagere perplexity.
• Distillatie: met twee leraren uit de Astra-klasse die ongeveer even capabel waren, maar verschilden in stuurbaarheid, werd een student die was getraind op de rollouts van de beter stuurbare leraar zelf beter stuurbaar. OpenAI zag bij dit paar geen betekenisvol verband tussen stuurbaarheid en het ontwijken van monitoring, en noemt stuurbaarheid een onnauwkeurige maatstaf voor het ontwijken van adversariële monitoring.