OpenAI studia come cambia la monitorabilità della catena di pensiero durante l’addestramento di un modello

OpenAI ha pubblicato una ricerca su come evolvono, nel corso dell’addestramento, due indicatori indiretti della monitorabilità della catena di pensiero (CoT): la capacità senza CoT (ragionare in un unico passaggio in avanti, dove un valore più alto indica un indicatore peggiore per il monitoraggio) e la controllabilità della CoT (la capacità di un modello di aggiungere, rimuovere o manipolare la propria CoT quando gli viene chiesto). Il resoconto qui sotto proviene da un thread di uno dei ricercatori; lo studio completo è su alignment.openai.com.

• Pretraining: in molte valutazioni, la capacità senza CoT migliora progressivamente man mano che diminuisce la perplexity del modello base. Anche la controllabilità della CoT è correlata a una perplexity inferiore, ma più debolmente.
• Architettura: confrontando tre architetture a parità di perplexity, quest’ultima predice la maggior parte dei risultati nelle valutazioni senza CoT. Nella pianificazione multi-hop e nel calcolo seriale, alcune architetture superano le previsioni, con prestazioni che continuano a crescere in modo regolare, ma più rapidamente.
• Apprendimento per rinforzo: in un modello di classe Astra, la controllabilità della CoT è aumentata notevolmente durante l’RL con soli vincoli di lunghezza e valutazione delle risposte finali. In un modello di classe Terra, l’aggiunta dell’accesso agli strumenti e della supervisione sul loro uso l’ha aumentata leggermente; secondo OpenAI, la supervisione completa del processo d’uso degli strumenti conta poco rispetto a una perplexity inferiore.
• Distillazione: usando due modelli insegnanti di classe Astra con capacità pressoché uguali ma controllabilità diversa, uno studente addestrato sui risultati generati dal modello insegnante più controllabile è diventato più controllabile. Per questa coppia, OpenAI non ha rilevato alcun legame significativo tra controllabilità ed elusione del monitoraggio e definisce la controllabilità un indicatore indiretto rumoroso dell’elusione avversaria.