OpenAI untersucht, wie sich die Überwachbarkeit von Chain-of-Thought im Laufe des Modelltrainings verändert

OpenAI hat eine Studie dazu veröffentlicht, wie sich zwei Näherungswerte für die Überwachbarkeit von Chain-of-Thought (CoT) im Verlauf des Trainings entwickeln: die Fähigkeit ohne CoT (schlussfolgern in einem einzigen Vorwärtsdurchlauf, wobei ein höherer Wert einen schlechteren Näherungswert für die Überwachung bedeutet) und die Kontrollierbarkeit von CoT (die Fähigkeit eines Modells, sein CoT auf Aufforderung hin hinzuzufügen, zu entfernen oder zu manipulieren). Der folgende Bericht stammt aus dem Thread eines der Forschenden; die vollständige Studie findet sich auf alignment.openai.com.

• Vortraining: Bei vielen Evaluierungen verbessert sich die Fähigkeit ohne CoT gleichmäßig, während die Perplexität des Basismodells sinkt. Die Kontrollierbarkeit von CoT korreliert ebenfalls mit einer niedrigeren Perplexität, allerdings schwächer.
• Architektur: Bei drei Architekturen mit vergleichbarer Perplexität sagt die Perplexität die Ergebnisse der meisten Evaluierungen zur Fähigkeit ohne CoT voraus. Bei mehrstufiger Planung und serieller Berechnung übertreffen einige Architekturen die Prognose; die Leistung skaliert weiterhin gleichmäßig, aber steiler.
• Reinforcement Learning: Bei einem Modell der Astra-Klasse stieg die Kontrollierbarkeit von CoT während des RL deutlich an, obwohl nur Längenbeschränkungen und die Bewertung der endgültigen Antwort eingesetzt wurden. Bei einem Modell der Terra-Klasse sorgten Tool-Zugriff und Tool-Supervision für einen leichten Anstieg. OpenAI zufolge spielt eine umfassende Prozess-Supervision für Tools im Vergleich zu einer niedrigeren Perplexität nur eine geringe Rolle.
• Destillation: Bei zwei Astra-Klassen-Lehrermodellen mit etwa vergleichbarer Leistungsfähigkeit, aber unterschiedlicher Kontrollierbarkeit, wurde ein mit den Rollouts des kontrollierbareren Lehrermodells trainiertes Schülermodell ebenfalls kontrollierbarer. Für dieses Paar stellte OpenAI keinen bedeutsamen Zusammenhang zwischen Kontrollierbarkeit und dem Umgehen der Überwachung fest und bezeichnet Kontrollierbarkeit als verrauschten Näherungswert für adversariales Umgehen der Überwachung.