OpenAI bada, jak monitorowalność chain-of-thought zmienia się w trakcie trenowania modelu

OpenAI opublikowało badania nad tym, jak w cyklu trenowania ewoluują dwa wskaźniki zastępcze monitorowalności chain-of-thought (CoT): zdolność bez CoT (rozumowanie w jednym przebiegu w przód, gdzie wyższy wynik oznacza gorszy wskaźnik monitorowania) oraz sterowalność CoT (zdolność modelu do dodawania, usuwania lub modyfikowania swojego CoT na polecenie). Poniższe informacje pochodzą z wątku jednego z badaczy; pełny opis znajduje się na alignment.openai.com.

• Pretrenowanie: w wielu testach zdolność bez CoT poprawia się płynnie wraz ze spadkiem perplexity modelu bazowego. Sterowalność CoT również koreluje z niższym perplexity, choć słabiej.
• Architektura: w trzech architekturach o dopasowanym perplexity to właśnie perplexity pozwala przewidzieć wyniki w większości testów bez CoT. W planowaniu wieloetapowym i obliczeniach sekwencyjnych niektóre architektury osiągają wyniki lepsze od przewidywanych, przy czym wydajność nadal rośnie płynnie, ale szybciej.
• Uczenie przez wzmacnianie: w modelu klasy Astra sterowalność CoT znacznie wzrosła podczas RL, przy samych ograniczeniach długości i ocenie odpowiedzi końcowej. W modelu klasy Terra dodanie dostępu do narzędzi i nadzorowania ich użycia nieznacznie ją zwiększyło; OpenAI twierdzi, że pełny nadzór nad procesem korzystania z narzędzi ma niewielkie znaczenie w porównaniu z niższym perplexity.
• Destylacja: spośród dwóch modeli nauczycielskich klasy Astra o zbliżonych możliwościach, lecz różnej sterowalności, uczeń trenowany na śladach działania bardziej sterowalnego nauczyciela sam stał się bardziej sterowalny. OpenAI nie zaobserwowało istotnego związku między sterowalnością a unikaniem monitorowania w tej parze i określa sterowalność jako niedoskonały wskaźnik unikania nadzoru przez przeciwnika.