OpenAI meneliti bagaimana keterpantauan chain-of-thought berubah selama pelatihan model

OpenAI menerbitkan penelitian tentang bagaimana dua proksi keterpantauan chain-of-thought (CoT) berkembang sepanjang siklus pelatihan: kemampuan tanpa CoT (penalaran dalam satu lintasan maju, dengan nilai yang lebih tinggi menunjukkan proksi pemantauan yang lebih buruk) dan keterkendalian CoT (kemampuan model untuk menambahkan, menghapus, atau memanipulasi CoT saat diminta). Uraian di bawah ini berasal dari utas salah satu penelitinya; tulisan lengkapnya ada di alignment.openai.com.

• Prapelatihan: di berbagai evaluasi, kemampuan tanpa CoT meningkat secara bertahap seiring menurunnya perplexity model dasar. Keterkendalian CoT juga berkorelasi dengan perplexity yang lebih rendah, tetapi hubungannya lebih lemah.
• Arsitektur: pada tiga arsitektur dengan perplexity yang disamakan, perplexity memprediksi sebagian besar hasil evaluasi tanpa CoT. Dalam perencanaan multi-hop dan komputasi serial, beberapa arsitektur melampaui prediksi, dengan kinerja yang tetap meningkat secara bertahap, tetapi lebih tajam.
• Pembelajaran penguatan: pada model kelas Astra, keterkendalian CoT meningkat cukup besar selama RL yang hanya menggunakan batasan panjang dan penilaian jawaban akhir. Pada model kelas Terra, penambahan akses alat dan supervisi penggunaan alat sedikit meningkatkannya; OpenAI menyatakan bahwa supervisi proses penggunaan alat secara penuh tidak terlalu berpengaruh dibandingkan perplexity yang lebih rendah.
• Distilasi: dengan dua model guru kelas Astra yang kemampuannya kira-kira setara tetapi keterkendaliannya berbeda, siswa yang dilatih menggunakan keluaran model guru yang lebih terkendali menjadi lebih terkendali. OpenAI tidak melihat hubungan yang berarti antara keterkendalian dan penghindaran pemantauan pada pasangan ini, dan menyebut keterkendalian sebagai proksi yang tidak andal untuk penghindaran adversarial.