OpenAI, model eğitimi boyunca düşünce zincirinin izlenebilirliğinin nasıl değiştiğini inceliyor

OpenAI, düşünce zincirinin (CoT) izlenebilirliğine ilişkin iki göstergenin eğitim süreci boyunca nasıl değiştiğine dair bir araştırma yayımladı: CoT kullanmama yeteneği (tek bir ileri geçişte akıl yürütme; bu yeteneğin daha yüksek olması, izleme için daha kötü bir gösterge olduğu anlamına gelir) ve CoT kontrol edilebilirliği (bir modelin yönlendirildiğinde CoT’sini ekleme, çıkarma veya değiştirme becerisi). Aşağıdaki anlatım araştırmacılardan birinin ileti dizisinden alınmıştır; araştırmanın tamamı alignment.openai.com adresinde.

• Ön eğitim: Birçok değerlendirmede, temel modelin perplexity değeri düştükçe CoT kullanmama yeteneği istikrarlı biçimde artıyor. CoT kontrol edilebilirliği de daha düşük perplexity ile ilişkili, ancak bu ilişki daha zayıf.
• Mimari: Perplexity değerleri eşleştirilmiş üç mimaride, perplexity çoğu CoT kullanmama değerlendirmesindeki performansı öngörüyor. Çok adımlı planlama ve seri hesaplama görevlerinde bazı mimariler bu öngörünün üzerine çıkıyor; performans yine istikrarlı, ancak daha dik bir eğriyle artıyor.
• Pekiştirmeli öğrenme: Astra sınıfı bir modelde CoT kontrol edilebilirliği, yalnızca uzunluk kısıtları ve nihai yanıt puanlaması kullanılarak yürütülen pekiştirmeli öğrenme sırasında belirgin biçimde arttı. Terra sınıfı bir modelde araç erişimi ve araç denetimi eklemek bu değeri biraz yükseltti; OpenAI, tam araç süreci denetiminin etkisinin daha düşük perplexity yanında az kaldığını söylüyor.
• Damıtma: Yetenekleri yaklaşık eşit, ancak kontrol edilebilirlikleri farklı iki Astra sınıfı öğretmen model kullanıldığında, daha kontrol edilebilir öğretmenin çıktılarıyla eğitilen öğrenci de daha kontrol edilebilir hâle geldi. OpenAI, bu ikili için kontrol edilebilirlik ile izleme sistemini atlatma arasında anlamlı bir ilişki görmediğini belirtiyor ve kontrol edilebilirliği, hasmane kaçınma davranışının gürültülü bir göstergesi olarak nitelendiriyor.