OpenAI, modellerinin uyumunu ve koruma önlemlerini içeriden değerlendirmeleri için dört bağımsız kuruluşla anlaştı
OpenAI, Apollo Research, METR, Transluce ve Goodfire ile, bağımsız uzmanların uzun bir süre boyunca şirketin iç modellerine ve sistemlerine derinlemesine eriştiği ilk “gömülü değerlendirme” aşaması için anlaşmalar imzaladığını söylüyor. Erişim; model kontrol noktalarını, kaynak kodunu, eğitim ve değerlendirme verilerini, izleme sistemlerini ve araştırmacılarla görüşmeleri kapsayabiliyor. İlk değerlendirmeler, eğitim ve kurum içi kullanım sırasında modellerin uyumunu ve koruma önlemlerini ele alıyor. OpenAI duyuruyu 13 Kasım’da yayımladı.
- Apollo Research, dört iddiayı sınayacak: eğitimin kötüye kullanımı teşvik etmediğini, değerlendirme ve kırmızı takım çalışmalarının bunu açığa çıkarmadığını, modellerin kurum içi kullanımda buna kalkışmadığını ve buna yönelik akıl yürütmenin tespit edilebilir olacağını.
- METR, OpenAI’nin bugüne kadarki en büyük pekiştirmeli öğrenme çalışmasındaki uyumsuz davranışları değerlendirecek. OpenAI, daha kapsamlı bir izleme değerlendirmesi üzerinde ön mutabakat sağlandığını, ancak kapsamın henüz netleşmediğini söylüyor.
- Transluce, OpenAI’nin eğitim sonrası uyum değerlendirmelerinin niteliğini ve kapsamını değerlendirecek. Her iki taraf da 2027’nin başlarında yaklaşık sekiz haftalık bir devam değerlendirmesi yapmayı planladıklarını söylüyor.
- Goodfire, eğitim süreci izleme, hata ayıklama ve uyum için modelin iç işleyişini analiz edecek yorumlanabilirlik araştırmacılarını ekibe dahil edecek. Çalışmanın başlıca hedef kitlesi OpenAI’nin kendi araştırmacıları olacak; bulgular da yayımlanacak.
OpenAI, protokolleri şöyle açıklıyor: Hassas bilgilere ihtiyaç duyan değerlendiriciler, OpenAI cihazlarıyla şirket yerleşkesinde çalışacak; OpenAI Foundation yönetim kurulunun Emniyet ve Güvenlik Komitesi, sansürlenmemiş raporları alacak; çalışanlarla yapılan görüşmeler kayıt dışı olacak, ancak değerlendiriciler OpenAI tarafından onaylanmış açıklamalar talep edebilecek; OpenAI ise gizli bilgileri sansürleme ve sorumlu açıklama için erteleme talep etme hakkını saklı tutuyor. Apollo Research ve Goodfire’ın sonuçlara bağlı olmayan ödeme kabul ettiğini, METR ve Transluce’ın ise etmediğini; ancak API kredisi veya işlem gücü kabul edebileceklerini de açıklıyor.
Kaynaklar
Tartışmalar
- First phase of embedded assessments at OpenAIHacker News · 15 yorum
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.