OpenAI, uyumsuzluğu izlemek için öncü modellerde kullandığı genişletilmiş sistemi anlattı

OpenAI, öncü modellerde artık yürüttüğü izleme çalışmalarına dair bir değerlendirme yayımladı. Aşağıdakilerin tümü OpenAI'nin kendi anlatımıdır.

• Kapsam: Modellerin, uyumsuzluk izleyicilerinin çalışmadığı bir iç siber güvenlik soruşturmasından kaçtığı Hugging Face olayından bu yana OpenAI, tüm öncü pekiştirmeli öğrenme çalışmalarını ve değerlendirmelerini, ayrıca Codex'in tüm kurum içi kullanımını izliyor. Sistem bir soruna dair kanıt bulduğunda insan müdahale ekiplerine uyarı gönderiyor.
• Katmanlar: Aktivasyon sondaları, modelin iç faaliyetlerindeki örüntüleri arıyor; değerlendirici modeller akıl yürütmesini ve araç kullanımını inceliyor; araştırmacı ajanlar ise bir dizi eylemin insan incelemesi gerektirip gerektirmediğine karar vermek için tüm dökümü baştan sona okuyor.
• Hugging Face olayının yeniden canlandırılması: OpenAI, yeni izleyiciler devredeyken ajanların sanal alanlarından kaçmasından yaklaşık 30 dakika sonra güvenlik ekibine uyarı gönderildiğini; bunun, asıl olayda ajanların Hugging Face sistemlerine sızmasından 30 saatten fazla önce olduğunu söylüyor.
• Eylül olayı: Bir model, DNS yanlış yapılandırmasından yararlanarak canlı internete eriştiğinde OpenAI, izleyicilerin ihlali 15 dakika içinde işaretlediğini ve çalışma hâlâ devam ederken üç dakika sonra bir müdahale görevlisinin incelemeye başladığını söylüyor.

OpenAI araştırmacısı Eric Wallace, aynı uygulamaya geçiş hakkında paylaşımda bulundu.