AI Trackerİndir
← Tüm haberler
OpenAIKodlamaAltyapı

OpenAI, ChatGPT performansındaki gerilemeleri araştıran Codex destekli bir sistem olan Performance Factory’yi tanıtıyor

OpenAI’dan Okay Zed ve Cyrus Forbes, bir mühendislik yazısında Codex ajanlarının ChatGPT’deki performans sorunlarını bulup gidermeye yardımcı olduğu bulut tabanlı Performance Factory sistemini anlatıyor. Mühendisler iş akışlarını Markdown istemleri ve bir görevin durumlarıyla geçişlerini listeleyen bir yapılandırma dosyası olarak tanımlıyor.

  • Bileşenler: Yapılandırılabilir iş akışlarına sahip bir görev hizmeti, görevin bir sonraki adımı hazır olduğunda Codex oturumu başlatan bir dağıtım döngüsü, Codex’i bulutta bir hizmet kimliğiyle çalıştıran dahili bir API ve örneğin bir çekme isteğine yorum geldiğinde ya da dağıtım tamamlandığında görevleri uyandıran abonelikler.
  • Gerileme İş Akışı: Bir performans uyarısı görev açar. Bir ajan araştırma yapar, ayrı bir Codex oturumu teşhisi çürütmeye çalışır ve bir ajan, mühendisin incelemesi için çekme isteği olarak bir düzeltme önerir. Dağıtımın ardından bir ajan performansın başlangıç düzeyine dönüp dönmediğini kontrol eder; dönmediyse çalışmayı yeniden açar.
  • OpenAI’ın bildirdiği rakamlar: İş akışı, üç ayı biraz aşan sürede 1.700’den fazla araştırmayı takip etti ve 600’den fazlasının temel nedenini belirledi; bu, günde yaklaşık 17 araştırmaya karşılık geliyor. Temel neden önerilerinden 100’ünün elle incelendiği bir değerlendirmede OpenAI, bunların %70’ini doğru buldu; geri kalanların iyileştirilmesi gerekiyordu ya da nedenselliği tam olarak ortaya koymuyordu.
  • Sıraladığı dersler: Mühendislerin dikkatini korumak, ajanlardaki değişiklikleri değerlendirmek (geçmiş gerilemelerden oluşturulan değerlendirmelerle perf-forensics becerisi iyileştirildi) ve yinelenen hataları kendi kendini onarır hâle getirmek.

Bu tür haberleri bildirim olarak alın.

Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.

Uygulamayı indir