GitHub Copilot Evals, becerileri, ajanları ve MCP araçlarını test etmek için herkese açık önizlemeye açıldı
GitHub, Copilot Evals’ın Copilot kurulumunuzdaki beceriler, özel ajanlar ve MCP araçları için tekrarlanabilir testler yazmanıza olanak tanıdığını söylüyor. Bir eval, ajana gerçekçi bir görev verir, iyi bir sonucu tanımlar ve hem sonucu hem de ajanın sonuca nasıl ulaştığını denetler. Böylece bir özelleştirmeyi değiştirdikten sonra testi yeniden çalıştırıp gerilemeleri yakalayabilirsiniz.
Copilot’tan kendi ifadelerinizle bir eval oluşturmasını isteyebilir veya /eval komutunu kullanabilirsiniz. Eval’ı çalıştırabilir (her çalıştırma için onayınız gerekir), hangi denetimlerin geçip kaldığını ve nedenini görebilir, değişiklik öncesi ve sonrası çalıştırmaları karşılaştırabilirsiniz. Motor olarak yerel bir eval aracı olan Vally’yi kullanır.
Visual Studio Code’a bir uzantı, Copilot CLI’a bir eklenti ya da Copilot uygulamasındaki github/evals pazar yerinden bir eklenti olarak yüklenir. Önizleme, Copilot Individual, Business ve Enterprise planlarını kapsar.
Kaynaklar
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.