GitHub Copilot Evals w publicznej wersji zapoznawczej: testowanie umiejętności, agentów i narzędzi MCP
GitHub informuje, że Copilot Evals umożliwia tworzenie powtarzalnych testów umiejętności, własnych agentów i narzędzi MCP w konfiguracji Copilot. W ramach testu agent otrzymuje realistyczne zadanie, opis oczekiwanego wyniku oraz kryteria oceny zarówno wyniku, jak i sposobu jego uzyskania. Dzięki temu można ponownie uruchomić test po zmianie ustawień i wykryć regresje.
Możesz poprosić Copilot własnymi słowami albo użyć polecenia /eval, aby utworzyć test, uruchomić go (każde uruchomienie wymaga Twojej zgody), sprawdzić, które kryteria zostały spełnione, a które nie, i dlaczego, oraz porównać wyniki przed zmianą i po niej. Silnikiem narzędzia jest Vally, lokalne narzędzie do ewaluacji.
Narzędzie można zainstalować jako rozszerzenie w Visual Studio Code, wtyczkę w Copilot CLI lub wtyczkę z marketplace github/evals w aplikacji Copilot. Wersja zapoznawcza jest dostępna w planach Copilot Individual, Business i Enterprise.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.