GitHub Copilot Evals startet als öffentliche Vorschau zum Testen von Skills, Agents und MCP-Tools
Laut GitHub können Sie mit Copilot Evals wiederholbare Tests für die Skills, benutzerdefinierten Agents und MCP-Tools in Ihrer Copilot-Konfiguration schreiben. Ein Eval gibt einem Agent eine realistische Aufgabe vor, beschreibt ein gutes Ergebnis und überprüft sowohl das Ergebnis als auch, wie der Agent es erzielt hat. So können Sie den Test nach Änderungen an einer Anpassung erneut ausführen und Regressionen erkennen.
Sie können Copilot in eigenen Worten bitten, ein Eval zu erstellen, oder den Befehl /eval verwenden. Anschließend können Sie es ausführen (für jeden Durchlauf ist Ihre Zustimmung erforderlich), sehen, welche Prüfungen bestanden wurden oder fehlgeschlagen sind und warum, sowie Durchläufe vor und nach einer Änderung vergleichen. Als Engine kommt Vally zum Einsatz, ein lokales Eval-Tool.
Die Installation erfolgt als Erweiterung in Visual Studio Code, als Plugin in Copilot CLI oder als Plugin aus dem Marketplace github/evals in der Copilot-App. Die Vorschau ist für die Tarife Copilot Individual, Business und Enterprise verfügbar.
Quellen
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.