GitHub Copilot Evals passe en préversion publique pour tester les compétences, les agents et les outils MCP
GitHub indique que Copilot Evals permet d’écrire des tests reproductibles pour les compétences, les agents personnalisés et les outils MCP de votre configuration Copilot. Une évaluation confie à un agent une tâche réaliste, décrit le résultat attendu et vérifie à la fois le résultat et la façon dont l’agent l’a obtenu. Vous pouvez ainsi la relancer après avoir modifié une personnalisation et repérer les régressions.
Vous pouvez demander à Copilot de créer une évaluation avec vos propres mots ou utiliser la commande /eval, puis l’exécuter (chaque exécution nécessite votre approbation), voir quels contrôles ont réussi ou échoué et pourquoi, et comparer les exécutions avant et après une modification. L’outil s’appuie sur Vally, un outil d’évaluation local.
Il s’installe sous forme d’extension dans Visual Studio Code, de plugin dans Copilot CLI ou de plugin depuis la marketplace github/evals de l’application Copilot. La préversion est disponible avec les offres Copilot Individual, Business et Enterprise.
Sources
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.