AI TrackerСкачать
← Все новости
GitHub CopilotКодПродукты

GitHub Copilot Evals стал доступен в публичной предварительной версии для тестирования навыков, агентов и инструментов MCP

По словам GitHub, Copilot Evals позволяет создавать повторяемые тесты для навыков, пользовательских агентов и инструментов MCP в вашей конфигурации Copilot. В eval агенту даётся реалистичная задача, описывается хороший результат и проверяется как сам результат, так и то, каким путём агент к нему пришёл. Так можно повторно запускать тест после изменения настройки и выявлять регрессии.

Можно попросить Copilot создать eval своими словами или воспользоваться командой /eval, запустить его (для каждого запуска требуется ваше подтверждение), посмотреть, какие проверки пройдены или провалены и почему, а также сравнить результаты до и после изменения. В качестве движка используется Vally — локальный инструмент для eval.

Он устанавливается как расширение в Visual Studio Code, плагин в Copilot CLI или плагин из маркетплейса github/evals в приложении Copilot. Предварительная версия доступна для планов Copilot Individual, Business и Enterprise.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение