GitHub Copilot Evals, 스킬·에이전트·MCP 도구 테스트 기능 공개 프리뷰 시작
GitHub에 따르면 Copilot Evals를 사용하면 Copilot 설정에 포함된 스킬, 사용자 지정 에이전트, MCP 도구를 반복 실행 가능한 테스트로 작성할 수 있습니다. 각 평가는 에이전트에게 현실적인 작업을 제시하고, 바람직한 결과를 설명한 뒤 결과와 에이전트가 그 결과에 도달한 과정을 모두 확인합니다. 따라서 사용자 지정을 변경한 후 평가를 다시 실행해 성능 저하를 잡아낼 수 있습니다.
Copilot에 자연어로 요청하거나 /eval 명령을 사용해 평가를 만들고 실행할 수 있습니다. 각 실행에는 승인이 필요합니다. 어떤 검사가 통과하거나 실패했는지와 그 이유를 확인하고, 변경 전후의 실행 결과를 비교할 수도 있습니다. 평가 엔진으로는 로컬 평가 도구인 Vally를 사용합니다.
Visual Studio Code에서는 확장 프로그램으로, Copilot CLI에서는 플러그인으로 설치할 수 있으며, Copilot 앱에서는 github/evals 마켓플레이스에서 플러그인을 설치할 수 있습니다. 프리뷰는 Copilot Individual, Business, Enterprise 요금제를 대상으로 합니다.
출처
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.