GitHub Copilot Evals、スキル、エージェント、MCPツールのテスト向けにパブリックプレビュー開始
GitHubによると、Copilot Evalsを使えば、Copilotのセットアップに含まれるスキル、カスタムエージェント、MCPツール向けに、繰り返し実行できるテストを作成できます。Evalでは、エージェントに現実的なタスクを与え、望ましい結果を説明したうえで、結果とそこに至るまでの過程の両方を確認します。カスタマイズを変更したあとに再実行すれば、デグレードを検出できます。
自分の言葉でCopilotに依頼するか、/evalコマンドを使ってevalを作成・実行できます(実行ごとに承認が必要です)。どのチェックに合格・不合格だったか、その理由を確認し、変更前後の実行結果を比較できます。エンジンには、ローカルのevalツールであるVallyを使用します。
Visual Studio Codeでは拡張機能として、Copilot CLIではプラグインとして、Copilotアプリではgithub/evalsマーケットプレイスからプラグインとしてインストールできます。プレビューの対象はCopilot Individual、Business、Enterpriseの各プランです。
ソース
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。