GitHub Copilot Evals 開放公開預覽,可測試技能、代理程式與 MCP 工具
GitHub 表示,Copilot Evals 可讓你為 Copilot 設定中的技能、自訂代理程式與 MCP 工具撰寫可重複執行的測試。評估會提供代理程式一項符合實際情境的任務、說明理想結果,並檢查結果以及代理程式達成結果的過程;如此一來,你就能在變更自訂設定後重新執行測試,及早發現回歸問題。
你可以用自己的話請 Copilot 建立評估,或使用 /eval 指令建立並執行評估(每次執行都需要你核准)、查看哪些檢查通過或失敗及原因,並比較變更前後的執行結果。它使用本機評估工具 Vally 作為引擎。
它可作為擴充功能安裝於 Visual Studio Code、作為外掛程式安裝於 Copilot CLI,或從 Copilot app 的 github/evals 市集安裝外掛程式。此預覽適用於 Copilot Individual、Business 和 Enterprise 方案。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。