GitHub Copilot Evals entra in anteprima pubblica per testare skill, agenti e strumenti MCP
GitHub afferma che Copilot Evals consente di scrivere test ripetibili per le skill, gli agenti personalizzati e gli strumenti MCP della propria configurazione di Copilot. Un eval assegna a un agente un compito realistico, descrive un buon risultato e verifica sia il risultato sia il modo in cui l’agente ci è arrivato, così da poterlo eseguire di nuovo dopo aver modificato una personalizzazione e individuare eventuali regressioni.
Puoi chiedere a Copilot usando parole tue oppure usare il comando /eval per creare un eval, eseguirlo (ogni esecuzione richiede la tua approvazione), vedere quali verifiche sono state superate o meno e perché, e confrontare le esecuzioni prima e dopo una modifica. Usa Vally, uno strumento di valutazione locale, come motore.
Si installa come estensione in Visual Studio Code, come plugin in Copilot CLI oppure come plugin dal marketplace github/evals nell’app Copilot. L’anteprima è disponibile per i piani Copilot Individual, Business ed Enterprise.
Fonti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.