GitHub Copilot Evals pasa a la versión preliminar pública para probar skills, agentes y herramientas MCP
GitHub afirma que Copilot Evals permite escribir pruebas repetibles para las skills, los agentes personalizados y las herramientas MCP de tu configuración de Copilot. Una evaluación asigna a un agente una tarea realista, describe un buen resultado y comprueba tanto el resultado como la forma en que el agente llegó a él, para que puedas volver a ejecutarla tras cambiar una personalización y detectar regresiones.
Puedes pedirle a Copilot lo que necesitas con tus propias palabras o usar el comando /eval para crear una evaluación, ejecutarla (cada ejecución requiere tu aprobación), ver qué comprobaciones se superaron o fallaron y por qué, y comparar ejecuciones antes y después de un cambio. Usa Vally, una herramienta de evaluación local, como motor.
Se instala como extensión en Visual Studio Code, como complemento en Copilot CLI o como complemento desde el marketplace github/evals en la aplicación Copilot. La versión preliminar está disponible en los planes Copilot Individual, Business y Enterprise.
Fuentes
Recibe noticias como esta por push.
AI Tracker te avisa cuando algo cambia en las herramientas que usas.