GitHub Copilot Evals में स्किल, एजेंट और MCP टूल्स की जाँच के लिए सार्वजनिक प्रीव्यू शुरू
GitHub का कहना है कि Copilot Evals से आप अपने Copilot सेटअप के स्किल, कस्टम एजेंट और MCP टूल्स के लिए दोहराए जा सकने वाले टेस्ट लिख सकते हैं। Eval में एजेंट को एक वास्तविकता-जैसा काम दिया जाता है, अच्छे नतीजे का विवरण दिया जाता है और नतीजे के साथ-साथ यह भी जाँचा जाता है कि एजेंट वहाँ तक कैसे पहुँचा। इस तरह, किसी कस्टमाइज़ेशन में बदलाव के बाद आप इसे फिर से चला सकते हैं और प्रतिगमन पकड़ सकते हैं।
आप Copilot से अपने शब्दों में कह सकते हैं या eval बनाने के लिए /eval कमांड इस्तेमाल कर सकते हैं, उसे चला सकते हैं (हर रन के लिए आपकी मंज़ूरी ज़रूरी है), देख सकते हैं कि कौन-सी जाँचें पास या फ़ेल हुईं और क्यों, और बदलाव से पहले तथा बाद के रन की तुलना कर सकते हैं। इसके इंजन के रूप में Vally नाम का एक स्थानीय eval टूल इस्तेमाल होता है।
इसे Visual Studio Code में एक्सटेंशन के रूप में, Copilot CLI में प्लगइन के रूप में, या Copilot ऐप में github/evals मार्केटप्लेस से प्लगइन के रूप में इंस्टॉल किया जा सकता है। यह प्रीव्यू Copilot Individual, Business और Enterprise प्लान के लिए है।
स्रोत
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।