OpenAI ने Performance Factory का वर्णन किया: Codex-संचालित प्रणाली, जो ChatGPT की प्रदर्शन गिरावटों की जांच करती है
एक इंजीनियरिंग पोस्ट में, OpenAI के Okay Zed और Cyrus Forbes ने Performance Factory का वर्णन किया है—यह एक क्लाउड प्रणाली है, जिसमें Codex एजेंट ChatGPT की प्रदर्शन समस्याओं का पता लगाते हैं और उन्हें ठीक करने में मदद करते हैं। इंजीनियर Markdown प्रॉम्प्ट और एक कॉन्फ़िगरेशन फ़ाइल के ज़रिए वर्कफ़्लो तय करते हैं, जिसमें किसी कार्य की अवस्थाएँ और उनके बीच के बदलाव सूचीबद्ध होते हैं।
- हिस्से: कॉन्फ़िगर किए जा सकने वाले वर्कफ़्लो वाली एक टास्क सेवा, एक डिस्पैच लूप जो किसी कार्य का अगला चरण तैयार होने पर Codex टर्न शुरू करता है, एक आंतरिक API जो सेवा पहचान के तहत क्लाउड में Codex चलाती है, और ऐसी सब्सक्रिप्शन जो कुछ बदलने पर किसी कार्य को सक्रिय करती हैं—जैसे पुल रिक्वेस्ट पर टिप्पणी या डिप्लॉयमेंट पूरा होना।
- Regression Workflow: प्रदर्शन अलर्ट से एक कार्य खुलता है। एक एजेंट जांच करता है, Codex का एक अलग सेशन निदान को गलत साबित करने की कोशिश करता है, और एक एजेंट इंजीनियर की समीक्षा के लिए पुल रिक्वेस्ट के रूप में सुधार प्रस्तावित करता है। डिप्लॉयमेंट के बाद एक एजेंट जांचता है कि प्रदर्शन फिर से आधार स्तर पर आया या नहीं; अगर नहीं, तो काम दोबारा खोल दिया जाता है।
- आंकड़े, OpenAI के अनुसार: तीन महीने से कुछ अधिक समय में इस वर्कफ़्लो ने 1,700 से ज़्यादा जांचों पर नज़र रखी और 600 से अधिक मामलों के मूल कारण का पता लगाया—लगभग 17 प्रतिदिन। मूल कारण के 100 सुझावों की मैन्युअल समीक्षा में OpenAI ने 70% को सटीक माना; बाकी में सुधार की ज़रूरत थी या वे कारण-परिणाम संबंध को पूरी तरह स्थापित नहीं कर पाए।
- बताए गए सबक: इंजीनियरों का ध्यान सुरक्षित रखें, एजेंटों में बदलावों का मूल्यांकन करें (इसके
perf-forensicsकौशल को पिछली प्रदर्शन गिरावटों से बनाए गए मूल्यांकन के ज़रिए बेहतर किया गया), और बार-बार होने वाली विफलताओं को अपने-आप ठीक होने वाली प्रक्रियाओं में बदलें।
स्रोत
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।