Verde: मशीन लर्निंग के असुरक्षित नोड्स पर सत्यापन प्रणाली

यह एक अकादमिक शोध पत्र है जो वर्डे (Verde) का वर्णन करता है – एक सत्यापन प्रोटोकॉल जो मशीन लर्निंग प्रोग्राम्स के लिए डिज़ाइन किया गया है, साथ ही इसमें रीप्रोड्यूसिबल ऑपरेटर्स (RepOps) प्रणाली का भी विवरण है जो इसे संभव बनाती है। RepOps एक लाइब्रेरी है जो विविध हार्डवेयर पर ML कार्यों के बिटवाइज़ पुनरुत्पादन (bitwise reproducibility) को सुनिश्चित करती है।

Gensyn नेटवर्क मशीन लर्निंग के लिए एक वैश्विक मुक्त कंप्यूटिंग मार्केट बना रहा है। यह किसी भी उपयोगकर्ता को संसाधन प्रदान करने की अनुमति देता है — डेटा सेंटर से लेकर MacBook तक — सभी उपकरणों पर समान निष्पादन सुनिश्चित करते हुए। यह डेवलपर्स को अत्यधिक स्केल वाली मॉडल्स को कम लागत में प्रशिक्षित करने की अनुमति देता है और नई प्रकार की सामूहिक शिक्षा को खोलता है, जो पहले संभव नहीं थी।

इस अवधारणा को लागू करने के लिए, हमें असुरक्षित आपूर्तिकर्ताओं के संचालन को स्केलेबल तरीके से सत्यापित करने के लिए एक तंत्र की आवश्यकता है। साधारण दृष्टिकोण में प्रत्येक कार्य को पुनः उत्पन्न करने के लिए एक विश्वसनीय मध्यस्थ का उपयोग करना या आपूर्तिकर्ताओं को भरोसेमंद पक्षों के रूप में मैन्युअल रूप से श्वेतसूची में डालना शामिल होगा। इन दोनों मामलों में हम जल्दी से स्केलेबिलिटी सीमाओं से टकरा जाते हैं: पहले मामले में पुनरावृत्ति के लिए ओवरहेड अस्वीकार्य होगा; दूसरे मामले में हम उन आपूर्तिकर्ताओं के लंबी पूंछ को बाहर कर देंगे जो भाग लेने के इच्छुक हैं।

जटिल दृष्टिकोण, जैसे कि क्रिप्टोग्राफिक प्रमाण प्रणाली, सत्यता की गारंटी देती हैं, लेकिन ये बड़े ML कार्यों के लिए बहुत महंगी होती हैं (कम से कम अभी के लिए)। हीयुरिस्टिक दृष्टिकोण, जैसे कि Proof-of-Learning या Proof-of-Training Data, सुरक्षा की कमजोर गारंटियों के माध्यम से दक्षता प्रदान करते हैं।

इसके बजाय, हम आर्बिट्रेशन डेलीगेशन के विचार की ओर रुख करते हैं, जो प्रत्येक आपूर्तिकर्ता के संचालन को सत्यापित करने के लिए परीक्षकों का उपयोग करता है। यदि कोई परीक्षक मानता है कि आपूर्तिकर्ता का निष्कर्ष गलत है, तो वह एक प्रभावी विवाद समाधान खेल का उपयोग करके एक तटस्थ आर्बिटर को इस पर यकीन दिला सकता है। ये तकनीकें ऑप्टिमिस्टिक सत्यापन के मूल हैं, जो ब्लॉकचेन रोलअप्स में उपयोग की जाती हैं, जैसे कि Arbitrum और Optimism, जहाँ ब्लॉकचेन सत्यापनकर्ता आर्बिटर की भूमिका निभाते हैं। पूरी लेन-देन ब्लॉक्स पर विवादों का समाधान हो सकता है

हालाँकि, आर्बिट्रेशन डेलीगेशन आधुनिक मशीन लर्निंग के साथ दो कारणों से खराब मेल खाता है। पहले, इसे CPU-आधारित प्रोग्रामों के लिए विकसित किया गया था और इसे बड़े पैमाने पर न्यूरल नेटवर्क्स में अनुकूलित करने में प्रभावी नहीं है। दूसरा, यह मानता है कि ईमानदार सर्वर हमेशा एक ही प्रोग्राम के लिए समान परिणाम की गणना करेंगे, जो मशीन लर्निंग में अक्सर गलत होता है, यदि वे विभिन्न उपकरणों का उपयोग कर रहे हैं।

किसी भी कार्यशील तंत्र को इन समस्याओं को स्केलेबल तरीके से हल करना चाहिए।

Verde का परिचय

आज हम Verde पेश करने के लिए खुश हैं — पहला सत्यापन प्रोटोकॉल जो विशेष रूप से आधुनिक मशीन लर्निंग के लिए डिज़ाइन किया गया है, जो विकेन्द्रीकृत वातावरण में काम करता है।

Verde एक हल्का विवाद समाधान प्रणाली है, जो प्रशिक्षण के पहले चरण और नोड नेटवर्क के साथ उस ऑपरेटर को परिभाषित करता है, जिस पर प्रशिक्षक और परीक्षक सहमत नहीं होते हैं। अब, पूरे कार्य को पुनः निष्पादित करने के बजाय, आर्बिटर्स, जो स्मार्ट अनुबंध या परीक्षकों की जूरी हो सकते हैं, केवल उस एक विवादास्पद ऑपरेटर की पुनर्गणना करते हैं। यह सत्यापन पर ओवरहेड को महत्वपूर्ण रूप से घटित करता है, जबकि यह सुनिश्चित करता है कि यदि एक भी परीक्षक ईमानदार है, तो सही परिणाम सुनिश्चित किया जाएगा।

पुनरुत्पादनशीलता

इस प्रणाली के काम करने के लिए, हमें यह सुनिश्चित करने की आवश्यकता है कि मशीन लर्निंग कार्यक्रम सभी उपकरण सेटअप पर पुनरुत्पादित होने योग्य हों, ताकि विभिन्न (ईमानदार) नोड्स समान परिणाम की गणना करें, चाहे वे किसी भी उपकरण का उपयोग करें। सामान्यतः यह डिफ़ॉल्ट रूप से ऐसा नहीं होता है, यहां तक कि एक ही निर्माता के विभिन्न उपकरणों के लिए (जैसे कि Nvidia A100 बनाम H100)।

इस समस्या को हल करने के लिए, हमने Reproducible Operators (RepOps) का निर्माण किया है, एक लाइब्रेरी जो लोकप्रिय ML ऑपरेटरों के बिट-आधारित पुनरुत्पादक संस्करणों को लागू करती है। यह हार्डवेयर की अनिश्चितता की समस्या को हल करता है, फ्लोटिंग प्वाइंट संचालन की निष्पादन आदेश को तय करके, जैसे कि मैट्रिक्स गुणन की गणना करते समय। यह सुनिश्चित करता है कि ईमानदार आपूर्तिकर्ता हमेशा बिट-आधारित समान परिणाम देंगे, जिससे Verde विवाद समाधान प्रोटोकॉल विश्वसनीय रूप से काम कर सके।

निष्कर्ष

Verde विकेन्द्रीकृत मशीन लर्निंग के लिए मुख्य निर्माण ब्लॉक-सिस्टम प्रदान करता है। यह Gensyn को दुनिया के हर कंप्यूटिंग डिवाइस को जोड़ने की अनुमति देता है — डेटा सेंटर से लेकर पेरिफेरल डिवाइस तक — एक स्केलेबल और बिना अनुमति वाली विधि में।

इस बारे में अधिक जानने के लिए, आप पूर्ण दस्तावेज़ पढ़ सकते हैं यहां।

RepOps का उपयोग करके पुनरुत्पादनशीलता कैसे काम करती है, इसे लाइव डेमो में देखने के लिए, कृपया यहां दिए गए निर्देशों का पालन करें।