लाइटपेपर

दुनिया के डीप लर्निंग मॉडलों के लिए हाइपरस्केल, लागत-कुशल कंप्यूट प्रोटोकॉल।

फरवरी 2022 में प्रकाशित

कृपया ध्यान दें कि लाइटपेपर का यह संस्करण पुराना हो चुका है। Gensyn टीम ने प्रोटोकॉल डिज़ाइन में कई बदलाव किए हैं, जिसमें शामिल हैं लेकिन इन्हीं तक सीमित नहीं:

1. सब्सट्रेट L1 चेन बिल्ड (और इससे जुड़े कैनरीनेट / मेननेट फंक्शनलिटी) को कस्टम Ethereum रोलअप से बदलना, हमारी ऑफ-चेन इंफ्रास्ट्रक्चर में महत्वपूर्ण प्रगति के बाद। नोट: हम अब अपने स्टैक में Rust का उपयोग नहीं करते।
2. काम की जांच के लिए अधिक मजबूत ऑडिट रणनीति।
3. प्रशिक्षण को गतिशील रूप से मॉनिटर करने के लिए क्रिप्टोग्राफिक प्रूफ सिस्टम का परिचय।
4. मजबूत गेम थ्योरी गारंटी।
5. प्रूफ गारंटी के लिए एक नया उपलब्धता प्रूफ सिस्टम।
6. एक ML कंपाइलर और पुनरुत्पादनीय ML रनटाइम।

यह शोध अलग से प्रकाशित किया जाएगा, लेकिन कृपया इस लाइटपेपर को समस्या + समाधान वेक्टर्स के परिचय के रूप में उपयोग करें।

पृष्ठभूमि

अत्याधुनिक आर्टिफिशियल इंटेलिजेंस (AI) सिस्टम की कंप्यूटेशनल जटिलता हर 3 महीने में दोगुनी हो रही है, जो कंप्यूट सप्लाई को बहुत पीछे छोड़ रही है। संस्थापक टीम के रूप में—चाहे हम गहन न्यूरल आर्किटेक्चर के विकास पर शोध प्रकाशित कर रहे हों या तूफान क्षति भविष्यवाणी मॉडल बना रहे हों—हमने इन सीमाओं का प्रत्यक्ष अनुभव किया है।

OpenAI द्वारा Brown et al. (2020) में प्रस्तावित सबसे बड़ा GPT-3 मॉडल GPT-3 175B, प्रशिक्षण के लिए 1,000 NVIDIA Tesla V100 GPU क्लस्टर का उपयोग किया—मोटे तौर पर एक एकल डिवाइस पर 355 वर्षों के प्रशिक्षण के बराबर। Ramesh et al. (2021) से DALL-E, OpenAI से एक और Transformer मॉडल, में 12 अरब पैरामीटर हैं और 400 मिलियन से अधिक कैप्शन वाली छवियों पर प्रशिक्षित किया गया था। OpenAI ने DALL-E के प्रशिक्षण की लागत वहन की लेकिन विवादास्पद रूप से मॉडल को ओपन सोर्स करने से इनकार कर दिया, जिसका अर्थ है कि शायद सबसे महत्वपूर्ण अत्याधुनिक मल्टीमोडल डीप लर्निंग मॉडलों में से एक सभी के लिए दुर्गम रहता है सिवाय कुछ चुनिंदा लोगों के। इन फाउंडेशन मॉडलों को बनाने के लिए आवश्यक विशाल संसाधन पहुंच में महत्वपूर्ण बाधाएं पैदा करते हैं, और मूल्य कैप्चर करते हुए संसाधनों को पूल करने की विधि के बिना, AI उन्नति में ठहराव का कारण बन सकते हैं। कई लोग मानते हैं कि ये सामान्यीकृत मॉडल आर्टिफिशियल जनरल इंटेलिजेंस (AGI) को अनलॉक करने की कुंजी हैं, जो अलग-थलग, कृत्रिम साइलो में वर्तमान प्रशिक्षण विधि को बेतुका बनाता है।

कंप्यूट सप्लाई तक पहुंच प्रदान करने वाले वर्तमान समाधान या तो ओलिगोपोलिस्टिक और महंगे हैं या बड़े पैमाने पर AI के लिए आवश्यक कंप्यूट की जटिलता को देखते हुए बस अकार्यक्षम हैं। बढ़ती मांग को पूरा करने के लिए एक सिस्टम की आवश्यकता है जो लागत-कुशल तरीके से सभी उपलब्ध कंप्यूट का लाभ उठाए (आज के ~40% वैश्विक प्रोसेसर उपयोग के विपरीत)। इस समस्या को अभी जटिल बना रहा है कि कंप्यूट सप्लाई खुद असिम्प्टोटिक माइक्रोप्रोसेसर प्रदर्शन उन्नति से बाधित है—साथ ही सप्लाई चेन और भू-राजनीतिक चिप की कमी।

हमने 150 से अधिक CTO, मशीन लर्निंग (ML) शोधकर्ताओं और ML इंजीनियरों से बात की, जो लगातार अपने हार्डवेयर खरीदने और स्केलेबिलिटी का त्याग करने, या काफी बढ़ी हुई लागतों के लिए स्केलेबल क्लाउड संसाधनों को किराए पर लेने के बीच दर्दनाक व्यापार का वर्णन करते हैं। वे मानते हैं कि क्लाउड लागतें आमतौर पर प्रदाता लाभ मार्जिन द्वारा फुलाई जाती हैं और अक्सर आश्चर्य करते हैं कि उनके ML काम के लिए ऑन-डिमांड, सर्वरलेस-स्टाइल कंप्यूट क्यों मौजूद नहीं है।

स्वैच्छिक ग्रिड कंप्यूटिंग सेवाएं जैसे SETI@Home, Folding@Home, और BOINC प्रदर्शित करती हैं कि ट्रस्टलेस, स्वैच्छिक रूप से नेटवर्केड, लेटेंट कंप्यूट का उपयोग मानवता की कुछ सबसे बड़ी समस्याओं को हल करने के लिए किया जा सकता है। हालांकि, वे मुख्य रूप से एम्बेरेसिंगली पैरेलल समस्याओं को हल करते हैं जैसे 3D रेंडरिंग, जहां कंप्यूटेशनल काम को उसके राज्य स्वतंत्रता के कारण आसानी से विभाजित और सत्यापित किया जा सकता है। ML समस्याएं (हाइपरपैरामीटर ऑप्टिमाइजेशन जैसी नीश कार्यों के अलावा) मूल रूप से राज्य पर निर्भर हैं, जो पैरेललाइजेशन और सत्यापन दोनों के लिए नए तरीकों की आवश्यकता है। स्वैच्छिक नेटवर्क भी केवल भागीदारों को परोपकारी सिस्टम में तर्कसंगत अभिनेता के रूप में मॉडलिंग करके कार्य करते हैं; वित्तीय लेनदेन जोड़ने से प्रोत्साहन तंत्र नाटकीय रूप से बदल जाते हैं और शोषण की छाया पेश करते हैं।

डीसेंट्रलाइज्ड ब्लॉकचेन प्रोटोकॉल ग्रिड कंप्यूटिंग की अवधारणा को वित्तीय रूप से प्रोत्साहित, ट्रस्टलेस वातावरण में विस्तारित करते हैं। विशेष रूप से, Ethereum ने अंतरिक्ष को Bitcoin के लेनदेन उपयोग मामलों से आगे ले जाकर अधिक सामान्य ऑन-चेन कंप्यूटेशनल काम तक ले जाया। यह ट्यूरिंग-पूर्ण भाषा (Solidity) को शामिल करके और परिवर्तनीय गैस शुल्क के माध्यम से कंप्यूट प्रदाताओं को पुरस्कृत करके प्राप्त किया गया।

हालांकि, Ethereum केवल अत्यधिक महंगे ऑन-चेन काम की प्रतिकृति के माध्यम से ट्रस्टलेस सहमति प्राप्त करता है। यह डीप लर्निंग के लिए पूरी तरह से अनुपयुक्त है। एक छोटे MNIST न्यूरल नेटवर्क (~400M प्रोसेसर ऑपरेशंस) को प्रशिक्षित करने में औसत लैपटॉप पर ~8 मिनट लगते हैं लेकिन Ethereum पर ~80 दिन लगेंगे, लागत लगभग $32m। इसे संबोधित करने के लिए, Truebit ने दिखाया कि सरल कंप्यूटेशनल काम को ऑफ-चेन (और इस प्रकार कम ओवरहेड के साथ) करना संभव है और चेन को साबित करना कि यह सही ढंग से किया गया था। उन्होंने भागीदारों को वित्तीय रूप से तर्कसंगत अभिनेता के रूप में मॉडलिंग करके और सावधानी से प्रोत्साहन संरचनाओं का निर्माण करके यह हासिल किया। विशेष रूप से, उन्होंने सत्यापनकर्ता की दुविधा को हल किया, समय-समय पर कार्यकर्ताओं से गलत काम उत्पन्न करने की आवश्यकता करके और यदि वे इसे पकड़ते हैं तो सत्यापनकर्ताओं को जैकपॉट से पुरस्कृत करके।

इन सुधारों के बावजूद, काम अभी भी ऑफ-चेन प्रतिकृति होना चाहिए। यह अत्यधिक कंप्यूटेशनल खर्च वाली गतिविधियों (जैसे डीप लर्निंग) के लिए अनुपयुक्त है, और यदि डीप लर्निंग काम को ट्रस्टलेस तरीके से सर्विस किया जाना है तो लागत-कुशल ऑफ-चेन कंप्यूट सिस्टम मौजूद होना चाहिए।

समस्या

एक प्रोटोकॉल जो लागत कुशल तरीके से ऑफ-चेन डीप लर्निंग काम को ट्रस्टलेस रूप से जोड़ता और सत्यापित करता है, उसके पांच मुख्य चुनौतियां हैं।

काम सत्यापन

एक सच्चे ट्रस्टलेस कंप्यूट नेटवर्क बनाने के लिए, भागीदारी के लिए आर्थिक प्रोत्साहन के साथ, नेटवर्क को डीप लर्निंग कंप्यूटेशनल काम वास्तव में वादा अनुसार किया गया है या नहीं, सत्यापित करने का तरीका होना चाहिए। इस समस्या का केंद्र डीप लर्निंग मॉडलों की राज्य निर्भरता है; अर्थात, डीप लर्निंग मॉडल में प्रत्येक बाद की परत पूर्व परत के आउटपुट को इनपुट के रूप में लेती है। इसलिए, एक विशिष्ट बिंदु पर काम पूरा होने को सत्यापित करने के लिए, उस बिंदु तक और उसमें शामिल सभी काम किए जाने चाहिए। हम इसे बाद में और विस्तार से कवर करेंगे लेकिन यह एक मौलिक समस्या है जिसके अब तक कोई व्यवहार्य समाधान नहीं थे।

बाजार

कंप्यूट के लिए बाजार किसी भी नए बाजार के समान आपूर्ति और मांग मुद्दों का सामना करता है, साथ ही कुछ अनोखी चुनौतियां भी। मुख्य रूप से ठंडा स्टार्ट मुद्दा है, जहां आपूर्ति और मांग तरलता को सफलतापूर्वक बढ़ने के लिए शुरुआत से ही मोटे तौर पर मैच करना चाहिए। लेटेंट कंप्यूट सप्लाई कैप्चर करने के लिए, प्रतिभागियों को अपनी कंप्यूट समय देने के लिए स्पष्ट पुरस्कार होना चाहिए। कंप्यूटेशनल काम ट्रैक किया जाना चाहिए और प्रदाताओं को समय पर अनुपातिक भुगतान किया जाना चाहिए। अधिक पारंपरिक बाजारों के लिए, यह मध्यस्थों का उपयोग करके किया जाता है जो प्रशासन और ऑनबोर्डिंग संभालते हैं, ओवरहेड कम करने के लिए न्यूनतम भुगतान के साथ। दुर्भाग्य से, यह दृष्टिकोण स्केल करने में महंगा हो जाता है और एक थ्रेशोल्ड संतुलन की ओर ले जाता है जहां सप्लाई का केवल छोटा हिस्सा आर्थिक रूप से कैप्चर किया जा सकता है।

पूर्व काम अनुमान

Ethereum की तरह, ML कंप्यूटेशनल काम हॉल्टिंग समस्या के अधीन है – जहां कभी-कभी एक परिभाषित कार्य के लिए आवश्यक कंप्यूटेशनल काम की मात्रा को मापना असंभव है और विशेष रूप से क्या यह कभी समाप्त होगा (या रुक जाएगा)। डीप लर्निंग के संदर्भ में, यह हाल ही में अधिक महत्वपूर्ण हो गया है क्योंकि मॉडल और फ्रेमवर्क स्थिर ग्राफ निर्माण से गतिशील निर्माण और निष्पादन में बदल गए हैं।

गोपनीयता

दुनिया भर में मजबूत व्यक्तिगत गोपनीयता विनियमों के विकास के साथ (उदाहरण के लिए GDPR, CCPA, LGPD), गोपनीयता-जागरूक डिज़ाइन और विकास संगठनों के लिए अपेक्षित अभ्यास बन गया है। जबकि बड़ी मात्रा में ML अनुसंधान खुले डेटासेट पर किया जा सकता है, अंतिम मॉडल फाइन-ट्यूनिंग अक्सर मालिकाना उपयोगकर्ता डेटा का उपयोग करती है। अधिक विशेष रूप से, ML इंजीनियरों और CTO के साथ हमारे साक्षात्कारों में, उन्होंने संकेत दिया कि डेटा गोपनीयता मॉडल गोपनीयता से परिमाण के क्रम में अधिक महत्वपूर्ण है।

पैरेललाइजेशन

अत्याधुनिक डीप लर्निंग मॉडल आमतौर पर बड़े हार्डवेयर क्लस्टर्स पर पैरेलल में प्रशिक्षित किए जाते हैं ताकि एकल डिवाइस के साथ अप्राप्य स्केल तक पहुंचा जा सके। इस पैरेललाइजेशन को प्राप्त करने के लिए आवश्यक तकनीकें हाल के अनुसंधान से नाटकीय रूप से सुधार हुई हैं, वर्तमान अत्याधुनिक ट्रांसफॉर्मर मॉडलों जैसे Fedus, Zoph, and Shazeer (2021) द्वारा प्रस्तावित स्विच ट्रांसफॉर्मर्स अब प्रकृति से उच्च पैरेललाइज्ड हैं। ML काम की प्रदर्शन आवश्यकताओं को कंप्यूट स्रोतों की अनट्रस्टेड और अनरिलायबल प्रकृति के साथ मिलाकर, किसी भी समाधान में उच्च डिग्री पैरेललाइजेशन आवश्यक है।

समाधान

Gensyn प्रोटोकॉल

Gensyn प्रोटोकॉल डीप लर्निंग कंप्यूटेशन के लिए एक लेयर-1 ट्रस्टलेस प्रोटोकॉल है जो सप्लाई-साइड प्रतिभागियों को नेटवर्क को अपना कंप्यूट समय देने और ML कार्य करने के लिए सीधे और तुरंत पुरस्कृत करता है। प्रोटोकॉल को कोई प्रशासनिक ओवरसीयर या कानूनी प्रवर्तन की आवश्यकता नहीं है, बल्कि स्मार्ट कॉन्ट्रैक्ट्स के माध्यम से कार्य वितरण और भुगतान को प्रोग्रामेटिक रूप से सुविधा प्रदान करता है। ऊपर वर्णित अनुसार, इस नेटवर्क को बनाने में मौलिक चुनौती पूर्ण ML काम का सत्यापन है। यह एक अत्यधिक जटिल समस्या है जो जटिलता सिद्धांत, गेम थ्योरी, क्रिप्टोग्राफी, और ऑप्टिमाइजेशन के चौराहे पर स्थित है।

एक सरल समाधान कार्यकर्ताओं की ईमानदारी की जांच करने के लिए उनके काम को फिर से करना है। न्यूनतम रूप से, यह आवश्यक ऑपरेशंस को दोगुना करने की आवश्यकता है (‘सिंगल реп्लिकेशन’); हालांकि, реп्लिकेशन के साथ भी, ट्रस्ट का मुद्दा बना रहता है जब तक कि सत्यापन पक्ष कार्य का वास्तविक अनुरोधकर्ता न हो (जिस मामले में, वे कार्य का अनुरोध नहीं करेंगे क्योंकि वे खुद इसे करेंगे)। इसलिए, सत्यापन पक्ष की ईमानदारी सुनिश्चित करना एक अनंत реп्लिकेशन चेन उत्पन्न कर सकता है, जहां प्रत्येक नया सत्यापनकर्ता पिछले सत्यापनकर्ता के काम की जांच करने की आवश्यकता है।

हम इस सत्यापन समस्या को तीन प्रमुख अवधारणाओं को एक मजबूत समाधान में इंटरलॉक करके हल करते हैं जो मौजूदा सर्वोत्तम अभ्यास реп्लिकेशन विधियों से >1,350% अधिक कुशल है; ऐसा करके, यह अनंत-चेन समस्या को हल करता है। प्रमुख अवधारणाएं हैं:

प्रोबेबिलिस्टिक प्रूफ-ऑफ-लर्निंग

Jia et al. (2021) का अनुसरण करते हुए, हम ग्रेडिएंट-आधारित ऑप्टिमाइजेशन प्रक्रियाओं से मेटाडेटा का उपयोग करके निष्पादित काम के प्रमाणपत्र बनाने के लिए उपयोग करते हैं, जो कुछ चरणों की реп्लिकेशन के माध्यम से जल्दी सत्यापित किए जा सकते हैं।

ग्राफ-आधारित पिनपॉइंट प्रोटोकॉल

Zheng et al. (2021) का अनुसरण करते हुए, हम मल्टी-ग्रैनुलर, ग्राफ-आधारित पिनपॉइंट प्रोटोकॉल और क्रॉस-इवैल्यूएटर कंसिस्टेंट एक्जीक्यूशन का उपयोग करते हैं ताकि सत्यापन काम को फिर से चलाया जा सके और स्थिरता के लिए तुलना की जा सके, और अंततः चेन द्वारा ही पुष्टि की जा सके।

ट्रूबिट-स्टाइल इंसेंटिव गेम

Teutsch and Reitwießner (2019) का अनुसरण करते हुए, हम स्टेकिंग और स्लैशिंग का उपयोग करके एक इंसेंटिव गेम का निर्माण करते हैं जो सुनिश्चित करता है कि प्रत्येक वित्तीय रूप से तर्कसंगत प्रतिभागी ईमानदारी से व्यवहार करता है और अपने इरादे वाले कार्य करता है।

प्रतिभागी

ये अवधारणाएं चार मुख्य प्रतिभागियों वाले सिस्टम का निर्माण करने के लिए उपयोग की जाती हैं: सबमिटर्स, सॉल्वर्स, वेरिफायर्स, और व्हिसलब्लोअर्स।

सबमिटर्स

सबमिटर्स सिस्टम के अंतिम उपयोगकर्ता हैं, जो कंप्यूट किए जाने वाले कार्य प्रदान करते हैं और पूर्ण कार्य इकाइयों के लिए भुगतान करते हैं।

सॉल्वर्स

सॉल्वर्स सिस्टम के मुख्य कार्यकर्ता हैं, मॉडल प्रशिक्षण करते हैं और वेरिफायर्स द्वारा जांचने के लिए प्रमाण उत्पन्न करते हैं।

वेरिफायर्स

वेरिफायर्स गैर-निर्धारक प्रशिक्षण प्रक्रिया को निर्धारक रैखिक कंप्यूटेशन से जोड़ने की कुंजी हैं, सॉल्वर्स के प्रमाणों के हिस्सों को реп्लिकेट करते हैं और अपेक्षित थ्रेशोल्ड के साथ दूरी की तुलना करते हैं।

व्हिसलब्लोअर्स

व्हिसलब्लोअर्स अंतिम रक्षा रेखा हैं, वेरिफायर्स के काम की जांच करते हैं और जैकपॉट भुगतान प्राप्त करने की उम्मीद में चुनौती देते हैं।

उपयोग

सामान्य प्रोटोकॉल उपयोग ऊपर वर्णित भूमिकाओं द्वारा विशिष्ट कार्य करने वाले आठ चरणों से गुजरेगा।

कार्य सबमिट करने के लिए, सबमिटर्स मशीन-पठनीय प्रारूप में कार्य की विवरण निर्दिष्ट करते हैं और उन्हें चेन पर सबमिट करते हैं, साथ ही मॉडल बाइनरी (या मशीन-पठनीय आर्किटेक्चर) और पूर्व-प्रसंस्कृत प्रशिक्षण डेटा के सार्वजनिक स्थान। सार्वजनिक डेटा एक साधारण ऑब्जेक्ट स्टोर जैसे Amazon’s S3 में संग्रहीत किया जा सकता है या विकेंद्रीकृत स्टोर जैसे IPFS, Arweave, या Subspace में।

गोपनीयता संरक्षण के लिए, मॉडल Lan, Liu, and Li (2020) द्वारा प्रस्तावित सुरक्षित मैपिंग लेयर्स (फंक्शनल एन्क्रिप्शन का एक रूप) का उपयोग करके बनाए जा सकते हैं और सार्वजनिक रूप से पहुंच योग्य प्रशिक्षण डेटा एन्क्रिप्ट किया जा सकता है। इस तरह, मॉडल छोटी सटीकता दंड (<0.5%) के साथ सिफरटेक्स्ट पर प्रशिक्षित किए जा सकते हैं।

कार्य सबमिट करते समय, आवश्यक कार्य का अनुमान कंप्यूटेशनल ग्राफ का निर्माण और आवश्यक ऑपरेशंस में अनरोलिंग करके उत्पन्न किया जाता है। ये ऑपरेशंस Ethereum के Opcode गैस मूल्यों जैसे मूल्यों का उपयोग करके वेटेड होते हैं ताकि किए जाने वाले कंप्यूटेशनल काम की मोटी राशि की गणना की जा सके। सबमिटर द्वारा भुगतान की गई ट्रांजेक्शन फी इस अनुमान का उपयोग कर सकती है, किसी भी अतिरिक्त (उदाहरण के लिए निराशावादी प्रोफाइलिंग के कारण) को कंप्यूटेशन के बाद सबमिटर को लौटा दिया जाता है। महत्वपूर्ण रूप से, ग्राफ अनरोलिंग में लॉजिक पर सेट सीमाएं लगानी पड़ती हैं जो हॉल्टिंग समस्या को ट्रिगर कर सकती हैं।

कार्य प्रोटोकॉल पर पुश किए जा सकने वाले सबसे छोटे ML काम की मात्रा बनाते हैं। पैरेललाइजेशन का उपयोग करके, बड़े कंप्यूटेशनल वर्कलोड को कार्यों के सेट में विभाजित किया जा सकता है और नेटवर्क पर असिंक्रोनस रूप से पुश किया जा सकता है। इस दृष्टिकोण का उपयोग करके, बड़े पैमाने पर भाषा मॉडल और अन्य अत्याधुनिक मॉडल बनाए जा सकते हैं, जैसे Diskin et al. (2021) ने स्वैच्छिक कंप्यूट के साथ प्रदर्शित किया।

प्रोफाइलिंग

प्रोफाइलिंग प्रक्रिया लर्निंग प्रूफ सत्यापन के लिए आधारभूत दूरी थ्रेशोल्ड स्थापित करती है। वेरिफायर्स периодически प्रोफाइलिंग कार्यों को ग्रैब करेंगे और लर्निंग प्रूफ तुलनाओं के लिए वैरिएशन थ्रेशोल्ड उत्पन्न करेंगे। थ्रेशोल्ड उत्पन्न करने के लिए, एक वेरिफायर विभिन्न रैंडम सीड्स के साथ प्रशिक्षण के हिस्सों को निर्धारक रूप से चलाएगा और फिर चलाएगा, अपने खुद के प्रमाण उत्पन्न और जांच करेगा। ऐसा करके, वेरिफायर एक एकत्रित अपेक्षित दूरी थ्रेशोल्ड बनाएगा जो बाद में सॉल्वर्स के गैर-निर्धारक काम को मान्य करने के लिए थ्रेशोल्ड के रूप में उपयोग किया जा सकता है।

दूरी थ्रेशोल्ड उत्पन्न करते समय वेरिफायर्स की ईमानदारी सुनिश्चित करने के लिए, व्हिसलब्लोअर्स से अपेक्षा की जाती है कि वे प्रोफाइलिंग काम को फिर से चलाएं और जहां उपयुक्त हो वहां वेरिफायर्स को चुनौती दें, नीचे वर्णित समान ग्राफ-आधारित पिनपॉइंट चुनौती और कॉन्ट्रैक्ट आर्बिट्रेशन तंत्र का उपयोग करके।

प्रशिक्षण

प्रोफाइलिंग के बाद, कार्य सामान्य कार्य पूल में प्रवेश करता है (Ethereum mempool के समान)। एक एकल सॉल्वर कार्य करने के लिए चुना जाता है और कार्य पूल से हटा दिया जाता है। सॉल्वर सबमिटर द्वारा सबमिट किए गए मेटाडेटा के अनुसार कार्य करता है और प्रदान की गई मॉडल और प्रशिक्षण डेटा का उपयोग करता है। प्रशिक्षण कार्य करते समय, सॉल्वर एक लर्निंग प्रूफ भी उत्पन्न करता है, शेड्यूल्ड интерवल पर चेकपॉइंटिंग करके और प्रशिक्षण प्रक्रिया से मेटाडेटा (पैरामीटर सहित) संग्रहीत करके ताकि अगला ऑप्टिमाइजेशन स्टेप वेरिफायर द्वारा यथासंभव सटीक रूप से реп्लिकेट किया जा सके।

प्रूफ जनरेशन

प्रूफ जनरेशन Jia et al. (2021) में वर्णित प्रक्रिया का अनुसरण करता है, जहां सॉल्वर्स периодически मॉडल वेट्स या अपडेट्स को ट्रेनिंग डेटासेट से संबंधित इंडेक्स के साथ संग्रहीत करते हैं जो वेट अपडेट्स उत्पन्न करने के लिए उपयोग किए गए सैंपल्स की पहचान करते हैं। चेकपॉइंट फ्रीक्वेंसी मजबूत गारंटी प्रदान करने या स्टोरेज स्पेस बचाने के लिए ट्यून की जा सकती है। प्रूफ्स को “स्टैक्ड” किया जा सकता है, अर्थात एक प्रूफ वेट्स को इनिशियलाइज करने के लिए उपयोग किए गए रैंडम डिस्ट्रीब्यूशन से शुरू हो सकता है या अपने खुद के प्रूफ के साथ उत्पन्न प्री-ट्रेनेड वेट्स से। यह प्रोटोकॉल को पहले से सिद्ध, प्री-ट्रेनेड बेस मॉडलों (अर्थात फाउंडेशन मॉडल) का सेट बनाने की अनुमति देता है जो अधिक विशिष्ट कार्यों के लिए फाइन-ट्यून किए जा सकते हैं।

प्रूफ सत्यापन

कार्य पूरा होने के बाद, सॉल्वर्स चेन के साथ कार्य पूरा होने को रजिस्टर करते हैं और वेरिफायर्स द्वारा एक्सेस के लिए सार्वजनिक स्थान पर अपना लर्निंग प्रूफ पेश करते हैं। वेरिफायर्स सामान्य कार्य पूल (फिर से Ethereum mempool के समान) से सत्यापन कार्य उठाते हैं और प्रूफ के हिस्सों को फिर से चलाने और दूरी गणना करने के लिए कंप्यूटेशनल काम करते हैं। परिणामी दूरी तब चेन द्वारा उपयोग की जाती हैं (प्रोफाइलिंग स्टेज के दौरान गणना किए गए थ्रेशोल्ड के साथ) यह निर्धारित करने के लिए कि सत्यापन प्रूफ से मैच करता है या नहीं।

ग्राफ-आधारित पिनपॉइंट चुनौती

लर्निंग प्रूफ के सत्यापन के बाद, व्हिसलब्लोअर्स वेरिफायर काम को реп्लिकेट कर सकते हैं ताकि सत्यापन काम खुद सही ढंग से किया गया हो या नहीं जांच सकें। यदि एक व्हिसलब्लोअर मानता है कि सत्यापन गलत तरीके से किया गया है (दुर्भावनापूर्ण या नहीं), वे पुरस्कार प्राप्त करने के लिए वेरिफायर को कॉन्ट्रैक्ट आर्बिट्रेशन के लिए चुनौती दे सकते हैं। यह पुरस्कार सॉल्वर और वेरिफायर डिपॉजिट्स से आ सकता है (ट्रू पॉजिटिव के मामले में) या जैकपॉट ट्रेजरी से (फॉल्स पॉजिटिव के मामले में)। चुनौती प्रक्रिया Zheng et al. (2021) में वर्णित प्रक्रिया का अनुसरण करती है और आर्बिट्रेशन करने के लिए चेन खुद का उपयोग करती है।

​Teutsch and Reitwießner (2019) का अनुसरण करते हुए, व्हिसलब्लोअर्स (उनके मामले में वेरिफायर्स) केवल तब काम को सत्यापित करने और随后 चुनौती देने की अपेक्षा की जाती है जब वे उपयुक्त मुआवजा प्राप्त करने की अपेक्षा करते हैं। व्यवहार में, इसका मतलब है कि व्हिसलब्लोअर्स अन्य सक्रिय (अर्थात लाइव डिपॉजिट्स और चुनौती देने वाले) व्हिसलब्लोअर्स की संख्या के आधार पर नेटवर्क में शामिल होने और छोड़ने की अपेक्षा की जाती है। इसलिए, किसी भी व्हिसलब्लोअर के लिए अपेक्षित डिफ़ॉल्ट रणनीति है कि जब अन्य व्हिसलब्लोअर्स की संख्या कम हो तब नेटवर्क में शामिल हों, डिपॉजिट पोस्ट करें, एक सक्रिय कार्य को रैंडमली चुनें, और अपनी सत्यापन प्रक्रिया शुरू करें। पहले कार्य के समापन के बाद, वे एक और रैंडम सक्रिय कार्य लेंगे और दोहराएंगे जब तक व्हिसलब्लोअर्स की संख्या उनके निर्धारित भुगतान थ्रेशोल्ड से ऊपर न हो जाए, जिस बिंदु पर वे नेटवर्क छोड़ देंगे (या अधिक संभावना है, नेटवर्क में एक और भूमिका करने के लिए स्विच करेंगे—वेरिफायर या सॉल्वर—उनकी हार्डवेयर क्षमताओं पर निर्भर) जब तक स्थिति उलट नहीं जाती।

कॉन्ट्रैक्ट आर्बिट्रेशन

जब एक वेरिफायर को एक व्हिसलब्लोअर द्वारा चुनौती दी जाती है, वे विवादित ऑपरेशन या इनपुट के स्थान को कम करने के लिए चेन के साथ एक प्रक्रिया में प्रवेश करते हैं, अंत में चेन अंतिम बेसिक ऑपरेशन करता है और निर्धारित करता है कि चुनौती उचित थी या नहीं। व्हिसलब्लोअर्स की ईमानदारी बनाए रखने और वेरिफायर की दुविधा को दूर करने के लिए, प्रोटोकॉल Teutsch and Reitwießner (2019) द्वारा प्रस्तावित के रूप में जैकपॉट भुगतान के साथ आवधिक जबरन त्रुटियां पेश करता है।

सेटलमेंट

सेटलमेंट प्रक्रिया में, प्रतिभागियों को प्रोबेबिलिस्टिक और डेटर्मिनिस्टिक चेक के निष्कर्षों के अनुसार भुगतान किया जाता है। विभिन्न परिदृश्यों में विभिन्न भुगतान किए जाते हैं, पूर्व सत्यापन और चुनौतियों के परिणाम पर निर्भर।

यदि काम सही ढंग से किया गया माना जाता है और सभी चेक पास हो जाते हैं, तो सॉल्वर और वेरिफायर दोनों को किए गए ऑपरेशंस के अनुसार पुरस्कृत किया जाता है।

स्केल और लागत-दक्षता

बाजार को Web3 प्रोटोकॉल के रूप में बनाना स्केलिंग पर केंद्रीकृत ओवरहेड्स को हटाता है और नए सप्लाई प्रतिभागियों के लिए प्रवेश बाधाओं को कम करता है, नेटवर्क को संभावित रूप से दुनिया के हर कंप्यूटिंग डिवाइस को शामिल करने की अनुमति देता है। एक एकल विकेंद्रीकृत नेटवर्क के माध्यम से सभी डिवाइसों को जोड़ना वर्तमान में किसी भी मौजूदा प्रदाता के माध्यम से प्राप्त करने योग्य नहीं स्केलेबिलिटी का स्तर प्रदान करता है, दुनिया के कंप्यूट सप्लाई के पूरे भाग तक अभूतपूर्व ऑन-डिमांड एक्सेस देता है। अंतिम उपयोगकर्ताओं के लिए, यह लागत बनाम स्केल दुविधा को पूरी तरह से तोड़ देता है और संभावित अनंत स्केलेबिलिटी (विश्वव्यापी भौतिक हार्डवेयर सीमाओं तक) के लिए पारदर्शी, कम लागत प्रदान करता है।

एक बाजार बनाना जहां कीमतें बाजार गतिशीलता द्वारा निर्धारित होती हैं, और बाजार सभी प्रतिभागियों के लिए खुला है, ML कंप्यूट की इकाई लागत को उसके निष्पक्ष संतुलन में स्थिर होने की अनुमति देता है। यह बड़े प्रदाताओं द्वारा आनंदित सामान्य खाई को बायपास करता है, कीमतों को काफी कम करता है, और संसाधन स्तर पर सच्ची वैश्विक प्रतिस्पर्धा को सुविधाजनक बनाता है। जबकि अंतिम उपयोगकर्ताओं के लिए वर्तमान कंप्यूट लागतें उनके ओलिगोपोलिस्टिक सप्लायर्स के लिए बड़े मार्जिन शामिल करती हैं, Gensyn प्रोटोकॉल सुनिश्चित करेगा कि शेष मार्जिन, निष्पक्ष प्रतिस्पर्धा द्वारा कम, हर प्रतिभागी द्वारा अनुपातिक रूप से कैप्चर किया जाए।

Ethereum के प्रूफ-ऑफ-वर्क से प्रूफ-ऑफ-स्टेक में Eth2 में बदलाव के साथ, कई शक्तिशाली GPU (उदाहरण के लिए NVIDIA V100) वाले माइनर्स बिना यील्ड के छोड़ दिए जाएंगे। ये माइनर्स वर्तमान में प्रति घंटे लगभग $0.20 से $0.35 की वापसी की अपेक्षा कर सकते हैं, जो अब भी, एमोर्टाइज्ड कैपिटल खरीद और बिजली लागतों को घटाकर, एक तंग मार्जिनल रिटर्न प्रदान करता है। ML-सक्षम हार्डवेयर वाले इन माइनर्स द्वारा अपेक्षित वर्तमान यील्ड और मुख्य प्रदाताओं से समान हार्डवेयर की औसत प्रति घंटा लागत के बीच का डेल्टा, साथ ही Eth माइनिंग के संभावित गायब होने, Gensyn प्रोटोकॉल के लिए एक विशाल अवसर बनाता है; यह हार्डवेयर को उपयोगी प्रोसेसर साइकिल्स पर रिटर्न उत्पन्न करने की अनुमति भी देता है – प्रूफ-ऑफ-वर्क सिस्टम में केवल हैश गणना करने के विपरीत। इस माइनिंग सप्लाई को कैप्चर करना, अन्य सामान्य लेटेंट कंप्यूट स्रोतों के साथ, Gensyn प्रोटोकॉल पर NVIDIA V100 समकक्ष कंप्यूटेशन के लिए प्रति घंटे लगभग $0.40 की अनुमानित लागत की ओर ले जाता है, AWS ऑन-डिमांड से 80% सस्ता।

प्रदाता	ML प्रशिक्षण काम के लिए अनुमानित प्रति घंटा लागत (V100 समकक्ष)	स्केलेबिलिटी
Ethereum	$15,700	कम
Truebit (+ Ethereum)	$12	कम
GCP ऑन-डिमांड	$2.50	मध्यम
AWS ऑन-डिमांड	$2	मध्यम
Golem Network	$1.20	कम
Vast.ai	$1.10	कम
AWS स्पॉट इंस्टेंस (अनरिलायबल)	$0.90	मध्यम
GCP स्पॉट इंस्टेंस (अनरिलायबल)	$0.75	मध्यम
Gensyn (अनुमानित)	$0.40	उच्च
डेटासेंटर में सिंगल GPU	$0.40	कोई नहीं
सिंगल पर्सनल GPU	$0.28	कोई नहीं

प्रोटोकॉल मूल्यांकन

हम पाइथन सिमुलेशन के माध्यम से अपने समाधान का मूल्यांकन करते हैं ताकि Gensyn प्रोटोकॉल द्वारा प्रदान की गई प्रदर्शन लाभ की परिमाण का आकलन किया जा सके। इस उदाहरण में, हम प्रदर्शन को एक छोटे MNIST इमेज क्लासिफिकेशन मॉडल पर 100 एपोक ट्रेनिंग जॉब पूरा करने के लिए आवश्यक सेकंड में कुल समय के रूप में मापते हैं। हम इसे 6-कोर Intel Core i7 प्रोसेसर पर परीक्षण करते हैं।

हम प्रोटोकॉल की तुलना 3 वैकल्पिक दृष्टिकोणों से करते हैं: मॉडल को लोकल रूप से चलाना (किसी भी प्रोटोकॉल का उपयोग करने के विपरीत), Truebit-प्रेरित реп्लिकेशन का उपयोग करके मॉडल चलाना (7 वेरिफायर्स के साथ), और Ethereum पर मॉडल चलाना।

कोड में उत्पादन-स्तर ऑप्टिमाइजेशन की कमी के बावजूद, परिणाम दिखाते हैं कि Gensyn प्रोटोकॉल मॉडल ट्रेनिंग में ~46% समय ओवरहेड जोड़ता है, जो Truebit-स्टाइल реп्लिकेशन बनाम 1,350% प्रदर्शन लाभ और Ethereum बनाम 2,522,477% लाभ का प्रतिनिधित्व करता है।

MNIST इमेज क्लासिफिकेशन मॉडल के लिए Gensyn और Truebit-स्टाइल реп्लिकेशन के बीच रनटाइम तुलना

MNIST इमेज क्लासिफिकेशन मॉडल के लिए Gensyn और Ethereum (सैद्धांतिक) के बीच रनटाइम तुलना

गवर्नेंस

Gensyn Limited प्रोटोकॉल विकसित करने, टीम भर्ती करने और IP प्रबंधन करने वाली प्रारंभिक इकाई है (ओपन सोर्स लॉन्च से पहले)। Gensyn Limited एक पूरी तरह से रिमोट कंपनी है, दुनिया भर से प्रतिभा भर्ती करती है। टोकन जनरेशन इवेंट (TGE) के बाद, Gensyn Limited तकनीकी विकास संभालेगी और Gensyn फाउंडेशन प्रोटोकॉल के हितों का प्रतिनिधित्व करेगी।

टोकन TGE पर Gensyn फाउंडेशन द्वारा जारी किए जाएंगे, जो एक निर्वाचित परिषद द्वारा विकेंद्रीकृत तरीके से शासित होगा और ऑन-चेन प्रस्तावों और जनमत संग्रहों के आधार पर निर्णय लेगा। शुरू में, परिषद के सदस्य Gensyn Limited के कोर सदस्यों और प्रारंभिक समुदाय से कसकर मैप किए जाएंगे ताकि प्रोटोकॉल को तेजी से विकसित किया जा सके। समय के साथ, परिषद अधिक विकेंद्रीकृत हो जाएगी।

Gensyn फाउंडेशन एक ट्रेजरी को भी नियंत्रित करेगा जो प्रस्तावों द्वारा निर्देशित होगा ताकि प्रोटोकॉल के उद्देश्यों को आगे बढ़ाया जा सके, प्रोटोकॉल खुद के निरंतर विकास और समग्र इकोसिस्टम को फंडिंग करके। ट्रेजरी मुख्य रूप से प्रत्येक कार्य शुल्क से बहुत छोटा प्रतिशत लेकर फंडेड होगी।

भविष्य विकास

अनुसंधान

हम प्रोटोकॉल को सुधारने के लिए तीन मुख्य क्षेत्रों में अनुसंधान जारी रखेंगे: ऑप्टिमाइजेशन प्रक्रिया से मेटाडेटा का उपयोग करके ML प्रशिक्षण की प्रोबेबिलिस्टिक सत्यापन, ऑन-चेन प्रूफ के लिए डेटर्मिनिस्टिक ML काम की पिनपॉइंट सत्यापन, और लेटेंसी कंस्ट्रेंट्स वाले हेटेरोजेनियस हार्डवेयर पर ML मॉडलों की पैरेललाइजेशन।

यह अनुसंधान काम सत्यापन गारंटी को मजबूत करेगा और प्रोटोकॉल की उपयोगिता को बढ़ाएगा ताकि अधिक मॉडल प्रिमिटिव्स और मॉडल प्रकारों की व्यापक विविधता शामिल हो।

विकास

Gensyn प्रोटोकॉल का विकास तीन उच्च-स्तरीय चरणों का पालन करेगा: टेस्टनेट, कैनरीनेट, मेननेट।

टेस्टनेट

प्रारंभिक विकास कोर टेक्नोलॉजी की टेस्टनेट इम्प्लीमेंटेशन बनाने पर केंद्रित होगा। टेस्टनेट द्वारा उपयोग किए जाने वाले टोकन अस्थायी होंगे, और टेस्टनेट उपयोगकर्ता प्रारंभिक अपनाने वाले और समुदाय के कोर सदस्य होंगे जो TGE पर पुरस्कृत किए जाएंगे।

कैनरीनेट

सफल टेस्टनेट इटरेशन के बाद, प्रोटोकॉल Kusama रिले चेन पर कैनरी नेटवर्क पैराचेन के रूप में लॉन्च होगा। यह चरण वास्तविक आर्थिक मूल्य वाले कैनरी यूटिलिटी टोकन को लॉन्च करने में शामिल होगा। कैनरी नेटवर्क को प्रोटोकॉल का बीटा संस्करण माना जा सकता है जिसमें नवीनतम फीचर्स तक पहुंच और इसके उपयोग से जुड़ा कुछ जोखिम है। लंबे समय में, कैनरी नेटवर्क आमतौर पर इस मामूली जोखिम के बदले थोड़ी कम कीमतें और ब्लीडिंग-एज R&D फंक्शनलिटी तक पहुंच प्रदान करते हैं।

मेननेट

Kusama रिले चेन पर सफल पैराचेन लॉन्च के बाद, अगला चरण Polkadot रिले चेन पर अंतिम लाइव पैराचेन लॉन्च करना होगा। यह चरण मेननेट यूटिलिटी टोकन का लॉन्च शामिल करेगा, जो प्रोटोकॉल का मुख्य यूटिलिटी टोकन होगा। मेननेट किसी भी संगठन या व्यक्ति द्वारा पूर्ण उपयोग के लिए कठोर, लाइव प्रोटोकॉल होगा। फीचर्स या बदलाव मेननेट पर लॉन्च से पहले टेस्टनेट और कैनरीनेट इटरेशन से गुजरेंगे।

इकोसिस्टम

Gensyn प्रोटोकॉल ML कंप्यूट के लिए एक फाउंडेशनल लेयर होगा, स्मार्ट कॉन्ट्रैक्ट एक्जीक्यूशन के लिए Ethereum के समान। आगे बढ़ते हुए, हम उम्मीद करते हैं कि अन्य प्रोटोकॉल पर निर्माण करेंगे ताकि कई नीश में समृद्ध उपयोगकर्ता अनुभव और विशिष्ट फंक्शनलिटी प्रदान की जा सके। हम उम्मीद करते हैं कि यह उभरता इकोसिस्टम विशेषज्ञ-ज्ञान-आधारित एप्लिकेशन्स से शुरू होगा, गैर-विशेषज्ञों को मौजूदा Web2 समाधानों जैसे Amazon’s SageMaker और DataRobot के समान एब्स्ट्रैक्शन्स का उपयोग करके ML समाधान बनाने और डिप्लॉय करने की अनुमति देगा।

मॉडल डिज़ाइन में मानव ज्ञान के अलावा, एप्लाइड ML की प्रगति को धीमा करने वाली तीन मौलिक समस्याएं हैं:

1. कंप्यूट पावर तक पहुंच;
2. डेटा तक पहुंच;
3. ज्ञान तक पहुंच (ग्राउंड-ट्रुथ लेबलिंग)।

Gensyn पहली समस्या को हल करता है, अपनी निष्पक्ष बाजार मूल्य पर वैश्विक रूप से स्केलेबल कंप्यूट तक ऑन-डिमांड पहुंच प्रदान करके। Gensyn फाउंडेशन अनुसंधान, फंडिंग और अन्य प्रोटोकॉल्स के साथ सहयोग के माध्यम से दो और तीन के समाधानों को प्रोत्साहित करने का प्रयास करेगा।

लंबी अवधि की दृष्टि

Gensyn प्रोटोकॉल किसी को भी किसी भी कार्य के लिए ML मॉडल प्रशिक्षित करने की अनुमति देगा, एक स्व-आयोजन नेटवर्क का उपयोग करके जो मौजूद हर कंप्यूट पावर स्रोत को शामिल करता है।

जैसे-जैसे Web3 Dapps जटिलता और इंफ्रास्ट्रक्चर आवश्यकताओं में बढ़ते हैं, वे Web2 पर वापस गिरने के लिए मजबूर होते हैं जहां Web3 संसाधन मौजूद नहीं होते। ML कंप्यूट को विकेंद्रीकृत करके, Gensyn प्रोटोकॉल एक महत्वपूर्ण इंफ्रास्ट्रक्चर घटक को Web3 में मूल रूप से लाता है – Web2 पर निर्भरता कम करता है और पूरे इकोसिस्टम को और मजबूत और विकेंद्रीकृत करता है।

डीप लर्निंग ने अविश्वसनीय जनरलाइजेशन पावर दिखाई है और ML के भविष्य में बड़ी भूमिका निभाने के लिए तैयार लगता है। Gensyn प्रोटोकॉल पर प्रशिक्षित फाउंडेशन मॉडल, विकेंद्रीकृत और वैश्विक रूप से स्वामित्व वाले होंगे – मानवता को सहयोगी ML विकास और प्रशिक्षण से समान रूप से लाभान्वित होने की अनुमति देंगे। इन फाउंडेशन मॉडलों पर फाइन-ट्यूनिंग का उपयोग करके निर्माण कार्य को परिभाषित करने और फाइन-ट्यूनिंग काम के लिए निष्पक्ष बाजार मूल्य भुगतान करने जितना सरल होगा – वर्तमान में मौजूद बाधाओं को हटा देगा।

दशकों से, ML अकादमिक और औद्योगिक दोनों साइलो में प्रगति करता रहा है। Gensyn प्रोटोकॉल इन साइलो को विकेंद्रीकृत स्वामित्व वाले सामान्य इंफ्रास्ट्रक्चर के माध्यम से जोड़ता है, पूरे मानवता को कृत्रिम बुद्धिमत्ता के भविष्य को समान पायनियर के रूप में जल्दी और सामूहिक रूप से अन्वेषण करने की अनुमति देता है। इस नेटवर्क को हायरार्किकल रूप से प्रशिक्षित और सामूहिक रूप से स्वामित्व वाले फाउंडेशन मॉडलों के साथ जोड़ना AGI की सच्ची प्राप्ति की ओर एक पथ प्रदान करता है – मानवता के लिए अगला कदम।

शामिल हों

आप हमारी प्रगति को Twitter पर फॉलो कर सकते हैं। यदि आप कंप्यूट संसाधनों का योगदान करने, ML कार्यों के लिए नेटवर्क का उपयोग करने, या हमें जॉइन करने में रुचि रखते हैं तो कृपया हमें संदेश भेजें। हम चैट करने के लिए उत्सुक हैं।

अपडेट और हालिया अनुसंधान (2025 तक अपडेटेड)

2022 लाइटपेपर के बाद से, Gensyn ने कई अनुसंधान और प्रोटोकॉल अपडेट प्रकाशित किए हैं। यहां Gensyn.ai वेबसाइट से मुख्य लेखों का सारांश है:

GenRL का परिचय: RL Swarm के लिए नया बैकएंड

GenRL एक नया फ्रेमवर्क है जो उन्नत RL वातावरण बनाने को सरल और तेज बनाने के लिए स्क्रैच से डिज़ाइन किया गया है, विशेष रूप से वे जो कई एजेंट्स शामिल करते हैं। यह विकेंद्रीकृत वातावरण में उन्नत RL वातावरण विकसित करने में मदद करता है।

GPT@home: प्रशिक्षण का भविष्य विकेंद्रीकृत क्यों है

यह रिपोर्ट बड़े मॉडलों के प्रशिक्षण की वर्तमान स्थिति और इससे जुड़ी विभिन्न लागतों की जांच करती है। यह पिछले वितरित कंप्यूटिंग प्रयासों की जांच करती है और विकेंद्रीकृत प्रशिक्षण के लिए तर्क देती है।

मशीन लर्निंग कंप्यूट प्रोटोकॉल और हमारा भविष्य

लेख मशीन लर्निंग कंप्यूट प्रोटोकॉल की दृष्टि को विस्तारित करता है, BlockAssist का परिचय देता है – एक ओपन सोर्स AI असिस्टेंट जो आपको Minecraft खेलते देखकर सीखता है, और भविष्य पर चर्चा करता है।

NoLoCo: ऑल-रिड्यूस के बिना बड़े मॉडलों को प्रशिक्षित करना

यह एक अकादमिक पेपर है जो NoLoCo का वर्णन करता है, एक नया वितरित प्रशिक्षण ऑप्टिमाइजेशन विधि जो वैश्विक सिंक्रोनाइजेशन स्टेप को लोकल अप्रोच से बदलती है, विकेंद्रीकृत वातावरणों के लिए उपयुक्त।

RL Swarm: सहकारी RL के लिए फ्रेमवर्क

RL Swarm मशीन लर्निंग के भविष्य में एक झलक प्रदान करता है, साथी के बीच सहकारी RL के लिए एक फ्रेमवर्क के साथ, जहां इंटेलिजेंस भीड़ की इंटेलिजेंस का लाभ उठाता है।

SkipPipe: विकेंद्रीकृत प्रशिक्षण के लिए प्रभावी संचार विधि

एक फॉल्ट-टॉलरेंट पाइपलाइन पैरेलल विधि, जो चरणों को डायनामिक रूप से स्किप और रीऑर्डर करती है ताकि विकेंद्रीकृत वातावरणों में प्रशिक्षण को ऑप्टिमाइज किया जा सके।

इसके अलावा, Gensyn ने मार्च 2025 में सार्वजनिक टेस्टनेट लॉन्च किया, विकेंद्रीकृत AI सिस्टम्स को स्थायी पहचान प्रदान करता है और भागीदारी ट्रैक करता है। 2025 में टेस्टनेट अपडेट थे, जिसमें अधिक कठिन डेटासेट, बड़े मॉडल और नए एप्लिकेशन्स जैसे BlockAssist और Judge – Gensyn की सत्यापनीय AI मूल्यांकन प्रणाली के साथ नया स्वार्म शामिल है।

नवीनतम जानकारी के लिए, कृपया gensyn.ai और docs.gensyn.ai पर जाएं।