Litepaper

Dünyanın derin öğrenme modelleri için hiper ölçekli, maliyet etkili hesaplama protokolü.

Şubat 2022’de yayınlandı

Lütfen bu Litepaper sürümünün güncelliğini yitirdiğini unutmayın. Gensyn ekibi, protokol tasarımında birden fazla değişiklik yaptı, bunlar arasında sınırlı olmamak üzere:

1. Substrate L1 zincir inşasını (ve ilişkili canarynet / mainnet işlevselliğini) özel bir Ethereum rollup ile değiştirmek, off-chain altyapımızdaki önemli gelişmelerin ardından. Not: Artık yığınımızda Rust kullanmıyoruz.
2. İş kontrolü için daha sağlam bir denetim stratejisi.
3. Eğitimi dinamik olarak izlemek için kriptografik kanıt sistemi tanıtmak.
4. Daha güçlü oyun teorisi garantileri.
5. Kanıt garantileri için yeni bir kullanılabilirlik kanıtı sistemi.
6. Bir ML derleyici ve tekrarlanabilir ML çalışma zamanı.

Bu araştırma ayrı olarak yayınlanacak, ancak lütfen bu Litepaper’ı sorun + çözüm vektörlerine giriş olarak kullanın.

Arka Plan

En son teknoloji Yapay Zeka (AI) sistemlerinin hesaplama karmaşıklığı her 3 ayda ikiye katlanıyor, hesaplama tedariğini büyük ölçüde geride bırakıyor. Kurucu ekip olarak—derin nöral mimarilerin evrimi üzerine araştırma yayınlıyor olsak da ya da kasırga hasar tahmin modelleri inşa ediyor olsak da—bu sınırları ilk elden deneyimledik.

OpenAI tarafından Brown et al. (2020)‘de önerilen en büyük GPT-3 modeli GPT-3 175B, eğitim için 1.000 NVIDIA Tesla V100 GPU kümesi kullandı—kabaca tek bir cihazda 355 yıllık eğitime eşdeğer. Ramesh et al. (2021)‘den DALL-E, OpenAI’den başka bir Transformer modeli, 12 milyar parametreye sahip ve 400 milyondan fazla başlıklı görüntü üzerinde eğitildi. OpenAI, DALL-E’nin eğitim maliyetini üstlendi ancak tartışmalı bir şekilde modeli açık kaynak yapmayı reddetti, yani belki de en önemli en son teknoloji multimodal derin öğrenme modellerinden biri, seçilmiş azınlık dışında herkese erişilemez kalıyor. Bu temel modelleri oluşturmak için gereken muazzam kaynak gereksinimleri erişim için önemli engeller yaratır ve değeri korurken kaynakları birleştirmenin bir yöntemi olmadan, AI ilerlemesinde duraklamaya neden olur. Birçok kişi bu genelleştirilmiş modellerin Yapay Genel Zeka (AGI)’yi açmanın anahtarı olduğuna inanır, mevcut eğitim yöntemini izole, yapay silolarda absürt kılar.

Hesaplama tedariğine erişim sağlayan mevcut çözümler ya oligopolistik ve pahalı ya da büyük ölçekli AI için gereken hesaplama karmaşıklığı göz önüne alındığında basitçe işe yaramaz. Şişen talebi karşılamak, maliyet etkili bir şekilde tüm mevcut hesaplamayı kullanan bir sistem gerektirir (bugünün ~%40 küresel işlemci kullanımına karşı). Bu sorunu şu anda karmaşıklaştıran, hesaplama tedariğinin kendisinin asimptotik mikroişlemci performans ilerlemeleriyle engellenmiş olması—tedarik zinciri ve jeopolitik çip kıtlıkları ile birlikte.

150’den fazla CTO, makine öğrenimi (ML) araştırmacısı ve ML mühendisiyle konuştuk, bunlar kendi donanımlarını satın almak ve ölçeklenebilirliği feda etmek ya da önemli ölçüde artan maliyetler için ölçeklenebilir bulut kaynaklarını kiralamak arasındaki acı verici ödünleşmeyi sürekli olarak tarif ediyorlar. Bulut maliyetlerinin genellikle sağlayıcı kar marjları tarafından şişirildiğini kabul ediyorlar ve ML çalışmalarında neden talep üzerine, sunucusuz tarzı hesaplama olmadığını merak ediyorlar.

Gönüllü grid hesaplama hizmetleri gibi SETI@Home, Folding@Home ve BOINC güvensiz, gönüllü olarak ağa bağlanmış, gizli hesaplamanın insanlığın en büyük sorunlarından bazılarını çözmek için kullanılabileceğini gösterir. Ancak, bunlar çoğunlukla 3D renderleme gibi kolay paralel sorunları çözer, burada hesaplama işi durum bağımsızlığı nedeniyle kolayca bölünebilir ve doğrulanabilir. ML sorunları (hiperparametre optimizasyonu gibi niş görevler dışında) doğası gereği durum bağımlıdır, hem paralelleştirme hem de doğrulama için yeni yöntemler gerektirir. Gönüllü ağlar ayrıca sadece katılımcıları hayırsever bir sistemde rasyonel aktörler olarak modelleyerek çalışır; finansal işlemler eklemek teşvik mekanizmalarını dramatik bir şekilde değiştirir ve sömürü hayaletini getirir.

Merkezi olmayan blok zinciri protokolleri grid hesaplama kavramını finansal olarak teşvik edilmiş, güvensiz ortamlara genişletir. Özellikle, Ethereum alanı Bitcoin‘in işlem kullanım durumlarının ötesine taşıyarak daha genel zincir üstü hesaplama işine götürdü. Bu, Turing-tam bir dil (Solidity) dahil ederek ve değişken gaz ücretleri aracılığıyla hesaplama sağlayıcılarını ödüllendirerek elde edildi.

Ancak Ethereum, güvensiz konsensüs’e sadece son derece pahalı zincir üstü iş tekrarı yoluyla ulaşır. Bu derin öğrenme için tamamen uygunsuzdur. Küçük bir MNIST sinir ağı (~400M işlemci işlemi) eğitimi ortalama bir dizüstü bilgisayarda ~8 dakika sürer ancak Ethereum’da ~80 gün sürer, maliyeti yaklaşık 32 milyon dolar olur. Bunu ele almak için, Truebit basit hesaplama işini zincir dışı (ve böylece daha az yük ile) yapmanın ve zincire doğru yapıldığını kanıtlamanın mümkün olduğunu gösterdi. Bunu katılımcıları finansal olarak rasyonel aktörler olarak modelleyerek ve teşvik yapılarını dikkatle yapılandırarak elde ettiler. Özellikle, işçilerden aralıklı olarak yanlış iş üretmelerini isteyerek ve doğrulayıcılara bunu fark ettiklerinde jackpot ödülü vererek doğrulayıcı ikilemini çözdüler.

Bu iyileştirmelere rağmen, iş hala zincir dışı tekrarlanmalıdır. Bu aşırı hesaplama maliyeti olan aktiviteler (örneğin derin öğrenme) için uygunsuzdur ve derin öğrenme işinin güvensiz bir şekilde servis edilmesi için maliyet etkili bir zincir dışı hesaplama sistemi mevcut olmalıdır.

Sorun

Maliyet etkili bir şekilde zincir dışı derin öğrenme işini güvensiz bir şekilde bağlayan ve doğrulayan bir protokolün beş ana zorluğu vardır.

İş Doğrulama

Gerçekten güvensiz bir hesaplama ağı oluşturmak için, katılım için ekonomik teşviklerle, ağın derin öğrenme hesaplama işinin gerçekten vaat edildiği gibi yapıldığını doğrulamak için bir yolu olmalıdır. Bu sorunun merkezinde derin öğrenme modellerinin durum bağımlılığı vardır; yani, derin öğrenme modelindeki her sonraki katman önceki katmanın çıktısını giriş olarak alır. Bu nedenle, belirli bir noktada işin tamamlandığını doğrulamak için o noktaya kadar ve dahil tüm iş yapılmalıdır. Bunu daha sonra daha ayrıntılı ele alacağız ama bu, şimdiye kadar uygulanabilir çözümleri olmayan temel bir sorundur.

Pazar

Hesaplama pazarı herhangi bir yeni pazarın karşılaştığı aynı arz ve talep sorunlarına tabidir, ayrıca birkaç benzersiz zorluk da vardır. Temel olarak soğuk başlangıç sorunu vardır, burada arz ve talep likiditesinin başarılı büyüme için baştan yaklaşık olarak eşleşmesi gerekir. Gizli hesaplama arzını yakalamak için katılımcılara hesaplama zamanlarını taahhüt etmeleri için net bir ödül olmalıdır. Hesaplama işi takip edilmeli ve sağlayıcılara zamanında orantılı ödemeler yapılmalıdır. Daha geleneksel pazarlar için bu, yönetim ve onboarding’i yöneten aracıları kullanarak yapılır, genel giderleri azaltmak için minimum ödemelerle. Ne yazık ki, bu yaklaşım ölçeklendirmede maliyetli hale gelir ve sadece arzın küçük bir kısmının ekonomik olarak yakalanabileceği bir eşik dengeye yol açar.

Önceden İş Tahmini

Ethereum’a benzer şekilde, ML hesaplama işi durdurma sorunu‘na tabidir – bazen tanımlanmış bir görev için gereken hesaplama iş miktarını nicelleştirmek imkansızdır ve daha spesifik olarak, hiç bitip bitmeyeceği (veya duracağı). Derin öğrenme bağlamında, bu modeller ve çerçevelerin statik graf inşasından dinamik inşaat ve yürütmeye geçişiyle nispeten yakın zamanda daha önemli hale geldi.

Gizlilik

Dünya çapında daha güçlü kişisel gizlilik düzenlemelerinin büyümesiyle (örneğin GDPR, CCPA, LGPD), gizlilik odaklı tasarım ve geliştirme organizasyonlar için beklenen bir uygulama haline geldi. Büyük miktarda ML araştırması açık veri setlerinde yapılabilirken, son model ince ayarı genellikle tescilli kullanıcı verilerini kullanır. Daha spesifik olarak, ML mühendisleri ve CTO’larla yaptığımız röportajlarda, veri gizliliğinin model gizliliğinden kat kat daha önemli olduğunu belirttiler.

Paralelleştirme

En son teknoloji derin öğrenme modelleri tipik olarak büyük donanım kümeleri üzerinde paralel olarak eğitilir, tek bir cihazla ulaşılamayan ölçeğe erişmek için. Bu paralelleştirmeyi başarmak için gereken teknikler son araştırmalarla dramatik bir şekilde iyileşti, mevcut en son teknoloji transformer modelleri gibi Fedus, Zoph, and Shazeer (2021) tarafından önerilen Switch Transformers doğası gereği yüksek derecede paralelleştirilmiştir. ML işinin performans gereksinimlerini hesaplama kaynaklarının güvensiz ve güvenilmez doğasıyla birleştirmek, herhangi bir çözümde yüksek derecede paralelleştirmenin zorunlu olduğu anlamına gelir.

Çözüm

Gensyn Protokolü

Gensyn Protokolü, derin öğrenme hesaplaması için katman-1 güvensiz bir protokoldür, tedarik tarafı katılımcılarını ağa hesaplama zamanlarını taahhüt etmeleri ve ML görevlerini yapmaları için doğrudan ve hemen ödüllendirir. Protokol, idari bir gözetmen veya yasal uygulama gerektirmez, bunun yerine akıllı sözleşmeler aracılığıyla görev dağıtımı ve ödemeleri programlı olarak kolaylaştırır. Yukarıda açıklandığı gibi, bu ağı oluşturmanın temel zorluğu tamamlanmış ML işinin doğrulanmasıdır. Bu, karmaşıklık teorisi, oyun teorisi, kriptografi ve optimizasyonun kesişiminde yer alan son derece karmaşık bir sorundur.

Basit bir çözüm, işçilerin dürüstlüğünü işlerini yeniden yaparak kontrol etmektir. En azından, bu gerekli işlemlerin iki katına çıkmasını gerektirir (‘tek replikasyon’); ancak, replikasyonla bile, doğrulama tarafı işin gerçek isteyicisi olmadıkça güven sorunu kalır (bu durumda, işi istemezlerdi çünkü kendileri yaparlardı). Bu nedenle, doğrulama tarafının dürüstlüğünü sağlamak, her yeni doğrulayıcının önceki doğrulayıcının işini kontrol etmesini gerektiren sonsuz bir replikasyon zinciri üretebilir.

Bu doğrulama sorununu üç ana kavramı sağlam bir çözüme kilitleyerek çözeriz, mevcut en iyi uygulama replikasyon yöntemlerinden >1,350% daha verimli; bunu yaparak, sonsuz zincir sorununu çözer. Ana kavramlar:

Olasılıksal Öğrenme Kanıtı

Jia et al. (2021)‘yi takip ederek, gradyan tabanlı optimizasyon süreçlerinden meta veriyi kullanarak gerçekleştirilen iş sertifikaları oluştururuz, belirli aşamaların replikasyonu yoluyla hızlıca doğrulanabilir.

Graf Tabanlı Hassas Konumlandırma Protokolü

Zheng et al. (2021)‘yi takip ederek, çok granüllü, graf tabanlı hassas konumlandırma protokolü ve çapraz değerlendirici tutarlı yürütme kullanarak doğrulama işinin yeniden çalıştırılmasına ve tutarlılık için karşılaştırılmasına izin veririz, ve sonunda zincir kendisi tarafından onaylanır.

Truebit Tarzı Teşvik Oyunu

Teutsch and Reitwießner (2019)‘yi takip ederek, stake etme ve slashing kullanarak her finansal olarak rasyonel katılımcının dürüst davranmasını ve amaçlanan görevlerini yerine getirmesini sağlayan bir teşvik oyunu inşa ederiz.

Katılımcılar

Bu kavramlar dört ana katılımcıdan oluşan bir sistem oluşturmak için kullanılır: Göndericiler, Çözücüler, Doğrulayıcılar ve İhbarcılar.

Göndericiler

Göndericiler sistemin son kullanıcılarıdır, hesaplanacak görevler sağlar ve tamamlanan iş birimlerine ödeme yapar.

Çözücüler

Çözücüler sistemin ana işçileridir, model eğitimi yapar ve Doğrulayıcılar tarafından kontrol edilecek kanıtlar üretir.

Doğrulayıcılar

Doğrulayıcılar, deterministik olmayan eğitim sürecini deterministik lineer hesaplamaya bağlamanın anahtarıdır, Çözücülerin kanıtlarının kısımlarını replike eder ve mesafeleri beklenen eşiklerle karşılaştırır.

İhbarcılar

İhbarcılar son savunma hattıdır, Doğrulayıcıların işini kontrol eder ve jackpot ödemesi alma umuduyla meydan okur.

Kullanım

Tipik protokol kullanımı, yukarıdaki rollerin belirli görevleri yerine getirdiği sekiz aşamadan geçer.

Görev Gönderme

Görevler üç belirli bilgi parçası şeklinde alır:

1. Görevi ve hiperparametreleri tanımlayan meta veri;
2. Bir model ikili dosyası (veya iskelet mimari);
3. Kamuya açık, önceden işlenmiş eğitim verisi.

Bir görev göndermek için, Göndericiler görevin detaylarını makine okunabilir formatta belirtir ve bunları zincire, model ikili dosyasının (veya makine okunabilir mimari) ve önceden işlenmiş eğitim verisinin kamuya açık konumlarıyla birlikte gönderir. Kamuya açık veri basit bir nesne depolama gibi Amazon’s S3 veya merkezi olmayan depolama gibi IPFS, Arweave veya Subspace‘te saklanabilir.

Gizlilik koruması için, modeller Lan, Liu, and Li (2020) tarafından önerilen güvenli haritalama katmanları (fonksiyonel şifreleme biçimi) kullanılarak oluşturulabilir ve kamuya açık eğitim verisi şifrelenebilir. Bu şekilde, modeller küçük doğruluk cezası (<0.5%) ile şifreli metin üzerinde eğitilebilir.

Bir görev gönderirken, hesaplama grafiğini oluşturup gerekli işlemlere açarak gereken işin tahmini üretilir. Bu işlemler Ethereum’un Opcode gaz değerleri gibi değerler kullanılarak ağırlıklandırılır, yapılacak hesaplama işinin kaba toplamını hesaplamak için. Gönderici tarafından ödenen işlem ücreti bu tahmini kullanabilir, herhangi bir fazlalık (örneğin pesimist профилирование nedeniyle) hesaplama sonrası Gönderici’ye iade edilir. Önemli olarak, grafiği açmak, durdurma sorununu tetikleyebilecek mantık üzerine ayarlanmış sınırlar gerektirir.

Görevler protokole itilebilecek en küçük ML iş miktarını oluşturur. Paralelleştirme kullanarak, daha büyük hesaplama iş yükleri görev setlerine bölünebilir ve ağa asenkron olarak itilebilir. Bu yaklaşımı kullanarak, büyük ölçekli dil modelleri ve diğer en son teknoloji modeller oluşturulabilir, Diskin et al. (2021)‘in gönüllü hesaplama ile gösterdiği gibi.

Profiling

Profiling süreci, öğrenme doğrulaması için bir temel mesafe eşiği belirler. Doğrulayıcılar, periyodik olarak profiling görevlerini alacak ve öğrenme kanıtı karşılaştırmaları için varyasyon eşiği oluşturacaktır. Bir eşiği oluşturmak için, bir Doğrulayıcı, farklı rastgele tohumlarla eğitimin bazı bölümlerini deterministik olarak çalıştırıp tekrar çalıştırarak kendi kanıtlarını oluşturacak ve kontrol edecektir. Bunu yaparak, Doğrulayıcı, daha sonra Çözücülerin deterministik olmayan işlerini doğrulamak için kullanılabilecek bir beklenen mesafe eşiği oluşturacaktır.

Doğrulayıcıların mesafe eşiklerini oluştururken dürüstlüğünü sağlamak için, Whistleblower’ların profiling işini tekrar çalıştırması ve uygun olduğunda Doğrulayıcıları challenge etmeleri beklenir; aşağıda açıklanan grafik tabanlı nokta belirleme challenge’ı ve sözleşme tahkim mekanizmaları kullanılarak.

Training

Profiling sonrası, görev ortak görev havuzuna (Ethereum mempool’una benzer) girer. Tek bir Çözücü, görevi yerine getirmek için seçilir ve görev görev havuzundan kaldırılır. Çözücü, Submitter tarafından gönderilen meta veriler ve sağlanan model ve eğitim verilerini kullanarak görevi yerine getirir. Eğitim görevini yerine getirirken, Çözücü ayrıca öğrenme kanıtı üretir; belirli aralıklarla kontrol noktaları oluşturur ve eğitim sürecinden (parametreler dahil) meta verileri depolar, böylece sonraki optimizasyon adımı bir Doğrulayıcı tarafından mümkün olduğunca doğru şekilde tekrarlanabilir.

Kanıt Üretimi

Kanıt üretimi Jia et al. (2021)‘de özetlenen süreci takip eder, burada Çözücüler periyodik olarak model ağırlıklarını veya güncellemeleri, ağırlık güncellemelerini üretmek için kullanılan örnekleri tanımlayan eğitim veri setinden ilgili indekslerle birlikte depolar. Kontrol noktası frekansı daha güçlü garantiler sağlamak veya depolama alanı tasarrufu için ayarlanabilir. Kanıtlar “yığılabilir”, yani bir kanıt ağırlıkları başlatmak için kullanılan rastgele dağılımdan başlayabilir veya kendi kanıtlarıyla üretilen önceden eğitilmiş ağırlıklardan. Bu, protokolün zaten kanıtlanmış, önceden eğitilmiş temel modeller (yani temel modeller) seti oluşturmasına izin verir, daha spesifik görevler için ince ayarlanabilir.

Kanıt Doğrulama

Görev tamamlandıktan sonra, Çözücüler zincirle görev tamamlanmasını kaydeder ve Doğrulayıcılar tarafından erişim için kamu erişilebilir bir konumda öğrenme kanıtlarını sunar. Doğrulayıcılar ortak görev havuzundan (yine Ethereum mempool’a benzer) doğrulama görevlerini alır ve kanıt kısımlarını yeniden çalıştırmak ve mesafe hesaplamaları yapmak için hesaplama işini yapar. Elde edilen mesafeler daha sonra zincir tarafından (profilleme aşamasında hesaplanan eşikle birlikte) doğrulamayı kanıta uyup uymadığını belirlemek için kullanılır.

Graf Tabanlı Hassas Konumlandırma Meydan Okuması

Öğrenme kanıtı doğrulaması sonrasında, İhbarcılar doğrulama işinin kendisi doğru yapılmış mı diye kontrol etmek için Doğrulayıcı işini replike edebilir. Bir İhbarcı doğrulamanın yanlış yapıldığına inanırsa (kötü niyetli veya değil), ödül almak için Doğrulayıcıyı sözleşme tahkimine meydan okuyabilir. Bu ödül gerçek pozitif durumda Çözücü ve Doğrulayıcı depozitolarından veya yanlış pozitif durumda jackpot hazinesinden gelebilir. Meydan okuma süreci Zheng et al. (2021)‘de özetlenen prosedürü takip eder ve tahkimi yapmak için zinciri kendisi kullanır.

Teutsch and Reitwießner (2019)‘yi takip ederek, İhbarcılar (onların durumunda Doğrulayıcılar) sadece uygun tazminat almayı bekledikleri durumda işi doğrulamak ve ardından meydan okumak beklenir. Pratikte, bu İhbarcıların diğer aktif (yani canlı depozitolar ve meydan okuyan) İhbarcıların sayısına göre ağa katılmak ve ayrılmak beklenir anlamına gelir. Bu nedenle, herhangi bir İhbarcı için beklenen varsayılan strateji, diğer İhbarcıların sayısı düşük olduğunda ağa katılmak, depozito yatırmak, aktif bir görevi rastgele seçmek ve doğrulama sürecini başlatmaktır. İlk görev tamamlandıktan sonra, başka bir rastgele aktif görevi alacak ve İhbarcıların sayısı onların belirlediği ödeme eşiğini aşana kadar tekrarlayacak, o noktada ağı terk edecek (veya daha muhtemel, donanım yeteneklerine bağlı olarak ağdaki başka bir role geçecek — Doğrulayıcı veya Çözücü) durum tersine dönene kadar.

Sözleşme Tahkimi

Bir Doğrulayıcı bir İhbarcı tarafından meydan okunduğunda, tartışmalı operasyon veya giriş konumunu daraltmak için zincirle bir sürece girerler, zincirin son temel operasyonu yapması ve meydan okumanın haklı olup olmadığını belirlemesiyle sonuçlanır. İhbarcıların dürüstlüğünü korumak ve doğrulayıcı ikilemini aşmak için, protokol Teutsch and Reitwießner (2019) tarafından önerildiği gibi jackpot ödemeleriyle periyodik zorunlu hatalar getirir.

Yerleşim

Yerleşim sürecinde, katılımcılar olasılıksal ve deterministik kontrollerin sonuçlarına göre ödeme alır. Farklı senaryolarda farklı ödemeler yapılır, önceki doğrulama ve meydan okumaların sonucuna bağlı olarak.

Eğer iş doğru yapılmış olarak kabul edilir ve tüm kontroller geçerse, Çözücü ve Doğrulayıcı her ikisi de yapılan operasyonlara göre ödüllendirilir.

Ölçek ve Maliyet Verimliliği

Pazarı Web3 protokolü olarak inşa etmek, ölçeklendirme上的 merkezi genel giderleri kaldırır ve yeni tedarik katılımcıları için giriş engellerini azaltır, ağın potansiyel olarak dünyadaki her hesaplama cihazını kapsamasını sağlar. Tüm cihazları tek bir merkezi olmayan ağ üzerinden bağlamak, mevcut herhangi bir sağlayıcı aracılığıyla şu anda ulaşılamaz bir ölçeklenebilirlik seviyesi sağlar, dünyanın hesaplama tedariğinin tamamına eşi görülmemiş talep üzerine erişim verir. Son kullanıcılar için, bu maliyet vs ölçek ikilemini tamamen yıkar ve potansiyel sonsuz ölçeklenebilirlik (dünya çapındaki fiziksel donanım sınırlarına kadar) için şeffaf, düşük maliyet sağlar.

Fiyatların pazar dinamikleri tarafından belirlendiği ve pazarın tüm katılımcılara açık olduğu bir pazar oluşturmak, ML hesaplamasının birim maliyetinin adil dengeye yerleşmesini sağlar. Bu, büyük sağlayıcıların keyfini sürdüğü olağan hendekleri atlar, fiyatları önemli ölçüde düşürür ve kaynak seviyesinde gerçek küresel rekabeti kolaylaştırır. Son kullanıcılar için mevcut hesaplama maliyetleri oligopolistik tedarikçileri için büyük marjlar içerirken, Gensyn Protokolü kalan marjın adil rekabetle azaltılarak her katılımcı tarafından orantılı olarak yakalanmasını sağlayacaktır.

Ethereum’un proof-of-work’ten proof-of-stake’e Eth2‘ye geçişiyle, güçlü GPU’lu (örneğin NVIDIA V100) birçok madenci getirisiz kalacak. Bu madenciler şu anda saat başına yaklaşık $0.20 ila $0.35 getiri bekleyebilir, ki şu anda bile, amortize edilmiş sermaye satın alma ve elektrik maliyetlerini çıkardığınızda, dar bir marjinal getiri sağlar. ML yetenekli donanıma sahip bu madenciler tarafından beklenen mevcut getiri ile ana sağlayıcılardan aynı donanımın ortalama saatlik maliyeti arasındaki delta, Eth madenciliğinin muhtemel kayboluşuyla birlikte, Gensyn Protokolü için büyük bir fırsat oluşturur; ayrıca donanımın faydalı işlemci döngüleri üzerinde getiri üretmesini sağlar – proof-of-work sistemlerinde sadece hash hesaplamanın aksine. Bu madencilik tedariğini yakalamak, diğer genel latant hesaplama kaynaklarıyla birlikte, Gensyn Protokolü üzerinde NVIDIA V100 eşdeğeri hesaplama için saat başına yaklaşık $0.40 öngörülen maliyetine yol açar, AWS talep üzerine %80 daha ucuz.

Sağlayıcı	ML eğitim işi için yaklaşık saatlik maliyet (V100 eşdeğeri)	Ölçeklenebilirlik
Ethereum	$15,700	Düşük
Truebit (+ Ethereum)	$12	Düşük
GCP talep üzerine	$2.50	Orta
AWS talep üzerine	$2	Orta
Golem Network	$1.20	Düşük
Vast.ai	$1.10	Düşük
AWS spot örnekleri (güvenilmez)	$0.90	Orta
GCP spot örnekleri (güvenilmez)	$0.75	Orta
Gensyn (öngörülen)	$0.40	Yüksek
Veri merkezinde tek GPU	$0.40	Yok
Tek kişisel GPU	$0.28	Yok

Protokol Değerlendirme

Çözümümüzü Python simülasyonları yoluyla değerlendiriyoruz, Gensyn protokolünün sağladığı performans kazançlarının büyüklüğünü değerlendirmek için. Bu durumda, performansı küçük bir MNIST görüntü sınıflandırma modeli üzerinde 100 epoch eğitim işini tamamlamak için gereken saniye cinsinden toplam zaman olarak ölçeriz. Bunu 6 çekirdekli Intel Core i7 işlemcide test ederiz.

Protokolü 3 alternatif yaklaşımla karşılaştırırız: modeli yerel olarak çalıştırmak (herhangi bir protokol kullanmanın aksine), Truebit esinli replikasyon kullanarak modeli çalıştırmak (7 doğrulayıcı ile), ve modeli Ethereum’da çalıştırmak.

Kodda üretim seviyesi optimizasyonlarının olmamasına rağmen, sonuçlar Gensyn protokolünün model eğitimine ~%46 zaman yükü eklediğini gösterir, Truebit tarzı replikasyona karşı %1,350 performans kazancı ve Ethereum’a karşı %2,522,477 kazanç temsil eder.

MNIST görüntü sınıflandırma modeli için Gensyn ve Truebit tarzı replikasyon arasında çalışma süresi karşılaştırması

MNIST görüntü sınıflandırma modeli için Gensyn ve Ethereum (teorik) arasında çalışma süresi karşılaştırması

Merkezsizleştirme ve Yönetişim

Yönetişim

Gensyn Limited, protokolü geliştiren, ekibi işe alan ve IP’yi yöneten (açık kaynak lansmanından önce) başlangıç varlığıdır. Gensyn Limited tamamen uzaktan çalışan bir şirkettir, dünya çapından yetenekleri işe alır. Token Üretme Etkinliği (TGE) sonrasında, Gensyn Limited teknik geliştirmeyi idare edecek ve Gensyn Vakfı protokolün çıkarlarını temsil edecek.

Tokenler TGE’de Gensyn Vakfı tarafından yayınlanacak, bu vakıf seçilmiş bir konsey tarafından merkezsiz bir şekilde yönetilecek ve zincir üstü teklifler ve referandumlara dayalı kararlar alacak. Başlangıçta, konsey üyeleri Gensyn Limited’in çekirdek üyeleri ve erken toplulukla sıkı bir şekilde eşleştirilecek, protokolü hızlı geliştirmek için. Zamanla, konsey daha merkezsiz hale gelecek.

Gensyn Vakfı ayrıca bir hazineyi kontrol edecek, bu hazine teklifler tarafından yönlendirilecek, protokolün hedeflerini ilerletmek için protokolün kendisinin devam eden gelişimini ve genel ekosistemi finanse ederek. Hazine esas olarak her görev ücretinin çok küçük bir yüzdesini alarak finanse edilecek.

Gelecek Gelişim

Araştırma

Protokolü iyileştirmek için üç ana alanda araştırmalarımıza devam edeceğiz: optimizasyon sürecinden meta veriyi kullanarak ML eğitiminin olasılıksal doğrulaması, zincir üstü kanıt için deterministik ML işinin hassas doğrulaması ve gecikme kısıtlamaları olan heterojen donanımda ML modellerinin paralelleştirilmesi.

Bu araştırma iş doğrulama garantilerini güçlendirecek ve protokolün faydasını daha fazla model primitivi ve daha geniş model türleri çeşitliliğini içerecek şekilde genişletecek.

Gelişim

Gensyn protokolünün gelişimi üç yüksek seviyeli aşamayı takip edecek: testnet, canarynet, mainnet.

Testnet

Başlangıç gelişimi çekirdek teknolojinin testnet uygulaması inşasına odaklanacak. Testnet tarafından kullanılan tokenler kalıcı olmayacak ve testnet kullanıcıları erken benimseyenler ve topluluk çekirdek üyeleri olacak, bunlar TGE’de ödüllendirilecek.

Canarynet

Başarılı testnet iterasyonundan sonra, protokol Kusama röle zinciri üzerinde canary ağ parachain olarak başlatılacak. Bu aşama gerçek ekonomik değere sahip canary utility tokeninin başlatılmasını içerecek. Canary ağı protokolün beta sürümü olarak görülebilir, en yeni özelliklere erişim ve kullanımıyla ilişkili bazı risklerle. Uzun vadede, canary ağlar genellikle bu hafif risk karşılığında biraz daha düşük fiyatlar ve bleeding-edge R&D işlevselliğine erişim sunar.

Mainnet

Kusama röle zinciri üzerinde başarılı parachain başlatmasından sonra, sonraki aşama Polkadot röle zinciri üzerinde son canlı parachain başlatmak olacak. Bu aşama mainnet utility tokeninin başlatılmasını içerecek, bu protokolün ana utility tokeni olacak. Mainnet herhangi bir organizasyon veya birey tarafından tam kullanım için sertleştirilmiş, canlı protokol olacak. Özellikler veya değişiklikler mainnet üzerinde başlatılmadan önce testnet ve canarynet iterasyonundan geçecek.

Ekosistem

Gensyn Protokolü ML hesaplama için temel bir katman olacak, akıllı sözleşme yürütmesi için Ethereum’a benzer. İleriye dönük, başkalarının protokol üzerine inşa ederek sayısız nişte zengin kullanıcı deneyimleri ve belirli işlevsellik sağlamasını bekliyoruz. Bu gelişen ekosistemin uzman bilgi tabanlı uygulamalarla başlamasını bekliyoruz, uzman olmayanların mevcut Web2 çözümlerine benzer soyutlamalar kullanarak ML çözümleri oluşturmasına ve dağıtmasına izin vererek, örneğin Amazon’s SageMaker ve DataRobot.

Model tasarımında insan bilgisi dışında, uygulamalı ML’nin ilerlemesini yavaşlatan üç temel sorun vardır:

1. Hesaplama gücüne erişim;
2. Veriye erişim;
3. Bilgiye erişim (ground-truth etiketleme).

Gensyn ilk sorunu çözer, adil piyasa fiyatında küresel ölçeklenebilir hesaplamaya talep üzerine erişim sağlayarak. Gensyn Vakfı araştırma, finansman ve diğer protokollerle işbirliği yoluyla iki ve üç için çözümleri teşvik etmeyi amaçlayacaktır.

Uzun Vadeli Vizyon

Gensyn Protokolü herkesin herhangi bir görev için ML modellerini eğitmesine izin verecek, mevcut her hesaplama gücü kaynağını kapsayan kendi kendine organize eden bir ağ kullanarak.

Web3 Dapps karmaşıklık ve altyapı gereksinimlerinde arttıkça, Web3 kaynaklarının mevcut olmadığı Web2’ye geri düşmek zorunda kalırlar. ML hesaplamasını merkezsizleştirerek, Gensyn Protokolü kritik bir altyapı bileşenini Web3’e doğal olarak getirir – Web2’ye bağımlılığı azaltır ve tüm ekosistemi daha da güçlendirir ve merkezsizleştirir.

Derin öğrenme inanılmaz genelleme gücü gösterdi ve ML’nin geleceğinde büyük bir rol oynayacak gibi görünüyor. Gensyn Protokolü üzerinde eğitilen temel modeller, merkezsiz ve küresel olarak sahip olunan olacak – insanlığın işbirlikçi ML geliştirme ve eğitiminden eşit şekilde yararlanmasına izin verecek. Bu temel modeller üzerinde ince ayar kullanarak inşa etmek, bir görevi tanımlamak ve ince ayar仕事 için adil piyasa fiyatı ödemek kadar basit olacak – mevcut engelleri kaldıracak.

On yıllardır, ML hem akademik hem de endüstriyel silolarda ilerledi. Gensyn Protokolü bu siloları merkezsiz sahiplikli ortak altyapı üzerinden bağlar, tüm insanlığın yapay zekanın geleceğini eşit öncüler olarak hızlı ve kolektif olarak keşfetmesine izin verir. Bu ağı hiyerarşik olarak eğitilmiş ve kolektif olarak sahip olunan temel modellerle birleştirmek, AGI’nin gerçek gerçekleştirilmesine yol açan bir yol sağlar – insanlık için sonraki adım.

Katılın

İlerlememizi Twitter üzerinde takip edebilirsiniz. Hesaplama kaynakları katkıda bulunmak, ML görevleri için ağı kullanmak veya bize katılmakla ilgileniyorsanız lütfen bize mesaj gönderin. Sohbet etmekten memnun oluruz.

Güncellemeler ve Son Araştırmalar (2025’e Güncellendi)

2022 Litepaper’ından beri, Gensyn birçok araştırma ve protokol güncellemesi yayınladı. İşte Gensyn.ai sitesinden ana makalelerin özeti:

GenRL Tanıtımı: RL Swarm için Yeni Backend

GenRL, özellikle birden fazla ajan içeren gelişmiş RL ortamlarını oluşturmayı basitleştirmek ve hızlandırmak için sıfırdan tasarlanmış yeni bir çerçevedir. Merkezi olmayan ortamda gelişmiş RL ortamlarını geliştirmeye yardımcı olur.

GPT@home: Eğitim Geleceği Neden Merkezi Olmayan

Bu rapor büyük modellerin eğitiminin mevcut durumunu ve getirdiği çeşitli maliyetleri inceler. Önceki dağıtılmış hesaplama çabalarını inceler ve merkezi olmayan eğitim için argüman sunar.

Makine Öğrenimi Hesaplama Protokolü ve Geleceğimiz

Makale makine öğrenimi hesaplama protokolünün vizyonunu genişletir, BlockAssist’i tanıtır – Minecraft oynarken sizi izleyerek öğrenen açık kaynaklı AI asistanı, ve geleceği tartışır.

NoLoCo: All-Reduce Olmadan Büyük Modelleri Eğitmek

Bu akademik makale NoLoCo’yu tanımlar, küresel senkronizasyon adımını yerel yaklaşımla değiştiren yeni bir dağıtılmış eğitim optimizasyon yöntemi, merkezi olmayan ortamlar için uygun.

RL Swarm: İşbirlikçi RL için Çerçeve

RL Swarm makine öğreniminin geleceğine bir bakış sağlar, eşler arası işbirlikçi RL için bir çerçeve ile, zekanın kalabalığın zekasını kullandığı yer.

SkipPipe: Merkezi Olmayan Eğitim için Etkili İletişim Yöntemi

Hata toleranslı bir boru hattı paralel yöntemi, aşamaları dinamik olarak atlar ve yeniden sıralar, merkezi olmayan ortamalarda eğitimi optimize etmek için.

Ayrıca, Gensyn Mart 2025’te kamu Testnet’ini başlattı, merkezi olmayan AI sistemlerine kalıcı kimlik sağlar ve katılımı izler. 2025’te Testnet güncellemeleri vardı, daha zor veri seti, daha büyük modeller ve BlockAssist ve Judge gibi yeni uygulamalarla yeni swarm dahil – Gensyn’in doğrulanabilir AI değerlendirme sistemi.

En güncel bilgi için lütfen gensyn.ai ve docs.gensyn.ai ziyaret edin.