Verde: Güvenilmeyen Düğümler Üzerinde Makine Öğrenimi Doğrulama Sistemi

Bu akademik makale, makine öğrenimi programları için bir doğrulama protokolü olan Verde’yi ve onu mümkün kılan temel Tekrarlanabilir İşleçler (RepOps) sistemini açıklamaktadır. RepOps, farklı donanımlar üzerinde ML çalışmalarının bit düzeyinde tekrarlanabilirliğini sağlayan bir kütüphanedir.

Gensyn ağı, makine öğrenimi için küresel, serbest bir hesaplama pazarı yaratmaktadır. Bu, herhangi bir kullanıcının, MacBook’tan veri merkezlerine kadar çeşitli kaynaklar sağlayabilmesini ve tüm cihazlarda tutarlı bir şekilde çalışmasını sağlar. Bu, geliştiricilerin büyük ölçekli modelleri düşük maliyetle eğitmesini sağlar ve daha önce mümkün olmayan yeni işbirliği öğrenme biçimlerini açığa çıkarır.

Bu konsepti gerçekleştirmek için, güvenilmeyen sağlayıcıların çalışmalarını ölçeklenebilir bir şekilde doğrulayacak bir mekanizmaya ihtiyacımız var. Naif bir yaklaşım, her görevi yeniden üretmek için güvenilir bir aracı kullanmak ya da sağlayıcıları manuel olarak güvenilir taraflar listesine eklemek olacaktır. Her iki durumda da ölçeklenebilirlik sınırlamalarıyla karşılaşıyoruz: ilk durumda, çoğaltma maliyetleri kabul edilemez olacaktır; ikinci durumda ise katılmak isteyen sağlayıcıların uzun kuyruğunu dışarıda bırakacağız.

Daha karmaşık yaklaşımlar, kriptografik kanıt sistemleri gibi, doğruluğu garanti etse de büyük ML iş yükleri için çok pahalıdır (en azından şu anda). Proof-of-Learning veya Proof-of-Training Data gibi sezgisel yaklaşımlar, zayıf güvenlik garantileri sunarak verimlilik sağlar.

Biz bunun yerine, her sağlayıcının çalışma doğruluğunu kontrol etmek için doğrulayıcılar kullanan arbitraj delegasyonu fikrine başvuruyoruz. Eğer bir doğrulayıcı, sağlayıcının çıktısının yanlış olduğunu düşünüyorsa, bunu bir tarafsız hakime ikna etmek için etkin bir anlaşmazlık çözme oyunu kullanabilir. Bu teknikler, blockchain rollup’larında, örneğin Arbitrum ve Optimism gibi, doğrulayıcıların hakem olarak işlev gördüğü optimist doğrulama temellerini atmaktadır. Tam işlem bloklarıyla ilgili anlaşmazlıklar çözülmüş olabilir.

Ancak, arbitraj delegasyonu, iki sebepten dolayı modern makine öğrenimiyle uyumsuzdur. İlk olarak, CPU programları için tasarlanmış olup, büyük ölçekli sinir ağlarına etkili bir şekilde uyarlanamaz. İkinci olarak, dürüst sunucuların her zaman aynı program için aynı sonucu hesaplayacaklarını varsayar, ancak farklı donanımlar kullandıklarında bu makine öğreniminde genellikle doğru değildir.

Hayatta kalabilir bir mekanizma, bu problemleri ölçeklenebilir bir şekilde çözmelidir.

Verde’yi Tanıtıyoruz

Bugün, modern makine öğrenimini merkeziyetsiz ortamlarda doğrulamak için özel olarak tasarlanmış ilk doğrulama protokolü olan Verde’yi tanıtmaktan memnuniyet duyuyoruz.

Verde, eğitmen ve doğrulayıcıların aynı fikirde olmadığı bir sinir ağı hesaplama grafiğindeki ilk eğitim adımını ve operatörü tanımlayan hafif bir anlaşmazlık çözümleme sisteminden oluşmaktadır. Artık tüm görevi yeniden çalıştırmak yerine, hakemler — bir akıllı sözleşme veya doğrulayıcılar jüri olabilir — yalnızca bu tek tartışmalı operatörü yeniden hesaplar. Bu, doğrulama maliyetlerini önemli ölçüde azaltırken, en az bir doğrulayıcı dürüstse doğru sonucun sağlanmasını garanti eder. …

Yeniden Üretilebilirlik

Bu sistemin çalışabilmesi için, makine öğrenimi programlarının tüm donanım yapılandırmalarında yeniden üretilebilir olması gerekir, böylece farklı (dürüst) düğümler, hangi cihazı kullandıklarından bağımsız olarak aynı sonucu hesaplar. Genellikle, bu durum varsayılan olarak böyle değildir, hatta aynı üreticinin farklı cihazları için bile (örneğin, Nvidia A100 ve H100).

Bu sorunu çözmek için, Reproducible Operators (RepOps) adı verilen, popüler ML operatörlerinin bit düzeyinde yeniden üretilebilir versiyonlarını uygulayan bir kütüphane geliştirdik. Bu, donanımın kararsızlık sorununu çözer ve matris çarpma gibi işlevlerin hesaplanmasında kayan nokta işlemlerinin sırasını sabitleyerek garantiler. Bu, dürüst sağlayıcıların her zaman bit düzeyinde aynı sonuçları vereceğini garanti eder ve böylece Verde anlaşmazlık çözme protokolünün güvenilir bir şekilde çalışmasına olanak tanır.

Sonuç

Verde, merkeziyetsiz makine öğrenimi için temel bir yapı taşı sağlar. Bu, Gensyn’in dünya çapındaki her hesaplama cihazını — veri merkezlerinden uç cihazlara kadar — ölçeklenebilir ve izinsiz bir şekilde bağlamasına olanak tanır.

Bunun hakkında daha fazla bilgi edinmek için, tam belgeyi buradan okuyabilirsiniz.

RepOps kullanarak yeniden üretilebilirliğin nasıl çalıştığını canlı bir gösterimle görmek için buradaki talimatları izleyin.