Litepaper

Гіпермаштабний, економічно ефективний протокол обчислень для моделей глибокого навчання у світі.

Опубліковано у лютому 2022 року

Будь ласка, зверніть увагу, що ця версія Litepaper є застарілою. Команда Gensyn внесла численні зміни до дизайну протоколу, включаючи, але не обмежуючись:

1. Заміна побудови ланцюга L1 Substrate (та пов’язаної функціональності canarynet / mainnet) на кастомний Ethereum rollup, після значних удосконалень у нашій позаланцюговій інфраструктурі. Примітка: ми також більше не використовуємо Rust у нашому стеку.
2. Більш надійна стратегія аудиту для перевірки роботи.
3. Введення криптографічної системи доказів для динамічного моніторингу навчання.
4. Сильніші гарантії теорії ігор.
5. Нова система доказів доступності для гарантій доказів.
6. Компілятор ML та відтворюване середовище виконання ML.

Це дослідження буде опубліковано окремо, але, будь ласка, використовуйте цей Litepaper як вступ до проблеми + векторів рішень.

Передумови

Обчислювальна складність найсучасніших систем Штучного Інтелекту (ШІ) подвоюється кожні 3 місяці, значно перевищуючи постачання обчислень. Як засновницька команда — чи то ми публікували дослідження про еволюцію глибоких нейронних архітектур, чи будували моделі прогнозування пошкоджень від ураганів — ми відчули ці обмеження на власному досвіді.

GPT-3 175B, найбільша модель GPT-3, запропонована OpenAI у Brown et al. (2020), використовувала кластер з 1,000 NVIDIA Tesla V100 GPU для навчання — приблизно еквівалентно 355 рокам навчання на одному пристрої. DALL-E від Ramesh et al. (2021), ще одна модель Transformer від OpenAI, має 12 мільярдів параметрів і була навчена на понад 400 мільйонах зображень з підписами. OpenAI взяла на себе витрати на навчання DALL-E, але контроверсійно відмовилася відкрити вихідний код моделі, що означає, що, можливо, одна з найважливіших найсучасніших мультимодальних моделей глибокого навчання залишається недоступною для всіх, крім обраних. Величезні вимоги до ресурсів для побудови цих фундаментальних моделей створюють значні бар’єри для доступу, і без методу об’єднання ресурсів при збереженні цінності, ймовірно, спричинять застій у розвитку ШІ. Багато хто вважає, що ці узагальнені моделі є ключем до розблокування Штучного Загального Інтелекту (ШЗІ), роблячи поточний метод навчання в ізольованих, штучних силосах абсурдним.

Поточні рішення, які надають доступ до постачання обчислень, або олігопольні та дорогі, або просто непрацюючі з огляду на складність обчислень, необхідних для ШІ великого масштабу. Задоволення зростаючого попиту вимагає системи, яка економічно ефективно використовує всі доступні обчислення (на відміну від сьогоднішнього ~40% глобального використання процесорів). Погіршує цю проблему зараз той факт, що постачання обчислень саме по собі обмежене асимптотичними досягненнями в продуктивності мікропроцесорів — поряд з ланцюгами постачань та геополітичними дефіцитами чіпів.

Ми поспілкувалися з понад 150 CTO, дослідниками машинного навчання (ML) та інженерами ML, які постійно описують болісний компроміс між покупкою власного обладнання та жертвою масштабованості, або орендою масштабованих хмарних ресурсів за значно вищими витратами. Вони визнають, що хмарні витрати зазвичай завищені через маржу прибутку постачальника і часто дивуються, чому не існує обчислень у стилі serverless на вимогу для їхньої роботи ML.

Добровільні служби гридових обчислень, такі як SETI@Home, Folding@Home та BOINC, демонструють, що бездовірні, добровільно з’єднані, латентні обчислення можуть використовуватися для розв’язання деяких найбільших проблем людства. Однак вони переважно розв’язують просто паралельні проблеми, такі як 3D-рендеринг, де обчислювальна робота може бути тривіально розділена та перевірена завдяки незалежності стану. Проблеми ML (окрім нішевих завдань, як оптимізація гіперпараметрів) по суті залежать від стану, вимагаючи нових методів як для паралелізації, так і для перевірки. Добровільні мережі також функціонують лише шляхом моделювання учасників як раціональних акторів у філантропічній системі; додавання фінансових транзакцій радикально змінює механізми стимулів і вводить привид експлуатації.

Децентралізовані протоколи блокчейну розширюють концепцію гридових обчислень на фінансово-стимульовані, бездовірні середовища. Зокрема, Ethereum перемістив простір за межі випадків використання транзакцій Bitcoin до більш загальної обчислювальної роботи на ланцюгу. Це було досягнуто шляхом включення повної мови Тюрінга (Solidity) та винагороди постачальників обчислень через змінні газові збори.

Однак Ethereum досягає бездовірного консенсусу лише через надзвичайно дорогі реплікації роботи на ланцюгу. Це абсолютно непридатне для глибокого навчання. Навчання маленької нейронної мережі MNIST (~400M операцій процесора) займає ~8 хвилин на середньому ноутбуку, але займе ~80 днів на Ethereum за вартістю приблизно $32 млн. Щоб вирішити це, Truebit показав, що можливо виконувати просту обчислювальну роботу поза ланцюгом (і таким чином з меншими накладними витратами) та доводити ланцюгу, що вона була виконана правильно. Вони досягли цього шляхом моделювання учасників як фінансово-раціональних акторів та ретельного конструювання структур стимулів. Зокрема, вони розв’язали дилему верифікатора шляхом періодичного вимагання від робітників виробляти неправильну роботу та нагородження верифікаторів джекпотом, якщо вони її помітять.

Незважаючи на ці покращення, робота все ще повинна бути реплікована поза ланцюгом. Це непридатне для діяльностей з екстремальними обчислювальними витратами (наприклад, глибоке навчання), і економічно ефективна система обчислень поза ланцюгом повинна існувати, якщо робота глибокого навчання має обслуговуватися бездовірним способом.

Проблема

Протокол, який бездовірно з’єднує та перевіряє роботу глибокого навчання поза ланцюгом економічно ефективним способом, має п’ять основних викликів.

Перевірка роботи

Щоб побудувати дійсно бездовірну мережу обчислень з економічними стимулами для участі, мережа повинна мати спосіб перевірити, що обчислювальна робота глибокого навчання дійсно була виконана, як обіцяно. Центральним для цієї проблеми є залежність від стану моделей глибокого навчання; тобто, кожен наступний шар у моделі глибокого навчання бере як вхідний сигнал вихід попереднього шару. Тому, щоб перевірити, що робота була завершена в конкретній точці, вся робота до цієї точки включно повинна бути виконана. Ми розглянемо це детальніше пізніше, але це фундаментальна проблема, яка досі не мала життєздатних рішень.

Ринок

Ринок для обчислень піддається тим самим проблемам попиту та пропозиції, що й будь-який новий ринок, з кількома унікальними викликами також. Головним чином є проблема холодного старту, де ліквідність пропозиції та попиту повинна приблизно збігатися з самого початку, щоб успішно рости. Щоб захопити латентну пропозицію обчислень, повинен бути чіткий винагорода для учасників, які обіцяють свій час обчислень. Обчислювальна робота повинна відстежуватися, а пропорційні платежі здійснюватися постачальникам своєчасно. Для більш традиційних ринків це виконується за допомогою посередників, які керують адмініструванням та онбордингом, з мінімальними виплатами для зменшення накладних витрат. На жаль, цей підхід стає дорогим для масштабування і призводить до порогової рівноваги, де тільки невелика частина пропозиції може бути економічно захоплена.

Оцінка роботи заздалегідь

Подібно до Ethereum, обчислювальна робота ML піддається проблемі зупинки — де іноді неможливо кількісно визначити кількість обчислювальної роботи, необхідної для визначеного завдання, і конкретніше, чи воно коли-небудь закінчиться (або зупиниться). У контексті глибокого навчання це стало більш значущим відносно недавно, оскільки моделі та фреймворки перейшли від статичного побудови графу до динамічної побудови та виконання.

Конфіденційність

З ростом сильніших регуляцій особистої конфіденційності по всьому світу (наприклад, GDPR, CCPA, LGPD), дизайн та розробка з урахуванням конфіденційності стали очікуваною практикою для організацій. Хоча велика кількість досліджень ML може виконуватися на відкритих наборах даних, остаточне налаштування моделі часто використовує пропрієтарні дані користувачів. Більш конкретно, у наших інтерв’ю з інженерами ML та CTO вони вказали, що конфіденційність даних на порядки важливіша за конфіденційність моделі.

Паралелізація

Найсучасніші моделі глибокого навчання зазвичай навчаються паралельно на великих кластерах обладнання, щоб досягти масштабу, недосяжного з одним пристроєм. Техніки, необхідні для досягнення цієї паралелізації, значно покращилися завдяки недавнім дослідженням, з поточними найсучаснішими моделями transformer, такими як Switch Transformers, запропонованими Fedus, Zoph, and Shazeer (2021), які за природою високо паралелізовані. Поєднання вимог до продуктивності роботи ML з недовірою та ненадійністю джерел обчислень означає, що високий ступінь паралелізації є суттєвим у будь-якому рішенні.

Рішення

Протокол Gensyn

Протокол Gensyn — це бездовірний протокол рівня 1 для обчислень глибокого навчання, який безпосередньо та негайно винагороджує учасників сторони пропозиції за обіцянку свого часу обчислень мережі та виконання завдань ML. Протокол не вимагає адміністративного наглядача чи юридичного примусу, а радше сприяє розподілу завдань та платежів програмно через смарт-контракти. Як описано вище, фундаментальним викликом у побудові цієї мережі є перевірка завершеної роботи ML. Це високо складна проблема, яка лежить на перетині теорії складності, теорії ігор, криптографії та оптимізації.

Просте рішення — перевірити чесність робітників, переробивши їхню роботу. Як мінімум, це вимагає подвоєння необхідних операцій (‘одиночна реплікація’); однак, навіть з реплікацією, проблема довіри залишається, якщо верифікаційна сторона не є фактичним запитувачем роботи (у цьому випадку вони не запрошували б роботу, оскільки просто виконали б її самі). Тому забезпечення чесності верифікаційної сторони може генерувати нескінченний ланцюг реплікації, де кожен новий верифікатор потрібен для перевірки роботи попереднього верифікатора.

Ми розв’язуємо цю проблему перевірки, переплітаючи три ключові концепції в міцне рішення, яке >1,350% ефективніше за існуючі найкращі практики реплікації; роблячи це, воно розв’язує проблему нескінченного ланцюга. Ключові концепції:

Ймовірнісний доказ навчання

Слідуючи Jia et al. (2021), ми використовуємо метадані з процесів оптимізації на основі градієнтів для побудови сертифікатів виконаної роботи, які можуть бути швидко перевірені через реплікацію певних етапів.

Протокол точкового позиціонування на основі графу

Слідуючи Zheng et al. (2021), ми використовуємо мультигранулярний протокол точкового позиціонування на основі графу та послідовне виконання між оцінювачами для дозволу перезапуску роботи перевірки та порівняння на послідовність, і врешті-решт підтвердження самим ланцюгом.

Гра стимулів у стилі Truebit

Слідуючи Teutsch and Reitwießner (2019), ми використовуємо стейкінг та слешинг для конструювання гри стимулів, забезпечуючи, що кожен фінансово-раціональний учасник поводиться чесно та виконує свої призначені завдання.

Учасники

Ці концепції використовуються для побудови системи з чотирма основними учасниками: Подавці, Розв’язувачі, Верифікатори та Сигналісти.

Подавці

Подавці — це кінцеві користувачі системи, які надають завдання для обчислення та платять за одиниці завершеної роботи.

Розв’язувачі

Розв’язувачі — це основні робітники системи, які виконують навчання моделі та генерують докази для перевірки Верифікаторами.

Верифікатори

Верифікатори є ключовими для зв’язування недетермінованого процесу навчання з детермінованим лінійним обчисленням, реплікуючи частини доказів Розв’язувачів та порівнюючи відстані з очікуваними порогами.

Сигналісти

Сигналісти — це остання лінія оборони, перевіряючи роботу Верифікаторів та оскаржуючи в надії на отримання джекпоту.

Використання

Типове використання протоколу пройде через вісім етапів, з вищезгаданими ролями, які виконують конкретні завдання.

Подання завдання

Завдання приймають форму трьох конкретних частин інформації:

1. Метадані, що описують завдання та гіперпараметри;
2. Бінарний файл моделі (або скелет архітектури);
3. Публічно доступні, попередньо оброблені дані для навчання.

Щоб подати завдання, Подавці вказують деталі завдання в машинозчитуваному форматі та подають їх на ланцюг разом з публічно доступними місцями бінарного файлу моделі (або машинозчитуваної архітектури) та попередньо оброблених даних для навчання. Публічно доступні дані можуть зберігатися в простому сховищі об’єктів, такому як Amazon’s S3, або в децентралізованому сховищі, як IPFS, Arweave або Subspace.

Для збереження конфіденційності моделі можуть бути побудовані з використанням безпечних шарів відображення (форма функціонального шифрування), як запропоновано Lan, Liu, and Li (2020), та публічно доступні дані для навчання зашифровані. Таким чином, моделі можуть навчатися на шифртексті з невеликим штрафом точності (<0.5%).

Під час подання завдання генерується оцінка необхідної роботи шляхом побудови та розгортання обчислювального графу в необхідні операції. Ці операції зважуються за допомогою значень, подібних до значень газу Opcode Ethereum, щоб розрахувати приблизну суму обчислювальної роботи, яка буде виконана. Плата за транзакцію, сплачена Подавцем, може потім використовувати цю оцінку, з будь-яким надлишком (наприклад, через песимістичне профілювання) повернутим Подавцю після обчислення. Важливо, розгортання графу вимагає встановлення обмежень на логіку, яка може запустити проблему зупинки.

Завдання формують найменшу кількість роботи ML, яка може бути проштовхнута в протокол. Використовуючи паралелізацію, більші обчислювальні навантаження можуть бути розділені на набори завдань і проштовхнуті в мережу асинхронно. Використовуючи цей підхід, великомасштабні мовні моделі та інші найсучасніші моделі можуть бути побудовані, як продемонстрували Diskin et al. (2021) з добровільними обчисленнями.

Профілювання

Процес профілювання встановлює базовий поріг відстані для перевірки доказу навчання. Верифікатори періодично братимуть завдання профілювання та генеруватимуть пороги варіації для порівнянь доказу навчання. Щоб згенерувати поріг, Верифікатор детерміновано запускатиме та перезапускатиме частини навчання з різними випадковими зернами, генеруючи та перевіряючи власні докази. Роблячи це, Верифікатор побудує агрегований очікуваний поріг відстані, який пізніше може бути використаний як поріг для валідації недетермінованої роботи Розв’язувачів.

Щоб забезпечити чесність Верифікаторів при генеруванні порогів відстані, Сигналісти очікуються перезапускати роботу профілювання та оскаржувати Верифікаторів, де доречно, використовуючи ті самі механізми оскарження точкового позиціонування на основі графу та арбітражу контракту, описані нижче.

Навчання

Після профілювання завдання входить у спільний пул завдань (аналогічний mempool Ethereum). Один Розв’язувач вибирається для виконання завдання, і завдання видаляється з пулу завдань. Розв’язувач виконує завдання відповідно до метаданих, поданих Подавцем, та використовуючи модель і дані для навчання, надані. Під час виконання завдання навчання Розв’язувач також генерує доказ навчання шляхом чекпоінтингу в запланованому інтервалі та зберігання метаданих з процесу навчання (включаючи параметри), щоб наступний крок оптимізації міг бути реплікований якнайточніше Верифікатором.

Генерація доказу

Генерація доказу слідує процесу, описаному в Jia et al. (2021), де Розв’язувачі періодично зберігають ваги моделі або оновлення разом з відповідними індексами з набору даних для навчання, що ідентифікують зразки, які були використані для генерації оновлень ваг. Частота чекпоінтингу може бути налаштована для надання сильніших гарантій або для економії місця зберігання. Докази можуть бути “складені”, що означає, що доказ може починатися з випадкового розподілу, використаного для ініціалізації ваг, або з попередньо навчених ваг, згенерованих з власним доказом. Це дозволяє протоколу побудувати набір вже доведених, попередньо навчених базових моделей (тобто фундаментальних моделей), які можуть бути налаштовані для більш конкретних завдань.

Перевірка доказу

Після завершення завдання Розв’язувачі реєструють завершення завдання з ланцюгом і представляють свій доказ навчання в публічно доступному місці для доступу Верифікаторами. Верифікатори беруть завдання перевірки з спільного пулу завдань (знову аналогічного mempool Ethereum) та виконують обчислювальну роботу для перезапуску частин доказу та виконання розрахунків відстаней. Отримані відстані потім використовуються ланцюгом (разом з порогом, розрахованим під час етапу профілювання) для визначення, чи відповідає перевірка доказу.

Оскарження точкового позиціонування на основі графу

Після перевірки доказу навчання Сигналісти можуть реплікувати роботу Верифікатора, щоб перевірити, чи робота перевірки сама була виконана правильно. У випадку, якщо Сигналіст вважає, що перевірка була виконана неправильно (зловмисно чи ні), вони можуть оскаржити Верифікатора до арбітражу контракту, щоб отримати винагороду. Ця винагорода може надходити з депозитів Розв’язувача та Верифікатора у випадку справжнього позитиву або з скарбниці джекпоту у випадку фальшивого позитиву. Процес оскарження слідує процедурі, описаній у Zheng et al. (2021), і використовує сам ланцюг для виконання арбітражу.

Слідуючи Teutsch and Reitwießner (2019), Сигналісти (у їхньому випадку Верифікатори) очікуються перевіряти та згодом оскаржувати роботу лише в тому випадку, якщо вони очікують отримати відповідну компенсацію. На практиці це означає, що Сигналісти очікуються приєднуватися та залишати мережу залежно від кількості інших активних (тобто з живими депозитами та оскарженнями) Сигналістів. Тому очікувана стандартна стратегія для будь-якого Сигналіста — приєднатися до мережі, коли кількість інших Сигналістів низька, внести депозит, випадково вибрати активне завдання та розпочати процес перевірки. Після завершення першого завдання вони візьмуть інше випадкове активне завдання та повторюватимуть, доки кількість Сигналістів не перевищить їхній визначений поріг виплат, після чого вони залишать мережу (або, ймовірніше, перейдуть до виконання іншої ролі в мережі — Верифікатора чи Розв’язувача — залежно від можливостей їхнього обладнання), доки ситуація не повернеться.

Арбітраж контракту

Коли Верифікатор оскаржується Сигналістом, вони входять у процес з ланцюгом, щоб звузити місце спірної операції або входу, кульмінуючи в тому, що ланцюг виконує остаточну базову операцію та визначає, чи було оскарження виправданим. Щоб підтримувати чесність Сигналістів та подолати дилему верифікатора, протокол вводить періодичні примусові помилки з виплатами джекпоту, як запропоновано Teutsch and Reitwießner (2019).

Розрахунок

У процесі розрахунку учасники отримують платежі відповідно до висновків ймовірнісних та детермінованих перевірок. Різні платежі здійснюються в різних сценаріях залежно від результату попередньої перевірки та оскаржень.

Якщо робота вважається виконана правильно і всі перевірки пройдені, Розв’язувач та Верифікатор обидва винагороджуються відповідно до виконаних операцій.

Масштаб та економічна ефективність

Побудова ринку як протоколу Web3 усуває централізовані накладні витрати на масштабування та знижує бар’єри входу для нових учасників пропозиції, дозволяючи мережі потенційно охопити кожен обчислювальний пристрій у світі. З’єднання всіх пристроїв через одну децентралізовану мережу забезпечує рівень масштабованості, який зараз неможливо досягти через будь-якого існуючого постачальника, надаючи безпрецедентний доступ на вимогу до всього світового постачання обчислень. Для кінцевих користувачів це повністю руйнує дилему витрат проти масштабу та надає прозору, низьку вартість для потенційно нескінченної масштабованості (до фізичних меж світового обладнання).

Створення ринку, де ціни визначаються динамікою ринку, і ринок відкритий для всіх учасників, дозволяє одиничній вартості обчислень ML осісти в своєму справедливому рівновазі. Це обходить звичайні рови, якими користуються великі постачальники, значно знижує ціни та сприяє справжній глобальній конкуренції на рівні ресурсів. Хоча поточні витрати на обчислення для кінцевих користувачів включають великі маржі для їхніх олігопольних постачальників, протокол Gensyn забезпечить, що залишкова маржа, зменшена справедливою конкуренцією, пропорційно захоплена кожним учасником.

З переходом Ethereum від proof-of-work до proof-of-stake у Eth2, багато майнерів з потужними GPU (наприклад, NVIDIA V100) залишаться без прибутку. Ці майнери зараз можуть очікувати прибуток близько $0.20 до $0.35 за годину, який навіть зараз, віднімаючи амортизовані витрати на покупку капіталу та електроенергію, забезпечує тісний маргінальний прибуток. Дельта між поточним прибутком, очікуваним цими майнерами з обладнанням, здатним до ML, та середньою погодинною вартістю того самого обладнання від основних постачальників, поряд з ймовірним зникненням майнінгу Eth, формує величезну можливість для протоколу Gensyn; це також дозволяє обладнанню генерувати прибуток на корисних циклах процесора — на відміну від простого обчислення хешів у системах proof-of-work. Захоплення цього постачання майнінгу, поряд з іншими загальними джерелами латентних обчислень, призводить до прогнозованої погодинної вартості близько $0.40 за годину для обчислень, еквівалентних NVIDIA V100, на протоколі Gensyn, на 80% дешевше, ніж AWS на вимогу.

Постачальник	Приблизна погодинна вартість для роботи навчання ML (еквівалент V100)	Масштабованість
Ethereum	$15,700	Низька
Truebit (+ Ethereum)	$12	Низька
GCP на вимогу	$2.50	Середня
AWS на вимогу	$2	Середня
Golem Network	$1.20	Низька
Vast.ai	$1.10	Низька
AWS spot instances (ненадійні)	$0.90	Середня
GCP spot instances (ненадійні)	$0.75	Середня
Gensyn (прогнозований)	$0.40	Висока
Одиночний GPU в дата-центрі	$0.40	Немає
Одиночний особистий GPU	$0.28	Немає

Оцінка протоколу

Ми оцінюємо наше рішення через симуляції Python, щоб оцінити величину покращень продуктивності, наданих протоколом Gensyn. У цьому випадку ми вимірюємо продуктивність як агрегований час у секундах, необхідний для завершення завдання навчання на 100 епохах на маленькій моделі класифікації зображень MNIST. Ми тестуємо це на процесорі 6-ядерному Intel Core i7.

Ми порівнюємо протокол з 3 альтернативними підходами: запуск моделі локально (на відміну від використання будь-якого протоколу), запуск моделі з використанням реплікації в стилі Truebit (з 7 верифікаторами) та запуск моделі на Ethereum.

Незважаючи на відсутність оптимізацій рівня виробництва в коді, результати показують, що протокол Gensyn додає ~46% накладних витрат часу до навчання моделі, представляючи 1,350% покращення продуктивності порівняно з реплікацією в стилі Truebit та 2,522,477% покращення порівняно з Ethereum.

Порівняння часу виконання між Gensyn та реплікацією в стилі Truebit для моделі класифікації зображень MNIST

Порівняння часу виконання між Gensyn та Ethereum (теоретичне) для моделі класифікації зображень MNIST

Децентралізація та управління

Управління

Gensyn Limited є початковою сутністю, яка розробляє протокол, наймає команду та керує IP (до запуску з відкритим вихідним кодом). Gensyn Limited — це повністю віддалена компанія, яка наймає таланти з усього світу. Після Події Генерації Токенів (TGE), Gensyn Limited буде керувати технічним розвитком, а Фонд Gensyn представлятиме інтереси протоколу.

Токени будуть видані на TGE Фондом Gensyn, який буде керуватися децентралізовано обраною радою та приймати рішення на основі пропозицій та референдумів на ланцюгу. Спочатку члени ради будуть тісно відображені на основних членах Gensyn Limited та ранньої спільноти, щоб швидко розвивати протокол. З часом рада стане більш децентралізованою.

Фонд Gensyn також контролюватиме скарбницю, яка буде спрямована пропозиціями для просування цілей протоколу шляхом фінансування продовжуваного розвитку самого протоколу та загальної екосистеми. Скарбниця буде в основному фінансуватися шляхом взяття дуже маленького відсотка від кожного збору за завдання.

Майбутній розвиток

Дослідження

Ми продовжимо наші дослідження в трьох основних областях для покращення протоколу: ймовірнісна перевірка навчання ML з використанням метаданих з процесу оптимізації, точкова перевірка детермінованої роботи ML для доказу на ланцюгу та паралелізація моделей ML на гетерогенному обладнанні з обмеженнями затримки.

Це дослідження посилить гарантії перевірки роботи та розширить корисність протоколу для включення більше примітивів моделей та ширшого різноманіття типів моделей.

Розвиток

Розвиток протоколу Gensyn слідуватиме трьом високорівневим фазам: testnet, canarynet, mainnet.

Testnet

Початковий розвиток зосередиться на побудові реалізації testnet основної технології. Токени, використані testnet, будуть непостійними, а користувачі testnet будуть ранніми приймачами та основними членами спільноти, які будуть винагороджені на TGE.

Canarynet

Після успішної ітерації testnet протокол запуститься як parachain canary-мережі на ланцюгу реле Kusama. Ця фаза включатиме запуск утиліта-токену canary, який матиме реальну економічну цінність. Canary-мережу можна розглядати як бета-версію протоколу з доступом до найновіших функцій та деяким ризиком, пов’язаним з її використанням. Довгостроково canary-мережі зазвичай пропонують трохи нижчі ціни та доступ до передових функцій R&D в обмін на цей невеликий ризик.

Mainnet

Після успішного запуску parachain на ланцюгу реле Kusama наступна фаза — запуск остаточного живого parachain на ланцюгу реле Polkadot. Ця фаза включатиме запуск основного утиліта-токену mainnet, який буде основним утиліта-токеном для протоколу. Mainnet буде затверділим, живим протоколом для повного використання будь-якою організацією чи особою. Функції або зміни пройдуть ітерацію testnet та canarynet перед запуском на mainnet.

Екосистема

Протокол Gensyn буде фундаментальним шаром для обчислень ML, подібним до Ethereum для виконання смарт-контрактів. Надалі ми очікуємо, що інші будуватимуть поверх протоколу для надання багатих користувацьких досвідів та конкретної функціональності в численних нішах. Ми очікуємо, що ця екосистема, яка розвивається, почнеться з додатків на основі експертних знань, дозволяючи неекспертам будувати та розгортати рішення ML за допомогою абстракцій, подібних до існуючих рішень Web2, таких як Amazon’s SageMaker та DataRobot.

Окрім людських знань у дизайні моделей, є три фундаментальні проблеми, що уповільнюють прогрес прикладного ML:

1. Доступ до обчислювальної потужності;
2. Доступ до даних;
3. Доступ до знань (маркування ground-truth).

Gensyn розв’язує першу проблему, надаючи доступ на вимогу до глобально масштабованих обчислень за справедливою ринковою ціною. Фонд Gensyn шукатиме заохочення рішень для другої та третьої через дослідження, фінансування та співпрацю з іншими протоколами.

Довгострокове бачення

Протокол Gensyn дозволить будь-кому навчати моделі ML для будь-якого завдання, використовуючи самоорганізуючу мережу, яка охоплює кожне джерело обчислювальної потужності, що існує.

Оскільки Dapps Web3 зростають у складності та вимогах до інфраструктури, вони змушені повертатися до Web2, де ресурсів Web3 не існує. Децентралізуючи обчислення ML, протокол Gensyn приносить ключовий компонент інфраструктури нативно до Web3 — зменшуючи залежність від Web2 та далі посилюючи та децентралізуючи всю екосистему.

Глибоке навчання показало неймовірну силу узагальнення і, здається, гратиме величезну роль у майбутньому ML. Фундаментальні моделі, навчені на протоколі Gensyn, будуть децентралізованими та глобально володіними — дозволяючи людству рівноцінно користуватися від спільного розвитку та навчання ML. Будування на цих фундаментальних моделях за допомогою тонкого налаштування буде таким же простим, як визначення завдання та оплата справедливої ринкової ціни за роботу тонкого налаштування — усуваючи бар’єри, які зараз існують.

Протягом десятиліть ML прогресував у силосах, як академічних, так і промислових. Протокол Gensyn з’єднує ці силоси через спільну інфраструктуру з децентралізованою власністю, дозволяючи всьому людству швидко та колективно досліджувати майбутнє штучного інтелекту як рівноправні піонери. Поєднання цієї мережі з ієрархічно навченими та колективно володіними фундаментальними моделями надає шлях до справжньої реалізації ШЗІ — наступного кроку для людства.

Залучайтеся

Ви можете слідкувати за нашим прогресом на Twitter. Якщо ви зацікавлені в внесенні обчислювальних ресурсів, використанні мережі для завдань ML або приєднанні до нас, будь ласка, надішліть нам повідомлення. Ми будемо раді поспілкуватися.

Оновлення та Недавні Дослідження (Оновлено до 2025 року)

З моменту Litepaper 2022 року Gensyn опублікував численні дослідження та оновлення протоколу. Ось підсумок ключових статей з сайту Gensyn.ai:

Вступ до GenRL: Новий Бекенд для RL Swarm

GenRL — це новий фреймворк, розроблений з нуля для спрощення та прискорення створення просунутих середовищ RL, особливо тих, що включають багатьох агентів. Він полегшує розробку просунутих середовищ RL у децентралізованому середовищі.

GPT@home: Чому Майбутнє Навчання — Децентралізоване

Цей звіт розглядає поточний стан навчання великих моделей та різні витрати, які воно несе. Він розглядає попередні зусилля розподілених обчислень та аргументує на користь децентралізованого навчання.

Протокол Обчислень Машинного Навчання та Наше Майбутнє

Стаття розширює бачення протоколу обчислень машинного навчання, вводить BlockAssist — відкритий AI-асистент, який навчається, спостерігаючи, як ви граєте в Minecraft, та обговорює майбутнє.

NoLoCo: Навчання Великих Моделей Без All-Reduce

Це академічна стаття, що описує NoLoCo, новий метод оптимізації для розподіленого навчання, який замінює глобальний крок синхронізації на локальний підхід, придатний для децентралізованих середовищ.

RL Swarm: Фреймворк для Кооперативного RL

RL Swarm надає погляд на майбутнє машинного навчання з фреймворком для кооперативного RL між однолітками, де інтелект використовує інтелект натовпу.

SkipPipe: Ефективний Метод Комунікації для Децентралізованого Навчання

Метод паралельного конвеєра, стійкий до помилок, що пропускає та переставляє етапи динамічно для оптимізації навчання в децентралізованих середовищах.

Крім того, Gensyn запустив публічний Testnet у березні 2025 року, надаючи постійну ідентичність децентралізованим системам ШІ та відстеження участі. Було оновлення для Testnet у 2025 році, включаючи новий swarm з складнішим набором даних, більшими моделями та новими додатками, такими як BlockAssist та Judge — відтворювана система оцінки ШІ від Gensyn.

Для найновішої інформації, будь ласка, відвідайте gensyn.ai та docs.gensyn.ai.