Litepaper

Гипермасштабный, экономически эффективный протокол вычислений для мировых моделей глубокого обучения

Опубликовано в феврале 2022 года

Обратите внимание, что эта версия Litepaper устарела. Команда Gensyn внесла множество изменений в дизайн протокола, включая, но не ограничиваясь:

1. Замена сборки цепочки L1 Substrate (и связанной функциональности canarynet / mainnet) на кастомный Ethereum rollup после значительных улучшений в нашей оффчейн-инфраструктуре. Примечание: мы также больше не используем Rust в нашем стеке.
2. Более надежная стратегия аудита для проверки работы.
3. Введение криптографической системы доказательств для динамического мониторинга обучения.
4. Более сильные гарантии теории игр.
5. Новая система доказательства доступности для гарантий доказательств.
6. Компилятор ML и воспроизводимая среда выполнения ML.

Это исследование будет опубликовано отдельно, но пожалуйста, используйте этот Litepaper как введение в проблему + векторы решений.

Фон

Вычислительная сложность современных систем искусственного интеллекта (ИИ) удваивается каждые 3 месяца, значительно опережая поставки вычислений. Как команда-основатель — будь то публикация исследований по эволюции глубоких нейронных архитектур или создание моделей прогнозирования ущерба от ураганов — мы на собственном опыте ощутили эти ограничения.

GPT-3 175B, самая большая модель GPT-3, предложенная OpenAI в Brown et al. (2020), использовала кластер из 1,000 NVIDIA Tesla V100 GPU для обучения — примерно эквивалентно 355 годам обучения на одном устройстве. DALL-E из Ramesh et al. (2021), еще одна модель Transformer от OpenAI, имеет 12 миллиардов параметров и была обучена на более чем 400 миллионах изображений с подписями. OpenAI понесла расходы на обучение DALL-E, но спорно отказалась открывать исходный код модели, что означает, что, возможно, одна из самых важных современных мультимодальных моделей глубокого обучения остается недоступной для всех, кроме избранных. Огромные требования к ресурсам для создания этих базовых моделей создают значительные барьеры для доступа, и без метода объединения ресурсов при сохранении ценности, вероятно, приведут к застою в развитии ИИ. Многие считают, что эти обобщенные модели — ключ к разблокировке Искусственного Общего Интеллекта (AGI), делая текущий метод обучения в изолированных, искусственных силосах абсурдным.

Текущие решения, предоставляющие доступ к поставкам вычислений, либо олигопольные и дорогие, либо просто неработоспособные с учетом сложности вычислений, необходимых для ИИ крупного масштаба. Удовлетворение растущего спроса требует системы, которая экономически эффективно использует все доступные вычисления (в отличие от сегодняшнего ~40% глобального использования процессоров). Усложняет эту проблему сейчас тот факт, что поставки вычислений сами по себе ограничены асимптотическими достижениями в производительности микропроцессоров — наряду с кризисом цепочек поставок и геополитическими дефицитами чипов.

Мы поговорили с более чем 150 CTO, исследователями машинного обучения (ML) и инженерами ML, которые последовательно описывают болезненный компромисс между покупкой собственного оборудования и жертвой масштабируемости или арендой масштабируемых облачных ресурсов за значительно повышенные затраты. Они признают, что облачные затраты обычно завышены за счет маржи прибыли поставщика и часто задаются вопросом, почему не существует вычислений в стиле serverless по запросу для их работы ML.

Добровольные сервисы сетевых вычислений, такие как SETI@Home, Folding@Home и BOINC, демонстрируют, что бездоверительные, добровольно соединенные, латентные вычисления могут использоваться для решения некоторых самых больших проблем человечества. Однако они в основном решают просто параллельные проблемы, такие как 3D-рендеринг, где вычислительная работа может быть тривиально разделена и проверена благодаря независимости от состояния. Проблемы ML (кроме нишевых задач, таких как оптимизация гиперпараметров) по сути зависят от состояния, требуя новых методов как для параллелизации, так и для верификации. Добровольные сети также функционируют только путем моделирования участников как рациональных актеров в филантропической системе; добавление финансовых транзакций радикально меняет механизмы стимулов и вводит призрак эксплуатации.

Децентрализованные протоколы блокчейна расширяют концепцию сетевых вычислений на финансово-стимулированные, бездоверительные среды. В частности, Ethereum переместил пространство за пределы случаев использования транзакций Bitcoin к более общей вычислительной работе на цепочке. Это было достигнуто путем включения полного языка Тьюринга (Solidity) и вознаграждения поставщиков вычислений через переменные газовые сборы.

Однако Ethereum достигает бездоверительного консенсуса только через чрезвычайно дорогие репликации работы на цепочке. Это совершенно непригодно для глубокого обучения. Обучение маленькой нейронной сети MNIST (~400M операций процессора) занимает ~8 минут на среднем ноутбуке, но займет ~80 дней на Ethereum при стоимости примерно $32 млн. Чтобы решить это, Truebit показал, что возможно выполнять простую вычислительную работу вне цепочки (и таким образом с меньшими накладными расходами) и доказывать цепочке, что она была выполнена правильно. Они достигли этого путем моделирования участников как финансово-рациональных актеров и тщательного конструирования структур стимулов. В частности, они решили дилемму верификатора путем периодического требования от работников производить неверную работу и награждения верификаторов джекпотом, если они ее заметят.

Несмотря на эти улучшения, работа все еще должна быть реплицирована вне цепочки. Это непригодно для активностей с экстремальными вычислительными расходами (например, глубокое обучение), и экономически эффективная система вычислений вне цепочки должна существовать, если работа глубокого обучения должна обслуживаться бездоверительным способом.

Проблема

Протокол, который бездоверительно соединяет и верифицирует работу глубокого обучения вне цепочке экономически эффективным способом, имеет пять основных вызовов.

Верификация работы

Чтобы построить действительно бездоверительную сеть вычислений с экономическими стимулами для участия, сеть должна иметь способ верифицировать, что вычислительная работа глубокого обучения действительно была выполнена, как обещалось. Центральным для этой проблемы является зависимость от состояния моделей глубокого обучения; то есть, каждый последующий слой в модели глубокого обучения принимает в качестве входа выход предыдущего слоя. Поэтому, чтобы верифицировать, что работа была завершена в конкретной точке, вся работа до этой точки включительно должна быть выполнена. Мы разберем это подробнее позже, но это фундаментальная проблема, у которой до сих пор не было жизнеспособных решений.

Рынок

Рынок для вычислений подвержен тем же проблемам спроса и предложения, что и любой новый рынок, с несколькими уникальными вызовами тоже. В основном есть проблема холодного старта, где ликвидность спроса и предложения должна примерно совпадать с самого начала, чтобы успешно расти. Чтобы захватить латентные поставки вычислений, должен быть четкий стимул для участников, чтобы обещать свое время вычислений. Вычислительная работа должна отслеживаться, и пропорциональные платежи должны производиться поставщикам своевременно. Для более традиционных рынков это выполняется с использованием посредников, которые управляют администрированием и онбордингом, с минимальными выплатами для снижения накладных расходов. К сожалению, этот подход становится дорогим для масштабирования и приводит к пороговому равновесию, где только небольшая часть поставок может быть экономически захвачена.

Предварительная оценка работы

Подобно Ethereum, вычислительная работа ML подвержена проблеме остановки — где иногда невозможно количественно определить объем вычислительной работы, требуемой для определенной задачи, и конкретно, закончится ли она когда-либо (или остановится). В контексте глубокого обучения это стало относительно недавно более значимым, поскольку модели и фреймворки перешли от статического построения графа к динамическому построению и выполнению.

Конфиденциальность

С ростом более строгих регуляций конфиденциальности персональных данных по всему миру (например, GDPR, CCPA, LGPD), дизайн и разработка с учетом конфиденциальности стали ожидаемой практикой для организаций. Хотя большое количество исследований ML может выполняться на открытых датасетах, финальная тонкая настройка модели часто использует проприетарные данные пользователей. Более конкретно, в наших интервью с инженерами ML и CTO они указали, что конфиденциальность данных на порядки важнее конфиденциальности модели.

Параллелизация

Современные модели глубокого обучения обычно обучаются параллельно на больших кластерах оборудования, чтобы достичь масштаба, недостижимого с одним устройством. Техники, необходимые для достижения этой параллелизации, значительно улучшились благодаря недавним исследованиям, с текущими современными моделями transformer, такими как Switch Transformers, предложенными Fedus, Zoph, and Shazeer (2021), которые по природе высоко параллелизованы. Комбинирование требований производительности работы ML с недоверенной и ненадежной природой источников вычислений означает, что высокая степень параллелизации essential в любом решении.

Решение

Протокол Gensyn

Протокол Gensyn — это бездоверительный протокол уровня 1 для вычислений глубокого обучения, который напрямую и немедленно вознаграждает участников стороны предложения за обещание своего времени вычислений сети и выполнение задач ML. Протокол не требует административного надзирателя или юридического принуждения, а скорее способствует распределению задач и платежам программно через смарт-контракты. Как описано выше, фундаментальный вызов в построении этой сети — верификация завершенной работы ML. Это высоко сложная проблема, лежащая на пересечении теории сложности, теории игр, криптографии и оптимизации.

Простое решение — проверить честность работников, переделав их работу. Как минимум, это требует удвоения необходимых операций (‘одиночная репликация’); однако, даже с репликацией, проблема доверия остается, если верификационная сторона не является фактическим запросчиком работы (в этом случае они не запрашивали бы работу, поскольку просто выполнили бы ее сами). Поэтому обеспечение честности верификационной стороны может генерировать бесконечную цепь репликации, где каждый новый верификатор требуется для проверки работы предыдущего верификатора.

Мы решаем эту проблему верификации, переплетая три ключевые концепции в robust решение, которое >1,350% эффективнее существующих лучших практик репликации; делая это, оно решает проблему бесконечной цепи. Ключевые концепции:

Вероятностное доказательство обучения

Следуя Jia et al. (2021), мы используем метаданные из процессов оптимизации на основе градиентов для построения сертификатов выполненной работы, которые могут быть быстро верифицированы через репликацию определенных этапов.

Протокол точного позиционирования на основе графа

Следуя Zheng et al. (2021), мы используем мультигранулярный протокол точного позиционирования на основе графа и последовательное выполнение между оценщиками для разрешения перезапуска работы верификации и сравнения на последовательность, и в конечном итоге подтверждения самой цепью.

Игра стимулов в стиле Truebit

Следуя Teutsch and Reitwießner (2019), мы используем стейкинг и слэшинг для конструирования игры стимулов, обеспечивающей, что каждый финансово-рациональный участник ведет себя честно и выполняет свои предназначенные задачи.

Участники

Эти концепции используются для построения системы с четырьмя основными участниками: Подавателями, Решателями, Верификаторами и Сигналистами.

Подаватели

Подаватели — это конечные пользователи системы, предоставляющие задачи для вычисления и платящие за единицы завершенной работы.

Решатели

Решатели — основные работники системы, выполняющие обучение модели и генерирующие доказательства для проверки Верификаторами.

Верификаторы

Верификаторы — ключ к связыванию недетерминированного процесса обучения с детерминированным линейным вычислением, реплицируя части доказательств Решателей и сравнивая расстояния с ожидаемыми порогами.

Сигналисты

Сигналисты — последняя линия обороны, проверяющая работу Верификаторов и оспаривающая в надежде на получение джекпота.

Использование

Типичное использование протокола пройдет через восемь этапов, с вышеуказанными ролями, выполняющими конкретные задачи.

Подача задачи

Задачи принимают форму трех конкретных частей информации:

1. Метаданные, описывающие задачу и гиперпараметры;
2. Бинарный файл модели (или скелет архитектуры);
3. Публично доступные, предварительно обработанные данные для обучения.

Чтобы подать задачу, Подаватели указывают детали задачи в машинно-читаемом формате и подают их на цепь вместе с публично доступными местами бинарного файла модели (или машинно-читаемой архитектуры) и предварительно обработанных данных для обучения. Публично доступные данные могут храниться в простом хранилище объектов, таком как Amazon’s S3, или в децентрализованном хранилище, таком как IPFS, Arweave или Subspace.

Для сохранения конфиденциальности модели могут быть построены с использованием безопасных слоев отображения (форма функционального шифрования), как предложено Lan, Liu, and Li (2020), и публично доступные данные для обучения зашифрованы. Таким образом, модели могут обучаться на шифртексте с небольшим штрафом точности (<0.5%).

При подаче задачи генерируется оценка необходимой работы путем построения и разворачивания вычислительного графа в необходимые операции. Эти операции взвешиваются с использованием значений, подобных значениям газа Opcode Ethereum, для расчета приблизительной суммы вычислительной работы, которая будет выполнена. Транзакционный сбор, уплаченный Подавателем, может затем использовать эту оценку, с возвратом любого избытка (например, из-за пессимистического профилирования) Подавателю после вычисления. Ключевым является то, что разворачивание графа требует установки ограничений на логику, которая может запустить проблему остановки.

Задачи формируют наименьшее количество работы ML, которое может быть pushed в протокол. Используя параллелизацию, большие вычислительные нагрузки могут быть разделены на наборы задач и pushed в сеть асинхронно. Используя этот подход, могут быть построены крупномасштабные языковые модели и другие современные модели, как продемонстрировали Diskin et al. (2021) с добровольными вычислениями.

Профилирование

Процесс профилирования устанавливает базовый порог расстояния для верификации доказательства обучения. Верификаторы периодически будут брать задачи профилирования и генерировать пороги вариации для сравнений доказательства обучения. Чтобы сгенерировать порог, Верификатор детерминировано запустит и перезапустит части обучения с разными случайными семенами, генерируя и проверяя свои собственные доказательства. Делая это, Верификатор построит агрегированный ожидаемый порог расстояния, который позже может быть использован как порог для валидации недетерминированной работы Решателей.

Чтобы обеспечить честность Верификаторов при генерации порогов расстояния, Сигналисты ожидаются перезапустить работу профилирования и оспорить Верификаторов, где уместно, используя те же механизмы оспаривания точного позиционирования на основе графа и арбитража контракта, описанные ниже.

Обучение

После профилирования задача входит в общий пул задач (аналогичный mempool Ethereum). Один Решатель выбирается для выполнения задачи, и задача удаляется из пула задач. Решатель выполняет задачу в соответствии с метаданными, поданными Подавателем, и используя модель и данные для обучения, предоставленные. Во время выполнения задачи обучения Решатель также генерирует доказательство обучения путем чекпоинтинга в запланированном интервале и хранения метаданных из процесса обучения (включая параметры), чтобы следующий шаг оптимизации мог быть реплицирован как можно точнее Верификатором.

Генерация доказательства

Генерация доказательства следует процессу, изложенному в Jia et al. (2021), где Решатели периодически хранят веса модели или обновления вместе с соответствующими индексами из датасета обучения, идентифицируя сэмплы, которые использовались для генерации обновлений весов. Частота чекпоинтинга может быть настроена для предоставления более сильных гарантий или для экономии места хранения. Доказательства могут быть “сложены”, что означает, что доказательство может начинаться с случайного распределения, использованного для инициализации весов, или с предобученных весов, сгенерированных с их собственным доказательством. Это позволяет протоколу построить набор уже доказанных, предобученных базовых моделей (т.е. базовых моделей), которые могут быть тонко настроены для более конкретных задач.

Верификация доказательства

После завершения задачи Решатели регистрируют завершение задачи с цепью и представляют свое доказательство обучения в публично доступном месте для доступа Верификаторами. Верификаторы берут задачи верификации из общего пула задач (снова аналогичного mempool Ethereum) и выполняют вычислительную работу для перезапуска частей доказательства и выполнения расчетов расстояний. Полученные расстояния затем используются цепью (вместе с порогом, рассчитанным во время этапа профилирования) для определения, соответствует ли верификация доказательству.

Оспаривание точного позиционирования на основе графа

После верификации доказательства обучения Сигналисты могут реплицировать работу Верификатора, чтобы проверить, была ли сама работа верификации выполнена правильно. В случае, если Сигналист считает, что верификация была выполнена неверно (злонамеренно или нет), они могут оспорить Верификатора для арбитража контракта, чтобы получить вознаграждение. Это вознаграждение может прийти из депозитов Решателя и Верификатора в случае истинного положительного или из казны джекпота в случае ложного положительного. Процесс оспаривания следует процедуре, изложенной в Zheng et al. (2021), и использует саму цепь для выполнения арбитража.

Следуя Teutsch and Reitwießner (2019), Сигналисты (в их случае Верификаторы) ожидаются верифицировать и затем оспаривать работу только в случае, если они ожидают получить подходящую компенсацию. На практике это означает, что Сигналисты ожидаются присоединяться и покидать сеть в зависимости от числа других активных (т.е. с живыми депозитами и оспаривающими) Сигналистов. Поэтому ожидаемая дефолтная стратегия для любого Сигналиста — присоединиться к сети, когда число других Сигналистов низкое, разместить депозит, случайно выбрать активную задачу и начать процесс верификации. После завершения первой задачи они возьмут другую случайную активную задачу и повторят, пока число Сигналистов не превысит их определенный порог выплат, после чего они покинут сеть (или, более вероятно, перейдут к выполнению другой роли в сети — Верификатора или Решателя — в зависимости от возможностей их оборудования), пока ситуация не изменится.

Арбитраж контракта

Когда Верификатор оспаривается Сигналистом, они входят в процесс с цепью, чтобы сузить местоположение спорной операции или входа, кульминацией которого является выполнение цепью финальной базовой операции и определение, было ли оспаривание оправданным. Чтобы поддерживать честность Сигналистов и преодолеть дилемму верификатора, протокол вводит периодические принудительные ошибки с выплатами джекпота, как предложено Teutsch and Reitwießner (2019).

Расчет

В процессе расчета участники получают платежи в соответствии с выводами вероятностных и детерминированных проверок. Разные платежи производятся в разных сценариях в зависимости от исхода предыдущей верификации и оспариваний.

Если работа считается выполненной правильно и все проверки пройдены, Решатель и Верификатор оба вознаграждаются в соответствии с выполненными операциями.

Масштаб и экономическая эффективность

Построение рынка как протокола Web3 устраняет централизованные накладные расходы на масштабирование и снижает барьеры входа для новых участников предложения, позволяя сети потенциально охватить каждое вычислительное устройство в мире. Соединение всех устройств через единственную децентрализованную сеть обеспечивает уровень масштабируемости, который в настоящее время невозможно достичь через любого существующего поставщика, предоставляя беспрецедентный доступ на запрос ко всему мировому предложению вычислений. Для конечных пользователей это полностью разрушает дилемму стоимости против масштаба и предоставляет прозрачную, низкую стоимость для потенциально бесконечной масштабируемости (до физических пределов мирового оборудования).

Создание рынка, где цены определяются динамикой рынка, и рынок открыт для всех участников, позволяет единичной стоимости вычислений ML стабилизироваться в своем справедливом равновесии. Это обходит обычные рвы, которыми пользуются крупные поставщики, значительно снижает цены и способствует настоящей глобальной конкуренции на уровне ресурсов. В то время как текущие затраты на вычисления для конечных пользователей включают большие маржи для их олигопольных поставщиков, протокол Gensyn обеспечит, что оставшаяся маржа, уменьшенная справедливой конкуренцией, пропорционально захватывается каждым участником.

С переходом Ethereum от proof-of-work к proof-of-stake в Eth2, многие майнеры с мощными GPU (например, NVIDIA V100) останутся без дохода. Эти майнеры сейчас могут ожидать доход около $0.20 до $0.35 в час, который даже сейчас, вычитая амортизированные затраты на покупку капитала и электричество, обеспечивает тесный маржинальный доход. Дельта между текущим доходом, ожидаемым этими майнерами с оборудованием, способным к ML, и средней почасовой стоимостью того же оборудования от основных поставщиков, наряду с вероятным исчезновением майнинга Eth, формирует огромную возможность для протокола Gensyn; это также позволяет оборудованию генерировать доход на полезных циклах процессора — в отличие от простого вычисления хэшей в системах proof-of-work. Захват этого предложения майнинга, наряду с другими общими источниками латентных вычислений, приводит к прогнозируемой почасовой стоимости около $0.40 в час для вычислений, эквивалентных NVIDIA V100, на протоколе Gensyn, на 80% дешевле, чем AWS по запросу.

Поставщик	Примерная почасовая стоимость для работы обучения ML (эквивалент V100)	Масштабируемость
Ethereum	$15,700	Низкая
Truebit (+ Ethereum)	$12	Низкая
GCP по запросу	$2.50	Средняя
AWS по запросу	$2	Средняя
Golem Network	$1.20	Низкая
Vast.ai	$1.10	Низкая
AWS spot instances (ненадежные)	$0.90	Средняя
GCP spot instances (ненадежные)	$0.75	Средняя
Gensyn (прогнозируемый)	$0.40	Высокая
Одиночный GPU в дата-центре	$0.40	Нет
Одиночный личный GPU	$0.28	Нет

Оценка протокола

Мы оцениваем наше решение через симуляции Python, чтобы оценить величину улучшений производительности, предоставляемых протоколом Gensyn. В этом случае мы измеряем производительность как агрегированное время в секундах, необходимое для завершения задания обучения на 100 эпохах на маленькой модели классификации изображений MNIST. Мы тестируем это на процессоре 6-ядерном Intel Core i7.

Мы сравниваем протокол с 3 альтернативными подходами: запуск модели локально (в отличие от использования любого протокола), запуск модели с использованием репликации в стиле Truebit (с 7 верификаторами) и запуск модели на Ethereum.

Несмотря на отсутствие оптимизаций уровня производства в коде, результаты показывают, что протокол Gensyn добавляет ~46% накладных расходов времени к обучению модели, представляя 1,350% улучшения производительности по сравнению с репликацией в стиле Truebit и 2,522,477% улучшения по сравнению с Ethereum.

Сравнение времени выполнения между Gensyn и репликацией в стиле Truebit для модели классификации изображений MNIST

Сравнение времени выполнения между Gensyn и Ethereum (теоретическое) для модели классификации изображений MNIST

Децентрализация и управление

Управление

Gensyn Limited — это начальная сущность, которая разрабатывает протокол, нанимает команду и управляет IP (до запуска с открытым исходным кодом). Gensyn Limited — полностью удаленная компания, нанимающая таланты со всего мира. После События Генерации Токенов (TGE), Gensyn Limited будет заниматься техническим развитием, а Фонд Gensyn будет представлять интересы протокола.

Токены будут выпущены на TGE Фондом Gensyn, который будет управляться децентрализованно избранным советом и принимать решения на основе предложений и референдумов на цепочке. Изначально члены совета будут тесно сопоставлены с основными членами Gensyn Limited и ранним сообществом, чтобы быстро развивать протокол. Со временем совет станет более децентрализованным.

Фонд Gensyn также будет контролировать казну, которая будет направляться предложениями для продвижения целей протокола путем финансирования продолжающегося развития самого протокола и общей экосистемы. Казна будет в основном финансироваться за счет взимания очень маленького процента от каждого сбора за задачу.

Будущие разработки

Исследования

Мы продолжим наши исследования в трех основных областях для улучшения протокола: вероятностная верификация обучения ML с использованием метаданных из процесса оптимизации, точная верификация детерминированной работы ML для доказательства на цепочке и параллелизация моделей ML на гетерогенном оборудовании с ограничениями задержки.

Это исследование усилит гарантии верификации работы и расширит полезность протокола, чтобы включить больше примитивов моделей и более широкий спектр типов моделей.

Разработка

Разработка протокола Gensyn будет следовать трем высокоуровневым фазам: testnet, canarynet, mainnet.

Testnet

Начальная разработка сосредоточится на построении реализации testnet основной технологии. Токены, используемые testnet, будут непостоянными, а пользователи testnet будут ранними адаптерами и основными членами сообщества, которые будут вознаграждены на TGE.

Canarynet

После успешной итерации testnet протокол запустится как parachain сети canary на релейной цепочке Kusama. Эта фаза будет включать запуск утилитарного токена canary, который будет иметь реальную экономическую ценность. Сеть canary можно рассматривать как бета-версию протокола с доступом к новейшим функциям и некоторым риском, связанным с ее использованием. В долгосрочной перспективе сети canary обычно предлагают немного более низкие цены и доступ к передовым функциям R&D в обмен на этот небольшой риск.

Mainnet

После успешного запуска parachain на релейной цепочке Kusama следующая фаза — запуск финального живого parachain на релейной цепочке Polkadot. Эта фаза будет включать запуск основного утилитарного токена mainnet, который будет основным утилитарным токеном для протокола. Mainnet будет закаленным, живым протоколом для полного использования любой организацией или индивидом. Функции или изменения пройдут итерацию testnet и canarynet перед запуском на mainnet.

Экосистема

Протокол Gensyn будет фундаментальным слоем для вычислений ML, подобным Ethereum для выполнения смарт-контрактов. В будущем мы ожидаем, что другие будут строить поверх протокола для предоставления богатых пользовательских опытов и конкретной функциональности в многочисленных нишах. Мы ожидаем, что эта развивающаяся экосистема начнется с приложений на основе экспертных знаний, позволяя неэкспертам строить и развертывать решения ML с использованием абстракций, подобных существующим решениям Web2, таким как Amazon’s SageMaker и DataRobot.

Помимо человеческих знаний в дизайне моделей, есть три фундаментальные проблемы, замедляющие прогресс прикладного ML:

1. Доступ к вычислительной мощности;
2. Доступ к данным;
3. Доступ к знаниям (маркировка ground-truth).

Gensyn решает первую проблему, предоставляя доступ на запрос к глобально масштабируемым вычислениям по его справедливой рыночной цене. Фонд Gensyn будет стремить стимулировать решения для второй и третьей через исследования, финансирование и сотрудничество с другими протоколами.

Долгосрочное видение

Протокол Gensyn позволит любому обучать модели ML для любой задачи, используя самоорганизующуюся сеть, охватывающую каждый существующий источник вычислительной мощности.

По мере роста сложности и требований инфраструктуры Dapps Web3, они вынуждены возвращаться к Web2, где ресурсов Web3 не существует. Децентрализуя вычисления ML, протокол Gensyn приносит ключевой компонент инфраструктуры нативно в Web3 — снижая зависимость от Web2 и дальше усиливая и децентрализуя всю экосистему.

Глубокое обучение показало невероятную силу обобщения и, кажется, сыграет огромную роль в будущем ML. Базовые модели, обученные на протоколе Gensyn, будут децентрализованными и глобально принадлежащими — позволяя человечеству равноправно пользоваться от совместного развития и обучения ML. Построение на этих базовых моделях с использованием тонкой настройки будет так же просто, как определение задачи и оплата справедливой рыночной цены за работу тонкой настройки — удаляя барьеры, которые существуют сейчас.

На протяжении десятилетий ML прогрессировал в силосах, как академических, так и промышленных. Протокол Gensyn соединяет эти силосы через общую инфраструктуру с децентрализованной собственностью, позволяя всему человечеству быстро и коллективно исследовать будущее искусственного интеллекта как равноправные пионеры. Комбинирование этой сети с иерархически обученными и коллективно принадлежащими базовыми моделями предоставляет путь к истинной реализации AGI — следующий шаг для человечества.

Присоединяйтесь

Вы можете следить за нашим прогрессом на Twitter. Если вы заинтересованы в вкладе вычислительных ресурсов, использовании сети для задач ML или присоединении к нам, пожалуйста, отправьте нам сообщение. Мы будем рады пообщаться.

Обновления и недавние исследования (обновлено до 2025 года)

С момента Litepaper 2022 года Gensyn опубликовал множество исследований и обновлений протокола. Вот краткий обзор ключевых статей с сайта Gensyn.ai:

Введение в GenRL: Новый бэкенд для RL Swarm

GenRL — это новый фреймворк, разработанный с нуля для упрощения и ускорения создания продвинутых сред RL, особенно тех, которые включают нескольких агентов. Он помогает в разработке продвинутых сред RL в децентрализованной среде.

GPT@home: Почему будущее обучения децентрализовано

Этот отчет рассматривает текущее состояние обучения больших моделей и различные затраты, которые оно несет. Он рассматривает предыдущие усилия распределенных вычислений и аргументирует в пользу децентрализованного обучения.

Протокол вычислений машинного обучения и наше будущее

Статья расширяет видение протокола вычислений машинного обучения, вводит BlockAssist — открытый AI-ассистент, который учится, наблюдая, как вы играете в Minecraft, и обсуждает будущее.

NoLoCo: Обучение больших моделей без All-Reduce

Это академическая статья, описывающая NoLoCo, новый метод оптимизации распределенного обучения, который заменяет глобальный шаг синхронизации на локальный подход, подходящий для децентрализованных сред.

RL Swarm: Фреймворк для кооперативного RL

RL Swarm предоставляет взгляд на будущее машинного обучения с фреймворком для кооперативного RL между peers, где интеллект использует интеллект толпы.

SkipPipe: Эффективный метод коммуникации для децентрализованного обучения

Метод параллельного пайплайна, устойчивый к ошибкам, который динамически пропускает и переупорядочивает этапы для оптимизации обучения в децентрализованных средах.

Кроме того, Gensyn запустил публичный Testnet в марте 2025 года, предоставляя постоянную идентичность децентрализованным системам ИИ и отслеживание участия. Были обновления для Testnet в 2025 году, включая новый swarm с более сложным датасетом, большими моделями и новыми приложениями, такими как BlockAssist и Judge — воспроизводимая система оценки ИИ от Gensyn.

Для самой свежей информации, пожалуйста, посетите gensyn.ai и docs.gensyn.ai.