Verde: 신뢰할 수 없는 노드를 위한 머신 러닝 검증 시스템

이 학술 논문은 머신러닝 프로그램을 위한 검증 프로토콜인 Verde와 이를 가능하게 하는 기반 기술인 Reproducible Operators (RepOps) 시스템을 설명합니다. RepOps는 다양한 하드웨어에서 ML 작업의 비트 단위 재현성을 보장하는 라이브러리입니다.

Gensyn 네트워크는 머신 러닝을 위한 글로벌 자유 계산 시장을 만듭니다. 이를 통해 모든 사용자는 데이터 센터에서 MacBook에 이르기까지 리소스를 제공할 수 있으며, 모든 장치에서 일관된 실행을 보장합니다. 이를 통해 개발자는 비용을 절감하면서 초대형 모델을 훈련시킬 수 있으며, 이전에 불가능했던 새로운 형태의 협업 학습을 열어줍니다.

이 개념을 실현하려면 신뢰할 수 없는 공급자의 작업을 확장 가능하게 검증할 수 있는 메커니즘이 필요합니다. 순진한 접근 방법은 각 작업을 복제하거나 신뢰할 수 있는 공급자를 수동으로 화이트리스트에 추가하는 중개자를 사용하는 것이었을 것입니다. 두 경우 모두 확장성의 한계에 직면하게 됩니다. 첫 번째 경우 복제의 오버헤드가 용납될 수 없고, 두 번째 경우 참가하려는 공급자의 긴 꼬리를 배제하게 됩니다.

암호학적 증명 시스템과 같은 복잡한 접근 방식은 정확성을 보장하지만, 대형 ML 작업에는 너무 비쌉니다 (적어도 현재로서는). Proof-of-Learning이나 Proof-of-Training Data와 같은 휴리스틱 접근 방식은 보안 보장이 약한 대신 효율성을 제공합니다.

대신 우리는 각 공급자의 작업을 검증하기 위해 검증자를 사용하는 중재 위임 아이디어로 전환합니다. 만약 검증자가 공급자의 출력을 잘못했다고 판단하면, 효율적인 분쟁 해결 게임을 사용하여 중립적인 중재자가 이를 확신하도록 할 수 있습니다. 이러한 기술은 블록체인 롤업에서 사용되는 낙관적 검증의 기초가 되며, Arbitrum과 Optimism과 같은 곳에서는 블록체인 검증자가 중재자의 역할을 합니다. 전체 트랜잭션 블록에 대한 분쟁을 해결할 수 있습니다…

그러나 중재 위임은 현대의 머신 러닝과 두 가지 이유로 잘 맞지 않습니다. 첫째, 이는 CPU 프로그램을 위해 개발되었으며 대형 신경망에 효과적으로 적용되지 않습니다. 둘째, 이는 정직한 서버가 동일한 프로그램에 대해 항상 동일한 결과를 계산한다고 가정하는데, 이는 장비가 다를 경우 머신 러닝에서는 자주 사실이 아닙니다.

모든 실행 가능한 메커니즘은 이러한 문제를 확장 가능하게 해결해야 합니다.

Verde 소개

오늘, 우리는 Verde를 소개하게 되어 기쁩니다. Verde는 현대의 분산 환경에서 머신 러닝을 위한 첫 번째 검증 프로토콜입니다.

Verde는 훈련자와 검증자가 동의하지 않는 신경망 계산 그래프의 첫 번째 훈련 단계 및 연산자를 정의하는 경량 분쟁 해결 시스템으로 구성됩니다. 이제, 전체 작업을 다시 실행하는 대신, 중재자는 스마트 계약이나 검증자 배심원이 될 수 있으며, 단지 이 하나의 논란이 되는 연산자만 다시 계산합니다. 이는 검증 오버헤드를 상당히 줄여주며, 하나의 검증자가 정직하다면 올바른 결과가 보장됩니다.

재현성

이 시스템이 작동하려면, 머신 러닝 프로그램이 모든 하드웨어 설정에서 재현 가능해야 하며, 서로 다른 (정직한) 노드들이 사용 중인 장치와 상관없이 동일한 결과를 계산해야 합니다. 일반적으로 이는 기본적으로 그렇지 않으며, 동일한 제조사의 서로 다른 장치에서도 그렇지 않습니다 (예: Nvidia A100과 H100).

이 문제를 해결하기 위해, 우리는 Reproducible Operators (RepOps) 를 만들었습니다. 이는 인기 있는 ML 연산자들의 비트 단위 재현 가능한 버전을 구현하는 라이브러리입니다. 이는 하드웨어의 비결정성 문제를 해결하여, 행렬 곱셈과 같은 함수의 부동 소수점 연산 순서를 고정시키는 방식으로 작동합니다. 이를 통해 정직한 공급자가 항상 비트 단위로 동일한 결과를 제공하게 되며, Verde의 분쟁 해결 프로토콜이 신뢰성 있게 작동할 수 있습니다.

결론

Verde는 분산 머신 러닝을 위한 핵심 빌딩 블록 시스템을 제공합니다. 이를 통해 Gensyn은 전 세계의 모든 계산 장치를 연결할 수 있으며, 데이터 센터에서 말단 장치까지, 확장 가능하고 권한 없는 방식으로 이를 수행할 수 있습니다.

이 시스템에 대해 더 알고 싶다면, 전체 문서를 여기서 읽을 수 있습니다.

RepOps를 사용한 재현성의 작동 방식을 실시간 데모에서 보고 싶다면, 여기서 제공된 지침을 따르세요.