Litepaper

Giao thức tính toán siêu quy mô, tiết kiệm chi phí cho các mô hình học sâu trên toàn thế giới.

Được công bố vào tháng 2 năm 2022

Xin lưu ý rằng phiên bản này của Litepaper đã lỗi thời. Nhóm Gensyn đã thực hiện nhiều thay đổi đối với thiết kế giao thức, bao gồm nhưng không giới hạn ở:

1. Thay thế chuỗi L1 Substrate (và chức năng canarynet/mainnet liên quan) bằng một rollup Ethereum tùy chỉnh, sau những tiến bộ đáng kể trong cơ sở hạ tầng ngoài chuỗi của chúng tôi. Lưu ý: chúng tôi cũng không còn sử dụng Rust trong hệ thống của mình.
2. Chiến lược kiểm tra mạnh mẽ hơn để kiểm tra công việc.
3. Giới thiệu hệ thống chứng minh mật mã để giám sát động quá trình đào tạo.
4. Các đảm bảo lý thuyết trò chơi mạnh mẽ hơn.
5. Hệ thống chứng minh tính sẵn có mới để đảm bảo chứng minh.
6. Một trình biên dịch ML và môi trường thực thi ML có thể tái tạo.

Nghiên cứu này sẽ được công bố riêng tại gensyn.ai/research, nhưng vui lòng sử dụng Litepaper này như một giới thiệu về vấn đề và các giải pháp.

Bối cảnh

Độ phức tạp tính toán của các hệ thống Trí tuệ nhân tạo (AI) tiên tiến đang tăng gấp đôi cứ sau 3 tháng, vượt xa nguồn cung tính toán. Là một đội ngũ sáng lập – dù chúng tôi đã công bố nghiên cứu về sự tiến hóa của các kiến trúc mạng nơ-ron sâu hay xây dựng các mô hình dự đoán thiệt hại do bão – chúng tôi đã trải qua những giới hạn này một cách trực tiếp.

GPT-3 175B, mô hình GPT-3 lớn nhất được OpenAI đề xuất trong Brown et al. (2020), đã sử dụng một cụm 1.000 GPU NVIDIA Tesla V100 để đào tạo – tương đương với khoảng 355 năm đào tạo trên một thiết bị duy nhất. DALL-E từ Ramesh et al. (2021), một mô hình Transformer khác từ OpenAI, có 12 tỷ tham số và được đào tạo trên hơn 400 triệu hình ảnh có chú thích. OpenAI đã chịu chi phí đào tạo DALL-E nhưng gây tranh cãi khi từ chối mã nguồn mở mô hình này, nghĩa là một trong những mô hình học sâu đa phương thức tiên tiến nhất có lẽ vẫn không thể tiếp cận được với tất cả, trừ một số ít người được chọn. Yêu cầu tài nguyên khổng lồ để xây dựng các mô hình nền tảng tạo ra những rào cản đáng kể trong việc tiếp cận, và nếu không có phương pháp để gộp chung tài nguyên trong khi vẫn giữ được giá trị, sẽ có khả năng gây ra sự trì trệ trong sự tiến bộ của AI. Nhiều người tin rằng các mô hình tổng quát này là chìa khóa để mở ra Trí tuệ Nhân tạo Tổng quát (AGI), khiến phương pháp đào tạo hiện tại trong các silo nhân tạo, cô lập trở nên vô lý.

Các giải pháp hiện tại cung cấp khả năng tiếp cận nguồn cung tính toán hoặc là độc quyền và đắt đỏ hoặc đơn giản là không khả thi do độ phức tạp của tính toán cần thiết cho AI quy mô lớn. Để đáp ứng nhu cầu tăng vọt, cần có một hệ thống tận dụng một cách tiết kiệm chi phí tất cả tính toán sẵn có (trái ngược với tỷ lệ sử dụng bộ xử lý toàn cầu hiện nay là khoảng 40%). Vấn đề này hiện đang được phức tạp hóa bởi thực tế là nguồn cung tính toán bị hạn chế bởi những tiến bộ tiệm cận trong hiệu suất vi xử lý – cùng với khủng hoảng chuỗi cung ứng và căng thẳng địa chính trị về thiếu hụt chip.

Chúng tôi đã nói chuyện với hơn 150 CTO, nhà nghiên cứu học máy (ML) và kỹ sư ML, những người liên tục mô tả sự đánh đổi đau đớn giữa việc mua phần cứng riêng và hy sinh khả năng mở rộng, hoặc thuê các tài nguyên đám mây có khả năng mở rộng với chi phí tăng cao đáng kể. Họ nhận ra rằng chi phí đám mây thường bị thổi phồng bởi lợi nhuận của nhà cung cấp và thường tự hỏi tại sao tính toán theo kiểu serverless, theo yêu cầu không tồn tại cho công việc ML của họ.

Các dịch vụ tính toán lưới tự nguyện như SETI@Home, Folding@Home, và BOINC chứng minh rằng tính toán tiềm tàng, không cần tin cậy, được nối mạng tự nguyện có thể được sử dụng để giải quyết một số vấn đề lớn nhất của nhân loại. Tuy nhiên, chúng chủ yếu giải quyết các vấn đề song song dễ dàng như kết xuất 3D, nơi công việc tính toán có thể dễ dàng được chia nhỏ và xác minh do tính độc lập trạng thái của nó. Các vấn đề ML (ngoài các nhiệm vụ chuyên biệt như tối ưu hóa siêu tham số) vốn phụ thuộc vào trạng thái, đòi hỏi các phương pháp mới cho cả song song hóa và xác minh. Các mạng tự nguyện cũng chỉ hoạt động bằng cách mô hình hóa người tham gia như những tác nhân hợp lý trong một hệ thống từ thiện; việc thêm các giao dịch tài chính thay đổi đáng kể các cơ chế khuyến khích và đưa ra nguy cơ bị khai thác.

Các giao thức blockchain phi tập trung mở rộng khái niệm tính toán lưới sang các môi trường không cần tin cậy, được khuyến khích tài chính. Cụ thể, Ethereum đã đưa không gian này vượt ra ngoài các trường hợp sử dụng giao dịch của Bitcoin đến các công việc tính toán trên chuỗi tổng quát hơn. Điều này đạt được bằng cách kết hợp một ngôn ngữ hoàn chỉnh Turing (Solidity) và thưởng cho các nhà cung cấp tính toán thông qua các phí gas biến đổi.

Tuy nhiên, Ethereum chỉ đạt được sự đồng thuận không cần tin cậy thông qua việc sao chép công việc trên chuỗi cực kỳ tốn kém. Điều này hoàn toàn không phù hợp với học sâu. Việc đào tạo một mạng nơ-ron MNIST nhỏ (~400 triệu thao tác bộ xử lý) mất khoảng 8 phút trên một laptop trung bình nhưng sẽ mất khoảng 80 ngày trên Ethereum với chi phí khoảng 32 triệu USD. Để giải quyết vấn đề này, Truebit đã cho thấy có thể thực hiện công việc tính toán đơn giản ngoài chuỗi (và do đó ít chi phí hơn) và chứng minh cho chuỗi rằng nó đã được thực hiện chính xác. Họ đạt được điều này bằng cách mô hình hóa người tham gia là những tác nhân hợp lý về mặt tài chính và xây dựng cẩn thận các cấu trúc khuyến khích. Cụ thể, họ đã giải quyết dilemma của người xác minh bằng cách thỉnh thoảng yêu cầu người lao động tạo ra công việc sai và thưởng cho người xác minh bằng một khoản tiền thưởng lớn nếu họ phát hiện ra.

Mặc dù có những cải tiến này, công việc vẫn phải được sao chép ngoài chuỗi. Điều này không phù hợp với các hoạt động có chi phí tính toán cực cao (ví dụ: học sâu), và một hệ thống tính toán ngoài chuỗi tiết kiệm chi phí phải tồn tại nếu công việc học sâu được phục vụ một cách không cần tin cậy.

Vấn đề

Một giao thức kết nối và xác minh công việc học sâu ngoài chuỗi một cách không cần tin cậy và tiết kiệm chi phí phải đối mặt với năm thách thức chính.

Xác minh công việc

Để xây dựng một mạng tính toán thực sự không cần tin cậy, với các khuyến khích kinh tế để tham gia, mạng phải có cách xác minh rằng công việc tính toán học sâu đã thực sự được thực hiện như đã hứa. Trung tâm của vấn đề này là sự phụ thuộc trạng thái của các mô hình học sâu; nghĩa là, mỗi lớp tiếp theo trong một mô hình học sâu lấy đầu vào là đầu ra của lớp trước đó. Do đó, để xác minh rằng công việc đã hoàn thành tại một điểm cụ thể, tất cả công việc cho đến và bao gồm điểm đó phải được thực hiện. Chúng tôi sẽ đề cập chi tiết hơn sau này, nhưng đây là một vấn đề cơ bản mà cho đến nay chưa có giải pháp khả thi.

Thị trường

Một thị trường cho tính toán phải đối mặt với các vấn đề cung và cầu giống như bất kỳ thị trường mới nào, cùng với một vài thách thức độc đáo. Chủ yếu là vấn đề khởi động lạnh, nơi thanh khoản cung và nhu cầu cần phải tương đối cân bằng ngay từ đầu để phát triển thành công. Để thu hút nguồn cung tính toán tiềm tàng, phải có phần thưởng rõ ràng cho người tham gia cam kết thời gian tính toán của họ. Công việc tính toán phải được theo dõi và thanh toán tỷ lệ được thực hiện cho các nhà cung cấp một cách kịp thời. Đối với các thị trường truyền thống hơn, điều này được thực hiện bằng cách sử dụng các trung gian xử lý việc quản lý và tiếp nhận, với các khoản thanh toán tối thiểu để giảm chi phí chung. Thật không may, cách tiếp cận này trở nên tốn kém khi mở rộng và dẫn đến một trạng thái cân bằng ngưỡng nơi chỉ một phần nhỏ của nguồn cung có thể được khai thác một cách kinh tế.

Ước lượng công việc trước

Tương tự như Ethereum, công việc tính toán ML phải đối mặt với vấn đề dừng – nơi đôi khi không thể định lượng lượng công việc tính toán cần thiết cho một nhiệm vụ được xác định và cụ thể hơn là liệu nó sẽ kết thúc (hoặc dừng). Trong bối cảnh học sâu, điều này đã trở nên quan trọng hơn gần đây khi các mô hình và khung chuyển từ xây dựng đồ thị tĩnh sang xây dựng và thực thi động.

Quyền riêng tư

Với sự phát triển của các quy định bảo vệ quyền riêng tư cá nhân mạnh mẽ hơn trên toàn thế giới (ví dụ: GDPR, CCPA, LGPD), thiết kế và phát triển có ý thức về quyền riêng tư đã trở thành một thực tiễn được kỳ vọng đối với các tổ chức. Trong khi một lượng lớn nghiên cứu ML có thể được thực hiện trên các tập dữ liệu mở, việc tinh chỉnh mô hình cuối cùng thường sử dụng dữ liệu người dùng độc quyền. Cụ thể hơn, trong các cuộc phỏng vấn với các kỹ sư ML và CTO, họ chỉ ra rằng quyền riêng tư dữ liệu quan trọng hơn hàng chục lần so với quyền riêng tư của mô hình.

Song song hóa

Các mô hình học sâu tiên tiến thường được đào tạo song song trên các cụm phần cứng lớn để đạt được quy mô không thể đạt được với một thiết bị duy nhất. Các kỹ thuật cần thiết để đạt được sự song song hóa này đã được cải thiện đáng kể thông qua nghiên cứu gần đây, với các mô hình transformer tiên tiến hiện nay như Switch Transformers được đề xuất bởi Fedus, Zoph, và Shazeer (2021) vốn dĩ có tính song song cao. Việc kết hợp các yêu cầu hiệu suất của công việc ML với bản chất không đáng tin cậy và không ổn định của các nguồn tính toán có nghĩa là một mức độ song song hóa cao là cần thiết trong bất kỳ giải pháp nào.

Giải pháp

Giao thức Gensyn

Giao thức Gensyn là một giao thức lớp 1 không cần tin cậy cho tính toán học sâu, thưởng trực tiếp và ngay lập tức cho những người tham gia phía cung cam kết thời gian tính toán của họ cho mạng và thực hiện các nhiệm vụ ML. Giao thức không yêu cầu người giám sát quản lý hoặc thực thi pháp lý, mà thay vào đó hỗ trợ phân phối nhiệm vụ và thanh toán theo chương trình thông qua các hợp đồng thông minh. Như đã mô tả ở trên, thách thức cơ bản trong việc xây dựng mạng này là xác minh công việc ML đã hoàn thành. Đây là một vấn đề rất phức tạp nằm ở giao điểm của lý thuyết độ phức tạp, lý thuyết trò chơi, mật mã học, và tối ưu hóa.

Một giải pháp đơn giản là kiểm tra tính trung thực của người lao động bằng cách thực hiện lại công việc của họ. Tối thiểu, điều này yêu cầu tăng gấp đôi các thao tác cần thiết (‘sao chép đơn’); tuy nhiên, ngay cả với việc sao chép, vấn đề về niềm tin vẫn tồn tại trừ khi bên xác minh là người yêu cầu công việc thực sự (trong trường hợp đó, họ sẽ không yêu cầu công việc vì họ sẽ tự thực hiện). Do đó, việc đảm bảo tính trung thực của bên xác minh có thể tạo ra một chuỗi sao chép vô hạn, nơi mỗi người xác minh mới được yêu cầu kiểm tra công việc của người xác minh trước đó.

Chúng tôi giải quyết vấn đề xác minh này bằng cách liên kết ba khái niệm chính thành một giải pháp mạnh mẽ, hiệu quả hơn 1,350% so với các phương pháp sao chép tốt nhất hiện có; bằng cách làm như vậy, nó giải quyết vấn đề chuỗi vô hạn. Các khái niệm chính là:

Chứng minh học tập xác suất

Theo Jia et al. (2021), chúng tôi sử dụng siêu dữ liệu từ các quá trình tối ưu hóa dựa trên gradient để xây dựng các chứng nhận về công việc đã thực hiện, có thể được xác minh nhanh chóng thông qua việc sao chép một số giai đoạn nhất định.

Giao thức định vị dựa trên đồ thị

Theo Zheng et al. (2021), chúng tôi sử dụng giao thức định vị dựa trên đồ thị đa cấp độ và thực thi nhất quán giữa các nhà đánh giá để cho phép công việc xác minh được chạy lại và so sánh để đảm bảo tính nhất quán, và cuối cùng được xác nhận bởi chính chuỗi.

Trò chơi khuyến khích kiểu Truebit

Theo Teutsch và Reitwießner (2019), chúng tôi sử dụng việc đặt cược và cắt giảm để xây dựng một trò chơi khuyến khích đảm bảo mỗi người tham gia hợp lý về mặt tài chính hành xử trung thực và thực hiện các nhiệm vụ dự định của họ.

Người tham gia

Các khái niệm này được sử dụng để xây dựng một hệ thống với bốn người tham gia chính: Người gửi, Người giải, Người xác minh, và Người tố cáo.

Người gửi

Người gửi là người dùng cuối của hệ thống, cung cấp các nhiệm vụ sẽ được tính toán và trả tiền cho các đơn vị công việc đã hoàn thành.

Người giải

Người giải là những người lao động chính của hệ thống, thực hiện việc đào tạo mô hình và tạo ra các chứng minh để được kiểm tra bởi Người xác minh.

Người xác minh

Người xác minh là chìa khóa để liên kết quá trình đào tạo không xác định với một tính toán tuyến tính xác định, sao chép các phần của chứng minh của Người giải và so sánh khoảng cách với các ngưỡng kỳ vọng.

Người tố cáo

Người tố cáo là tuyến phòng thủ cuối cùng, kiểm tra công việc của Người xác minh và thách thức với hy vọng nhận được khoản thanh toán lớn.

Sử dụng

Việc sử dụng giao thức điển hình sẽ trải qua tám giai đoạn, với các vai trò trên thực hiện các nhiệm vụ cụ thể.

Gửi nhiệm vụ

Nhiệm vụ bao gồm ba phần thông tin cụ thể:

1. Siêu dữ liệu mô tả nhiệm vụ và các siêu tham số;
2. Một nhị phân mô hình (hoặc kiến trúc khung);
3. Dữ liệu đào tạo đã xử lý trước, có thể truy cập công khai.

Để gửi một nhiệm vụ, Người gửi chỉ định chi tiết của nhiệm vụ ở định dạng máy đọc được và gửi chúng lên chuỗi cùng với các vị trí công khai của nhị phân mô hình (hoặc kiến trúc máy đọc được) và dữ liệu đào tạo đã xử lý trước. Dữ liệu công khai có thể được lưu trữ trong một kho lưu trữ đối tượng đơn giản như Amazon’s S3 hoặc trong một kho lưu trữ phi tập trung như IPFS, Arweave, hoặc Subspace.

Để bảo vệ quyền riêng tư, các mô hình có thể được xây dựng bằng cách sử dụng các lớp ánh xạ an toàn (một dạng mã hóa chức năng) như được đề xuất bởi Lan, Liu, và Li (2020) và dữ liệu đào tạo công khai được mã hóa. Bằng cách này, các mô hình có thể được đào tạo trên văn bản mã hóa với mức độ chính xác giảm nhỏ (<0.5%).

Khi gửi một nhiệm vụ, một ước tính công việc cần thiết được tạo ra bằng cách xây dựng và triển khai một đồ thị tính toán thành các thao tác cần thiết. Các thao tác này được trọng số bằng các giá trị tương tự như giá trị gas Opcode của Ethereum để tính toán tổng lượng công việc tính toán cần thực hiện. Phí giao dịch do Người gửi trả có thể sử dụng ước tính này, với bất kỳ khoản dư thừa nào (ví dụ: do việc lập hồ sơ bi quan) được trả lại cho Người gửi sau khi tính toán. Quan trọng là, việc triển khai đồ thị yêu cầu đặt các giới hạn trên logic có thể kích hoạt vấn đề dừng.

Nhiệm vụ tạo thành đơn vị công việc ML nhỏ nhất có thể được đẩy lên giao thức. Sử dụng song song hóa, các khối lượng công việc tính toán lớn hơn có thể được chia thành các tập hợp nhiệm vụ và đẩy lên mạng một cách không đồng bộ. Sử dụng cách tiếp cận này, các mô hình ngôn ngữ quy mô lớn và các mô hình tiên tiến khác có thể được xây dựng, như Diskin et al. (2021) đã chứng minh với tính toán tự nguyện.

Lập hồ sơ

Quá trình lập hồ sơ thiết lập một ngưỡng khoảng cách cơ bản cho việc xác minh chứng minh học tập. Người xác minh sẽ định kỳ lấy các nhiệm vụ lập hồ sơ và tạo ra các ngưỡng biến đổi để so sánh chứng minh học tập. Để tạo ra một ngưỡng, một Người xác minh sẽ chạy và chạy lại một cách xác định các phần của việc đào tạo với các hạt giống ngẫu nhiên khác nhau, tạo ra và kiểm tra các chứng minh của chính họ. Khi làm điều này, Người xác minh sẽ xây dựng một ngưỡng khoảng cách kỳ vọng tổng hợp có thể được sử dụng sau này để xác nhận công việc không xác định của Người giải.

Để đảm bảo tính trung thực của Người xác minh khi tạo ra các ngưỡng khoảng cách, Người tố cáo được kỳ vọng sẽ chạy lại công việc lập hồ sơ và thách thức Người xác minh khi thích hợp, sử dụng cùng cơ chế thách thức định vị dựa trên đồ thị và cơ chế trọng tài hợp đồng được mô tả dưới đây.

Đào tạo

Sau khi lập hồ sơ, nhiệm vụ được đưa vào nhóm nhiệm vụ chung (tương tự như mempool của Ethereum). Một Người giải duy nhất được chọn để thực hiện nhiệm vụ và nhiệm vụ được xóa khỏi nhóm nhiệm vụ. Người giải thực hiện nhiệm vụ theo siêu dữ liệu do Người gửi cung cấp và sử dụng mô hình và dữ liệu đào tạo được cung cấp. Trong khi thực hiện nhiệm vụ đào tạo, Người giải cũng tạo ra một chứng minh học tập bằng cách kiểm tra tại một khoảng thời gian được lên lịch và lưu trữ siêu dữ liệu từ quá trình đào tạo (bao gồm các tham số) để bước tối ưu hóa tiếp theo có thể được sao chép chính xác nhất có thể bởi một Người xác minh.

Tạo chứng minh

Việc tạo chứng minh tuân theo quy trình được nêu trong Jia et al. (2021), theo đó Người giải định kỳ lưu trữ các trọng số mô hình hoặc cập nhật cùng với các chỉ số tương ứng từ tập dữ liệu đào tạo xác định các mẫu được sử dụng để tạo ra các cập nhật trọng số. Tần suất kiểm tra có thể được điều chỉnh để cung cấp các đảm bảo mạnh mẽ hơn hoặc để tiết kiệm không gian lưu trữ. Các chứng minh có thể được “xếp chồng”, nghĩa là một chứng minh có thể bắt đầu từ phân phối ngẫu nhiên được sử dụng để khởi tạo các trọng số hoặc từ các trọng số đã được đào tạo trước được tạo ra với chứng minh riêng của chúng. Điều này cho phép giao thức xây dựng một tập hợp các mô hình cơ sở đã được chứng minh, được đào tạo trước (tức là mô hình nền tảng) có thể được tinh chỉnh cho các nhiệm vụ cụ thể hơn.

Xác minh chứng minh

Sau khi hoàn thành nhiệm vụ, Người giải đăng ký việc hoàn thành nhiệm vụ với chuỗi và trình bày chứng minh học tập của họ ở một vị trí công khai để Người xác minh truy cập. Người xác minh lấy các nhiệm vụ xác minh từ một nhóm nhiệm vụ chung (một lần nữa tương tự như mempool của Ethereum) và thực hiện công việc tính toán để chạy lại các phần của chứng minh và thực hiện các phép tính khoảng cách. Các khoảng cách kết quả sau đó được chuỗi sử dụng (cùng với ngưỡng được tính toán trong giai đoạn lập hồ sơ) để xác định liệu việc xác minh có khớp với chứng minh hay không.

Thách thức định vị dựa trên đồ thị

Sau khi xác minh chứng minh học tập, Người tố cáo có thể sao chép công việc của Người xác minh để kiểm tra xem công việc xác minh đã được thực hiện chính xác hay chưa. Trong trường hợp một Người tố cáo tin rằng việc xác minh đã được thực hiện không chính xác (cố ý hoặc không), họ có thể thách thức Người xác minh để thực hiện trọng tài hợp đồng nhằm nhận được phần thưởng. Phần thưởng này có thể đến từ tiền gửi của Người giải và Người xác minh trong trường hợp đúng hoặc từ kho bạc jackpot trong trường hợp sai. Quá trình thách thức tuân theo quy trình được nêu trong Zheng et al. (2021) và sử dụng chính chuỗi để thực hiện trọng tài.

Theo Teutsch và Reitwießner (2019), Người tố cáo (trong trường hợp của họ là Người xác minh) chỉ được kỳ vọng xác minh và sau đó thách thức công việc khi họ kỳ vọng nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là Người tố cáo được kỳ vọng tham gia và rời khỏi mạng tùy thuộc vào số lượng Người tố cáo khác đang hoạt động (tức là có tiền gửi trực tiếp và đang thách thức). Do đó, chiến lược mặc định dự kiến cho bất kỳ Người tố cáo nào là tham gia mạng khi số lượng Người tố cáo khác thấp, đặt cọc, chọn ngẫu nhiên một nhiệm vụ đang hoạt động, và bắt đầu quá trình xác minh của họ. Sau khi kết thúc nhiệm vụ đầu tiên, họ sẽ lấy một nhiệm vụ đang hoạt động khác ngẫu nhiên và lặp lại cho đến khi số lượng Người tố cáo tăng vượt quá ngưỡng thanh toán được xác định của họ, tại thời điểm đó họ sẽ rời khỏi mạng (hoặc có khả năng chuyển sang thực hiện vai trò khác trong mạng – Người xác minh hoặc Người giải – tùy thuộc vào khả năng phần cứng của họ) cho đến khi tình hình đảo ngược.

Trọng tài hợp đồng

Khi một Người xác minh bị thách thức bởi một Người tố cáo, họ tham gia vào một quy trình với chuỗi để thu hẹp vị trí của một thao tác hoặc đầu vào tranh chấp, kết thúc bằng việc chuỗi thực hiện thao tác cơ bản cuối cùng và xác định liệu thách thức có được chứng minh hay không. Để duy trì tính trung thực của Người tố cáo và vượt qua dilemma của người xác minh, giao thức đưa ra các lỗi bắt buộc định kỳ với các khoản thanh toán jackpot, như được đề xuất bởi Teutsch và Reitwießner (2019).

Thanh toán

Trong quá trình thanh toán, các bên tham gia được trả tiền theo kết luận của các kiểm tra xác suất và xác định. Các khoản thanh toán khác nhau được thực hiện trong các kịch bản khác nhau tùy thuộc vào kết quả của việc xác minh và thách thức trước đó.

Nếu công việc được coi là đã được thực hiện chính xác và tất cả các kiểm tra đều đã vượt qua, Người giải và Người xác minh đều được thưởng theo các thao tác đã thực hiện.

Quy mô và hiệu quả chi phí

Việc xây dựng thị trường như một giao thức Web3 loại bỏ các chi phí chung tập trung trong việc mở rộng và giảm các rào cản gia nhập cho những người tham gia cung mới, cho phép mạng có khả năng bao gồm mọi thiết bị tính toán trên thế giới. Kết nối tất cả các thiết bị thông qua một mạng phi tập trung duy nhất cung cấp một mức độ mở rộng mà hiện tại không thể đạt được thông qua bất kỳ nhà cung cấp nào hiện có, mang lại khả năng truy cập theo yêu cầu chưa từng có vào toàn bộ nguồn cung tính toán của thế giới. Đối với người dùng cuối, điều này hoàn toàn phá vỡ tình thế tiến thoái lưỡng nan giữa chi phí và quy mô và cung cấp một chi phí minh bạch, thấp cho khả năng mở rộng tiềm năng vô hạn (lên đến giới hạn phần cứng vật lý toàn cầu).

Việc tạo ra một thị trường nơi giá cả được xác định bởi động lực thị trường, và thị trường mở cho tất cả các bên tham gia, cho phép chi phí đơn vị của tính toán ML ổn định ở mức cân bằng công bằng của nó. Điều này tránh được những rào cản thông thường mà các nhà cung cấp lớn được hưởng, giảm giá đáng kể và thúc đẩy cạnh tranh thực sự trên toàn cầu ở cấp độ tài nguyên. Trong khi chi phí tính toán hiện tại cho người dùng cuối bao gồm các khoản lợi nhuận lớn cho các nhà cung cấp độc quyền của họ, Giao thức Gensyn sẽ đảm bảo rằng phần lợi nhuận còn lại, giảm bởi cạnh tranh công bằng, được phân bổ tỷ lệ cho mọi người tham gia.

Với việc Ethereum chuyển từ chứng minh công việc sang chứng minh cổ phần trong Eth2, nhiều thợ đào với GPU mạnh mẽ (ví dụ: NVIDIA V100) sẽ bị bỏ lại mà không có lợi nhuận. Những thợ đào này hiện có thể kỳ vọng lợi nhuận khoảng 0,20 đến 0,35 USD mỗi giờ, mà ngay cả hiện tại, khi trừ đi chi phí mua vốn khấu hao và chi phí điện, mang lại lợi nhuận cận biên nhỏ. Sự chênh lệch giữa lợi nhuận hiện tại được kỳ vọng bởi những thợ đào này với phần cứng có khả năng ML và chi phí trung bình hàng giờ của cùng phần cứng từ các nhà cung cấp chính, cùng với khả năng biến mất của việc đào Eth, tạo ra một cơ hội lớn cho Giao thức Gensyn; nó cũng cho phép phần cứng tạo ra lợi nhuận trên các chu kỳ bộ xử lý hữu ích – trái ngược với việc chỉ tính toán các hàm băm trong các hệ thống chứng minh công việc. Việc thu hút nguồn cung khai thác này, cùng với các nguồn tính toán tiềm tàng khác, dẫn đến chi phí hàng giờ dự kiến khoảng 0,40 USD mỗi giờ cho tính toán tương đương NVIDIA V100 trên Giao thức Gensyn, rẻ hơn 80% so với AWS theo yêu cầu.

Nhà cung cấp	Chi phí hàng giờ gần đúng cho công việc đào tạo ML (tương đương V100)	Khả năng mở rộng
Ethereum	$15,700	Thấp
Truebit (+ Ethereum)	$12	Thấp
GCP theo yêu cầu	$2.50	Trung bình
AWS theo yêu cầu	$2	Trung bình
Golem Network	$1.20	Thấp
Vast.ai	$1.10	Thấp
AWS spot instances (không đáng tin cậy)	$0.90	Trung bình
GCP spot instances (không đáng tin cậy)	$0.75	Trung bình
Gensyn (dự kiến)	$0.40	Cao
GPU đơn trong trung tâm dữ liệu	$0.40	Không có
GPU cá nhân đơn	$0.28	Không có

Đánh giá giao thức

Chúng tôi đánh giá giải pháp của mình thông qua các mô phỏng Python để đánh giá mức độ cải thiện hiệu suất mà Giao thức Gensyn mang lại. Trong trường hợp này, chúng tôi đo lường hiệu suất bằng tổng thời gian tính bằng giây để hoàn thành một công việc đào tạo 100 epoch trên một mô hình phân loại hình ảnh MNIST nhỏ. Chúng tôi thử nghiệm điều này trên bộ xử lý Intel Core i7 6 lõi.

Chúng tôi so sánh giao thức với 3 cách tiếp cận thay thế: chạy mô hình cục bộ (trái ngược với việc sử dụng bất kỳ giao thức nào), chạy mô hình sử dụng sao chép kiểu Truebit (với 7 người xác minh), và chạy mô hình trên Ethereum.

Mặc dù mã thiếu các tối ưu hóa cấp độ sản xuất, kết quả cho thấy Giao thức Gensyn thêm khoảng 46% thời gian overhead vào việc đào tạo mô hình, thể hiện mức cải thiện hiệu suất 1,350% so với sao chép kiểu Truebit và 2,522,477% so với Ethereum.

So sánh thời gian chạy giữa Gensyn và sao chép kiểu Truebit cho mô hình phân loại hình ảnh MNIST

So sánh thời gian chạy giữa Gensyn và Ethereum (lý thuyết) cho mô hình phân loại hình ảnh MNIST

Phi tập trung và quản trị

Quản trị

Gensyn Limited là thực thể ban đầu phát triển giao thức, tuyển dụng đội ngũ, và quản lý sở hữu trí tuệ (trước khi ra mắt mã nguồn mở). Gensyn Limited là một công ty làm việc từ xa hoàn toàn, tuyển dụng nhân tài từ khắp nơi trên thế giới. Sau Sự kiện Tạo Token (TGE), Gensyn Limited sẽ xử lý phát triển kỹ thuật và Quỹ Gensyn sẽ đại diện cho lợi ích của giao thức.

Các token sẽ được phát hành tại TGE bởi Quỹ Gensyn, được quản trị một cách phi tập trung bởi một hội đồng được bầu và đưa ra quyết định dựa trên các đề xuất và trưng cầu dân ý trên chuỗi. Ban đầu, các thành viên của hội đồng sẽ được ánh xạ chặt chẽ với các thành viên cốt lõi của Gensyn Limited và cộng đồng ban đầu để nhanh chóng phát triển giao thức. Theo thời gian, hội đồng sẽ trở nên phi tập trung hơn.

Quỹ Gensyn cũng sẽ kiểm soát một kho bạc được định hướng bởi các đề xuất để thúc đẩy các mục tiêu của giao thức bằng cách tài trợ cho việc phát triển liên tục của chính giao thức và toàn bộ hệ sinh thái. Kho bạc sẽ chủ yếu được tài trợ bằng cách lấy một tỷ lệ rất nhỏ từ mỗi phí nhiệm vụ.

Phát triển tương lai

Nghiên cứu

Chúng tôi sẽ tiếp tục nghiên cứu trong ba lĩnh vực chính để cải thiện giao thức: xác minh xác suất của việc đào tạo ML bằng cách sử dụng siêu dữ liệu từ quá trình tối ưu hóa, xác minh định vị của công việc ML xác định cho chứng minh trên chuỗi, và song song hóa các mô hình ML trên phần cứng không đồng nhất với các ràng buộc về độ trễ.

Nghiên cứu này sẽ củng cố các đảm bảo xác minh công việc và mở rộng tiện ích của giao thức để bao gồm nhiều nguyên tố mô hình hơn và nhiều loại mô hình đa dạng hơn.

Phát triển

Việc phát triển Giao thức Gensyn sẽ tuân theo ba giai đoạn cấp cao: testnet, canarynet, mainnet.

Testnet

Phát triển ban đầu sẽ tập trung vào xây dựng một triển khai testnet của công nghệ cốt lõi. Các token được sử dụng bởi testnet sẽ không cố định, và người dùng testnet sẽ là những người chấp nhận sớm và các thành viên cốt lõi của cộng đồng, những người sẽ được thưởng tại TGE.

Canarynet

Sau khi lặp lại testnet thành công, giao thức sẽ ra mắt dưới dạng một parachain mạng canary trên chuỗi chuyển tiếp Kusama. Giai đoạn này sẽ bao gồm việc ra mắt token tiện ích canary có giá trị kinh tế thực sự. Mạng canary có thể được xem như một phiên bản beta của giao thức với quyền truy cập vào các tính năng mới nhất và một số rủi ro liên quan đến việc sử dụng nó. Về lâu dài, các mạng canary thường cung cấp giá thấp hơn một chút và quyền truy cập vào các chức năng R&D tiên tiến để đổi lấy rủi ro nhỏ này.

Mainnet

Sau khi ra mắt parachain thành công trên chuỗi chuyển tiếp Kusama, giai đoạn tiếp theo sẽ là ra mắt parachain trực tiếp cuối cùng trên chuỗi chuyển tiếp Polkadot. Giai đoạn này sẽ bao gồm việc ra mắt token tiện ích mainnet, sẽ là token tiện ích chính cho giao thức. Mainnet sẽ là giao thức trực tiếp, cứng cáp để sử dụng đầy đủ bởi bất kỳ tổ chức hoặc cá nhân nào. Các tính năng hoặc thay đổi sẽ trải qua lặp lại testnet và canarynet trước khi ra mắt trên mainnet.

Hệ sinh thái

Giao thức Gensyn sẽ là một lớp nền tảng cho tính toán ML, tương tự như Ethereum cho việc thực thi hợp đồng thông minh. Trong tương lai, chúng tôi kỳ vọng những người khác sẽ xây dựng trên giao thức để cung cấp các trải nghiệm người dùng phong phú và chức năng cụ thể trong nhiều ngách. Chúng tôi kỳ vọng hệ sinh thái đang phát triển này sẽ bắt đầu với các ứng dụng dựa trên kiến thức chuyên gia, cho phép những người không chuyên xây dựng và triển khai các giải pháp ML bằng các trừu tượng tương tự như các giải pháp Web2 hiện có như Amazon’s SageMaker và DataRobot.

Bên cạnh kiến thức con người trong thiết kế mô hình, có ba vấn đề cơ bản làm chậm tiến độ của ML ứng dụng:

1. Truy cập vào sức mạnh tính toán;
2. Truy cập vào dữ liệu;
3. Truy cập vào kiến thức (gắn nhãn sự thật cơ bản).

Gensyn giải quyết vấn đề đầu tiên bằng cách cung cấp quyền truy cập theo yêu cầu vào tính toán có khả năng mở rộng toàn cầu với giá thị trường công bằng. Quỹ Gensyn sẽ tìm cách khuyến khích các giải pháp cho hai và ba thông qua nghiên cứu, tài trợ và hợp tác với các giao thức khác.

Tầm nhìn dài hạn

Giao thức Gensyn sẽ cho phép bất kỳ ai đào tạo các mô hình ML cho bất kỳ nhiệm vụ nào bằng cách sử dụng một mạng tự tổ chức bao gồm mọi nguồn sức mạnh tính toán hiện có.

Khi các Dapp Web3 tăng về độ phức tạp và yêu cầu cơ sở hạ tầng, chúng buộc phải quay lại Web2 nơi các tài nguyên Web3 không tồn tại. Bằng cách phi tập trung hóa tính toán ML, Giao thức Gensyn mang một thành phần cơ sở hạ tầng quan trọng đến với Web3 một cách tự nhiên – giảm sự phụ thuộc vào Web2 và tăng cường và phi tập trung hóa toàn bộ hệ sinh thái.

Học sâu đã cho thấy sức mạnh tổng quát hóa đáng kinh ngạc và có vẻ sẽ đóng một vai trò lớn trong tương lai của ML. Các mô hình nền tảng, được đào tạo trên Giao thức Gensyn, sẽ được phi tập trung và sở hữu toàn cầu – cho phép nhân loại được hưởng lợi bình đẳng từ việc phát triển và đào tạo ML hợp tác. Việc xây dựng trên các mô hình nền tảng này bằng cách tinh chỉnh sẽ đơn giản như xác định một nhiệm vụ và trả một giá thị trường công bằng cho công việc tinh chỉnh – loại bỏ các rào cản hiện đang tồn tại.

Trong nhiều thập kỷ, ML đã tiến bộ trong các silo, cả học thuật và công nghiệp. Giao thức Gensyn kết nối các silo này thông qua một cơ sở hạ tầng chung với quyền sở hữu phi tập trung, cho phép toàn thể nhân loại nhanh chóng và tập thể khám phá tương lai của trí tuệ nhân tạo như những người tiên phong bình đẳng. Kết hợp mạng này với các mô hình nền tảng được đào tạo theo thứ tự và sở hữu tập thể cung cấp một con đường hướng tới việc hiện thực hóa thực sự của AGI – bước tiếp theo cho nhân loại.

Tham gia

Bạn có thể theo dõi tiến độ của chúng tôi trên Twitter. Nếu bạn quan tâm đến việc đóng góp tài nguyên tính toán, sử dụng mạng cho các nhiệm vụ ML, hoặc tham gia cùng chúng tôi, vui lòng gửi tin nhắn cho chúng tôi. Chúng tôi rất mong được trò chuyện.

Cập Nhật và Nghiên Cứu Gần Đây (Cập nhật đến năm 2025)

Kể từ Litepaper năm 2022, Gensyn đã công bố nhiều nghiên cứu và cập nhật cho giao thức. Dưới đây là tóm tắt các bài viết chính từ trang web Gensyn.ai:

Giới thiệu GenRL: Backend Mới cho RL Swarm

GenRL là một khung mới được thiết kế từ đầu để đơn giản hóa và tăng tốc độ tạo ra các môi trường RL tiên tiến, đặc biệt là những môi trường liên quan đến nhiều đại lý. Nó giúp phát triển các môi trường RL nâng cao trong môi trường phi tập trung.

GPT@home: Tại Sao Tương Lai Của Đào Tạo Là Phi Tập Trung

Báo cáo này xem xét trạng thái hiện tại của việc đào tạo mô hình lớn và các chi phí khác nhau mà nó mang lại. Nó xem xét các nỗ lực tính toán phân tán trước đó và lập luận cho việc đào tạo phi tập trung.

Giao Thức Tính Toán Học Máy Và Tương Lai Của Chúng Tôi

Bài viết mở rộng về tầm nhìn của giao thức tính toán học máy, giới thiệu BlockAssist – một trợ lý AI mã nguồn mở học bằng cách quan sát bạn chơi Minecraft, và thảo luận về tương lai.

NoLoCo: Đào Tạo Các Mô Hình Lớn Không Có All-Reduce

Đây là một bài báo học thuật mô tả NoLoCo, một phương pháp tối ưu hóa mới cho việc đào tạo phân tán thay thế bước đồng bộ toàn cầu bằng một cách tiếp cận cục bộ, phù hợp cho môi trường phi tập trung.

RL Swarm: Khung Cho RL Hợp Tác

RL Swarm cung cấp một cái nhìn vào tương lai của học máy, với một khung cho RL hợp tác giữa các đồng nghiệp, nơi trí tuệ tận dụng trí tuệ của đám đông.

SkipPipe: Phương Pháp Hiệu Quả Giao Tiếp Cho Đào Tạo Phi Tập Trung

Một phương pháp song song đường ống chịu lỗi, bỏ qua và sắp xếp lại các giai đoạn động để tối ưu hóa đào tạo trong môi trường phi tập trung.

Ngoài ra, Gensyn đã ra mắt Testnet công khai vào tháng 3 năm 2025, mang lại danh tính liên tục cho các hệ thống AI phi tập trung và theo dõi sự tham gia. Có các cập nhật cho Testnet vào năm 2025, bao gồm swarm mới với tập dữ liệu khó hơn, mô hình lớn hơn, và ứng dụng mới như BlockAssist và Judge – hệ thống đánh giá AI có thể xác minh của Gensyn.

Để có thông tin mới nhất, vui lòng truy cập gensyn.ai và docs.gensyn.ai.