Kể từ khi GPT-3 ra đời, AI đã mở ra một điểm uốn bùng nổ trong lĩnh vực trí tuệ nhân tạo với hiệu suất đáng kinh ngạc và các kịch bản ứng dụng rộng rãi, và những gã khổng lồ công nghệ đã bắt đầu nhảy vào đường đua AI theo nhóm. Tuy nhiên, hoạt động đào tạo và suy luận mô hình ngôn ngữ lớn (LLM) đòi hỏi rất nhiều sức mạnh tính toán và với việc nâng cấp lặp đi lặp lại của mô hình, nhu cầu sức mạnh tính toán và chi phí tăng theo cấp số nhân. Lấy GPT-2 và GPT-3 làm ví dụ, sự khác biệt về số lượng thông số giữa GPT-2 và GPT-3 là 1.166 lần (150 triệu thông số cho GPT-2 và 175 tỷ thông số cho GPT-3), và chi phí của GPT-3 có thể lên tới 12 triệu đô la dựa trên mô hình giá của đám mây GPU công cộng tại thời điểm đó, gấp 200 lần so với GPT-2. Trong quá trình sử dụng thực tế, mỗi câu hỏi của người dùng cần được suy luận và tính toán, theo tình hình 13 triệu người dùng duy nhất vào đầu năm nay, nhu cầu chip tương ứng là hơn 30.000 chiếc A100GPU. Chi phí ban đầu sau đó sẽ là 800 triệu đô la đáng kinh ngạc, với ước tính 700.000 đô la mỗi ngày cho suy luận mô hình.
Không đủ sức mạnh tính toán và chi phí cao đã trở thành một vấn đề đối với toàn bộ ngành công nghiệp AI, nhưng vấn đề tương tự dường như cũng gây khó khăn cho ngành công nghiệp blockchain. Một mặt, đợt giảm một nửa thứ tư của Bitcoin và việc thông qua các quỹ ETF đang đến, và khi giá tăng lên trong tương lai, nhu cầu về phần cứng máy tính của các thợ đào chắc chắn sẽ tăng đáng kể. Mặt khác, công nghệ "Zero-Knowledge Proof" (ZKP) đang bùng nổ và Vitalik đã nhiều lần nhấn mạnh rằng tác động của ZK đối với không gian blockchain trong thập kỷ tới sẽ quan trọng như chính blockchain. Mặc dù tương lai của công nghệ này rất được dự đoán bởi ngành công nghiệp blockchain, ZK cũng tiêu tốn rất nhiều sức mạnh tính toán và thời gian trong quá trình tạo ra các bằng chứng như AI do quá trình tính toán phức tạp.
Trong tương lai gần, sự thiếu hụt sức mạnh tính toán sẽ trở nên không thể tránh khỏi, vậy liệu thị trường điện toán phi tập trung có phải là một ngành kinh doanh tốt?
Định nghĩa thị trường điện toán phi tập trung
Thị trường điện toán phi tập trung thực sự về cơ bản tương đương với đường đua điện toán đám mây phi tập trung, nhưng so với điện toán đám mây phi tập trung, cá nhân tôi nghĩ rằng thuật ngữ này sẽ phù hợp hơn để mô tả các dự án mới được đề cập sau. Thị trường điện toán phi tập trung nên thuộc về một tập hợp con của DePIN (mạng cơ sở hạ tầng vật lý phi tập trung) và mục tiêu của nó là tạo ra một thị trường điện toán mở, thông qua các ưu đãi mã thông báo, để bất kỳ ai có tài nguyên máy tính nhàn rỗi đều có thể cung cấp tài nguyên của họ trong thị trường này, chủ yếu phục vụ cộng đồng người dùng và nhà phát triển B-end. Xét về các dự án nổi tiếng, chẳng hạn như Render Network, một mạng lưới các giải pháp kết xuất dựa trên GPU phi tập trung và Akash Network, một thị trường ngang hàng phân tán cho điện toán đám mây, thuộc về đường đua này.
Sau đây sẽ bắt đầu với khái niệm cơ bản, và sau đó thảo luận về ba thị trường mới nổi theo dõi: thị trường điện toán AGI, thị trường điện toán Bitcoin và thị trường điện toán AGI trong thị trường tăng tốc phần cứng ZK và hai phần sau sẽ được thảo luận trong "Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần II)".
Tổng quan về hashrate
Nguồn gốc của khái niệm sức mạnh tính toán có thể bắt nguồn từ việc phát minh ra máy tính, máy tính ban đầu là một thiết bị cơ khí để hoàn thành các nhiệm vụ tính toán và sức mạnh tính toán đề cập đến sức mạnh tính toán của một thiết bị cơ khí. Với sự phát triển của công nghệ máy tính, khái niệm sức mạnh tính toán cũng đã phát triển và bây giờ sức mạnh tính toán thường đề cập đến khả năng của phần cứng máy tính (CPU, GPU, FPGA, v.v.) và phần mềm (hệ điều hành, trình biên dịch, ứng dụng, v.v.) hoạt động cùng nhau.
Định nghĩa
Sức mạnh tính toán đề cập đến lượng dữ liệu mà máy tính hoặc thiết bị máy tính khác có thể xử lý hoặc số lượng tác vụ tính toán có thể được hoàn thành trong một khoảng thời gian nhất định. Hashrate thường được sử dụng để mô tả hiệu suất của máy tính hoặc thiết bị máy tính khác và nó là thước đo quan trọng về sức mạnh xử lý của thiết bị máy tính.
Số liệu
Sức mạnh tính toán có thể được đo lường theo nhiều cách khác nhau, chẳng hạn như tốc độ tính toán, mức tiêu thụ năng lượng tính toán, độ chính xác tính toán và tính song song. Trong lĩnh vực máy tính, các chỉ số sức mạnh tính toán thường được sử dụng bao gồm FLOPS (hoạt động dấu phẩy động mỗi giây), IPS (hướng dẫn mỗi giây), TPS (giao dịch mỗi giây), v.v.
FLOPS (Floating-Point Operations Per Second) đề cập đến khả năng của máy tính để xử lý các phép toán dấu phẩy động (các phép toán trên các số có dấu thập phân, có tính đến các vấn đề như độ chính xác và lỗi làm tròn) và nó đo lường số lượng phép toán dấu phẩy động mà máy tính có thể hoàn thành mỗi giây. FLOPS là thước đo sức mạnh tính toán hiệu suất cao của máy tính và thường được sử dụng để đo sức mạnh tính toán của siêu máy tính, máy chủ điện toán hiệu suất cao và bộ xử lý đồ họa (GPU), trong số những thứ khác. Ví dụ, một hệ thống máy tính có FLOPS là 1 TFLOPS (1 nghìn tỷ phép toán dấu phẩy động mỗi giây), có nghĩa là nó có thể hoàn thành 1 nghìn tỷ phép toán dấu phẩy động mỗi giây.
IPS (Instructions Per Second) đề cập đến tốc độ mà máy tính xử lý các lệnh và nó đo lường số lượng lệnh mà máy tính có khả năng thực hiện mỗi giây. IPS là thước đo hiệu suất lệnh đơn của máy tính và thường được sử dụng để đo hiệu suất của bộ xử lý trung tâm (CPU), v.v. Ví dụ: CPU có IPS 3 GHz (có thể thực hiện 300 triệu lệnh mỗi giây) có nghĩa là nó có thể thực hiện 300 triệu lệnh mỗi giây.
TPS (Giao dịch mỗi giây) đề cập đến khả năng xử lý giao dịch của máy tính và nó đo lường số lượng giao dịch mà máy tính có thể hoàn thành mỗi giây. Nó thường được sử dụng để đo lường hiệu suất của một máy chủ cơ sở dữ liệu. Ví dụ: máy chủ cơ sở dữ liệu có TPS là 1000 có nghĩa là nó có thể xử lý 1000 giao dịch cơ sở dữ liệu mỗi giây.
Ngoài ra, có một số chỉ số sức mạnh tính toán cho các tình huống ứng dụng cụ thể, chẳng hạn như tốc độ suy luận, tốc độ xử lý hình ảnh và độ chính xác nhận dạng giọng nói.
Loại hashrate
Sức mạnh tính toán GPU đề cập đến sức mạnh tính toán của một đơn vị xử lý đồ họa. Không giống như CPU (Bộ xử lý trung tâm), GPU là một phần cứng được thiết kế đặc biệt để xử lý dữ liệu đồ họa như hình ảnh và video, và nó có một số lượng lớn các đơn vị xử lý và sức mạnh tính toán song song hiệu quả, có thể thực hiện một số lượng lớn các hoạt động dấu phẩy động cùng một lúc. Vì GPU ban đầu được sử dụng để xử lý đồ họa trò chơi, chúng thường có tần số xung nhịp cao hơn và băng thông bộ nhớ lớn hơn CPU để hỗ trợ các hoạt động đồ họa phức tạp.
Sự khác biệt giữa CPU và GPU
Kiến trúc: Kiến trúc tính toán của CPU và GPU là khác nhau. CPU thường có một hoặc nhiều lõi, mỗi lõi là một bộ xử lý đa năng có khả năng thực hiện nhiều hoạt động khác nhau. Mặt khác, GPU có một số lượng lớn Bộ xử lý luồng và Bộ đổ bóng, được dành riêng để thực hiện các hoạt động liên quan đến xử lý hình ảnh.
Điện toán song song: GPU thường có khả năng tính toán song song cao hơn. CPU có số lượng lõi hạn chế và chỉ có thể thực thi một lệnh trên mỗi lõi, nhưng GPU có thể có hàng nghìn bộ xử lý luồng có thể thực hiện nhiều lệnh và hoạt động cùng một lúc. Do đó, GPU thường phù hợp hơn CPU để thực hiện các tác vụ tính toán song song, chẳng hạn như học máy và học sâu, đòi hỏi rất nhiều tính toán song song.
Lập trình: Lập trình GPU phức tạp hơn CPU, đòi hỏi phải sử dụng các ngôn ngữ lập trình cụ thể (như CUDA hoặc OpenCL) và sử dụng các kỹ thuật lập trình cụ thể để tận dụng sức mạnh tính toán song song của GPU. Ngược lại, CPU đơn giản hơn để lập trình và có thể sử dụng các ngôn ngữ lập trình và công cụ lập trình phổ biến.
Tầm quan trọng của sức mạnh tính toán
Trong kỷ nguyên Cách mạng Công nghiệp, dầu mỏ là máu của thế giới, thấm vào mọi ngành công nghiệp. Sức mạnh tính toán nằm trong blockchain, và trong kỷ nguyên AI sắp tới, sức mạnh tính toán sẽ là "dầu kỹ thuật số" của thế giới. Từ cơn sốt điên cuồng của các công ty lớn đối với chip AI và thực tế là cổ phiếu Nvidia vượt quá một nghìn tỷ, đến việc Hoa Kỳ phong tỏa chip cao cấp gần đây ở Trung Quốc, đến quy mô sức mạnh tính toán, diện tích chip và thậm chí cả kế hoạch cấm đám mây GPU, tầm quan trọng của nó là hiển nhiên và sức mạnh tính toán sẽ là một mặt hàng trong kỷ nguyên tiếp theo.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-0827192de8-dd1a6f-cd5cc0.webp)
Tổng quan về Trí tuệ tổng hợp nhân tạo
Trí tuệ nhân tạo (AI) là một ngành khoa học kỹ thuật mới nghiên cứu và phát triển các lý thuyết, phương pháp, công nghệ và hệ thống ứng dụng để mô phỏng, mở rộng và mở rộng trí thông minh của con người. Nó bắt nguồn từ những năm năm mươi và sáu mươi của thế kỷ 20, và sau hơn nửa thế kỷ tiến hóa, nó đã trải qua sự phát triển đan xen của ba làn sóng biểu tượng, chủ nghĩa kết nối và các diễn viên. Một định nghĩa cụ thể hơn về AI tổng hợp là Trí tuệ tổng hợp nhân tạo (AGI), một hệ thống AI có hiểu biết rộng có thể thực hiện trí thông minh tương tự hoặc vượt trội so với con người trong nhiều nhiệm vụ và lĩnh vực khác nhau. AGI về cơ bản cần bao gồm ba yếu tố: học sâu (DL), dữ liệu lớn và sức mạnh tính toán quy mô lớn.
Học sâu
Học sâu là một lĩnh vực con của học máy (ML) và các thuật toán học sâu là các mạng thần kinh được mô phỏng theo bộ não con người. Ví dụ, bộ não con người chứa hàng triệu tế bào thần kinh liên kết với nhau làm việc cùng nhau để tìm hiểu và xử lý thông tin. Tương tự, mạng nơ-ron học sâu (hoặc mạng thần kinh nhân tạo) được tạo thành từ nhiều lớp tế bào thần kinh nhân tạo hoạt động cùng nhau bên trong máy tính. Tế bào thần kinh nhân tạo là các mô-đun phần mềm được gọi là các nút sử dụng các phép tính toán học để xử lý dữ liệu. Mạng nơ-ron nhân tạo là các thuật toán học sâu sử dụng các nút này để giải quyết các vấn đề phức tạp.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-23a44030b8-dd1a6f-cd5cc0.webp)
Mạng nơ-ron có thể được chia thành các lớp đầu vào, lớp ẩn và lớp đầu ra và các tham số được kết nối giữa các lớp khác nhau.
Lớp đầu vào: Lớp đầu vào là lớp đầu tiên của mạng nơ-ron và chịu trách nhiệm nhận dữ liệu đầu vào bên ngoài. Mỗi tế bào thần kinh của lớp đầu vào tương ứng với một tính năng của dữ liệu đầu vào. Ví dụ: khi xử lý dữ liệu hình ảnh, mỗi tế bào thần kinh có thể tương ứng với một giá trị pixel của hình ảnh;
Lớp ẩn: Lớp đầu vào xử lý dữ liệu và chuyển nó đến các lớp xa hơn trong mạng thần kinh. Các lớp ẩn này xử lý thông tin ở các cấp độ khác nhau, điều chỉnh hành vi của chúng khi nhận được thông tin mới. Mạng học sâu có hàng trăm lớp ẩn có thể được sử dụng để phân tích vấn đề từ nhiều góc độ khác nhau. Ví dụ: nếu bạn được cung cấp hình ảnh của một con vật chưa biết phải được phân loại, bạn có thể so sánh nó với một con vật bạn đã biết. Ví dụ, hình dạng của tai, số lượng chân và kích thước của đồng tử có thể xác định đó là loại động vật nào. Các lớp ẩn trong mạng nơ-ron sâu hoạt động theo cùng một cách. Nếu một thuật toán học sâu cố gắng phân loại hình ảnh động vật, mỗi lớp ẩn của nó sẽ xử lý các tính năng khác nhau của động vật và cố gắng phân loại nó một cách chính xác;
Lớp đầu ra: Lớp đầu ra là lớp cuối cùng của mạng nơ-ron và chịu trách nhiệm tạo đầu ra của mạng. Mỗi tế bào thần kinh trong lớp đầu ra đại diện cho một lớp hoặc giá trị đầu ra có thể. Ví dụ, trong một bài toán phân loại, mỗi tế bào thần kinh lớp đầu ra có thể tương ứng với một loại, trong khi trong một bài toán hồi quy, lớp đầu ra có thể chỉ có một tế bào thần kinh có giá trị đại diện cho kết quả dự đoán;
Tham số: Trong mạng nơ-ron, các kết nối giữa các lớp khác nhau được thể hiện bằng các tham số Trọng số và Thiên vị, được tối ưu hóa trong quá trình đào tạo để cho phép mạng xác định chính xác các mẫu và đưa ra dự đoán trong dữ liệu. Sự gia tăng các tham số có thể làm tăng dung lượng mô hình của mạng nơ-ron, tức là khả năng của mô hình để tìm hiểu và biểu diễn các mẫu phức tạp trong dữ liệu. Tuy nhiên, sự gia tăng các thông số sẽ làm tăng nhu cầu về sức mạnh tính toán.
Dữ liệu lớn
Để đào tạo hiệu quả, mạng nơ-ron thường đòi hỏi một lượng dữ liệu lớn, đa dạng và chất lượng cao và nhiều nguồn. Nó là nền tảng cho việc đào tạo và xác nhận các mô hình học máy. Bằng cách phân tích dữ liệu lớn, các mô hình học máy có thể tìm hiểu các mẫu và mối quan hệ trong dữ liệu để đưa ra dự đoán hoặc phân loại.
Sức mạnh tính toán lớn
Cấu trúc phức tạp nhiều lớp của mạng nơ-ron, số lượng lớn các tham số, nhu cầu xử lý dữ liệu lớn, phương pháp đào tạo lặp đi lặp lại (trong giai đoạn đào tạo, mô hình cần lặp lại nhiều lần, và sự lan truyền về phía trước và lan truyền ngược của mỗi lớp cần được tính toán trong quá trình đào tạo, bao gồm tính toán chức năng kích hoạt, tính toán hàm tổn thất, tính toán độ dốc và cập nhật trọng lượng), nhu cầu tính toán chính xác cao, khả năng tính toán song song, công nghệ tối ưu hóa và chính quy hóa, và quá trình đánh giá và xác minh mô hình, tất cả đều dẫn đến nhu cầu về sức mạnh tính toán cao. Yêu cầu của AGI đối với sức mạnh tính toán quy mô lớn tăng khoảng 10 lần mỗi năm. Cho đến nay, mô hình GPT-4 mới nhất chứa 1,8 nghìn tỷ tham số, chi phí đào tạo duy nhất hơn 60 triệu đô la Mỹ và sức mạnh tính toán cần thiết là 2,15e25 FLOPS (21.500 nghìn tỷ phép tính dấu phẩy động). Nhu cầu về sức mạnh tính toán cho việc đào tạo mô hình tiếp theo vẫn đang mở rộng, và các mô hình mới cũng đang tăng lên.
Kinh tế điện toán AI
Quy mô thị trường trong tương lai
Theo ước tính có thẩm quyền nhất, "Báo cáo đánh giá chỉ số sức mạnh điện toán toàn cầu giai đoạn 2022-2023" do IDC (Tập đoàn Dữ liệu Quốc tế) và Inspur Information và Viện Nghiên cứu Công nghiệp Toàn cầu của Đại học Thanh Hoa phối hợp biên soạn, Quy mô thị trường điện toán AI toàn cầu sẽ tăng từ 19,50 tỷ USD vào năm 2022 lên 34,66 tỷ USD vào năm 2026, với quy mô thị trường điện toán AI tăng từ 820 triệu USD vào năm 2022 lên 10,99 tỷ USD vào năm 2026. Điện toán AI thế hệ sẽ tăng từ 4,2% lên 31,7% thị trường điện toán AI nói chung.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-f96a0c08e0-dd1a6f-cd5cc0.webp)
Sức mạnh tính toán độc quyền kinh tế
Việc sản xuất GPU AI đã được NVIDIA độc quyền và chúng cực kỳ đắt đỏ (H100 mới nhất đã được bán với giá 40.000 đô la mỗi chip) và GPU đã bị những gã khổng lồ ở Thung lũng Silicon thâu tóm ngay khi chúng được phát hành và một số thiết bị này được sử dụng để đào tạo các mẫu mới của riêng họ. Phần còn lại được cho các nhà phát triển AI thuê thông qua các nền tảng đám mây, chẳng hạn như Google, Amazon và các nền tảng điện toán đám mây của Microsoft, làm chủ một số lượng lớn tài nguyên điện toán như máy chủ, GPU và TPU. Sức mạnh tính toán đã trở thành một tài nguyên mới được độc quyền bởi những gã khổng lồ và một số lượng lớn các nhà phát triển liên quan đến AI thậm chí không thể mua GPU chuyên dụng mà không có đánh dấu và để sử dụng thiết bị mới nhất, các nhà phát triển phải thuê máy chủ đám mây AWS hoặc Microsoft. Theo báo cáo tài chính, mảng kinh doanh này có lợi nhuận cực cao, với dịch vụ đám mây của AWS có biên lợi nhuận gộp là 61%, trong khi Microsoft có biên lợi nhuận gộp cao hơn là 72%.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a2d9d13bc5-dd1a6f-cd5cc0.webp)
Vì vậy, chúng ta có phải chấp nhận quyền lực và kiểm soát tập trung này, và trả 72% phí lợi nhuận cho tài nguyên máy tính? Liệu những gã khổng lồ độc quyền Web2 có độc quyền trong kỷ nguyên tiếp theo?
Vấn đề sức mạnh tính toán AGI phi tập trung
Khi nói đến chống độc quyền, phân cấp thường là giải pháp tối ưu và từ các dự án hiện có, chúng ta có thể sử dụng giao thức để đạt được sức mạnh tính toán quy mô lớn theo yêu cầu của AI thông qua các dự án lưu trữ trong DePIN và GPU nhàn rỗi như RDNR không? Câu trả lời là không, con đường giết rồng không đơn giản như vậy, các dự án ban đầu không được thiết kế đặc biệt cho sức mạnh tính toán AGI, nó không khả thi và sức mạnh tính toán cần phải đối mặt với ít nhất năm thách thức sau trên chuỗi:
Xác minh công việc: Để xây dựng một mạng máy tính thực sự không tin cậy và cung cấp các ưu đãi tài chính cho người tham gia, mạng phải có cách xác minh rằng công việc tính toán học sâu thực sự được thực hiện. Trọng tâm của vấn đề này là sự phụ thuộc trạng thái của các mô hình học sâu; Trong mô hình deep learning, đầu vào của mỗi lớp phụ thuộc vào đầu ra của lớp trước đó. Điều này có nghĩa là bạn không thể chỉ xác thực một lớp trong mô hình của mình mà không xem xét tất cả các lớp trước nó. Các tính toán cho mỗi lớp dựa trên kết quả của tất cả các lớp trước nó. Do đó, để xác minh công việc được thực hiện tại một điểm cụ thể (ví dụ: một lớp cụ thể), tất cả các công việc phải được thực hiện từ đầu mô hình đến điểm cụ thể đó;
Thị trường: Là một thị trường mới nổi, thị trường điện toán AI phải chịu những tình huống khó xử về cung và cầu, chẳng hạn như các vấn đề khởi động nguội và thanh khoản cung và cầu cần phải được khớp ngay từ đầu để thị trường có thể phát triển thành công. Để nắm bắt được nguồn cung cấp tiềm năng của sức mạnh băm, người tham gia phải được cung cấp phần thưởng rõ ràng để đổi lấy tài nguyên băm của họ. Thị trường cần một cơ chế để theo dõi công việc tính toán được thực hiện và trả các khoản phí tương ứng cho các nhà cung cấp một cách kịp thời. Trong các thị trường truyền thống, các trung gian xử lý các nhiệm vụ như quản lý và giới thiệu, đồng thời giảm chi phí hoạt động bằng cách đặt các khoản thanh toán tối thiểu. Tuy nhiên, cách tiếp cận này tốn kém hơn khi mở rộng quy mô thị trường. Chỉ một phần nhỏ nguồn cung có thể được nắm bắt một cách hiệu quả về mặt kinh tế, dẫn đến trạng thái cân bằng ngưỡng, nơi thị trường chỉ có thể nắm bắt và duy trì nguồn cung hạn chế và không thể phát triển thêm;
Vấn đề thời gian chết: Vấn đề thời gian chết là một vấn đề cơ bản trong lý thuyết tính toán, liên quan đến việc đánh giá liệu một nhiệm vụ tính toán nhất định sẽ được hoàn thành trong một thời gian hữu hạn hay sẽ không bao giờ dừng lại. Vấn đề này là không thể giải quyết, có nghĩa là không có thuật toán phổ quát nào có thể dự đoán liệu tất cả các tác vụ tính toán sẽ dừng lại trong một khoảng thời gian hữu hạn. Ví dụ: trên Ethereum, việc thực hiện hợp đồng thông minh phải đối mặt với thời gian chết tương tự. tức là, không thể xác định trước bao nhiêu tài nguyên máy tính sẽ được yêu cầu để thực hiện hợp đồng thông minh hoặc liệu nó có được hoàn thành trong một thời gian hợp lý hay không;
(Trong bối cảnh học sâu, vấn đề này sẽ phức tạp hơn vì các mô hình và khung sẽ chuyển từ xây dựng đồ thị tĩnh sang xây dựng và thực thi động.) ）
Quyền riêng tư: Việc thiết kế và phát triển nhận thức về quyền riêng tư là điều bắt buộc đối với nhóm dự án. Mặc dù một lượng lớn nghiên cứu học máy có thể được thực hiện trên các bộ dữ liệu có sẵn công khai, việc tinh chỉnh các mô hình trên dữ liệu người dùng độc quyền thường được yêu cầu để cải thiện hiệu suất của các mô hình và điều chỉnh chúng cho các ứng dụng cụ thể. Quá trình tinh chỉnh này có thể liên quan đến việc xử lý dữ liệu cá nhân và do đó cần tính đến các yêu cầu của Privacy Shield;
Parallelization: Đây là yếu tố then chốt về tính khả thi của các dự án hiện tại, các mô hình deep learning thường được đào tạo song song trên các cụm phần cứng lớn với kiến trúc độc quyền và độ trễ cực thấp, trong khi GPU trong các mạng điện toán phân tán yêu cầu trao đổi dữ liệu thường xuyên để đưa ra độ trễ và bị giới hạn bởi các GPU hiệu suất thấp nhất. Trong trường hợp các nguồn năng lượng tính toán không đáng tin cậy và không đáng tin cậy, làm thế nào để song song không đồng nhất là một vấn đề phải được giải quyết và phương pháp khả thi hiện tại là đạt được song song thông qua các mô hình máy biến áp, chẳng hạn như Máy biến áp chuyển mạch, hiện có đặc điểm song song cao.
Giải pháp: Mặc dù nỗ lực hiện tại tại đối với thị trường điện toán AGI phi tập trung vẫn còn trong giai đoạn đầu, nhưng có hai dự án đã giải quyết sơ bộ thiết kế đồng thuận của mạng phi tập trung và quá trình triển khai mạng máy tính phi tập trung trong đào tạo và suy luận mô hình. Sau đây sẽ lấy Gensyn và Together làm ví dụ để phân tích các phương pháp thiết kế và các vấn đề của thị trường điện toán AGI phi tập trung.
Đoàn tụ
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-1c80fe339c-dd1a6f-cd5cc0.webp)
Gensyn là một thị trường cho sức mạnh tính toán AGI vẫn đang trong giai đoạn xây dựng và nhằm mục đích giải quyết nhiều thách thức của điện toán học sâu phi tập trung và giảm chi phí học sâu ngày nay. Gensyn về cơ bản là một giao thức bằng chứng cổ phần Lớp 1 dựa trên mạng Polkadot, trực tiếp thưởng cho người giải (Solvers) thông qua các hợp đồng thông minh để đổi lấy các thiết bị GPU nhàn rỗi của họ để tính toán và thực hiện các tác vụ học máy.
Vì vậy, trở lại câu hỏi trên, cốt lõi của việc xây dựng một mạng máy tính thực sự không tin cậy là xác nhận công việc học máy đã được thực hiện. Đây là một vấn đề rất phức tạp đòi hỏi sự cân bằng được tìm thấy ở giao điểm của lý thuyết phức tạp, lý thuyết trò chơi, mật mã học và tối ưu hóa.
Gensyn đề xuất một giải pháp đơn giản trong đó người giải gửi kết quả của nhiệm vụ học máy mà họ đã hoàn thành. Để xác minh rằng các kết quả này là chính xác, một trình xác thực độc lập khác cố gắng thực hiện lại công việc tương tự. Phương thức này có thể được gọi là một bản sao duy nhất vì chỉ có một trình xác thực sẽ thực thi lại. Điều này có nghĩa là chỉ có một nỗ lực bổ sung để xác minh tính chính xác của tác phẩm gốc. Tuy nhiên, nếu người xác minh công việc không phải là người yêu cầu công việc ban đầu, thì vấn đề niềm tin vẫn còn. Bởi vì bản thân người xác thực có thể không trung thực và công việc của họ cần được xác minh. Điều này dẫn đến một vấn đề tiềm ẩn là nếu người xác minh tác phẩm không phải là người yêu cầu tác phẩm gốc, thì cần có một người xác thực khác để xác minh tác phẩm của họ. Nhưng trình xác thực mới này cũng có thể không đáng tin cậy, vì vậy cần có một trình xác thực khác để xác thực công việc của họ, có thể tiếp tục mãi mãi, tạo thành một chuỗi sao chép vô hạn. Ở đây chúng ta cần giới thiệu ba khái niệm chính và đan xen chúng để xây dựng một hệ thống người tham gia bốn vai trò để giải quyết vấn đề chuỗi vô hạn.
Bằng chứng về học tập xác suất: Sử dụng siêu dữ liệu của quy trình tối ưu hóa dựa trên gradient để xây dựng chứng chỉ công việc đã hoàn thành. Bằng cách sao chép các giai đoạn nhất định, bạn có thể nhanh chóng xác thực các chứng chỉ này để đảm bảo rằng công việc đã được hoàn thành theo lịch trình.
Giao thức chính xác dựa trên đồ thị: Sử dụng giao thức đỉnh cao đa chi tiết, dựa trên đồ thị, cũng như thực thi nhất quán các trình đánh giá chéo. Điều này cho phép các nỗ lực xác minh được chạy lại và so sánh để đảm bảo tính nhất quán và cuối cùng được xác nhận bởi chính blockchain.
Trò chơi khuyến khích kiểu Truebit: Sử dụng đặt cọc và chém để xây dựng các trò chơi khuyến khích nhằm đảm bảo rằng mọi người tham gia tài chính lành mạnh sẽ hành động trung thực và thực hiện các nhiệm vụ dự định của họ.
Hệ thống cộng tác viên bao gồm người cam kết, người giải quyết, người xác nhận và người tố giác.
Người nộp:
Người gửi là người dùng cuối của hệ thống, cung cấp các nhiệm vụ sẽ được tính toán và trả tiền cho các đơn vị công việc đã hoàn thành;
Giải pháp:
Bộ giải là nhân viên chính của hệ thống, thực hiện đào tạo mô hình và tạo ra các bằng chứng được kiểm tra bởi người xác nhận;
Người xác minh:
Trình xác minh là chìa khóa để liên kết quá trình đào tạo không xác định với tính toán tuyến tính xác định, sao chép một phần bằng chứng của người giải và so sánh khoảng cách với ngưỡng dự kiến;
Người tố cáo:
Người tố giác là tuyến phòng thủ cuối cùng, kiểm tra công việc của người xác thực và đưa ra các thách thức với hy vọng nhận được các khoản thanh toán tiền thưởng sinh lợi.
Hệ thống hoạt động
Giao thức được thiết kế để hoạt động trong một hệ thống trò chơi sẽ bao gồm tám giai đoạn, bao gồm bốn vai trò tham gia chính và sẽ được sử dụng để hoàn thành quá trình hoàn chỉnh từ gửi nhiệm vụ đến xác nhận cuối cùng.
Đệ trình nhiệm vụ: Một nhiệm vụ bao gồm ba phần thông tin cụ thể:
Siêu dữ liệu mô tả các nhiệm vụ và siêu tham số;
Một mô hình nhị phân (hoặc lược đồ cơ bản);
Dữ liệu đào tạo có thể truy cập công khai, được xử lý trước.
Để gửi nhiệm vụ, người gửi chỉ định các chi tiết của nhiệm vụ ở định dạng có thể đọc được bằng máy và gửi nó vào chuỗi cùng với nhị phân mô hình (hoặc lược đồ có thể đọc được bằng máy) và vị trí có thể truy cập công khai của dữ liệu đào tạo được xử lý trước. Dữ liệu bị lộ có thể được lưu trữ trong một kho lưu trữ đối tượng đơn giản như AWS S3 hoặc trong một kho lưu trữ phi tập trung như IPFS, Arweave hoặc Subspace.
Lập hồ sơ: Quá trình phân tích xác định ngưỡng khoảng cách cơ bản để học cách xác nhận bằng chứng. Trình xác thực sẽ định kỳ loại bỏ nhiệm vụ phân tích và tạo ngưỡng biến thể để so sánh bằng chứng học tập. Để tạo ngưỡng, trình xác thực sẽ chạy và chạy lại một phần của khóa đào tạo, sử dụng các hạt giống ngẫu nhiên khác nhau, tạo và kiểm tra bằng chứng của chính họ. Trong quá trình này, trình xác thực thiết lập ngưỡng khoảng cách dự kiến tổng thể có thể được sử dụng như một nỗ lực không xác định để xác thực giải pháp.
Đào tạo: Sau khi phân tích, tác vụ sẽ đi vào nhóm tác vụ công khai (tương tự như Mempool của Ethereum). Chọn một bộ giải để thực hiện tác vụ và loại bỏ tác vụ khỏi nhóm tác vụ. Bộ giải thực hiện nhiệm vụ dựa trên siêu dữ liệu do người gửi gửi, cũng như mô hình và dữ liệu đào tạo được cung cấp. Khi thực hiện nhiệm vụ đào tạo, người giải cũng tạo ra bằng chứng học tập bằng cách kiểm tra và lưu trữ định kỳ siêu dữ liệu (bao gồm các tham số) từ quá trình đào tạo để người xác minh có thể sao chép các bước tối ưu hóa sau một cách chính xác nhất có thể.
Tạo bằng chứng: Bộ giải lưu trữ định kỳ trọng lượng hoặc cập nhật mô hình và chỉ số tương ứng với bộ dữ liệu đào tạo để xác định các mẫu được sử dụng để tạo cập nhật trọng lượng. Tần suất trạm kiểm soát có thể được điều chỉnh để đảm bảo hơn hoặc tiết kiệm không gian lưu trữ. Bằng chứng có thể được "xếp chồng lên nhau", có nghĩa là bằng chứng có thể bắt đầu bằng việc phân phối ngẫu nhiên các trọng số được sử dụng để khởi tạo trọng số hoặc bắt đầu với các trọng số được đào tạo trước được tạo bằng cách sử dụng bằng chứng của riêng chúng. Điều này cho phép giao thức xây dựng một tập hợp các mô hình cơ sở đã được chứng minh, được đào tạo trước (tức là các mô hình cơ sở) có thể được tinh chỉnh cho các tác vụ cụ thể hơn.
Xác minh bằng chứng: Sau khi nhiệm vụ hoàn thành, người giải sẽ đăng ký nhiệm vụ với chuỗi và hiển thị bằng chứng học tập của họ ở vị trí có thể truy cập công khai để người xác thực truy cập. Trình xác thực kéo tác vụ xác thực từ nhóm tác vụ chung và thực hiện công việc tính toán để chạy lại một phần bằng chứng và thực hiện tính toán khoảng cách. Chuỗi (cùng với các ngưỡng được tính toán trong giai đoạn phân tích) sau đó sử dụng khoảng cách kết quả để xác định xem xác minh có khớp với bằng chứng hay không.
Thử thách xác định chính xác dựa trên đồ thị: Sau khi xác thực bằng chứng học tập, người tố giác có thể sao chép công việc của người xác thực để kiểm tra xem việc xác thực có được thực hiện chính xác hay không. Nếu người tố giác tin rằng việc xác minh đã được thực hiện do nhầm lẫn (độc hại hoặc không độc hại), họ có thể thách thức số đại biểu hợp đồng để nhận phần thưởng. Phần thưởng này có thể đến từ tiền gửi từ người giải và người xác nhận (trong trường hợp thực sự dương tính) hoặc từ nhóm giải thưởng xổ số (trong trường hợp dương tính giả) và trọng tài được thực hiện bằng chính chuỗi. Người tố cáo (trong trường hợp của họ, người xác nhận) sẽ chỉ xác minh và sau đó thách thức công việc nếu họ mong đợi nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là người tố cáo dự kiến sẽ tham gia và rời khỏi mạng dựa trên số lượng người tố cáo với các hoạt động khác (tức là với tiền gửi và thử thách trực tiếp). Do đó, chiến lược mặc định dự kiến cho bất kỳ người tố giác nào là tham gia mạng khi có ít người tố giác khác, gửi tiền gửi, chọn ngẫu nhiên một nhiệm vụ đang hoạt động và bắt đầu quá trình xác minh của họ. Sau khi nhiệm vụ đầu tiên kết thúc, họ sẽ lấy một tác vụ hoạt động ngẫu nhiên khác và lặp lại cho đến khi số lượng người tố giác vượt quá ngưỡng thanh toán đã xác định của họ, sau đó họ sẽ rời khỏi mạng (hoặc, nhiều khả năng, chuyển sang vai trò khác trong mạng - trình xác thực hoặc bộ giải - tùy thuộc vào khả năng phần cứng của họ) cho đến khi tình hình đảo ngược trở lại.
Trọng tài hợp đồng: Khi người xác thực bị người tố giác thách thức, họ tham gia vào một quy trình với chuỗi để tìm ra hành động hoặc đầu vào tranh chấp ở đâu, và cuối cùng chuỗi thực hiện thao tác cơ bản cuối cùng và xác định xem thách thức có hợp lý hay không. Để giữ cho người tố cáo trung thực và đáng tin cậy và vượt qua tình trạng tiến thoái lưỡng nan của người xác thực, các lỗi bắt buộc thường xuyên và thanh toán jackpot được giới thiệu ở đây.
Quyết toán: Trong quá trình giải quyết, người tham gia được trả tiền dựa trên kết luận kiểm tra xác suất và độ chắc chắn. Tùy thuộc vào kết quả xác minh và thử thách trước đó, sẽ có các khoản thanh toán khác nhau cho các tình huống khác nhau. Nếu công việc được coi là đã được thực hiện chính xác và tất cả các kiểm tra đã vượt qua, nhà cung cấp giải pháp và người xác thực sẽ được thưởng dựa trên hành động được thực hiện.
Đánh giá ngắn gọn về dự án
Gensyn đã thiết kế một hệ thống trò chơi tuyệt vời trên lớp xác minh và lớp khuyến khích, có thể nhanh chóng xác định lỗi bằng cách tìm các điểm phân kỳ trong mạng, nhưng vẫn còn nhiều chi tiết còn thiếu trong hệ thống hiện tại. Ví dụ, làm thế nào để thiết lập các thông số để đảm bảo rằng phần thưởng và hình phạt là hợp lý mà không có ngưỡng quá cao? Trò chơi đã xem xét sự khác biệt giữa trường hợp cực đoan và sức mạnh tính toán của người giải chưa? Không có mô tả chi tiết về hoạt động song song không đồng nhất trong phiên bản hiện tại của sách trắng và có vẻ như việc triển khai Gensyn vẫn còn khó khăn và lâu dài.
Together.ai
Together là một công ty tập trung vào mã nguồn mở của các mô hình lớn và cam kết các giải pháp điện toán AI phi tập trung, hy vọng rằng bất kỳ ai cũng có thể truy cập và sử dụng AI ở bất cứ đâu. Nói một cách chính xác, Together không phải là một dự án blockchain, nhưng dự án đã giải quyết sơ bộ vấn đề độ trễ trong mạng điện toán AGI phi tập trung. Do đó, bài viết dưới đây chỉ phân tích giải pháp của Together và không đánh giá dự án.
Làm thế nào các mô hình lớn có thể được đào tạo và suy luận khi một mạng phi tập trung chậm hơn 100 lần so với một trung tâm dữ liệu?
Hãy tưởng tượng việc phân phối các thiết bị GPU tham gia vào mạng sẽ như thế nào nếu phân cấp bị loại bỏ. Các thiết bị này sẽ được phân phối trên các lục địa khác nhau, ở các thành phố khác nhau và sẽ cần được kết nối với nhau, độ trễ và băng thông của kết nối sẽ khác nhau. Như thể hiện trong hình bên dưới, một kịch bản phân tán được mô phỏng với các thiết bị được phân phối trên khắp Bắc Mỹ, Châu Âu và Châu Á, với băng thông và độ trễ khác nhau giữa các thiết bị. Vì vậy, những gì cần phải được thực hiện để kết nối nó trong chuỗi?
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-42ef6469f3-dd1a6f-cd5cc0.webp)
Mô hình máy tính đào tạo phân tán: Hình dưới đây cho thấy đào tạo mô hình cơ bản trên nhiều thiết bị và có ba loại giao tiếp về các loại giao tiếp: Kích hoạt chuyển tiếp, Chuyển độ dốc lùi và Giao tiếp bên.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-ea4665b014-dd1a6f-cd5cc0.webp)
Kết hợp với băng thông truyền thông và độ trễ, hai dạng song song cần được xem xét: song song đường ống và song song dữ liệu, tương ứng với ba loại giao tiếp trong trường hợp đa thiết bị:
Trong song song đường ống, tất cả các lớp của mô hình được chia thành các giai đoạn, trong đó mỗi thiết bị xử lý một pha, là một chuỗi các lớp liên tục, chẳng hạn như nhiều khối biến áp; Khi vượt qua về phía trước, kích hoạt được chuyển sang giai đoạn tiếp theo, trong khi vượt qua ngược, gradient của kích hoạt được chuyển sang giai đoạn trước.
Trong song song dữ liệu, thiết bị tính toán độc lập độ dốc của các microbatch khác nhau, nhưng giao tiếp để đồng bộ hóa các gradient này.
** Tối ưu hóa lịch trình: **
Trong một môi trường phi tập trung, quá trình đào tạo thường bị giới hạn bởi giao tiếp. Các thuật toán lập lịch thường gán các tác vụ đòi hỏi một lượng lớn giao tiếp cho các thiết bị có tốc độ kết nối nhanh hơn và xem xét sự phụ thuộc giữa các tác vụ và tính không đồng nhất của mạng, chi phí của một chiến lược lập lịch cụ thể cần được mô hình hóa trước tiên. Để nắm bắt chi phí truyền thông phức tạp của việc đào tạo mô hình cơ sở, Together đề xuất một công thức mới và phân tách mô hình chi phí thành hai cấp độ thông qua lý thuyết đồ thị:
Lý thuyết đồ thị là một nhánh của toán học nghiên cứu bản chất và cấu trúc của đồ thị (mạng). Một đồ thị được tạo thành từ các đỉnh (nút) và cạnh (các đường kết nối các nút). Mục đích chính của lý thuyết đồ thị là nghiên cứu các tính chất khác nhau của đồ thị, chẳng hạn như sự kết nối của đồ thị, màu sắc của đồ thị, bản chất của đường dẫn và vòng lặp trong đồ thị.
Cấp độ đầu tiên là một phân vùng đồ thị cân bằng (chia tập hợp các đỉnh của đồ thị thành nhiều tập con có kích thước bằng nhau hoặc xấp xỉ bằng nhau, đồng thời giảm thiểu số cạnh giữa các tập con. Trong phân đoạn này, mỗi tập hợp con đại diện cho một phân vùng và chi phí giao tiếp được giảm bằng cách giảm thiểu các cạnh giữa các phân vùng, tương ứng với chi phí truyền thông của song song dữ liệu.
Cấp độ thứ hai là một bài toán nhân viên bán hàng phù hợp với đồ thị chung và nhân viên bán hàng du lịch (một bài toán nhân viên bán hàng phù hợp với đồ thị và nhân viên bán hàng du lịch là một vấn đề tối ưu hóa tổ hợp kết hợp các yếu tố của kết hợp đồ thị và các vấn đề nhân viên bán hàng du lịch. Vấn đề của khớp đồ thị là tìm một kết quả phù hợp trong biểu đồ để một số loại chi phí được giảm thiểu hoặc tối đa hóa. Bài toán nhân viên bán hàng di chuyển là tìm đường dẫn ngắn nhất đến tất cả các nút trong biểu đồ), tương ứng với chi phí truyền thông của song song đường ống.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-15383f3e42-dd1a6f-cd5cc0.webp)
Hình trên là sơ đồ của quy trình, bởi vì quá trình thực hiện thực tế liên quan đến một số công thức tính toán phức tạp. Để dễ hiểu hơn, sau đây sẽ giải thích quy trình trong sơ đồ theo thuật ngữ của giáo dân và quy trình thực hiện chi tiết có thể được tham khảo ý kiến của chính bạn trong tài liệu trên trang web chính thức của Together.
Giả sử có một thiết bị được đặt D với các thiết bị N và giao tiếp giữa chúng có độ trễ không xác định (ma trận A) và băng thông (ma trận B). Dựa trên bộ thiết bị D, trước tiên chúng tôi tạo một phân đoạn biểu đồ cân bằng. Số lượng thiết bị trong mỗi phân tách hoặc nhóm thiết bị xấp xỉ bằng nhau và tất cả chúng đều xử lý các giai đoạn quy trình giống nhau. Điều này đảm bảo rằng khi dữ liệu được song song, các nhóm thiết bị thực hiện một lượng công việc tương tự. (Song song dữ liệu là khi nhiều thiết bị thực hiện cùng một tác vụ, trong khi các giai đoạn pipelining là khi các thiết bị thực hiện các bước tác vụ khác nhau theo một thứ tự cụ thể). Dựa trên độ trễ và băng thông của giao tiếp, "chi phí" truyền dữ liệu giữa các nhóm thiết bị có thể được tính toán thông qua các công thức. Mỗi nhóm thiết bị cân bằng được kết hợp để tạo ra một biểu đồ thô được kết nối đầy đủ, trong đó mỗi nút đại diện cho một giai đoạn của đường ống và các cạnh đại diện cho chi phí giao tiếp giữa hai giai đoạn. Để giảm thiểu chi phí giao tiếp, một thuật toán phù hợp được sử dụng để xác định nhóm thiết bị nào sẽ hoạt động cùng nhau.
Để tối ưu hóa hơn nữa, vấn đề cũng có thể được mô hình hóa như một vấn đề nhân viên bán hàng du lịch vòng hở (vòng lặp mở có nghĩa là không cần phải quay lại nguồn gốc của đường dẫn) để tìm đường dẫn tối ưu để truyền dữ liệu giữa tất cả các thiết bị. Cuối cùng, Together sử dụng thuật toán lập lịch trình sáng tạo của họ để tìm ra chiến lược phân bổ tối ưu cho một mô hình chi phí nhất định, nhằm giảm thiểu chi phí truyền thông và tối đa hóa thông lượng đào tạo. Theo các phép đo thực tế, ngay cả khi mạng chậm hơn 100 lần theo tối ưu hóa lập lịch này, thông lượng đào tạo từ đầu đến cuối chỉ chậm hơn khoảng 1,7 đến 2,3 lần.
Tối ưu hóa nén giao tiếp:
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a29a418c60-dd1a6f-cd5cc0.webp)
Để tối ưu hóa việc nén giao tiếp, Together giới thiệu thuật toán AQ-SGD (để biết quy trình tính toán chi tiết, vui lòng tham khảo bài viết Mô hình ngôn ngữ tinh chỉnh qua mạng chậm sử dụng Nén kích hoạt với Đảm bảo). Thuật toán AQ-SGD là một công nghệ nén chủ động mới được thiết kế để giải quyết vấn đề hiệu quả truyền thông của đào tạo song song đường ống trên mạng tốc độ thấp. Không giống như các phương pháp nén trực tiếp giá trị hoạt động trước đây, AQ-SGD tập trung vào việc nén các thay đổi về giá trị hoạt động của cùng một mẫu đào tạo trong các giai đoạn khác nhau và phương pháp độc đáo này giới thiệu một động lực "tự thực hiện" thú vị và hiệu suất của thuật toán dự kiến sẽ dần được cải thiện khi đào tạo ổn định. Sau khi phân tích lý thuyết chặt chẽ, thuật toán AQ-SGD chứng minh rằng nó có tốc độ hội tụ tốt trong các điều kiện kỹ thuật nhất định và hàm lượng tử hóa với sai số giới hạn. Thuật toán có thể được thực hiện hiệu quả mà không cần thêm chi phí thời gian chạy end-to-end bổ sung, mặc dù nó đòi hỏi nhiều bộ nhớ và SSD hơn để lưu trữ giá trị hoạt động. Thông qua xác thực thử nghiệm rộng rãi về phân loại trình tự và bộ dữ liệu mô hình hóa ngôn ngữ, AQ-SGD có thể nén các giá trị hoạt động xuống 2-4 bit mà không làm giảm hiệu suất hội tụ. Ngoài ra, AQ-SGD cũng có thể được tích hợp với các thuật toán nén gradient hiện đại để đạt được "nén giao tiếp đầu cuối", nghĩa là trao đổi dữ liệu giữa tất cả các máy, bao gồm gradient mô hình, giá trị hoạt động chuyển tiếp và gradient ngược, được nén đến độ chính xác thấp, do đó cải thiện đáng kể hiệu quả truyền thông của đào tạo phân tán. So với hiệu suất đào tạo từ đầu đến cuối của mạng máy tính tập trung (ví dụ: 10 Gbps) mà không nén, hiện tại nó chỉ chậm hơn 31%. Kết hợp với dữ liệu tối ưu hóa lịch trình, mặc dù vẫn còn một khoảng cách nhất định từ mạng lưới điện toán tập trung, nhưng có một hy vọng tương đối lớn để bắt kịp trong tương lai.
Kết luận
Trong giai đoạn cổ tức do làn sóng AI mang lại, thị trường điện toán AGI chắc chắn là thị trường có tiềm năng lớn nhất và nhu cầu cao nhất trong số nhiều thị trường điện toán. Tuy nhiên, độ khó phát triển, yêu cầu phần cứng và yêu cầu vốn cũng cao nhất. Kết hợp với hai dự án trên, vẫn còn một khoảng cách nhất định từ việc triển khai thị trường điện toán AGI và mạng phi tập trung thực sự phức tạp hơn nhiều so với tình huống lý tưởng, rõ ràng là không đủ để cạnh tranh với những gã khổng lồ đám mây. Tại thời điểm viết bài này, người ta cũng quan sát thấy rằng một số dự án đang ở giai đoạn sơ khai (giai đoạn PPT) đã bắt đầu khám phá một số điểm vào mới, chẳng hạn như tập trung vào giai đoạn suy luận ít khó khăn hơn hoặc đào tạo các mô hình nhỏ, đó là những nỗ lực thực tế hơn.
Mặc dù phải đối mặt với nhiều thách thức, nhưng điều quan trọng về lâu dài là sự phân cấp và tầm quan trọng không cần cấp phép của sức mạnh tính toán AGI không nên tập trung vào một vài gã khổng lồ tập trung. Bởi vì nhân loại không cần một "tôn giáo" mới hay một "giáo hoàng" mới, chứ đừng nói đến việc trả "phí thành viên" đắt đỏ.
thư mục
1.Gensyn Litepaper:
2.NeurIPS 2022: Khắc phục tắc nghẽn giao tiếp cho đào tạo phi tập trung:
3.Tinh chỉnh mô hình ngôn ngữ qua mạng chậm bằng cách sử dụng nén kích hoạt với đảm bảo:
4.Giao thức tính toán Machine Learning và tương lai của chúng ta:
5.Microsoft:Bản phát hành thu nhập FY23 Q2:
Cạnh tranh vé AI: BAT và Byte Meituan cạnh tranh GPU:
IDC: Báo cáo đánh giá chỉ số sức mạnh điện toán toàn cầu 2022-2023:
Ước tính đào tạo mô hình lớn của Guosheng Securities:
Wings of Information: Mối quan hệ giữa sức mạnh tính toán và AI là gì? ：
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)
Bởi Zeke, YBB Capital
Giới thiệu
Kể từ khi GPT-3 ra đời, AI đã mở ra một điểm uốn bùng nổ trong lĩnh vực trí tuệ nhân tạo với hiệu suất đáng kinh ngạc và các kịch bản ứng dụng rộng rãi, và những gã khổng lồ công nghệ đã bắt đầu nhảy vào đường đua AI theo nhóm. Tuy nhiên, hoạt động đào tạo và suy luận mô hình ngôn ngữ lớn (LLM) đòi hỏi rất nhiều sức mạnh tính toán và với việc nâng cấp lặp đi lặp lại của mô hình, nhu cầu sức mạnh tính toán và chi phí tăng theo cấp số nhân. Lấy GPT-2 và GPT-3 làm ví dụ, sự khác biệt về số lượng thông số giữa GPT-2 và GPT-3 là 1.166 lần (150 triệu thông số cho GPT-2 và 175 tỷ thông số cho GPT-3), và chi phí của GPT-3 có thể lên tới 12 triệu đô la dựa trên mô hình giá của đám mây GPU công cộng tại thời điểm đó, gấp 200 lần so với GPT-2. Trong quá trình sử dụng thực tế, mỗi câu hỏi của người dùng cần được suy luận và tính toán, theo tình hình 13 triệu người dùng duy nhất vào đầu năm nay, nhu cầu chip tương ứng là hơn 30.000 chiếc A100GPU. Chi phí ban đầu sau đó sẽ là 800 triệu đô la đáng kinh ngạc, với ước tính 700.000 đô la mỗi ngày cho suy luận mô hình.
Không đủ sức mạnh tính toán và chi phí cao đã trở thành một vấn đề đối với toàn bộ ngành công nghiệp AI, nhưng vấn đề tương tự dường như cũng gây khó khăn cho ngành công nghiệp blockchain. Một mặt, đợt giảm một nửa thứ tư của Bitcoin và việc thông qua các quỹ ETF đang đến, và khi giá tăng lên trong tương lai, nhu cầu về phần cứng máy tính của các thợ đào chắc chắn sẽ tăng đáng kể. Mặt khác, công nghệ "Zero-Knowledge Proof" (ZKP) đang bùng nổ và Vitalik đã nhiều lần nhấn mạnh rằng tác động của ZK đối với không gian blockchain trong thập kỷ tới sẽ quan trọng như chính blockchain. Mặc dù tương lai của công nghệ này rất được dự đoán bởi ngành công nghiệp blockchain, ZK cũng tiêu tốn rất nhiều sức mạnh tính toán và thời gian trong quá trình tạo ra các bằng chứng như AI do quá trình tính toán phức tạp.
Trong tương lai gần, sự thiếu hụt sức mạnh tính toán sẽ trở nên không thể tránh khỏi, vậy liệu thị trường điện toán phi tập trung có phải là một ngành kinh doanh tốt?
Định nghĩa thị trường điện toán phi tập trung
Thị trường điện toán phi tập trung thực sự về cơ bản tương đương với đường đua điện toán đám mây phi tập trung, nhưng so với điện toán đám mây phi tập trung, cá nhân tôi nghĩ rằng thuật ngữ này sẽ phù hợp hơn để mô tả các dự án mới được đề cập sau. Thị trường điện toán phi tập trung nên thuộc về một tập hợp con của DePIN (mạng cơ sở hạ tầng vật lý phi tập trung) và mục tiêu của nó là tạo ra một thị trường điện toán mở, thông qua các ưu đãi mã thông báo, để bất kỳ ai có tài nguyên máy tính nhàn rỗi đều có thể cung cấp tài nguyên của họ trong thị trường này, chủ yếu phục vụ cộng đồng người dùng và nhà phát triển B-end. Xét về các dự án nổi tiếng, chẳng hạn như Render Network, một mạng lưới các giải pháp kết xuất dựa trên GPU phi tập trung và Akash Network, một thị trường ngang hàng phân tán cho điện toán đám mây, thuộc về đường đua này.
Sau đây sẽ bắt đầu với khái niệm cơ bản, và sau đó thảo luận về ba thị trường mới nổi theo dõi: thị trường điện toán AGI, thị trường điện toán Bitcoin và thị trường điện toán AGI trong thị trường tăng tốc phần cứng ZK và hai phần sau sẽ được thảo luận trong "Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần II)".
Tổng quan về hashrate
Nguồn gốc của khái niệm sức mạnh tính toán có thể bắt nguồn từ việc phát minh ra máy tính, máy tính ban đầu là một thiết bị cơ khí để hoàn thành các nhiệm vụ tính toán và sức mạnh tính toán đề cập đến sức mạnh tính toán của một thiết bị cơ khí. Với sự phát triển của công nghệ máy tính, khái niệm sức mạnh tính toán cũng đã phát triển và bây giờ sức mạnh tính toán thường đề cập đến khả năng của phần cứng máy tính (CPU, GPU, FPGA, v.v.) và phần mềm (hệ điều hành, trình biên dịch, ứng dụng, v.v.) hoạt động cùng nhau.
Định nghĩa
Sức mạnh tính toán đề cập đến lượng dữ liệu mà máy tính hoặc thiết bị máy tính khác có thể xử lý hoặc số lượng tác vụ tính toán có thể được hoàn thành trong một khoảng thời gian nhất định. Hashrate thường được sử dụng để mô tả hiệu suất của máy tính hoặc thiết bị máy tính khác và nó là thước đo quan trọng về sức mạnh xử lý của thiết bị máy tính.
Số liệu
Sức mạnh tính toán có thể được đo lường theo nhiều cách khác nhau, chẳng hạn như tốc độ tính toán, mức tiêu thụ năng lượng tính toán, độ chính xác tính toán và tính song song. Trong lĩnh vực máy tính, các chỉ số sức mạnh tính toán thường được sử dụng bao gồm FLOPS (hoạt động dấu phẩy động mỗi giây), IPS (hướng dẫn mỗi giây), TPS (giao dịch mỗi giây), v.v.
FLOPS (Floating-Point Operations Per Second) đề cập đến khả năng của máy tính để xử lý các phép toán dấu phẩy động (các phép toán trên các số có dấu thập phân, có tính đến các vấn đề như độ chính xác và lỗi làm tròn) và nó đo lường số lượng phép toán dấu phẩy động mà máy tính có thể hoàn thành mỗi giây. FLOPS là thước đo sức mạnh tính toán hiệu suất cao của máy tính và thường được sử dụng để đo sức mạnh tính toán của siêu máy tính, máy chủ điện toán hiệu suất cao và bộ xử lý đồ họa (GPU), trong số những thứ khác. Ví dụ, một hệ thống máy tính có FLOPS là 1 TFLOPS (1 nghìn tỷ phép toán dấu phẩy động mỗi giây), có nghĩa là nó có thể hoàn thành 1 nghìn tỷ phép toán dấu phẩy động mỗi giây.
IPS (Instructions Per Second) đề cập đến tốc độ mà máy tính xử lý các lệnh và nó đo lường số lượng lệnh mà máy tính có khả năng thực hiện mỗi giây. IPS là thước đo hiệu suất lệnh đơn của máy tính và thường được sử dụng để đo hiệu suất của bộ xử lý trung tâm (CPU), v.v. Ví dụ: CPU có IPS 3 GHz (có thể thực hiện 300 triệu lệnh mỗi giây) có nghĩa là nó có thể thực hiện 300 triệu lệnh mỗi giây.
TPS (Giao dịch mỗi giây) đề cập đến khả năng xử lý giao dịch của máy tính và nó đo lường số lượng giao dịch mà máy tính có thể hoàn thành mỗi giây. Nó thường được sử dụng để đo lường hiệu suất của một máy chủ cơ sở dữ liệu. Ví dụ: máy chủ cơ sở dữ liệu có TPS là 1000 có nghĩa là nó có thể xử lý 1000 giao dịch cơ sở dữ liệu mỗi giây.
Ngoài ra, có một số chỉ số sức mạnh tính toán cho các tình huống ứng dụng cụ thể, chẳng hạn như tốc độ suy luận, tốc độ xử lý hình ảnh và độ chính xác nhận dạng giọng nói.
Loại hashrate
Sức mạnh tính toán GPU đề cập đến sức mạnh tính toán của một đơn vị xử lý đồ họa. Không giống như CPU (Bộ xử lý trung tâm), GPU là một phần cứng được thiết kế đặc biệt để xử lý dữ liệu đồ họa như hình ảnh và video, và nó có một số lượng lớn các đơn vị xử lý và sức mạnh tính toán song song hiệu quả, có thể thực hiện một số lượng lớn các hoạt động dấu phẩy động cùng một lúc. Vì GPU ban đầu được sử dụng để xử lý đồ họa trò chơi, chúng thường có tần số xung nhịp cao hơn và băng thông bộ nhớ lớn hơn CPU để hỗ trợ các hoạt động đồ họa phức tạp.
Sự khác biệt giữa CPU và GPU
Kiến trúc: Kiến trúc tính toán của CPU và GPU là khác nhau. CPU thường có một hoặc nhiều lõi, mỗi lõi là một bộ xử lý đa năng có khả năng thực hiện nhiều hoạt động khác nhau. Mặt khác, GPU có một số lượng lớn Bộ xử lý luồng và Bộ đổ bóng, được dành riêng để thực hiện các hoạt động liên quan đến xử lý hình ảnh.
Điện toán song song: GPU thường có khả năng tính toán song song cao hơn. CPU có số lượng lõi hạn chế và chỉ có thể thực thi một lệnh trên mỗi lõi, nhưng GPU có thể có hàng nghìn bộ xử lý luồng có thể thực hiện nhiều lệnh và hoạt động cùng một lúc. Do đó, GPU thường phù hợp hơn CPU để thực hiện các tác vụ tính toán song song, chẳng hạn như học máy và học sâu, đòi hỏi rất nhiều tính toán song song.
Lập trình: Lập trình GPU phức tạp hơn CPU, đòi hỏi phải sử dụng các ngôn ngữ lập trình cụ thể (như CUDA hoặc OpenCL) và sử dụng các kỹ thuật lập trình cụ thể để tận dụng sức mạnh tính toán song song của GPU. Ngược lại, CPU đơn giản hơn để lập trình và có thể sử dụng các ngôn ngữ lập trình và công cụ lập trình phổ biến.
Tầm quan trọng của sức mạnh tính toán
Trong kỷ nguyên Cách mạng Công nghiệp, dầu mỏ là máu của thế giới, thấm vào mọi ngành công nghiệp. Sức mạnh tính toán nằm trong blockchain, và trong kỷ nguyên AI sắp tới, sức mạnh tính toán sẽ là "dầu kỹ thuật số" của thế giới. Từ cơn sốt điên cuồng của các công ty lớn đối với chip AI và thực tế là cổ phiếu Nvidia vượt quá một nghìn tỷ, đến việc Hoa Kỳ phong tỏa chip cao cấp gần đây ở Trung Quốc, đến quy mô sức mạnh tính toán, diện tích chip và thậm chí cả kế hoạch cấm đám mây GPU, tầm quan trọng của nó là hiển nhiên và sức mạnh tính toán sẽ là một mặt hàng trong kỷ nguyên tiếp theo.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-0827192de8-dd1a6f-cd5cc0.webp)
Tổng quan về Trí tuệ tổng hợp nhân tạo
Trí tuệ nhân tạo (AI) là một ngành khoa học kỹ thuật mới nghiên cứu và phát triển các lý thuyết, phương pháp, công nghệ và hệ thống ứng dụng để mô phỏng, mở rộng và mở rộng trí thông minh của con người. Nó bắt nguồn từ những năm năm mươi và sáu mươi của thế kỷ 20, và sau hơn nửa thế kỷ tiến hóa, nó đã trải qua sự phát triển đan xen của ba làn sóng biểu tượng, chủ nghĩa kết nối và các diễn viên. Một định nghĩa cụ thể hơn về AI tổng hợp là Trí tuệ tổng hợp nhân tạo (AGI), một hệ thống AI có hiểu biết rộng có thể thực hiện trí thông minh tương tự hoặc vượt trội so với con người trong nhiều nhiệm vụ và lĩnh vực khác nhau. AGI về cơ bản cần bao gồm ba yếu tố: học sâu (DL), dữ liệu lớn và sức mạnh tính toán quy mô lớn.
Học sâu
Học sâu là một lĩnh vực con của học máy (ML) và các thuật toán học sâu là các mạng thần kinh được mô phỏng theo bộ não con người. Ví dụ, bộ não con người chứa hàng triệu tế bào thần kinh liên kết với nhau làm việc cùng nhau để tìm hiểu và xử lý thông tin. Tương tự, mạng nơ-ron học sâu (hoặc mạng thần kinh nhân tạo) được tạo thành từ nhiều lớp tế bào thần kinh nhân tạo hoạt động cùng nhau bên trong máy tính. Tế bào thần kinh nhân tạo là các mô-đun phần mềm được gọi là các nút sử dụng các phép tính toán học để xử lý dữ liệu. Mạng nơ-ron nhân tạo là các thuật toán học sâu sử dụng các nút này để giải quyết các vấn đề phức tạp.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-23a44030b8-dd1a6f-cd5cc0.webp)
Mạng nơ-ron có thể được chia thành các lớp đầu vào, lớp ẩn và lớp đầu ra và các tham số được kết nối giữa các lớp khác nhau.
Lớp đầu vào: Lớp đầu vào là lớp đầu tiên của mạng nơ-ron và chịu trách nhiệm nhận dữ liệu đầu vào bên ngoài. Mỗi tế bào thần kinh của lớp đầu vào tương ứng với một tính năng của dữ liệu đầu vào. Ví dụ: khi xử lý dữ liệu hình ảnh, mỗi tế bào thần kinh có thể tương ứng với một giá trị pixel của hình ảnh;
Lớp ẩn: Lớp đầu vào xử lý dữ liệu và chuyển nó đến các lớp xa hơn trong mạng thần kinh. Các lớp ẩn này xử lý thông tin ở các cấp độ khác nhau, điều chỉnh hành vi của chúng khi nhận được thông tin mới. Mạng học sâu có hàng trăm lớp ẩn có thể được sử dụng để phân tích vấn đề từ nhiều góc độ khác nhau. Ví dụ: nếu bạn được cung cấp hình ảnh của một con vật chưa biết phải được phân loại, bạn có thể so sánh nó với một con vật bạn đã biết. Ví dụ, hình dạng của tai, số lượng chân và kích thước của đồng tử có thể xác định đó là loại động vật nào. Các lớp ẩn trong mạng nơ-ron sâu hoạt động theo cùng một cách. Nếu một thuật toán học sâu cố gắng phân loại hình ảnh động vật, mỗi lớp ẩn của nó sẽ xử lý các tính năng khác nhau của động vật và cố gắng phân loại nó một cách chính xác;
Lớp đầu ra: Lớp đầu ra là lớp cuối cùng của mạng nơ-ron và chịu trách nhiệm tạo đầu ra của mạng. Mỗi tế bào thần kinh trong lớp đầu ra đại diện cho một lớp hoặc giá trị đầu ra có thể. Ví dụ, trong một bài toán phân loại, mỗi tế bào thần kinh lớp đầu ra có thể tương ứng với một loại, trong khi trong một bài toán hồi quy, lớp đầu ra có thể chỉ có một tế bào thần kinh có giá trị đại diện cho kết quả dự đoán;
Tham số: Trong mạng nơ-ron, các kết nối giữa các lớp khác nhau được thể hiện bằng các tham số Trọng số và Thiên vị, được tối ưu hóa trong quá trình đào tạo để cho phép mạng xác định chính xác các mẫu và đưa ra dự đoán trong dữ liệu. Sự gia tăng các tham số có thể làm tăng dung lượng mô hình của mạng nơ-ron, tức là khả năng của mô hình để tìm hiểu và biểu diễn các mẫu phức tạp trong dữ liệu. Tuy nhiên, sự gia tăng các thông số sẽ làm tăng nhu cầu về sức mạnh tính toán.
Dữ liệu lớn
Để đào tạo hiệu quả, mạng nơ-ron thường đòi hỏi một lượng dữ liệu lớn, đa dạng và chất lượng cao và nhiều nguồn. Nó là nền tảng cho việc đào tạo và xác nhận các mô hình học máy. Bằng cách phân tích dữ liệu lớn, các mô hình học máy có thể tìm hiểu các mẫu và mối quan hệ trong dữ liệu để đưa ra dự đoán hoặc phân loại.
Sức mạnh tính toán lớn
Cấu trúc phức tạp nhiều lớp của mạng nơ-ron, số lượng lớn các tham số, nhu cầu xử lý dữ liệu lớn, phương pháp đào tạo lặp đi lặp lại (trong giai đoạn đào tạo, mô hình cần lặp lại nhiều lần, và sự lan truyền về phía trước và lan truyền ngược của mỗi lớp cần được tính toán trong quá trình đào tạo, bao gồm tính toán chức năng kích hoạt, tính toán hàm tổn thất, tính toán độ dốc và cập nhật trọng lượng), nhu cầu tính toán chính xác cao, khả năng tính toán song song, công nghệ tối ưu hóa và chính quy hóa, và quá trình đánh giá và xác minh mô hình, tất cả đều dẫn đến nhu cầu về sức mạnh tính toán cao. Yêu cầu của AGI đối với sức mạnh tính toán quy mô lớn tăng khoảng 10 lần mỗi năm. Cho đến nay, mô hình GPT-4 mới nhất chứa 1,8 nghìn tỷ tham số, chi phí đào tạo duy nhất hơn 60 triệu đô la Mỹ và sức mạnh tính toán cần thiết là 2,15e25 FLOPS (21.500 nghìn tỷ phép tính dấu phẩy động). Nhu cầu về sức mạnh tính toán cho việc đào tạo mô hình tiếp theo vẫn đang mở rộng, và các mô hình mới cũng đang tăng lên.
Kinh tế điện toán AI
Quy mô thị trường trong tương lai
Theo ước tính có thẩm quyền nhất, "Báo cáo đánh giá chỉ số sức mạnh điện toán toàn cầu giai đoạn 2022-2023" do IDC (Tập đoàn Dữ liệu Quốc tế) và Inspur Information và Viện Nghiên cứu Công nghiệp Toàn cầu của Đại học Thanh Hoa phối hợp biên soạn, Quy mô thị trường điện toán AI toàn cầu sẽ tăng từ 19,50 tỷ USD vào năm 2022 lên 34,66 tỷ USD vào năm 2026, với quy mô thị trường điện toán AI tăng từ 820 triệu USD vào năm 2022 lên 10,99 tỷ USD vào năm 2026. Điện toán AI thế hệ sẽ tăng từ 4,2% lên 31,7% thị trường điện toán AI nói chung.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-f96a0c08e0-dd1a6f-cd5cc0.webp)
Sức mạnh tính toán độc quyền kinh tế
Việc sản xuất GPU AI đã được NVIDIA độc quyền và chúng cực kỳ đắt đỏ (H100 mới nhất đã được bán với giá 40.000 đô la mỗi chip) và GPU đã bị những gã khổng lồ ở Thung lũng Silicon thâu tóm ngay khi chúng được phát hành và một số thiết bị này được sử dụng để đào tạo các mẫu mới của riêng họ. Phần còn lại được cho các nhà phát triển AI thuê thông qua các nền tảng đám mây, chẳng hạn như Google, Amazon và các nền tảng điện toán đám mây của Microsoft, làm chủ một số lượng lớn tài nguyên điện toán như máy chủ, GPU và TPU. Sức mạnh tính toán đã trở thành một tài nguyên mới được độc quyền bởi những gã khổng lồ và một số lượng lớn các nhà phát triển liên quan đến AI thậm chí không thể mua GPU chuyên dụng mà không có đánh dấu và để sử dụng thiết bị mới nhất, các nhà phát triển phải thuê máy chủ đám mây AWS hoặc Microsoft. Theo báo cáo tài chính, mảng kinh doanh này có lợi nhuận cực cao, với dịch vụ đám mây của AWS có biên lợi nhuận gộp là 61%, trong khi Microsoft có biên lợi nhuận gộp cao hơn là 72%.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a2d9d13bc5-dd1a6f-cd5cc0.webp)
Vì vậy, chúng ta có phải chấp nhận quyền lực và kiểm soát tập trung này, và trả 72% phí lợi nhuận cho tài nguyên máy tính? Liệu những gã khổng lồ độc quyền Web2 có độc quyền trong kỷ nguyên tiếp theo?
Vấn đề sức mạnh tính toán AGI phi tập trung
Khi nói đến chống độc quyền, phân cấp thường là giải pháp tối ưu và từ các dự án hiện có, chúng ta có thể sử dụng giao thức để đạt được sức mạnh tính toán quy mô lớn theo yêu cầu của AI thông qua các dự án lưu trữ trong DePIN và GPU nhàn rỗi như RDNR không? Câu trả lời là không, con đường giết rồng không đơn giản như vậy, các dự án ban đầu không được thiết kế đặc biệt cho sức mạnh tính toán AGI, nó không khả thi và sức mạnh tính toán cần phải đối mặt với ít nhất năm thách thức sau trên chuỗi:
Xác minh công việc: Để xây dựng một mạng máy tính thực sự không tin cậy và cung cấp các ưu đãi tài chính cho người tham gia, mạng phải có cách xác minh rằng công việc tính toán học sâu thực sự được thực hiện. Trọng tâm của vấn đề này là sự phụ thuộc trạng thái của các mô hình học sâu; Trong mô hình deep learning, đầu vào của mỗi lớp phụ thuộc vào đầu ra của lớp trước đó. Điều này có nghĩa là bạn không thể chỉ xác thực một lớp trong mô hình của mình mà không xem xét tất cả các lớp trước nó. Các tính toán cho mỗi lớp dựa trên kết quả của tất cả các lớp trước nó. Do đó, để xác minh công việc được thực hiện tại một điểm cụ thể (ví dụ: một lớp cụ thể), tất cả các công việc phải được thực hiện từ đầu mô hình đến điểm cụ thể đó;
Thị trường: Là một thị trường mới nổi, thị trường điện toán AI phải chịu những tình huống khó xử về cung và cầu, chẳng hạn như các vấn đề khởi động nguội và thanh khoản cung và cầu cần phải được khớp ngay từ đầu để thị trường có thể phát triển thành công. Để nắm bắt được nguồn cung cấp tiềm năng của sức mạnh băm, người tham gia phải được cung cấp phần thưởng rõ ràng để đổi lấy tài nguyên băm của họ. Thị trường cần một cơ chế để theo dõi công việc tính toán được thực hiện và trả các khoản phí tương ứng cho các nhà cung cấp một cách kịp thời. Trong các thị trường truyền thống, các trung gian xử lý các nhiệm vụ như quản lý và giới thiệu, đồng thời giảm chi phí hoạt động bằng cách đặt các khoản thanh toán tối thiểu. Tuy nhiên, cách tiếp cận này tốn kém hơn khi mở rộng quy mô thị trường. Chỉ một phần nhỏ nguồn cung có thể được nắm bắt một cách hiệu quả về mặt kinh tế, dẫn đến trạng thái cân bằng ngưỡng, nơi thị trường chỉ có thể nắm bắt và duy trì nguồn cung hạn chế và không thể phát triển thêm;
Vấn đề thời gian chết: Vấn đề thời gian chết là một vấn đề cơ bản trong lý thuyết tính toán, liên quan đến việc đánh giá liệu một nhiệm vụ tính toán nhất định sẽ được hoàn thành trong một thời gian hữu hạn hay sẽ không bao giờ dừng lại. Vấn đề này là không thể giải quyết, có nghĩa là không có thuật toán phổ quát nào có thể dự đoán liệu tất cả các tác vụ tính toán sẽ dừng lại trong một khoảng thời gian hữu hạn. Ví dụ: trên Ethereum, việc thực hiện hợp đồng thông minh phải đối mặt với thời gian chết tương tự. tức là, không thể xác định trước bao nhiêu tài nguyên máy tính sẽ được yêu cầu để thực hiện hợp đồng thông minh hoặc liệu nó có được hoàn thành trong một thời gian hợp lý hay không;
(Trong bối cảnh học sâu, vấn đề này sẽ phức tạp hơn vì các mô hình và khung sẽ chuyển từ xây dựng đồ thị tĩnh sang xây dựng và thực thi động.) ）
Quyền riêng tư: Việc thiết kế và phát triển nhận thức về quyền riêng tư là điều bắt buộc đối với nhóm dự án. Mặc dù một lượng lớn nghiên cứu học máy có thể được thực hiện trên các bộ dữ liệu có sẵn công khai, việc tinh chỉnh các mô hình trên dữ liệu người dùng độc quyền thường được yêu cầu để cải thiện hiệu suất của các mô hình và điều chỉnh chúng cho các ứng dụng cụ thể. Quá trình tinh chỉnh này có thể liên quan đến việc xử lý dữ liệu cá nhân và do đó cần tính đến các yêu cầu của Privacy Shield;
Parallelization: Đây là yếu tố then chốt về tính khả thi của các dự án hiện tại, các mô hình deep learning thường được đào tạo song song trên các cụm phần cứng lớn với kiến trúc độc quyền và độ trễ cực thấp, trong khi GPU trong các mạng điện toán phân tán yêu cầu trao đổi dữ liệu thường xuyên để đưa ra độ trễ và bị giới hạn bởi các GPU hiệu suất thấp nhất. Trong trường hợp các nguồn năng lượng tính toán không đáng tin cậy và không đáng tin cậy, làm thế nào để song song không đồng nhất là một vấn đề phải được giải quyết và phương pháp khả thi hiện tại là đạt được song song thông qua các mô hình máy biến áp, chẳng hạn như Máy biến áp chuyển mạch, hiện có đặc điểm song song cao.
Giải pháp: Mặc dù nỗ lực hiện tại tại đối với thị trường điện toán AGI phi tập trung vẫn còn trong giai đoạn đầu, nhưng có hai dự án đã giải quyết sơ bộ thiết kế đồng thuận của mạng phi tập trung và quá trình triển khai mạng máy tính phi tập trung trong đào tạo và suy luận mô hình. Sau đây sẽ lấy Gensyn và Together làm ví dụ để phân tích các phương pháp thiết kế và các vấn đề của thị trường điện toán AGI phi tập trung.
Đoàn tụ
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-1c80fe339c-dd1a6f-cd5cc0.webp)
Gensyn là một thị trường cho sức mạnh tính toán AGI vẫn đang trong giai đoạn xây dựng và nhằm mục đích giải quyết nhiều thách thức của điện toán học sâu phi tập trung và giảm chi phí học sâu ngày nay. Gensyn về cơ bản là một giao thức bằng chứng cổ phần Lớp 1 dựa trên mạng Polkadot, trực tiếp thưởng cho người giải (Solvers) thông qua các hợp đồng thông minh để đổi lấy các thiết bị GPU nhàn rỗi của họ để tính toán và thực hiện các tác vụ học máy.
Vì vậy, trở lại câu hỏi trên, cốt lõi của việc xây dựng một mạng máy tính thực sự không tin cậy là xác nhận công việc học máy đã được thực hiện. Đây là một vấn đề rất phức tạp đòi hỏi sự cân bằng được tìm thấy ở giao điểm của lý thuyết phức tạp, lý thuyết trò chơi, mật mã học và tối ưu hóa.
Gensyn đề xuất một giải pháp đơn giản trong đó người giải gửi kết quả của nhiệm vụ học máy mà họ đã hoàn thành. Để xác minh rằng các kết quả này là chính xác, một trình xác thực độc lập khác cố gắng thực hiện lại công việc tương tự. Phương thức này có thể được gọi là một bản sao duy nhất vì chỉ có một trình xác thực sẽ thực thi lại. Điều này có nghĩa là chỉ có một nỗ lực bổ sung để xác minh tính chính xác của tác phẩm gốc. Tuy nhiên, nếu người xác minh công việc không phải là người yêu cầu công việc ban đầu, thì vấn đề niềm tin vẫn còn. Bởi vì bản thân người xác thực có thể không trung thực và công việc của họ cần được xác minh. Điều này dẫn đến một vấn đề tiềm ẩn là nếu người xác minh tác phẩm không phải là người yêu cầu tác phẩm gốc, thì cần có một người xác thực khác để xác minh tác phẩm của họ. Nhưng trình xác thực mới này cũng có thể không đáng tin cậy, vì vậy cần có một trình xác thực khác để xác thực công việc của họ, có thể tiếp tục mãi mãi, tạo thành một chuỗi sao chép vô hạn. Ở đây chúng ta cần giới thiệu ba khái niệm chính và đan xen chúng để xây dựng một hệ thống người tham gia bốn vai trò để giải quyết vấn đề chuỗi vô hạn.
Bằng chứng về học tập xác suất: Sử dụng siêu dữ liệu của quy trình tối ưu hóa dựa trên gradient để xây dựng chứng chỉ công việc đã hoàn thành. Bằng cách sao chép các giai đoạn nhất định, bạn có thể nhanh chóng xác thực các chứng chỉ này để đảm bảo rằng công việc đã được hoàn thành theo lịch trình.
Giao thức chính xác dựa trên đồ thị: Sử dụng giao thức đỉnh cao đa chi tiết, dựa trên đồ thị, cũng như thực thi nhất quán các trình đánh giá chéo. Điều này cho phép các nỗ lực xác minh được chạy lại và so sánh để đảm bảo tính nhất quán và cuối cùng được xác nhận bởi chính blockchain.
Trò chơi khuyến khích kiểu Truebit: Sử dụng đặt cọc và chém để xây dựng các trò chơi khuyến khích nhằm đảm bảo rằng mọi người tham gia tài chính lành mạnh sẽ hành động trung thực và thực hiện các nhiệm vụ dự định của họ.
Hệ thống cộng tác viên bao gồm người cam kết, người giải quyết, người xác nhận và người tố giác.
Người nộp:
Người gửi là người dùng cuối của hệ thống, cung cấp các nhiệm vụ sẽ được tính toán và trả tiền cho các đơn vị công việc đã hoàn thành;
Giải pháp:
Bộ giải là nhân viên chính của hệ thống, thực hiện đào tạo mô hình và tạo ra các bằng chứng được kiểm tra bởi người xác nhận;
Người xác minh:
Trình xác minh là chìa khóa để liên kết quá trình đào tạo không xác định với tính toán tuyến tính xác định, sao chép một phần bằng chứng của người giải và so sánh khoảng cách với ngưỡng dự kiến;
Người tố cáo:
Người tố giác là tuyến phòng thủ cuối cùng, kiểm tra công việc của người xác thực và đưa ra các thách thức với hy vọng nhận được các khoản thanh toán tiền thưởng sinh lợi.
Hệ thống hoạt động
Giao thức được thiết kế để hoạt động trong một hệ thống trò chơi sẽ bao gồm tám giai đoạn, bao gồm bốn vai trò tham gia chính và sẽ được sử dụng để hoàn thành quá trình hoàn chỉnh từ gửi nhiệm vụ đến xác nhận cuối cùng.
Để gửi nhiệm vụ, người gửi chỉ định các chi tiết của nhiệm vụ ở định dạng có thể đọc được bằng máy và gửi nó vào chuỗi cùng với nhị phân mô hình (hoặc lược đồ có thể đọc được bằng máy) và vị trí có thể truy cập công khai của dữ liệu đào tạo được xử lý trước. Dữ liệu bị lộ có thể được lưu trữ trong một kho lưu trữ đối tượng đơn giản như AWS S3 hoặc trong một kho lưu trữ phi tập trung như IPFS, Arweave hoặc Subspace.
Lập hồ sơ: Quá trình phân tích xác định ngưỡng khoảng cách cơ bản để học cách xác nhận bằng chứng. Trình xác thực sẽ định kỳ loại bỏ nhiệm vụ phân tích và tạo ngưỡng biến thể để so sánh bằng chứng học tập. Để tạo ngưỡng, trình xác thực sẽ chạy và chạy lại một phần của khóa đào tạo, sử dụng các hạt giống ngẫu nhiên khác nhau, tạo và kiểm tra bằng chứng của chính họ. Trong quá trình này, trình xác thực thiết lập ngưỡng khoảng cách dự kiến tổng thể có thể được sử dụng như một nỗ lực không xác định để xác thực giải pháp.
Đào tạo: Sau khi phân tích, tác vụ sẽ đi vào nhóm tác vụ công khai (tương tự như Mempool của Ethereum). Chọn một bộ giải để thực hiện tác vụ và loại bỏ tác vụ khỏi nhóm tác vụ. Bộ giải thực hiện nhiệm vụ dựa trên siêu dữ liệu do người gửi gửi, cũng như mô hình và dữ liệu đào tạo được cung cấp. Khi thực hiện nhiệm vụ đào tạo, người giải cũng tạo ra bằng chứng học tập bằng cách kiểm tra và lưu trữ định kỳ siêu dữ liệu (bao gồm các tham số) từ quá trình đào tạo để người xác minh có thể sao chép các bước tối ưu hóa sau một cách chính xác nhất có thể.
Tạo bằng chứng: Bộ giải lưu trữ định kỳ trọng lượng hoặc cập nhật mô hình và chỉ số tương ứng với bộ dữ liệu đào tạo để xác định các mẫu được sử dụng để tạo cập nhật trọng lượng. Tần suất trạm kiểm soát có thể được điều chỉnh để đảm bảo hơn hoặc tiết kiệm không gian lưu trữ. Bằng chứng có thể được "xếp chồng lên nhau", có nghĩa là bằng chứng có thể bắt đầu bằng việc phân phối ngẫu nhiên các trọng số được sử dụng để khởi tạo trọng số hoặc bắt đầu với các trọng số được đào tạo trước được tạo bằng cách sử dụng bằng chứng của riêng chúng. Điều này cho phép giao thức xây dựng một tập hợp các mô hình cơ sở đã được chứng minh, được đào tạo trước (tức là các mô hình cơ sở) có thể được tinh chỉnh cho các tác vụ cụ thể hơn.
Xác minh bằng chứng: Sau khi nhiệm vụ hoàn thành, người giải sẽ đăng ký nhiệm vụ với chuỗi và hiển thị bằng chứng học tập của họ ở vị trí có thể truy cập công khai để người xác thực truy cập. Trình xác thực kéo tác vụ xác thực từ nhóm tác vụ chung và thực hiện công việc tính toán để chạy lại một phần bằng chứng và thực hiện tính toán khoảng cách. Chuỗi (cùng với các ngưỡng được tính toán trong giai đoạn phân tích) sau đó sử dụng khoảng cách kết quả để xác định xem xác minh có khớp với bằng chứng hay không.
Thử thách xác định chính xác dựa trên đồ thị: Sau khi xác thực bằng chứng học tập, người tố giác có thể sao chép công việc của người xác thực để kiểm tra xem việc xác thực có được thực hiện chính xác hay không. Nếu người tố giác tin rằng việc xác minh đã được thực hiện do nhầm lẫn (độc hại hoặc không độc hại), họ có thể thách thức số đại biểu hợp đồng để nhận phần thưởng. Phần thưởng này có thể đến từ tiền gửi từ người giải và người xác nhận (trong trường hợp thực sự dương tính) hoặc từ nhóm giải thưởng xổ số (trong trường hợp dương tính giả) và trọng tài được thực hiện bằng chính chuỗi. Người tố cáo (trong trường hợp của họ, người xác nhận) sẽ chỉ xác minh và sau đó thách thức công việc nếu họ mong đợi nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là người tố cáo dự kiến sẽ tham gia và rời khỏi mạng dựa trên số lượng người tố cáo với các hoạt động khác (tức là với tiền gửi và thử thách trực tiếp). Do đó, chiến lược mặc định dự kiến cho bất kỳ người tố giác nào là tham gia mạng khi có ít người tố giác khác, gửi tiền gửi, chọn ngẫu nhiên một nhiệm vụ đang hoạt động và bắt đầu quá trình xác minh của họ. Sau khi nhiệm vụ đầu tiên kết thúc, họ sẽ lấy một tác vụ hoạt động ngẫu nhiên khác và lặp lại cho đến khi số lượng người tố giác vượt quá ngưỡng thanh toán đã xác định của họ, sau đó họ sẽ rời khỏi mạng (hoặc, nhiều khả năng, chuyển sang vai trò khác trong mạng - trình xác thực hoặc bộ giải - tùy thuộc vào khả năng phần cứng của họ) cho đến khi tình hình đảo ngược trở lại.
Trọng tài hợp đồng: Khi người xác thực bị người tố giác thách thức, họ tham gia vào một quy trình với chuỗi để tìm ra hành động hoặc đầu vào tranh chấp ở đâu, và cuối cùng chuỗi thực hiện thao tác cơ bản cuối cùng và xác định xem thách thức có hợp lý hay không. Để giữ cho người tố cáo trung thực và đáng tin cậy và vượt qua tình trạng tiến thoái lưỡng nan của người xác thực, các lỗi bắt buộc thường xuyên và thanh toán jackpot được giới thiệu ở đây.
Quyết toán: Trong quá trình giải quyết, người tham gia được trả tiền dựa trên kết luận kiểm tra xác suất và độ chắc chắn. Tùy thuộc vào kết quả xác minh và thử thách trước đó, sẽ có các khoản thanh toán khác nhau cho các tình huống khác nhau. Nếu công việc được coi là đã được thực hiện chính xác và tất cả các kiểm tra đã vượt qua, nhà cung cấp giải pháp và người xác thực sẽ được thưởng dựa trên hành động được thực hiện.
Đánh giá ngắn gọn về dự án
Gensyn đã thiết kế một hệ thống trò chơi tuyệt vời trên lớp xác minh và lớp khuyến khích, có thể nhanh chóng xác định lỗi bằng cách tìm các điểm phân kỳ trong mạng, nhưng vẫn còn nhiều chi tiết còn thiếu trong hệ thống hiện tại. Ví dụ, làm thế nào để thiết lập các thông số để đảm bảo rằng phần thưởng và hình phạt là hợp lý mà không có ngưỡng quá cao? Trò chơi đã xem xét sự khác biệt giữa trường hợp cực đoan và sức mạnh tính toán của người giải chưa? Không có mô tả chi tiết về hoạt động song song không đồng nhất trong phiên bản hiện tại của sách trắng và có vẻ như việc triển khai Gensyn vẫn còn khó khăn và lâu dài.
Together.ai
Together là một công ty tập trung vào mã nguồn mở của các mô hình lớn và cam kết các giải pháp điện toán AI phi tập trung, hy vọng rằng bất kỳ ai cũng có thể truy cập và sử dụng AI ở bất cứ đâu. Nói một cách chính xác, Together không phải là một dự án blockchain, nhưng dự án đã giải quyết sơ bộ vấn đề độ trễ trong mạng điện toán AGI phi tập trung. Do đó, bài viết dưới đây chỉ phân tích giải pháp của Together và không đánh giá dự án.
Làm thế nào các mô hình lớn có thể được đào tạo và suy luận khi một mạng phi tập trung chậm hơn 100 lần so với một trung tâm dữ liệu?
Hãy tưởng tượng việc phân phối các thiết bị GPU tham gia vào mạng sẽ như thế nào nếu phân cấp bị loại bỏ. Các thiết bị này sẽ được phân phối trên các lục địa khác nhau, ở các thành phố khác nhau và sẽ cần được kết nối với nhau, độ trễ và băng thông của kết nối sẽ khác nhau. Như thể hiện trong hình bên dưới, một kịch bản phân tán được mô phỏng với các thiết bị được phân phối trên khắp Bắc Mỹ, Châu Âu và Châu Á, với băng thông và độ trễ khác nhau giữa các thiết bị. Vì vậy, những gì cần phải được thực hiện để kết nối nó trong chuỗi?
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-42ef6469f3-dd1a6f-cd5cc0.webp)
Mô hình máy tính đào tạo phân tán: Hình dưới đây cho thấy đào tạo mô hình cơ bản trên nhiều thiết bị và có ba loại giao tiếp về các loại giao tiếp: Kích hoạt chuyển tiếp, Chuyển độ dốc lùi và Giao tiếp bên.
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-ea4665b014-dd1a6f-cd5cc0.webp)
Kết hợp với băng thông truyền thông và độ trễ, hai dạng song song cần được xem xét: song song đường ống và song song dữ liệu, tương ứng với ba loại giao tiếp trong trường hợp đa thiết bị:
Trong song song đường ống, tất cả các lớp của mô hình được chia thành các giai đoạn, trong đó mỗi thiết bị xử lý một pha, là một chuỗi các lớp liên tục, chẳng hạn như nhiều khối biến áp; Khi vượt qua về phía trước, kích hoạt được chuyển sang giai đoạn tiếp theo, trong khi vượt qua ngược, gradient của kích hoạt được chuyển sang giai đoạn trước.
Trong song song dữ liệu, thiết bị tính toán độc lập độ dốc của các microbatch khác nhau, nhưng giao tiếp để đồng bộ hóa các gradient này.
** Tối ưu hóa lịch trình: **
Trong một môi trường phi tập trung, quá trình đào tạo thường bị giới hạn bởi giao tiếp. Các thuật toán lập lịch thường gán các tác vụ đòi hỏi một lượng lớn giao tiếp cho các thiết bị có tốc độ kết nối nhanh hơn và xem xét sự phụ thuộc giữa các tác vụ và tính không đồng nhất của mạng, chi phí của một chiến lược lập lịch cụ thể cần được mô hình hóa trước tiên. Để nắm bắt chi phí truyền thông phức tạp của việc đào tạo mô hình cơ sở, Together đề xuất một công thức mới và phân tách mô hình chi phí thành hai cấp độ thông qua lý thuyết đồ thị:
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-15383f3e42-dd1a6f-cd5cc0.webp)
Hình trên là sơ đồ của quy trình, bởi vì quá trình thực hiện thực tế liên quan đến một số công thức tính toán phức tạp. Để dễ hiểu hơn, sau đây sẽ giải thích quy trình trong sơ đồ theo thuật ngữ của giáo dân và quy trình thực hiện chi tiết có thể được tham khảo ý kiến của chính bạn trong tài liệu trên trang web chính thức của Together.
Giả sử có một thiết bị được đặt D với các thiết bị N và giao tiếp giữa chúng có độ trễ không xác định (ma trận A) và băng thông (ma trận B). Dựa trên bộ thiết bị D, trước tiên chúng tôi tạo một phân đoạn biểu đồ cân bằng. Số lượng thiết bị trong mỗi phân tách hoặc nhóm thiết bị xấp xỉ bằng nhau và tất cả chúng đều xử lý các giai đoạn quy trình giống nhau. Điều này đảm bảo rằng khi dữ liệu được song song, các nhóm thiết bị thực hiện một lượng công việc tương tự. (Song song dữ liệu là khi nhiều thiết bị thực hiện cùng một tác vụ, trong khi các giai đoạn pipelining là khi các thiết bị thực hiện các bước tác vụ khác nhau theo một thứ tự cụ thể). Dựa trên độ trễ và băng thông của giao tiếp, "chi phí" truyền dữ liệu giữa các nhóm thiết bị có thể được tính toán thông qua các công thức. Mỗi nhóm thiết bị cân bằng được kết hợp để tạo ra một biểu đồ thô được kết nối đầy đủ, trong đó mỗi nút đại diện cho một giai đoạn của đường ống và các cạnh đại diện cho chi phí giao tiếp giữa hai giai đoạn. Để giảm thiểu chi phí giao tiếp, một thuật toán phù hợp được sử dụng để xác định nhóm thiết bị nào sẽ hoạt động cùng nhau.
Để tối ưu hóa hơn nữa, vấn đề cũng có thể được mô hình hóa như một vấn đề nhân viên bán hàng du lịch vòng hở (vòng lặp mở có nghĩa là không cần phải quay lại nguồn gốc của đường dẫn) để tìm đường dẫn tối ưu để truyền dữ liệu giữa tất cả các thiết bị. Cuối cùng, Together sử dụng thuật toán lập lịch trình sáng tạo của họ để tìm ra chiến lược phân bổ tối ưu cho một mô hình chi phí nhất định, nhằm giảm thiểu chi phí truyền thông và tối đa hóa thông lượng đào tạo. Theo các phép đo thực tế, ngay cả khi mạng chậm hơn 100 lần theo tối ưu hóa lập lịch này, thông lượng đào tạo từ đầu đến cuối chỉ chậm hơn khoảng 1,7 đến 2,3 lần.
Tối ưu hóa nén giao tiếp:
! [Xem trước theo dõi tiềm năng: Thị trường điện toán phi tập trung (Phần I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a29a418c60-dd1a6f-cd5cc0.webp)
Để tối ưu hóa việc nén giao tiếp, Together giới thiệu thuật toán AQ-SGD (để biết quy trình tính toán chi tiết, vui lòng tham khảo bài viết Mô hình ngôn ngữ tinh chỉnh qua mạng chậm sử dụng Nén kích hoạt với Đảm bảo). Thuật toán AQ-SGD là một công nghệ nén chủ động mới được thiết kế để giải quyết vấn đề hiệu quả truyền thông của đào tạo song song đường ống trên mạng tốc độ thấp. Không giống như các phương pháp nén trực tiếp giá trị hoạt động trước đây, AQ-SGD tập trung vào việc nén các thay đổi về giá trị hoạt động của cùng một mẫu đào tạo trong các giai đoạn khác nhau và phương pháp độc đáo này giới thiệu một động lực "tự thực hiện" thú vị và hiệu suất của thuật toán dự kiến sẽ dần được cải thiện khi đào tạo ổn định. Sau khi phân tích lý thuyết chặt chẽ, thuật toán AQ-SGD chứng minh rằng nó có tốc độ hội tụ tốt trong các điều kiện kỹ thuật nhất định và hàm lượng tử hóa với sai số giới hạn. Thuật toán có thể được thực hiện hiệu quả mà không cần thêm chi phí thời gian chạy end-to-end bổ sung, mặc dù nó đòi hỏi nhiều bộ nhớ và SSD hơn để lưu trữ giá trị hoạt động. Thông qua xác thực thử nghiệm rộng rãi về phân loại trình tự và bộ dữ liệu mô hình hóa ngôn ngữ, AQ-SGD có thể nén các giá trị hoạt động xuống 2-4 bit mà không làm giảm hiệu suất hội tụ. Ngoài ra, AQ-SGD cũng có thể được tích hợp với các thuật toán nén gradient hiện đại để đạt được "nén giao tiếp đầu cuối", nghĩa là trao đổi dữ liệu giữa tất cả các máy, bao gồm gradient mô hình, giá trị hoạt động chuyển tiếp và gradient ngược, được nén đến độ chính xác thấp, do đó cải thiện đáng kể hiệu quả truyền thông của đào tạo phân tán. So với hiệu suất đào tạo từ đầu đến cuối của mạng máy tính tập trung (ví dụ: 10 Gbps) mà không nén, hiện tại nó chỉ chậm hơn 31%. Kết hợp với dữ liệu tối ưu hóa lịch trình, mặc dù vẫn còn một khoảng cách nhất định từ mạng lưới điện toán tập trung, nhưng có một hy vọng tương đối lớn để bắt kịp trong tương lai.
Kết luận
Trong giai đoạn cổ tức do làn sóng AI mang lại, thị trường điện toán AGI chắc chắn là thị trường có tiềm năng lớn nhất và nhu cầu cao nhất trong số nhiều thị trường điện toán. Tuy nhiên, độ khó phát triển, yêu cầu phần cứng và yêu cầu vốn cũng cao nhất. Kết hợp với hai dự án trên, vẫn còn một khoảng cách nhất định từ việc triển khai thị trường điện toán AGI và mạng phi tập trung thực sự phức tạp hơn nhiều so với tình huống lý tưởng, rõ ràng là không đủ để cạnh tranh với những gã khổng lồ đám mây. Tại thời điểm viết bài này, người ta cũng quan sát thấy rằng một số dự án đang ở giai đoạn sơ khai (giai đoạn PPT) đã bắt đầu khám phá một số điểm vào mới, chẳng hạn như tập trung vào giai đoạn suy luận ít khó khăn hơn hoặc đào tạo các mô hình nhỏ, đó là những nỗ lực thực tế hơn.
Mặc dù phải đối mặt với nhiều thách thức, nhưng điều quan trọng về lâu dài là sự phân cấp và tầm quan trọng không cần cấp phép của sức mạnh tính toán AGI không nên tập trung vào một vài gã khổng lồ tập trung. Bởi vì nhân loại không cần một "tôn giáo" mới hay một "giáo hoàng" mới, chứ đừng nói đến việc trả "phí thành viên" đắt đỏ.
thư mục
1.Gensyn Litepaper:
2.NeurIPS 2022: Khắc phục tắc nghẽn giao tiếp cho đào tạo phi tập trung:
3.Tinh chỉnh mô hình ngôn ngữ qua mạng chậm bằng cách sử dụng nén kích hoạt với đảm bảo:
4.Giao thức tính toán Machine Learning và tương lai của chúng ta:
5.Microsoft:Bản phát hành thu nhập FY23 Q2:
Cạnh tranh vé AI: BAT và Byte Meituan cạnh tranh GPU:
IDC: Báo cáo đánh giá chỉ số sức mạnh điện toán toàn cầu 2022-2023:
Ước tính đào tạo mô hình lớn của Guosheng Securities:
Wings of Information: Mối quan hệ giữa sức mạnh tính toán và AI là gì? ：