Dịch vụ suy luận phân tán kiểu PiedPiper cho Trí tuệ nhân tạo?

Liệu ‘BitTorrent cho Trí tuệ nhân tạo’ có phải là một khả năng sắp tới?

Ý kiến Vừa mới xong việc xem lại bộ phim hài và châm biếm công nghệ của Mike Judge Thung lũng Silicon – trong đó một nhóm những thiên tài công nghệ socially-challenged cố gắng tạo ra một ‘internet mới’ gọi là PiedPiper, thông qua một mạng lưới mesh được cài đặt trên điện thoại di động của mọi người – tôi đã quan tâm đến việc xem cộng đồng HN tham gia với một dịch vụ mới có tính chất tương tự.

Eigen Labs’ DarkBloom nằm ở giữa ý tưởng về một mạng lưới mesh phân tán cho suy luận Trí tuệ nhân tạo, và động cơ lợi nhuận khai thác tiền điện tử, cho phép chủ sở hữu của hệ thống Mac Silicon Apple chuyển thiết bị của họ thành một nút suy luận:

Từ phần Thu nhập của trang web DarkBloom, người dùng có thể chọn thiết bị họ muốn cho thuê và mô hình Trí tuệ nhân tạo họ muốn hỗ trợ. Nguồn

Hệ thống tập trung hiện tại vào các mô hình dựa trên văn bản như Trinity Mini (3B) và Cohere Transcribe, mặc dù nó cũng cung cấp các mô hình tạo ảnh đa dạng như FLUX 2 Klein 4B:

Phạm vi mô hình mà ‘chủ nhà’ có thể chọn để cho thuê, cùng với thu nhập dự kiến hàng tháng.

Người dùng tham gia vào kế hoạch có thể kiếm được đủ tiền trong một tháng vững chắc của việc cung cấp suy luận để thường xuyên thêm một Mac mới vào một chuỗi ngày càng tăng, cho đến khi, về lý thuyết, họ có thể kiếm được một trang trại suy luận đầy đủ.

Hiệu quả, một kế hoạch như vậy nếu thực sự đạt được phổ biến (nó có một vấn đề khởi động lạnh tại thời điểm này) có thể đưa người dùng cá nhân hào hứng trở lại vào một tư thế tìm kiếm phần cứng, như trong cơn sốt tiền điện tử lớn cuối cùng (và sự sụp đổ sau đó).

Không quá nhanh

Tuy nhiên, đối với những người nhỏ, con thuyền đó có thể đã ra khơi. Ngoài nhu cầu khủng khiếp về RAM của Trí tuệ nhân tạo, nhu cầu về trang thiết bị trung tâm dữ liệu được kích hoạt bởi Trí tuệ nhân tạo trên toàn cầu tiếp tục tăng chi phí phần cứng và dịch vụ cho người tiêu dùng thông thường, những người trước đây đã có thể độc chiếm RAM cho việc khai thác tiền điện tử, do tính chất ngoại vi của hoạt động, cũng như sự không chắc chắn về quy định, điều này đã giữ cho các lợi ích kinh doanh thận trọng về tiền điện tử.

Trong khi MacBook Neo siêu rẻ đã xuất hiện như một sự thay thế đánh bại phần cứng ngày càng tăng, chip điện thoại di động A18 và 8GB VRAM của nó không đưa nó vào sự cạnh tranh nghiêm túc như một máy suy luận.

Nhưng ngay cả khi người dùng cuối không tìm cách bắt đầu một trang trại suy luận đầy đủ, và chỉ muốn cho thuê khả năng M[n] chưa sử dụng hiện tại của họ, thu nhập tiềm năng dường như đáng kể, nếu vấn đề khởi động lạnh (sự thiếu hụt người dùng ban đầu khi mở một vấn đề phụ thuộc vào số lượng người tham gia lớn) nhanh chóng giải quyết, và nếu nền tảng bắt đầu quảng cáo mình như một cái gì đó hơn một thí nghiệm tò mò về nhu cầu tiềm năng.

Suy luận khác

Mặc dù một số người bình luận đã nhận ra một nền dân chủ kiểu PiedPiper/Torrent trong kế hoạch của DarkBloom, các nhiệm vụ suy luận không dễ chia nhỏ như phân mảnh một tệp phim vào nhiều phần băm, để nó có thể được tái lập lại trong một trình khách torrent.

Mô hình DarkBloom không đề xuất rằng một nút M[n] của người tham gia xử lý x% của một nhiệm vụ suy luận. Trong sử dụng chính thống, chỉ một số khuôn khổ hoặc phương pháp có thể đạt được loại sử dụng song song trên một nhiệm vụ suy luận duy nhất, bao gồm TensorRT LLM của NVIDIA, sử dụng song song đường ống; và suy luận phân mảnh của DeepSpeed, tận dụng song song mô hình (MP).

Thay vào đó, Mac DarkBloom được bật của bạn sẽ tải xuống và kích hoạt một trong các mô hình được liệt kê và thực hiện 100% suy luận cho người dùng trả tiền, với mã hóa từ đầu đến cuối, và với các lời nhắc giải mã chỉ trên các nút được chứng thực bởi phần cứng, có nghĩa là các nhà cung cấp sẽ không thể đọc dữ liệu trong quá trình thực hiện. Gánh nặng công việc sẽ cấu thành một hoặc nhiều suy luận dựa trên văn bản, hoặc ít nhất một hình ảnh hoàn chỉnh.

Không rõ một phiên làm việc của người dùng duy nhất sẽ kéo dài bao lâu; như nó đứng, những người đam mê Trí tuệ nhân tạo đã quen với việc bảo mật một GPU thông qua các trang trại suy luận như RunPod; mặc dù nó có thể mất một thời gian để bảo mật GPU mong muốn tại thời điểm sử dụng cao điểm, người dùng sẽ độc chiếm nó miễn là phiên không được phép hết hạn.

Vì vậy, có thể một người dùng trả tiền duy nhất có thể sử dụng khả năng Trí tuệ nhân tạo của M-series trên một Mac DarkBloom thuê trong một phiên rất dài, trừ khi có một lợi thế hậu cần hoặc tuân thủ nào đó trong việc luân chuyển khách hàng giữa các yêu cầu.

Mac đã được chỉ định cho cách tiếp cận này, rõ ràng, vì chỉ có một số lượng hạn chế các cấu hình kỹ thuật có thể cho một người tham gia, và vì vậy rất dễ dàng phân bổ các mô hình có kích thước phù hợp cho một khách hàng.

Ngoài ra, Mac có khả năng đóng góp cho một mạng DarkBloom có một khu vực an toàn phần cứng đảm bảo một bức tường giữa người dùng và nhà cung cấp.

Đây là tất cả các yếu tố không dễ dàng hợp lý hóa trên các thiết lập tùy chỉnh, chung chung hơn, và trên hàng trăm hoặc hàng nghìn máy tính xách tay / máy tính để bàn Windows và Linux có sẵn trong 6-7 năm qua.

Tuy nhiên, phải rõ ràng rằng hồ bơi phần cứng không phải Mac lớn hơn có thể đáp ứng nhu cầu lớn nếu các đặc điểm đa dạng của chúng có thể được hợp lý hóa, thay vì – như với DarkBloom – bắt một chuyến đi trên các bộ spec hạn chế của Apple, điều này tạo ra một đề xuất kinh doanh dễ dàng, và một cách tiếp cận kiến trúc (presumably) dễ dàng hơn.

Giám sát pháp lý?

Có lẽ vấn đề lớn nhất đối mặt với một giải pháp ‘dân chủ’ như vậy là tính chất đóng của quá trình được đề xuất; các chính phủ trên toàn thế giới hiện đang tham gia vào các luật mới sẽ hiệu quả chấm dứt tính ẩn danh của internet ở bất cứ nơi nào được учрежд, và rõ ràng không có tâm trạng ủng hộ quyền riêng tư trong giai đoạn này.

Do đó, triển vọng về suy luận Trí tuệ nhân tạo ngẫu nhiên được thực hiện mà không có bộ lọc, kiểm tra hoặc cân bằng, trên một mạng phân tán (nếu bạn có thể gọi DarkBloom là như vậy – nó hơn là một thị trường suy luận) dường như, một cách iron, xa vời.

Có thể DarkBloom, hoặc các kế hoạch mesh suy luận sau này, sẽ cần phải đồng ý với các cửa hậu hiệu quả hạn chế quyền riêng tư cho chủ nhà, những người sẽ không thể xem các công việc của khách hàng đang chạy; thay vào đó, dữ liệu suy luận trả về sẽ được cung cấp thông qua các cấu trúc trung gian của cơ quan chính phủ, giữ tất cả suy luận có thể kiểm toán được.

Dường như, nếu một loạt các luật mới đề xuất kiểm tra danh tính cấp hệ điều hành có thể đạt được sự áp dụng rộng rãi, những biện pháp như vậy có thể trở nên dư thừa. Nhưng không có chúng, việc xem xét khí hậu hiện tại, một mạng DarkBloom-style sẽ có thể được coi là một ‘darknet’ Trí tuệ nhân tạo, nơi các hoạt động bất hợp pháp dựa trên Trí tuệ nhân tạo có thể xảy ra bí mật.

Thử nghiệm phân chia

Cho đến nay đã có rất ít nỗ lực thực sự để làm những gì một hệ thống ‘kiểu PiedPiper’ ngụ ý; bản thân DarkBloom nằm ở một cực, phân phối các công việc hoàn chỉnh cho các máy riêng lẻ thay vì cố gắng phân mảnh chúng trên một mạng, trong khi hầu hết các hệ thống sản xuất đơn giản tránh vấn đề hoàn toàn bằng cách giữ suy luận trên một máy chủ duy nhất.

Tuy nhiên, có một số dự án đại diện cho một thứ gì đó gần giống với ‘thực hiện chia sẻ’.

Petals, được mô tả tích cực như một mạng ‘kiểu BitTorrent’, phân phối các khối transformer trên nhiều nút kết nối internet, truyền trạng thái trung gian giữa chúng:

Một luồng công việc điển hình của Petals, nơi một yêu cầu suy luận duy nhất được định tuyến trên nhiều nút GPU từ xa, mỗi nút giữ một tập hợp con của các lớp mô hình; không giống như DarkBloom, thực hiện được phân mảnh trên mạng, với các trạng thái trung gian được truyền giữa các nút hoạt động độc lập, tăng độ trễ và phơi bày tại mỗi bước nhảy trong khi xấp xỉ một hệ thống kiểu mesh thực sự. Nguồn

Hivemind thực nghiệm với sự phối hợp và định tuyến chuyên gia tương tự, mặc dù trong dịch vụ đào tạo mô hình chứ không phải suy luận từ các mô hình đã được đào tạo; và Lattica tập trung vào lớp mạng cơ bản cần thiết để làm cho các hệ thống như vậy khả thi:

Một sơ đồ của Lattica, hiển thị một lớp nền tảng ngang hàng thấp hơn xử lý NAT traversal, phân phối nội dung và phối hợp DHT; suy luận phân mảnh xuất hiện chỉ như một lớp ứng dụng có thể. Nguồn –

Tất cả ba mô hình này tiếp cận lý tưởng về mạng lưới, nhưng với chi phí độ trễ, không ổn định và phơi bày.

Ngược lại, exo giữ suy luận trong một cụm địa phương, sử dụng các kết nối nhanh để chia gánh nặng công việc trên các GPU, mà không dựa vào internet công cộng. Trong thực tế, một thiết lập như vậy hoạt động ít giống một mạng lưới phân tán và nhiều hơn như một máy duy nhất được mở rộng, mặc dù có khả năng rõ ràng để mở rộng cách tiếp cận này trên một mạng rộng hơn:

Một tầm nhìn cụm từ exo, hiển thị một vòng nhỏ của các máy Apple Silicon địa phương cùng nhau lưu trữ một mô hình duy nhất, với phân chia đường ống hoặc phân chia tensor phân phối các lớp trên các nút; không giống như các hệ thống dựa trên WAN, exo dựa vào các kết nối nhanh địa phương, hiệu quả biến nhiều thiết bị thành một máy suy luận tổng hợp duy nhất. Nguồn

Cuối cùng, một số cách tiếp cận thường được trích dẫn không giải quyết suy luận chút nào: FedAvg của Google (2016); SplitNN của MIT (2018); và SplitFed của Úc (2020), liên quan đến đào tạo phân tán hoặc trao đổi dữ liệu bảo mật, chứ không phải yêu cầu suy luận trực tiếp.

Vì đào tạo là một triển vọng tài nguyên nhiều hơn suy luận, bất kỳ mạng nào chứng minh được khả năng phân phối gánh nặng như vậy hiệu quả, trên các cụm hoặc nút, có thể có một phần quan tâm không tương xứng từ cả những người đam mê và doanh nghiệp sau này.

Kết luận

Vì phần lớn công nghệ trong Thung lũng Silicon là sáng chế hoang dã, chúng tôi không biết liệu PiedPiper có thực sự được thúc đẩy bởi băm (tức là chia và phân phối dữ liệu thành các mảnh, theo kiểu torrent) hay không, hoặc liệu nó ‘giải quyết’ một nhiệm vụ hoặc thậm chí một phiên trên bất kỳ nút nào tại bất kỳ thời điểm nào, điều mà DarkBloom làm.

Tuy nhiên, sự chạy đua hiện tại để cung cấp phần cứng đào tạo và suy luận tại cấp độ trung tâm dữ liệu cho thấy rằng lĩnh vực cung cấp hoặc phục vụ mọi người, theo kiểu RunPod, hoặc đang chuẩn bị cho cấp độ cung cấp doanh nghiệp cao cấp nhất – một triển vọng hấp dẫn bị suy yếu bởi sự thiếu hào quang chung trong triển khai Trí tuệ nhân tạo.

Nếu suy luận mạng lưới trở thành một thực tế, có lý khi mong đợi rằng trong số những nỗ lực đầu tiên để tận dụng nó sẽ là từ những người đi trước, như OpenAI và Anthropic, những người có thể triển khai các hệ thống chuyên dụng trong một cơ sở ứng dụng khổng lồ hiện có, hoặc hợp tác trên các hệ thống mã nguồn mở dễ cài đặt (vì các công ty có quy mô và phạm vi này có tiền và động lực để đơn giản hóa các cài đặt khó khăn của loại này).

Về việc liệu một mạng lưới phân tán, được điều khiển bởi người dùng, có thể xuất hiện hay không, một số yếu tố được sắp xếp chống lại nó.

Trước hết, sự thúc đẩy toàn cầu hiện tại chống lại mã hóa và ẩn danh có thể loại bỏ hoặc làm suy yếu nhiều cơ chế làm cho các hệ thống như BitTorrent ẩn danh, như mã hóa từ đầu đến cuối và VPN. Một khi các luồng mã hóa ‘chung chung’ che giấu các giao thức như vậy được mở để kiểm tra, các lớp giám sát và cấm mới trở nên khả thi, và điều này có thể làm suy yếu sự hấp dẫn của một hệ thống kiểu DarkBloom.

Thứ hai, các quy định mới hoặc được đề xuất chống lại ‘lạm dụng’ Trí tuệ nhân tạo, hoặc chống lại hoạt động ẩn danh của các khuôn khổ mã nguồn mở, có nghĩa là chi phí tuân thủ – nhỏ tại cấp độ doanh nghiệp – sẽ có khả năng loại bỏ bất kỳ người chơi nhỏ nào khỏi thị trường.

Cuối cùng – sức mạnh của một người chơi lớn trong lĩnh vực để Nuôi dưỡng, Mở rộng và Tuyệt chủng (EEE, như Facebook và Twitter có thể đã làm với các cộng đồng internet ad hoc hơn), có nghĩa là các diễn viên chính hiện tại có thể hoạt động hóa và đơn giản hóa mô hình mạng lưới để phục vụ lợi ích của họ, trong một thị trường nơi người dùng cuối hầu như không chịu đựng được bất kỳ ma sát nào trong việc áp dụng.

Được xuất bản lần đầu vào thứ Năm, ngày 16 tháng 4 năm 2026