Dịch vụ suy luận phi tập trung theo phong cách PiedPiper cho AI?

Liệu ‘BitTorrent cho AI’ có phải là một khả năng sắp tới?

Ý kiến Vừa mới xong việc xem lại bộ phim hài kịch và châm biếm về công nghệ Thung lũng Silicon của Mike Judge – trong đó một nhóm những thiên tài lập trình có vấn đề về xã hội cố gắng tạo ra một ‘internet mới’ gọi là PiedPiper, thông qua một mạng lưới kết được cài đặt trên điện thoại di động của mọi người – tôi đã quan tâm đến việc cộng đồng HN tham gia với một đề xuất mới có tính chất tương tự.

Eigen Labs’ DarkBloom nằm ở giữa ý tưởng về một mạng lưới kết phi tập trung cho suy luận AI và động cơ lợi nhuận từ khai thác tiền điện tử, cho phép chủ sở hữu của hệ thống Mac Apple Silicon chuyển thiết bị của họ thành một nút suy luận:

Từ phần Thu nhập của trang web DarkBloom, người dùng có thể chọn thiết bị họ muốn cho thuê và mô hình AI họ muốn hỗ trợ. Nguồn

Hệ thống tập trung hiện tại vào các mô hình dựa trên văn bản như Trinity Mini (3B) và Cohere Transcribe, mặc dù nó cũng cung cấp các mô hình tạo ảnh đa dạng như FLUX 2 Klein 4B:

Phạm vi mô hình mà ‘chủ nhà’ có thể chọn để cho thuê, cùng với thu nhập dự kiến hàng tháng.

Người dùng tham gia vào kế hoạch có thể kiếm được đủ tiền trong một tháng cung cấp suy luận để thường xuyên thêm một Mac mới vào chuỗi ngày càng tăng, cho đến khi, về lý thuyết, họ có thể kiếm được một trang trại suy luận hoàn chỉnh.

Hiệu quả, một kế hoạch như vậy nếu thực sự đạt được phổ biến (nó có một vấn đề khởi động lạnh hiện tại) có thể đưa người dùng cá nhân trở lại trạng thái tìm kiếm phần cứng, như trong cơn sốt tiền điện tử lớn cuối cùng (và sụp đổ sau đó).

Không Vội Vàng

Tuy nhiên, đối với những người nhỏ, con thuyền đó có thể đã ra khơi. Ngoài nhu cầu tồi tệ về RAM của AI, nhu cầu về trang thiết bị trung tâm dữ liệu được kích hoạt bởi AI trên toàn cầu tiếp tục tăng chi phí phần cứng và dịch vụ cho người tiêu dùng thông thường, những người trước đây đã có thể độc chiếm RAM cho khai thác tiền điện tử, do tính chất ngoại vi của hoạt động, cũng như sự không chắc chắn về quy định, điều này đã giữ cho các lợi ích kinh doanh thận trọng về tiền điện tử.

Trong khi MacBook Neo siêu rẻ đã xuất hiện như một sự thay thế đánh bại sự gia tăng phần cứng, chip điện thoại di động A18 và 8GB VRAM của nó không đưa nó vào sự cạnh tranh nghiêm túc như một máy suy luận.

Nhưng ngay cả khi người dùng cuối không tìm cách bắt đầu một trang trại suy luận hoàn chỉnh, và chỉ muốn cho thuê khả năng M[n] không sử dụng hiện tại của họ, thu nhập tiềm năng dường như đáng kể, nếu vấn đề khởi động lạnh (sự thiếu hụt ban đầu của người dùng tại thời điểm mở một vấn đề phụ thuộc vào số lượng lớn người tham gia) nhanh chóng được giải quyết, và nếu nền tảng bắt đầu quảng cáo mình như một cái gì đó hơn một thí nghiệm tò mò về nhu cầu tiềm năng.

Khác Biệt

Mặc dù một số người bình luận đã nhận ra một nền dân chủ kiểu PiedPiper/Torrent trong kế hoạch của DarkBloom, các nhiệm vụ suy luận không dễ chia nhỏ như chia nhỏ một tệp phim thành nhiều phần được băm, để nó có thể được tái lập lại trong một khách hàng torrent.

Mô hình DarkBloom không đề xuất rằng một phần trăm x của một nhiệm vụ suy luận sẽ được xử lý bởi chip M[n] của một người tham gia. Trong sử dụng chính thống, chỉ một số khung hoặc phương pháp có thể đạt được loại sử dụng song song trên một nhiệm vụ suy luận trên một GPU, bao gồm TensorRT LLM của NVIDIA, sử dụng song song đường ống; và suy luận phân mảnh của DeepSpeed, tận dụng song song mô hình (MP).

Thay vào đó, Mac của bạn được bật bởi DarkBloom sẽ tải xuống và khởi chạy một trong các mô hình được liệt kê và thực hiện 100% suy luận cho người dùng trả tiền, với mã hóa từ đầu đến cuối, và với các lời nhắc được giải mã chỉ trên các nút được chứng thực bởi phần cứng, có nghĩa là các nhà cung cấp sẽ không thể đọc dữ liệu trong quá trình thực hiện. Nhiệm vụ chính sẽ bao gồm một hoặc nhiều suy luận dựa trên văn bản, hoặc ít nhất một hình ảnh hoàn chỉnh.

Nó không rõ ràng về mức độ rộng của một phiên người dùng duy nhất; như nó đứng, những người đam mê AI đã quen với việc bảo đảm một GPU thông qua các trang trại suy luận như RunPod; mặc dù nó có thể mất một chút thời gian để bảo đảm GPU mong muốn tại thời điểm sử dụng cao điểm, người dùng sẽ được độc chiếm nó miễn là phiên không được phép hết hạn.

Vì vậy, có thể một người dùng trả tiền duy nhất có thể sử dụng khả năng AI của một Mac DarkBloom cho thuê trong một phiên rất dài, trừ khi có một lợi thế hậu cần hoặc tuân thủ nào đó trong việc luân chuyển khách hàng giữa các yêu cầu.

Macs đã được chọn cho cách tiếp cận này, rõ ràng, vì chỉ có một số lượng hạn chế các cấu hình kỹ thuật có thể cho một người tham gia, và do đó dễ dàng gán các mô hình có kích thước phù hợp cho một khách hàng.

Ngoài ra, Macs có khả năng đóng góp cho một mạng DarkBloom có một khu vực an toàn phần cứng đảm bảo một bức tường giữa người dùng và nhà cung cấp.

Đây là tất cả các yếu tố không dễ dàng hợp lý hóa trên các thiết lập tùy chỉnh hơn, và trên hàng trăm hoặc hàng nghìn máy tính xách tay/máy tính để bàn Windows và Linux đã biết trong 6-7 năm qua.

Tuy nhiên, phải rõ ràng rằng hồ bơi phần cứng không phải Mac lớn hơn có thể đáp ứng nhu cầu khổng lồ nếu các đặc điểm đa dạng của chúng có thể được hợp lý hóa, thay vì – như với DarkBloom – gắn vào các bộ spec hạn chế của Apple, điều này tạo ra một đề xuất kinh doanh dễ dàng, và một cách tiếp cận kiến trúc (được cho là) dễ dàng hơn.

Giám sát Pháp lý?

Có lẽ vấn đề lớn nhất mà một giải pháp ‘dân chủ’ như vậy phải đối mặt là tính chất đóng của quá trình được đề xuất; các chính phủ trên toàn thế giới hiện đang tham gia vào các đạo luật mới sẽ có hiệu quả chấm dứt tính ẩn danh của internet ở bất cứ nơi nào được đưa ra, và rõ ràng không có tâm trạng ủng hộ quyền riêng tư trong giai đoạn này.

Vì vậy, triển vọng về suy luận AI ngẫu nhiên được thực hiện mà không có bộ lọc, kiểm tra hoặc cân bằng, trên một mạng phân tán (nếu bạn có thể gọi DarkBloom là như vậy – nó hơn là một thị trường suy luận) dường như, một cách hài hước, xa vời.

Nó có thể rằng DarkBloom, hoặc các kế hoạch suy luận lưới tiếp theo, sẽ cần phải đồng ý với các cửa hậu hiệu quả hạn chế quyền riêng tư đối với host, người sẽ không thể nhìn thấy công việc của khách hàng chạy; thay vào đó, dữ liệu suy luận trả về sẽ được cung cấp thông qua cấu trúc trung gian của cơ quan chính phủ (MiTM), giữ tất cả suy luận có thể kiểm toán.

Giả sử, nếu một loạt các đạo luật mới đề xuất kiểm tra danh tính cấp hệ điều hành có thể đạt được sự áp dụng rộng rãi, các biện pháp như vậy có thể trở nên thừa. Nhưng không có chúng, việc xem xét khí hậu hiện tại, một mạng lưới DarkBloom sẽ có thể được coi là một ‘darknet’ AI, nơi các hoạt động dựa trên AI bất hợp pháp có thể xảy ra bí mật.

Thử nghiệm Phân chia

Cho đến nay đã có rất ít nỗ lực thực sự để làm những gì một hệ thống ‘kiểu PiedPiper’ ngụ ý; DarkBloom nằm ở một cực, phân phối các công việc hoàn chỉnh cho các máy riêng lẻ thay vì cố gắng phân mảnh chúng trên một mạng, trong khi hầu hết các hệ thống sản xuất đơn giản tránh vấn đề hoàn toàn bằng cách giữ suy luận trên một host duy nhất.

Có một số dự án đại diện cho một chút gần hơn với ‘thực hiện chia sẻ’.

Petals, tự mô tả mình là một ‘mạng lưới kiểu BitTorrent’, phân phối khối transformer trên nhiều nút kết nối internet, truyền trạng thái trung gian giữa chúng:

Một luồng công việc Petals điển hình, nơi một yêu cầu suy luận đơn được định tuyến qua nhiều nút GPU từ xa, mỗi nút giữ một tập hợp các lớp mô hình; không giống như DarkBloom, thực hiện được phân mảnh trên mạng, với trạng thái trung gian được truyền giữa các nút độc lập, tăng độ trễ và phơi bày tại mỗi bước nhảy trong khi xấp xỉ một hệ thống lưới thực sự. Nguồn

Hivemind thực hiện các chức năng tương tự về phối hợp và định tuyến chuyên gia ngang hàng, mặc dù trong dịch vụ đào tạo mô hình thay vì suy luận từ các mô hình đã được đào tạo; và Lattica tập trung vào lớp mạng cơ bản cần thiết để làm cho các hệ thống như vậy khả thi:

Một sơ đồ của Lattica, cho thấy một lớp nền ngang hàng thấp hơn xử lý xuyên NAT, phân phối nội dung và phối hợp DHT, với suy luận phân mảnh xuất hiện chỉ như một lớp ứng dụng có thể. Không giống như DarkBloom hoặc Petals, Lattica không định nghĩa một hệ thống suy luận riêng, nhưng cung cấp các nguyên tắc mạng và đồng bộ hóa cần thiết để xây dựng một hệ thống như vậy. Nguồn –

Tất cả ba mô hình này tiếp cận lý tưởng lưới, nhưng với chi phí độ trễ, không ổn định và phơi bày.

Ngược lại, exo giữ suy luận trong một cụm địa phương, sử dụng các kết nối nhanh để chia sẻ tải trên các GPU, mà không dựa vào internet công cộng. Trong thực tế, một thiết lập như vậy hành động ít giống một mạng lưới phân tán và nhiều hơn như một máy mở rộng duy nhất, mặc dù có khả năng rõ ràng để mở rộng cách tiếp cận này trên một mạng rộng hơn:

Một hình xem từ exo, cho thấy một vòng tròn nhỏ của máy Apple Silicon địa phương cùng nhau lưu trữ một mô hình duy nhất, với phân mảnh đường ống hoặc phân mảnh tensor phân phối các lớp trên các nút; không giống như các hệ thống dựa trên WAN, exo dựa vào các kết nối nhanh địa phương, hiệu quả chuyển đổi nhiều thiết bị thành một máy suy luận hợp thành duy nhất. Nguồn

Cuối cùng, một số cách tiếp cận thường được trích dẫn không giải quyết suy luận hoàn toàn: FedAvg cổ điển (2016) của Google; SplitNN của MIT năm 2018; và SplitFed của Úc năm 2020, liên quan đến đào tạo phân tán hoặc trao đổi dữ liệu bảo mật, chứ không phải là việc cung cấp yêu cầu suy luận trực tiếp.

Vì đào tạo là một triển vọng nhiều tài nguyên hơn suy luận, bất kỳ mạng nào chứng minh được khả năng phân phối tải như vậy hiệu quả, trên các cụm hoặc nút, có thể có một phần quan tâm không tương xứng từ những người đam mê và doanh nghiệp sau này.

Kết luận

Vì phần lớn công nghệ trong Thung lũng Silicon là sáng tạo hoang dã, chúng ta không biết liệu PiedPiper có thực sự được thúc đẩy bởi băm (tức là chia và phân phối dữ liệu thành các mảnh, theo kiểu torrent) hay không, hay liệu nó ‘đặt’ một nhiệm vụ hoặc thậm chí một phiên trên bất kỳ nút nào tại bất kỳ thời điểm nào, điều mà DarkBloom thực hiện.

Tuy nhiên, cuộc chạy đua hiện tại để cung cấp phần cứng đào tạo và suy luận tại cấp độ trung tâm dữ liệu cho thấy rằng lĩnh vực cung cấp đang dự kiến sẽ phục vụ mọi người, theo phong cách RunPod, hoặc đang chuẩn bị cho cấp độ doanh nghiệp cao cấp nhất – một triển vọng hấp dẫn bị phá vỡ bởi sự thiếu hào quang chung trong triển khai AI.

Nếu suy luận lưới trở thành hiện thực, có lý khi mong đợi rằng trong số những nỗ lực đầu tiên để tận dụng nó sẽ là từ những người đi trước, chẳng hạn như OpenAI và Anthropic, những người có thể triển khai các hệ thống chuyên dụng trong một cơ sở ứng dụng khổng lồ hiện có, hoặc hợp tác trên các hệ thống mã nguồn mở dễ dàng cài đặt (vì các công ty có quy mô và phạm vi như vậy có tiền và động lực để简化 các cài đặt khó khăn của loại này).

Về việc liệu một mạng lưới người dùng được thúc đẩy bởi người dùng có thể xuất hiện, một đối tác AI thực sự của BitTorrent – một số yếu tố được sắp xếp chống lại nó.

Trước hết, cuộc chạy đua toàn cầu chống lại mã hóa và ẩn danh có thể loại bỏ hoặc làm suy yếu nhiều cơ chế làm cho các hệ thống như BitTorrent trở nên ẩn danh, chẳng hạn như mã hóa từ đầu đến cuối và VPN. Một khi các luồng mã hóa ‘chung’ che giấu các giao thức như vậy được mở để kiểm tra, các lớp giám sát và cấm mới trở nên có thể, và điều này có thể làm suy yếu sự hấp dẫn của một hệ thống DarkBloom.

Thứ hai, các quy định mới nổi hoặc được đề xuất chống lại ‘lạm dụng’ AI, hoặc chống lại hoạt động ẩn danh của các khung nguồn mở, có nghĩa là chi phí tuân thủ – nhỏ tại cấp độ doanh nghiệp – có khả năng sẽ loại bỏ bất kỳ người chơi nhỏ nào khỏi thị trường.

Cuối cùng – sức mạnh của một người chơi lớn trong lĩnh vực để chấp nhận, mở rộng và loại bỏ (EEE, như Facebook và Twitter có thể đã làm với các cộng đồng internet ad hoc), có nghĩa là các người chơi chính hiện tại có thể vận hành và tinh chỉnh mô hình lưới để phục vụ lợi ích của họ, trong một thị trường mà người dùng cuối hầu như không thể chịu đựng được sự ma sát trong việc áp dụng.

Được xuất bản lần đầu vào thứ Năm, ngày 16 tháng 4 năm 2026