PiedPiper-Style Decentralized Inference Services for AI?

AI의 ‘비트토렌트’가 임박한 가능성인가?

의견 마이크 저지의 재미있고 chua적인 테크 브로 사티어 실리콘 밸리를昨日 재시청한 후, PiedPiper라는 ‘새로운 인터넷’을 만들기 위해 메시 네트워크를 모든 사람의 모바일폰에 설치하는 사회적으로 도전적인 지식인들이 등장하는 장면을 보았다. 이에 관심을 가지고 Eigen Labs의 DarkBloom을 보게 되었다. DarkBloom은 AI 추론을 위한 분산 메시 네트워크의 평등한 개념과 암호화 채굴 이익 동기를 결합하여, Apple Silicon Mac 시스템의 소유자는 자신의 장비를 추론 노드로 전환할 수 있다.

DarkBloom 웹사이트의 수익 섹션에서 사용자는 임대할 장비와 지원할 AI 모델을 선택할 수 있다.. 출처

현재 시스템은 Trinity Mini(3B)와 Cohere Transcribe와 같은 텍스트 기반 모델에 중점을 두고 있으며, FLUX 2 Klein 4B와 같은 다양한 이미지 생성 모델도 제공한다.

임대할 수 있는 모델의 범위와 함께 월별 예상 수익.

사용자들은 추론 제공을 통해 충분한 돈을 벌 수 있어 매월 새로운 Mac을 추가할 수 있으며,理论적으로는 추론 농장을 구축할 수 있다.

속도 제한

그러나 작은 사용자들에게는 이미 기회가 지나간 것 같다. AI의 RAM에 대한需求과 데이터 센터의 글로벌 AI 활성화로 하드웨어 및 서비스 비용이 증가하고 있다.

추론의 차이

DarkBloom의 모델은 사용자의 M[n] 칩이 추론 작업의 x%를 처리하는 것이 아니라, 완전한 추론 작업을 처리한다. NVIDIA의 TensorRT LLM과 DeepSpeed의 sharded inference와 같은 일부 프레임워크만이 단일 추론 작업에서 여러 GPU를 사용할 수 있다.

법적 감독?

이러한 분산 추론 시스템의 가장 큰 문제는 과정의 폐쇄적 성질이다. 정부는 인터넷 匿名성을 제한하는 새로운 법률을 제정하고 있으며, DarkBloom과 같은 시스템은 법적 감독을 받을 수 있다.

분할 테스트

현재 몇 가지 프로젝트가 분산 추론을 위한 메시 네트워크를 구축하고 있다. Petals는 변압기 블록을 여러 노드에 분산시키며, Hivemind는 피어 투 피어 조정을 실험하고 있다.

결론

DarkBloom과 같은 시스템은 분산 추론을 위한 메시 네트워크를 구축하고 있지만, 여러 가지 문제가 있다. 이러한 시스템이 성공하기 위해서는 많은 기술적, 법적 문제를 해결해야 한다.