파이프다이퍼 스타일의 분산 인퍼런스 서비스 для AI?

AI를 위한 ‘비트토렌트’가 임박한 가능성인가?

의견 마이크 저지의 재미있고 날카로운 테크 브로 사티어 실리콘 밸리를昨일 재시청한 후 – 여기서 몇몇의 사회적으로 도전적인 지식인들이 ‘새로운 인터넷’을 만들려고 시도하는 것을 보았는데, 그것은 파이프다이퍼라는 이름의 메시 네트워크를 통해 mọi 사람의 모바일 폰에 설치된 – 나는 HN 커뮤니티가 새로운 제안과 함께 взаимодейств하는 것을 보는 데 관심이 있었다.

이젠 랩스의 다크블룸은 AI 인퍼런스에 대한 분산 메시 네트워크의 평등주의적 개념과 크립토 마이닝 수익 동기를 결합하여, 애플 실리콘 맥 시스템의 소유자가 자신의 장비를 인퍼런스 노드로 전환할 수 있도록 한다:

다크블룸 웹사이트의 수입 섹션에서 사용자는 임대할 장비와 지원할 AI 모델을 선택할 수 있다. 출처

현재 시스템은 텍스트 기반 모델인 트리니티 미니(3B)와 코히어 트랜스크라이브에 집중하고 있으며, 플럭스 2 클라인 4B와 같은 다양한 이미지 생성 모델도 제공한다:

임대할 수 있는 모델과 함께 월간 예상 수입이 표시된다

이 방식에 참여하는 사용자는 충분한 기간 동안 인퍼런스를 제공하여 매월 새로운 맥을 추가할 수 있는 돈을 벌 수 있다.

이러한 방식의 계획이本当に 인기를 얻는다면(현재는 콜드 스타트 문제가 있다), 이는 사용자를 하드웨어를 찾는 입장으로 돌아가게 할 수 있다. 마지막 큰 크립토 커런시 붐(그리고 이후의 붕괴)과 같다.

서두르지 마세요

그러나 작은 규모의 사용자에게는 이미 기회가 지나간 것 같다. AI가 RAM에 대한 엄청난需求을 가지고 있다는 것 외에도, 글로벌 AI를 위한 데이터 센터 구축에 대한 수요는 계속해서 하드웨어와 서비스 비용을 증가시키고 있다. 이는 이전에 크립토 마이닝을 위해 RAM을 독점적으로 사용할 수 있었던 일반 사용자에게는 어려운 상황이다.

슈퍼 저렴한 맥북 네오가 등장했지만, 이는 하드웨어 비용을 끌어올리며 RAM을 독점적으로 사용할 수 있는 대안이 되었다.

그러나 사용자가 전체 인퍼런스 팜을 시작하려고 하는 것이 아니라, 현재 사용하지 않는 M[n] 용량을 임대하려는 경우, 잠재적인 수입은 상당하다. 그러나 콜드 스타트 문제가 빨리 해결되고, 플랫폼이 더 이상 실험적인 수요가 아닌 것으로 자신을 홍보하기 시작하면 말이다.

다르게 추론하세요

몇몇의 댓글러는 다크블룸의 방식에서 파이프다이퍼/토렌트 스타일의 민주주의를 인식했다. 그러나 인퍼런스 작업은 영화 파일을 여러 개의 해시된 조각으로 나누어 이후 토렌트 클라이언트에서 재조합할 수 있는 것과 같이 쉽게 분할되지 않는다.

다크블룸 모델은 참여자의 M[n] 칩이 인퍼런스 작업의 x%를 처리하는 것을 제안하지 않는다. 일반적인 사용에서, 몇몇의 프레임워크나 방법론만이 단일 인퍼런스 작업에서 크로스-GPU 사용을 달성할 수 있다. 이는 NVIDIA의 TensorRT LLM이 사용하는 파이프라인 병렬성과 DeepSpeed의 샤딩된 인퍼런스가 사용하는 모델 병렬성을 포함한다.

대신, 다크블룸을 사용하는 맥은 목록에 있는 모델을 다운로드하고 실행하여 100%의 인퍼런스를 수행할 것이다. 이는 끝에서 끝까지의 암호화와 함께 수행되며, 프롬프트는 하드웨어로 인증된 노드에서만 해독된다. 이는 제공자가 데이터를 실행 중에 읽을 수 없다는 것을 의미한다.

단일 사용자 세션이 얼마나 지속되는지 명확하지 않다. 현재 AI 취미를 가진 사람들은 런포드와 같은 인퍼런스 팜을 통해 GPU를 확보하는 데 익숙하다. 그러나 사용자 세션이 만료되지 않는 한, 사용자는 GPU를 독점적으로 사용할 수 있다.

따라서 단일 사용자는 단일 임대된 다크블룸 맥의 M시리즈 AI 기능을 매우 긴 세션 동안 사용할 수 있다. 그러나 클라이언트를 요청 사이에 교체하는 것이 있으면, 로지스틱 또는 컴플라이언스상의 이점이 있을 수 있다.

맥은 이 접근 방식에 대해 선택되었는데, 참여자에게 가능한 기술 구성이 제한되어 있기 때문이다. 또한 맥은 사용자와 공급자 사이에 벽을 보장하는 하드웨어 보안 영역을 가지고 있다.

이러한 요인은 더 일반적인 사용자 지정 설정이나 윈도우와 리눅스 랩톱/데스크톱 머신에서 합리화하기 어렵다.

그러나 더 큰 비맥 하드웨어 풀은 수요가 크면 다루기 어렵다. 그러나 그 다양한 특성을 합리화할 수 있다면 말이다.

법적 감시?

이러한 종류의 ‘민주적인’ 솔루션에 직면하는 가장 큰 문제는 제안된 과정의 폐쇄된 성격이다. 전 세계 정부는 현재 인터넷 匿名性을 효과적으로 종료할 법률을 제정하고 있다. 이는 다크블룸 스타일의 네트워크가 개인 정보를 보호하지 않는다는 것을 의미한다.

따라서 임의의 AI 인퍼런스가 분산 네트워크에서 필터, 검사 또는 밸런스를 없이 수행되는 것은, 아이로니컬하게도, 원격이다.

다크블룸이나 이후의 메시 인퍼런스 계획은 개인 정보를 제한하고, 호스트가 클라이언트 작업을 볼 수 없도록 백도어에 동의해야 할 수 있다. 반환된 인퍼런스 데이터는 정부 기관의 중간자 구조를 통해 사용할 수 있게 된다. 이는 모든 인퍼런스를 감시할 수 있게 한다.

새로운 법률이 운영 체제 수준의 身分 확인을 제안하는 경우, 이러한 조치는 필요가 없을 수 있다. 그러나 현재의 기후를 고려하면, 다크블룸 스타일의 네트워크는 AI ‘다크넷’으로 간주될 수 있다. 여기서 불법적인 AI 기반 활동이 비밀리에 발생할 수 있다.

분할 테스트

현재까지真正한 ‘파이프다이퍼 스타일’ 시스템을 구현하려는 시도가 거의 없다. 다크블룸은 네트워크에 전체 작업을 분산시키는 대신, 개별 기계에 전체 작업을 할당한다.

그러나 몇몇 프로젝트는 ‘공유 실행’에 조금 더 가까운 접근 방식을 나타낸다.

펫츠는 여러 인터넷 연결 노드에 걸쳐 트랜스포머 블록을 분산시키며, 중간 상태를 노드 사이에서 전달한다:

펫츠 워크플로우, 단일 인퍼런스 요청이 여러 원격 GPU에路由되며, 각 노드가 모델 레이어의 하위 집합을 보유한다. 이는 다크블룸과 다르게, 네트워크에서 실행이 분할되고, 중간 상태가 독립적으로 운영되는 노드 사이에서 전달되며, 각 홉에서 대기 시간과 노출이 증가한다. 출처

하이브마인드는 피어 투 피어 조정과 전문가 라우팅을 실험한다. 그러나 이는 이미 훈련된 모델에서 인퍼런스를 제공하는 대신, 모델을 훈련하는 데 사용된다. 그리고 라티카는 이러한 시스템을 구현할 수 있는 네트워킹 레이어에 초점을 맞춘다:

라티카의 스키마, 낮은 수준의 피어 투 피어 서브스트레이트가 NAT 트래버설, 콘텐츠 분산, DHT 기반 조정을 처리하며, 샤딩된 인퍼런스가 하나의 가능한 애플리케이션 레이어로 나타난다. 이는 다크블룸이나 펫츠와 다르게, 라티카는 인퍼런스 시스템을 정의하지 않지만, 하나를 구축하기 위해 필요한 네트워킹 및 동기화 원시값을 제공한다. 출처

이 모든 모델은 메시 아이디어에 접근하지만, 대기 시간, 불안정성, 노출의 비용을 지불한다.

반면에 엑소는 인퍼런스를 로컬 클러스터 내에서 유지하며, 빠른 인터커넥트를 사용하여 GPU에 걸쳐 작업을 분할한다. 이는 공용 인터넷을 사용하지 않는다. 실제로 이는 분산 메시와 더 像한 것보다 확장된 기계와 더 像하다:

엑소의 클러스터 뷰, 로컬 애플 실리콘 기계가 공동으로 하나의 모델을 호스팅하며, 파이프라인 또는 텐서 샤딩이 노드에 걸쳐 레이어를 분산한다. 이는 왠 네트워크와 다르게, 엑소는 빠른 로컬 인터커넥트에 의존한다. 출처

마지막으로, 일반적으로 인용되는 몇몇 접근 방식은 인퍼런스를 다루지 않는다: 2016년의 구글 FedAvg; 2018년의 MIT SplitNN; 그리고 2020년의 호주 SplitFed는 훈련 분산 또는 개인 정보 보호 데이터 교환과 관련이 있다.

훈련은 인퍼런스보다 훨씬 더 자원 집약적인 측면이기 때문에, 이러한 네트워크 중 하나가 효과적으로 이러한 부담을 분산할 수 있다면, 클러스터 또는 노드에 걸쳐, 이후에 취미와 비즈니스에 대한 관심을 끌 수 있을 것이다.

결론

실리콘 밸리의 기술 대부분은荒唐한 발명이기 때문에, 파이프다이퍼가本当に 해시 구동이었는지(즉, 데이터를 조각으로 나누어 토렌트 스타일로 분산하는지), 또는 작업이나 세션을 언제든지 노드에 정착시키는지 알 수 없다. 그러나 현재 데이터 센터 수준에서 훈련 및 인퍼런스 하드웨어를 제공하려는 노력은, 공급 부문이 모든 사람을 서비스하거나 기업 수준의 가장 수익성 있는 티어를 준비하고 있음을 나타낸다. 이는 AI 배포에서 일반적인 모압의 부족으로 인해 매력적이다.

메시 인퍼런스가 현실이 된다면, 초기 시도는 오픈에이아이와 앤트로픽과 같은 기존 업체에서 나올 수 있다. 이들은 대규모 앱 설치 기반 내에서 전용 시스템을 배포하거나, 설치가 쉽기 때문에(이러한 회사들은 어려운 설치를 간소화할 수 있는 돈과 동기를 가지고 있다) 오픈 소스 시스템에 협력할 수 있다.

사용자 주도 메시 네트워크가 등장할 수 있는지에 대한 질문이 남아 있다.真正한 AI의 비트토렌트와 같은 것 – 몇몇의 요인이 против한다.

첫째, 암호화와 匿名性에 대한 현재의 글로벌 반대는, 비트토렌트와 같은 시스템을 匿名性하게 만드는 메커니즘을 제거하거나 약화시킬 수 있다. 일단 이러한 프로토콜을 감시할 수 있게 되면, 새로운 감독과 금지의 계층이 가능해진다.

둘째, AI의 ‘남용’이나 匿名性 오픈 소스 프레임워크 운영에 대한 규정은, 기업 수준에서는 사소한 비용이지만, 작은 업체를 시장에서 제거할 수 있다.

마지막으로, 주요 업체의 힘은 메시 모델을 자신의 이익을 위해 운영하고, 채택의 마찰을 최소화하는 시장에서, EEE(페이스북과 트위터가 더 ad hoc 인터넷 커뮤니티와 했던 것처럼)를 채택할 수 있다.

2026년 4월 16일 처음 게시