파이토치 재단, 분산 컴퓨팅 프레임워크 레이 통합으로 통일된 AI 인프라 스택 구축

오픈 소스 AI 생태계는 오늘 파이토치 재단이 안yscale에서 개발한 분산 컴퓨팅 프레임워크 레이(Ray)를 공식적으로 통합했다는 발표와 함께 결정적인 발전을 이루었다. 이 움직임은 모델 개발(Python), 분산 추론(vLLM), 대규모 실행(Ray)을 하나로 묶는 통일된, 상호 운용 가능한, 생산 준비된 AI 컴퓨팅 스택을 향한 중요한 단계를 나타낸다.

오픈 소스 AI를 위한 통일된 기초

리눅스 재단에서 호스팅되는 파이토치 재단은 오픈 소스 AI 기술 중 가장 중요한 몇 가지의 중심 허브로 작용한다. 그들의 임무는 AI 개발의 모든 단계에서 단편화를 줄이고 협력을 촉진하는 것이다. 파이토치와 vLLM과 함께 레이를 통합함으로써, 재단은 산업이 오래전부터 필요로 했던 일관된, 종단 간의 스택을 제공하고 있다. 이는 대규모에서 AI를 구축, 훈련, 배포하는 데 필요한 것이다.

레이의 포함은 또한 수년간의 학술적 및 산업적 발전의 결실이다. UC 버클리의 RISELab에서 탄생한 레이(Ray)는 AI 및 머신 러닝 워크로드를 위한 분산 컴퓨팅을 단순화하기 위해 설계되었다. 개발자들은 코드를 다시 작성하거나 복잡한 시스템을 관리하지 않고도 작업을 한 대의 랩톱에서 수천 대의 기기로 무손실로 확장할 수 있다. 현재 레이(Ray)는 39,000개 이상의 깃허브 스타와 2억 1,400만 회 이상의 다운로드를 기록하며, 세계에서 가장 널리 채택되는 분산 컴퓨팅 프레임워크 중 하나가 되었다.

레이가 파이토치와 vLLM을 어떻게 보완하는가

레이는 훈련 및 추론 프레임워크(예: 파이토치, DeepSpeed, vLLM)와 컨테이너 오케스트레이션 레이어(예: 쿠버네티스 또는 슬럼) 사이에 위치한다. 이러한 위치로 인해 레이(Ray)는 분산 워크로드를 효율적으로 조정할 수 있으며 모델 훈련과 생산 규모 배포 간의 간격을 메울 수 있다.

레이의 주요 기능은 다음과 같다:

• 다중 모드 데이터 처리: 텍스트, 이미지, 오디오, 비디오와 같은 대규모 및 다양한 데이터 세트를 병렬로 처리하여 처리량과 효율성을 최대화한다.
• 사전 훈련 및 사후 조정: 파이토치 및 기타 프레임워크를 수천 개의 GPU에 걸쳐 사전 훈련 및 미세 조정을 위한 확장한다.
• 분산 추론: 모델을 생산 환경에 배포하여 높은 처리량과 낮은 지연 시간을 제공하며, 이질적인 클러스터에서 작업 부하를 동적으로 관리한다.

이러한 기능을 통해 레이(Ray)는 모델 생성, 최적화, 제공을 묶는 “글루”로 작용하여 현대적인 AI 인프라의 분산 컴퓨팅 엔진 레이어를 형성한다.

개발자와 기업에게 의미

오늘날의 AI 주도 경제에서 조직은 확장, 벤더 잠금, 컴퓨팅 비효율성과 같은 어려움에 직면한다. 독점 시스템은 종종 워크플ロー에 단편화를 일으키고 혁신을 늦춘다. 레이(Ray)가 파이토치 재단에 합류함으로써 개발자는 완전히 오픈 소스이며 상호 운용 가능한 컴퓨팅 스택을 얻으며, 이러한 많은痛점을 제거할 수 있다.

리눅스 재단의 AI 총괄 매니저인 매트 화이트는 이 협력을 “다음 세대의 AI 시스템을 구축하는 데 필요한 중요한 구성 요소를 결합한다“고 설명했다. 이統一로 인해 팀은 대규모 언어 모델에서 멀티모달 애플리케이션에 이르기까지 고급 AI 시스템을 개발할 수 있다. 개발자는 폐쇄적이고 독점적인 인프라에 의존하지 않고, 확장 가능하고 모듈화되며 커뮤니티 주도적인 생태계에서 AI 모델을 훈련하고 배포할 수 있다.

오픈 소스 AI에 대한 더 넓은 의미

파이토치, vLLM, 레이의 협력은 오픈 컴퓨팅 상호 운용성의 새로운 시대를 향한 지표이다. 리눅스 재단이 중립적인 거버넌스를 제공함으로써, AI 산업은 공유 인프라를 개발하는 지속 가능한 모델을 얻는다. 이것은 쿠버네티스가 클라우드 오케스트레이션을 표준화한 방식과 유사하다.

산업 리더들은 이러한 의견을 반영했다. 클라우드 네이티브 컴퓨팅 재단의 크리스 아니스즈칙은 “레이와 쿠버네티스는 자연스럽게 보완된다“고 말하며, 오케스트레이션과 분산 컴퓨팅의 강점을 결합하여 차세대 AI 시스템을 구동한다고 말했다. 우버의 엔지니어링 디렉터인 즈타오 리는 레이(Ray)가 이미 “우리의 AI 플랫폼의 핵심 부분“이라고 말하며, 대규모 훈련 및 데이터 처리를 구동한다고 말했다. 파이토치 재단 이사인 조 스피삭은 레이의 추가를 “오픈 소스 AI의 중요한 里程碑“이라고 부르며, 이는 통일된 커뮤니티 주도적인 컴퓨팅 스택을 만든다고 강조했다.

미래를 향해

안yscale의 공동 창립자 로버트 니시하라는 이 里程碑을 간결하게 요약했다:

“우리의 목표는 분산 컴퓨팅을 파이썬 코드 작성만큼 간단하게 만드는 것이다. 파이토치 재단에 합류함으로써 레이(Ray)는 개발자들을 위한 오픈 소스, 커뮤니티 주도적인 백본으로 계속 남아 있을 것이다.”

개발자와 기여자는 레이 깃허브 저장소에서 프로젝트에 참여하거나 샌프란시스코에서 열리는 레이 써밋 2025에 참석하여, 이新的 오픈 소스 재단이 AI의 확장성과 접근성에 미치는 영향을 더 깊이 탐구할 수 있다.

본질적으로, 레이의 추가는 오픈 소스 AI 생태계에서 누락된 레이어를 완성하며, 모델링, 추론, 분산 실행을 하나의 재단 아래 묶는다. 이는 AI 인프라가 더 강력한 것뿐만 아니라 더 개방적이고, 효율적이며, 개발자 친화적인 미래를 향한 결정적인 단계이다.