사상 리더

AI/ML 프로젝트 지원을 위한 스토리지 선택

게시일 2021년 12월 15일

업데이트일 2026년 5월 24일

작성자

Candida Valois Americas Field CTO, Scality

Unite.AI를 Google의 선호 소스에 추가

Candida Valois, Field CTO, Americas, Scality

ML과 AI의 채택은 빠르게 증가하고 있으며, 이는 이러한 기술의 많은 사용 사례가 비즈니스 인사이트와 산업 변화를 가져올 수 있기 때문입니다. PwC에 따르면 2030년까지 AI는 글로벌 경제에 거의 16조 달러를 기여할 수 있을 것입니다. 이는 지역 경제의 GDP에서 26%의 증가를 의미합니다.

이러한 기술은 작동하기 위해大量의 비정형 데이터가 필요하며, 이러한 데이터는 종종 비디오, 이미지, 텍스트 및 음성의 형태로 제공됩니다. 이러한 유형의 워크로드는 새로운 데이터 스토리지 접근 방식이 필요하며, 기존의 방법은 더 이상 충분하지 않습니다. 이러한 워크로드의 등장으로 인해 애플리케이션은 클라우드, 에지 및 온프레미스에서 생성되는大量의 데이터에 빠르게 액세스할 수 있어야 합니다. 이러한 집중적인 워크로드는 낮은 지연 시간, 다양한 유형과 크기의 페이로드를 지원할 수 있는 능력, 및 선형적으로 확장할 수 있는 능력이 필요합니다.

필요한 것은 데이터 전달에 대한 새로운 접근 방식입니다. 이는 위치 또는 기술 중심이 아닌 애플리케이션 중심의 접근 방식이어야 합니다. AI/ML 및 분석의 대규모 채택으로 인해 기업의 IT 리더들은 데이터 관리 및 스토리지에 대한 생각 방식을 크게 변경해야 합니다.

모든 파일 크기 처리

AI/ML 워크로드 및 데이터 스토리지의 경우, 조직은 다양한 유형의 워크로드를 처리할 수 있는 솔루션이 필요합니다. 이는 작은 파일과 큰 파일 모두를 처리할 수 있어야 합니다. 경우에 따라 몇십 테라바이트만 처리하면 되지만, 다른 경우에는 페타바이트가 필요할 수 있습니다. 모든 솔루션은 큰 파일을 처리하도록 설계된 것은 아니며, 작은 파일을 처리하도록 설계된 것도 아닙니다. 트릭은 둘 다 유연하게 처리할 수 있는 솔루션을 찾는 것입니다.

확장성이 필수적입니다

정확성과 속도를 보장하기 위해, 조직은大量의 데이터 세트가 필요합니다. 이는 AI/ML 알고리즘이 기본 모델을 올바르게 학습하도록 하는 데 필요한 것입니다. 조직은 용량과 성능을 늘리고 싶지만, 전통적인 스토리지 솔루션으로 인해 제한을 받을 수 있습니다. 선형적으로 확장하려고 할 때, 그들은 할 수 없습니다. AI/ML 워크로드는 데이터가 증가함에 따라 무한히 확장할 수 있는 스토리지 솔루션이 필요합니다.

표준 파일 및 블록 스토리지 솔루션은 몇백 테라바이트에서 최대치에 도달하며, 이후에는 확장할 수 없습니다. 객체 스토리지는 수요에 따라 제한 없이, 탄력적으로, 무중단으로 확장할 수 있습니다. 객체 스토리지의 중요한 점은 전통적인 스토리지와 비교하여 완전히 평면 공간이며, 여기에는 제한이 없다는 것입니다. 사용자는 전통적인 스토리지에서 찾을 수 있는 제한에 직면하지 않습니다.

성능 요구 사항 충족

용량 확장은 중요하지만, 충분하지 않습니다. 조직은 또한 성능을 선형적으로 확장할 수 있어야 합니다. 불행히도, 많은 전통적인 스토리지 솔루션에서는 용량을 확장하면 성능이 저하됩니다. 따라서 조직이 용량을 선형적으로 확장하려고 할 때, 성능은 평준화되거나 저하됩니다.

표준 스토리지 패러다임은 파일이 계층 구조로 구성되어 있으며, 디렉토리와 서브 디렉토리가 있습니다. 이 아키텍처는 데이터 용량이 작을 때 잘 작동하지만, 용량이 증가하면 특정 시점에 시스템 병목 현상과 파일 조회 테이블의 제한으로 인해 성능이 저하됩니다. 그러나 객체 스토리지는 무한한 평면 네임스페이스를 제공하므로 추가 노드를 추가함으로써 페타바이트 이상으로 확장할 수 있습니다. 따라서 용량을 확장함으로써 성능을 확장할 수 있습니다.