현실 세계에서 대규모 AI 배포 활성화

Brad King, 필드 CTO, Scality

AI/ML 및 빅데이터 도구에는 공통점이 있습니다. 데이터가 필요하고, 많은 데이터가 필요합니다. 일반적인 지식은 더 많을수록 더 좋습니다. 분석가들은 2025년까지 전 세계 데이터 생성량이 180 제타바이트 이상으로 증가할 것이라고 예측합니다. 2020년에는 새로 생성된 데이터의 양이 64.2 제타바이트의 새로운 최고치에 달했습니다.

이 데이터는非常히 가치가 있습니다. 종종 대체할 수 없으며, 때로는 한 번의 이벤트나 한 번의 기회를 나타낼 수 있습니다. 이 데이터는 안전하게 보관되어야 하며, 보관되어야 합니다. 새로 생성되는 데이터의 작은 부분만 보관된다고 추정되지만, 저장 용량에 대한需求은 계속 증가하고 있습니다. 실제로, 설치된 저장 용량의 기반이 2020년과 2025년 사이에 19.2%의 연간 복합 성장률로 증가할 것으로 예측됩니다. 연구자들은 Statista에 따르면

더 많은 데이터가 생성됨에 따라, 특히 AI/ML 워크로드에서, 조직은 더 많은 저장 용량이 필요하지만, 모든 저장 솔루션이 이러한 집중적이고 대규모 워크로드를 처리할 수는 없습니다. 필요한 것은 저장 용량에 대한 새로운 접근법입니다. 세 가지 사용 사례를 통해 이러한 도전을 어떻게 극복하는지 살펴보겠습니다.

여행 산업

우리가 다시 여행을 시작한 지 1년이 넘었지만, 여행 산업은 주요하게 여행 산업을 회복시키려 하고 있습니다. 그리고 이것은 데이터, 특히 관련 응용 프로그램과 사용의 중요성을 더욱 중요하게 만듭니다.

여행 기관이 다음에 어디로 여행할 것인지, 또는 어디로 여행할지 알 수 있다면, 얼마나 할 수 있을까요? 예를 들어, 여행 기관이 다음에 여행할 곳을 알 수 있다면, 그것은 매우 중요할 것입니다.

하지만 이러한 여행 조직은 너무 많은 데이터를 처리하여 의미 있는 데이터를 찾는 것이 어려운 상황에 처해 있습니다. 하루에 생성되는 데이터는 약 1 페타바이트이며, 일부 데이터는 Kayak와 같은 사이트에서 중복됩니다. 이 데이터는 시간에 민감하며, 여행 회사들은 의미 있는 데이터를 신속하게 발견해야 합니다. 이러한 규모의 데이터를 더 효과적으로 관리할 수 있는 도구가 필요합니다.

자동차 산업

또 다른 예는 자동차 산업에서 나옵니다. 이 산업은 오랜 시간 동안 차선 유지 보조, 충돌 방지와 같은 보조 도구를 개발해 왔습니다. 이러한 센서는大量의 데이터를 생성합니다. 그리고, 물론, 자율 주행 알고리즘을 개발하고 테스트하고 검증하고 있습니다.

이 산업이 필요한 것은 저장된 데이터를 더 잘 이해하는 방법입니다. 그래서 데이터를 분석하여 문제가 발생한 경우를 분석하고, 테스트 케이스를 생성하고, 알고리즘을 테스트하고, 더 많은 것을 할 수 있습니다. 회귀를 피하기 위한 QA 테스트가 필요하며, 실패한 경우를 문서화해야 합니다.

디지털 병리학

AI/ML의 또 다른 흥미로운 사용 사례는 디지털 병리학입니다. 다른 예와 마찬가지로, 이 분야에서는 데이터를 더 잘 사용하여 조직을 자동으로 감지하고, 원격 진단을 수행하고, 더 많은 것을 할 수 있습니다.

하지만 현재 저장 용량은 사용을 제한하고 있습니다. 유용한 해상도의 이미지는 경제적으로 저장할 수 없습니다. 그러나 빠른 객체 저장소는 새로운 능력을 가능하게 할 것입니다. 이미지 뱅크를 생성하여 훈련 리소스로 사용할 수 있고, 객체 저장소에서 다중 해상도 이미지를 이름으로 저장하고 검색할 수 있습니다. 또한, 검색하고 이해하기 쉽게 메타데이터 태그를 생성할 수 있습니다.

AI 워크로드에 대한 새로운 접근법

위의 세 가지 사례에서 볼 수 있듯이, AI/ML 워크로드와 관련된大量의 데이터를 집계하고 조직하는 것이 중요합니다. 데이터 세트는 종종 수 페타바이트 규모이며, 성능 요구 사항이 전체 인프라를 포화시킬 수 있습니다. 이러한 대규모 훈련 및 테스트 데이터 세트를 다루는 경우, 저장 용량의 병목 현상(대기 시간 및/또는 처리량 문제)과 용량 제한/장벽을 극복하는 것이 성공의 핵심 요소입니다.

AI/ML/DL 워크로드에는 원시 I/O 성능과 용량 확장 능력이 모두 우수한 저장 아키텍처가 필요합니다. 저장 인프라는 AI/ML/DL 파이프라인의 모든 단계에서 점점 더 요구되는 요구 사항을 따라가야 합니다. 해결책은 속도와 무한한 확장성을 위해 특별히 설계된 저장 인프라입니다.

가치 추출

AI와 ML이 비즈니스 프로세스와 일상 생활을 변경할 수 있는 잠재력을 가진 이야기들은 매주 들을 수 있습니다. 이러한 기술을 사용하는明確한 이점을 보여주는 많은 사용 사례가 있습니다. 그러나 오늘날의 기업에서 AI의 현실은 매우大量의 데이터 세트와 이러한 대규모 워크로드를 처리할 수 없는 저장 솔루션입니다. 자동차, 의료 및 많은 다른 산업의 혁신은 저장 문제가 해결될 때까지 진행할 수 없습니다. 빠른 객체 저장소는 큰 데이터를 보관하는 도전을 극복하여 조직이 데이터에서 가치를 추출하고 비즈니스 전진을 가능하게 합니다.