실제 세계에서 대규모 AI 배포 활성화

Brad King, 필드 CTO, Scality

AI/ML 및 빅데이터의 도구에는 공통점이 있다. 데이터가 필요하며, càng 많을수록 좋다. 일반적인 지식에 따르면 더 많은 데이터가 더 좋다. 분석가들은 2025년까지 전 세계 데이터 생성량이 180 제타바이트 이상으로 증가할 것으로 예측하고 있으며, 2020년에는 생성되고 복제된 데이터가 64.2 제타바이트의 새로운 최고치를 기록했다.

이 데이터는 매우 귀중하며, 종종 대체할 수 없고 때로는 일회성 또는 일생일회적인 이벤트를 나타낸다. 이 데이터는 안전하게 보관되어야 하며, 저장되어야 한다. 새로 생성된 데이터의 작은 부분만 보관된다고 추정되지만, 저장 용량에 대한需求은 계속 증가하고 있다. 실제로, 설치된 저장 용량은 2020년부터 2025년까지 Statista의 연구원에 따르면 19.2%의 연간 복합 성장률로 증가할 것으로 예측된다.

더 많은 데이터가 생성됨에 따라, 특히 이러한 AI/ML 워크로드에서, 조직은 더 많은 저장 공간이 필요하지만, 모든 저장 솔루션이 이러한 집중적이고 대규모 워크로드를 처리할 수는 없다. 필요한 것은 새로운 저장 접근 방식이다. 세 가지 사용 사례를 통해 이러한 도전 과정을 어떻게 극복하는지 살펴보겠다.

여행 산업

여러분 중 많은 사람들이 1년 이상의 잠금으로 인해 다시 여행하는 데 익숙해지기 시작했지만, 여행 산업은 주요하게 이전의 전염병 이전 시기로 돌아가고 있다. 그리고 이것은 데이터, 특히 해당 데이터의 관련 응용과 사용의 중요성을 더욱 중요하게 만든다.

세계의 대부분의 항공 여행자가 어디로 여행할지 또는 내일 어디로 여행할지에 대한 지식을 생각해 보라. 예를 들어, 여행사에서는 그것이 enorme일 것이다.

그러나 이러한 여행 조직은 데이터를 통해 무엇이 의미 있는지 파악하기 위해 데이터를 분류하는 것이 압도적인 전망이다. 매일 약 1 페타바이트의 데이터가 생성되며, Kayak과 같은 사이트에 의해 일부 데이터가 중복된다. 이 데이터는 시간이 지날수록 중요하며, 여행 회사들은 의미 있는 데이터를 신속하게 발견해야 한다. 이러한 수준의 규모를 더 효과적으로 관리할 수 있는 도구가 필요하다.

자동차 산업

또 다른 예는 자동차 산업에서 나온다. 이 산업은 도움이 되는 도구를 개발하기 위해 오랜 시간 동안 노력해 왔다. 이러한 센서들은大量의 데이터를 가져오고 있다. 그리고, 물론, 자율 주행 알고리즘을 개발하고 테스트하고 검증하고 있다.

이 산업이 필요한 것은 저장된 데이터를 더 잘 이해하여 분석할 수 있는 방법이다. 예를 들어, 잘못된 경우를 분석하고, 센서 출력을 테스트 케이스로 큐레이션하고, 알고리즘을 테스트하고 더 많은 것을 수행할 수 있다. 회귀를 피하기 위해 QA 테스트가 필요하며, 실패한 경우를 문서화해야 한다.

디지털 병리학

AI/ML에 대한 또 다른 흥미로운 사용 사례는 디지털 병리학이다. 다른 예와 마찬가지로, 이들은 데이터의 홍수와 데이터를 더 잘 사용해야 하는 필요성에 직면해 있다. 즉, 조직은 자동으로 조직 샘플에서 병리를 감지하고, 원격 진단을 수행하는 것과 같은 일을 할 수 있다.

그러나 현재 저장 공간은 사용을 제한한다. 유용한 해상도의 이미지는 경제적으로 저장할 수 없다. 그러나 빠른 객체 저장 공간은 새로운 능력을 가능하게 할 것이다. 예를 들어, 이미지 은행을 사용하여 주요 훈련 리소스로 사용할 수 있고, 객체 저장소에서 다중 해상도 이미지를 저장하고 검색할 수 있다. 또한 확장 가능하고 유연한 메타데이터 태그 지정이 가능하여 이 정보를 검색하고 이해하기가 더 쉽다.

AI 워크로드에는 새로운 접근 방식이 필요하다

위의 세 가지 사례에서 볼 수 있듯이, AI/ML 워크로드와 관련된大量의 데이터를 집계하고 오케스트레이션할 수 있는 능력이 중요하다. 데이터 세트는 종종 다중 페타바이트 규모로, 성능 요구 사항이 전체 인프라를 포화시킬 수 있다. 이러한 대규모 훈련 및 테스트 데이터 세트를 다루는 경우, 저장 공간 병목 현상(대기 시간 및/또는 처리량 문제)과 용량 제한/장벽을 극복하는 것이 성공의 핵심 요소이다.

AI/ML/DL 워크로드에는 데이터를 파이프라인을 통해 흐르게 유지할 수 있는 저장 아키텍처가 필요하다. 저장 인프라는 AI/ML/DL 파이프라인의 모든 단계에서 점점 더 요구되는 요구 사항을 따라가야 한다. 해결책은 속도와 무제한 확장성을 위해 특별히 설계된 저장 인프라이다.

가치 추출

AI와 ML이 비즈니스 프로세스와 일상 생활을改变할 수 있는 잠재력에 대한 이야기가 없는 주는 없다. 이러한 기술을 사용하는 이점을 명확하게 보여주는 많은 사용 사례가 있다. 그러나 현재 기업에서 AI의 현실은 압도적으로大量의 데이터 세트와 이러한 대규모 워크로드를 처리할 수 없는 저장 솔루션이다. 자동차, 의료 및 기타 많은 산업의 혁신은 저장 문제가 해결될 때까지 진행될 수 없다. 빠른 객체 저장 공간은 대규모 데이터를 보관하는 도전을 극복하여 조직이 데이터에서 가치를 추출하여 비즈니스 전진을 가능하게 한다.