Cirrascale의 CTO David Driggers – 인터뷰 시리즈

David Driggers는 Cirrascale Cloud Services의 최고 기술 책임자입니다. Cirrascale은 딥 러닝 인프라 솔루션을 제공하는 선도적인 회사로,誠実성, 민첩성, 고객 중심의 가치를 지키며 혁신적인 클라우드 기반 인프라 솔루션을 제공합니다. Cirrascale은 AI 생태계의 리더인 Red Hat와 WekaIO와 파트너십을 맺어 고객이 딥 러닝에서 진전을 이루면서 예측 가능한 비용을 유지할 수 있도록 합니다.

Cirrascale은 NVIDIA (NVDA ), AMD, Cerebras (CBRS ), Qualcomm와 같은 주요 반도체 회사와 파트너십을 맺은 유일한 GPUaaS 제공업체입니다. 이러한 고유한 위치는 고객에게 성능과 확장성 측면에서 어떤 이점을 제공합니까?

산업이 훈련 모델에서 이러한 모델의 배포인 추론으로 발전함에 따라 모든 것을 하나의 크기와 속도로 해결할 수 없습니다. 모델의 크기와 지연 시간 요구 사항에 따라 다른 가속기가 다른 가치를 제공할 수 있습니다. 응답 시간, 토큰당 비용, 또는 와트당 성능과 같은 요소는 비용과 사용자 경험에 영향을 미칠 수 있습니다. 추론은 생산을 위한 것이므로 이러한 기능/기능이 중요합니다.

Cirrascale의 AI Innovation Cloud는 다른 GPUaaS 제공업체와 어떻게 다른가요? AI 및 딥 러닝 워크플로우를 지원하는 측면에서 어떤 차이가 있나요?

Cirrascale의 AI Innovation Cloud를 사용하면 사용자가 다른 클라우드에서 사용할 수 없는 새로운 기술을 안전하고 지원되는 방식으로 시도할 수 있습니다. 이것은 클라우드 기술 결정뿐만 아니라 잠재적인 온사이트 구매에 도움이 될 수 있습니다.

Cirrascale의 플랫폼은 다양한 AI 가속需求을 가진 스타트업과 기업을 위한 무정지 통합을 어떻게 보장합니까?

Cirrascale은 클라우드에 대한 솔루션 접근 방식을 취합니다. 즉, 스타트업과 기업 모두에게 Dev-Ops와 Infra-Ops를 포함한 턴키 솔루션을 제공합니다. 우리는 우리의 제공을 구분하기 위해 베어 메탈이라고 부르며, 공유되거나 가상화되지 않은 것을 의미합니다. Cirrascale은 서버, 네트워킹, 스토리지, 보안, 사용자 액세스 요구 사항을 모두 완전히 구성하여 클라이언트에게 서비스를 제공하기 전에 모든 것을 설정합니다. 클라이언트는 서비스를 즉시 사용할 수 있으며 모든 것을自分で 구성할 필요가 없습니다.

기업 전체에서 AI를 채택하는 데 데이터 품질, 인프라 제약, 높은 비용과 같은 장벽이 있습니다. Cirrascale은 이러한 도전을 어떻게 해결합니까?

Cirrascale은 데이터 품질과 관련된 서비스를 제공하지 않습니다. 그러나 데이터 문제를 해결할 수 있는 회사와 파트너십을 맺고 있습니다. 인프라와 비용 측면에서 Cirrascale은 고객의 특정需求에 따라 맞춤형 솔루션을 제공하여 고객의 요구 사항에 따라 전체 성능과 비용을 최적화할 수 있습니다.

Google의 양자 컴퓨팅(Willow)과 AI 모델(Gemini 2.0)의 발전에 따라 기업 AI의 지경은 향후 어떻게 변할까요?

양자 컴퓨팅은 대부분의 사람들에게 아직까지는 주요한 발전이 아니며, 양자 컴퓨팅을 利用할 수 있는 프로그램과 프로그래머가 부족하기 때문입니다. Gemini 2.0과 같은 대규모 제공과 GPT4, Claude와 같은 다른 제공은 기업 고객에게 어느 정도의 수용을 받을 것입니다. 그러나 많은 기업 시장은 아직 데이터를 제3자와 공유하거나 모델을 훈련하는 것을 신뢰하지 못합니다.

AI 솔루션을 확장하는 데에는 전력, 가격, 성능의 적절한 균형을 찾는 것이 중요합니다. 이러한 균형을 찾는 데 대한 최상위 추천은 무엇입니까?

테스트, 테스트, 테스트. 회사가 모델을 다른 플랫폼에서 테스트하는 것이 매우 중요합니다. 생산은 개발과 다르며, 비용이 중요합니다. 훈련은 한번이고 끝나지만, 추론은 영원히 지속됩니다. 성능 요구 사항을 낮은 비용으로 충족할 수 있다면, 이러한 절약은 최종적으로 수익성에 기여할 것입니다. 종종 대형 모델의 배포는 비용이 너무 높아 실제 사용에 적합하지 않습니다. 최종 사용자는 또한 이러한 테스트를 도와줄 수 있는 회사와 협력해야 합니다. 종종 ML 엔지니어는 모델을 배포하는 데 도움이 될 수 있습니다.

Cirrascale은 생성적 AI 애플리케이션, 즉 LLM 및 이미지 생성 모델의 증가하는 수요를 충족하기 위해 솔루션을 어떻게 적응시킵니까?

Cirrascale은 가장 다양한 AI 가속기를 제공하며, LLM 및 생성 AI 모델의 普及과 함께 실제 크기와 범위(예: 다중 모드 시나리오) 및 배치 대 실시간과 같은 다양한 시나리오에서真正한馬에 따른 시나리오입니다.

Cirrascale은 어떻게 비즈니스들이 AI 워크플로우에서 지연 시간과 데이터 전송 병목 현상을 극복하는 데 도움을 줍니까?

Cirrascale은 여러 지역에 데이터 센터를 보유하고 있으며 네트워크 연결을 수익 센터로 간주하지 않습니다. 이는 사용자가 데이터를 이동하기 위해 필요한 연결을 “적절한 크기”로 설정할 수 있으며, 지연 시간이 중요한 기능인 경우 여러 위치를 사용할 수 있습니다. 또한 워크로드를 프로파일링함으로써 Cirrascale은 성능, 비용, 지연 시간을 균형 있게 조정하여 성능 요구 사항을 충족한 후에 최상의 가치를 제공할 수 있습니다.

AI 하드웨어 또는 인프라의 어떤 새로운 트렌드가 가장 흥미롭나요? Cirrascale은 이러한 트렌드에 어떻게 대비하고 있나요?

추론을 위한 새로운 프로세서가 가장 흥미롭습니다. 이러한 프로세서는 훈련에 적합한 일반적인 GPU 기반 프로세서와 달리 추론 사용 사례에 최적화되어 있으며, 훈련과는 본질적으로 다른 컴퓨팅 요구 사항을 가지고 있습니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Cirrascale Cloud Services를 방문하십시오.