엔비디아의 지배력에 직면해 있는 애자일 ML 개발 전략: 비 빅 테크 플레이어를 위한 공급 및 비용 도전

게임에서 실제 큰 플레이어와 경쟁하는 것은 결코 쉬운 일이 아닙니다. 2023년에 AI 부문은 실제로 마음을 사로잡는 돌파구에 의해 가열되었습니다. OpenAI의 GPT-4 출시, ChatGPT와 Bing 통합, Google의 Bard 출시, 그리고 Meta의 논란의 여지가 있는 “오픈 소스” Llama 2 출시. 이것은 긴 이름 목록처럼 들릴 수 있습니다. 그러나 이 모든 것이 흥미진진한 것으로 들릴 수 있지만, 대부분의 혁신은 돈이 흐르는 곳에 있으며 작은 기술 플레이어들이 통과해야 하는 경쟁은 하루하루 더 치열해지고 있습니다.

기술 산업의不断变化하는 풍경에서 엔비디아는 AI 인프라의 핵심 플레이어로서의 지위를 더욱 강화하고 있습니다. 8월 금융 보고서 전화 회의에서 Jensen Huang, NVIDIA (NVDA ) 의 사장, 엔비디아 프로세서에 대한 수요가 급증하고 있음을 강조했습니다. 이는 Nvidia의 Q3 수익 발표 자료에서 확인할 수 있으며, 이는 11월 현재까지의 연간 실적 기록을 보여줍니다. 한편, Gartner의 예측은 향후 4년 동안 칩 지출이 크게 증가할 것임을 나타내고 있습니다. 현재, 엔비디아의 소프트웨어 스택과 프로세서는 비할 수 없는 경쟁력을 가지고 있으며, 업계는 언제 신뢰할 수 있는 경쟁자가 나타날지에 대해 불확실합니다.

最近의 블룸버그와 파이낸셜 타임즈의 보고서는 Sam Altman, OpenAI의 CEO,가 중동 투자자와 협상하여 칩 생산을 시작하여 AI 부문의 엔비디아 칩에 대한 의존도를 줄이려는 노력을 밝혔습니다. 엔비디아와 그 거의 1.5조 달러의 시가 총액에 도전하는 것은 Altman에게 5조 달러에서 7조 달러의 비용이 들고 수년이 걸릴 것입니다.

그러나 비즈니스에서 ML 모델의 비용 효율성을 해결하는 것은 지금 해야 할 일입니다. 비즈니스 프로세스 이상으로, 비즈니스 생존 전략입니다. 이 기사는 광범위한 R&D 투자 없이 모델을 개발하고 벤더 잠금을 피할 수 있는 4가지 실용적인 전략을 소개합니다.

엔비디아의 AI 시장 지배력

간단히 말해서, 엔비디아는 고성능 GPU와 자체 모델 훈련 소프트웨어 스택인 CUDA 툴킷 사이의 시너지를 달성하여 이상적인 모델 훈련 워크플로우를 만들었습니다.

CUDA (2007년 도입됨)는 엔비디아 GPU 프로세서를 최적으로 사용하기 위한 포괄적인 병렬 컴퓨팅 툴킷 및 API입니다. CUDA가 인기 있는 이유는 복잡한 수학 계산을 가속화하는 데 필요한 능력 때문입니다. 또한 cuDNN과 같은 풍부한 생태계를 제공하여 딥 뉴럴 네트워크의 성능과 사용 편의성을 향상시킵니다. CUDA는 주요 딥 러닝 프레임워크와의無шов한 통합을 제공하여 개발자에게 빠른 모델 개발과 반복을 가능하게 합니다.

강력한 소프트웨어 스택과 효율적인 하드웨어의 조합이 시장을 장악하는 데 성공한 이유입니다. 일부에서는 엔비디아의 지배력이 일시적인 현상일 수 있다고 주장하지만, 현재의 상황에서는 이러한 예측을 내리는 것이 어렵습니다.

엔비디아의 지배력의 부담

엔비디아가 기계 학습 개발 분야에서 우위를 점하고 있는 것은 여러 가지 우려를 불러일으켰습니다. 이는 윤리 영역뿐만 아니라 연구 및 개발 예산 격차와 관련하여도 문제가 있습니다. 이는 작은 플레이어들이 시장에 진입하는 것을更加 어렵게 만들뿐만 아니라, 투자자들의 관심이 감소하여 R&D 투자를 얻는 것이 거의 불가능해집니다. 이는 매우 불균형한 경쟁 환경을 만들게 됩니다.

엔비디아의 하드웨어에 대한 높은 의존도는 공급망 일관성에 대한 압력을 가중시키고 중단 및 벤더 잠금의 위험을 높이며 시장 유연성을 감소시키고 시장 진입 장벽을 높입니다.

“일부 기업은 사용자들이 어려움에 처하지 않도록 현금을 모으고 있습니다. 모든 곳에서 ‘최적화’와 ‘작은 모델 크기’와 같은 엔지니어링 용어가 유행하며 기업들은 GPU需求을 줄이고, 투자자들은 이미 존재하는 GPU로 기업들이 충분히 할 수 있는 소프트웨어에 수백만 달러를 투자하고 있습니다.”

Nvidia Chip Shortages Leave AI Startups Scrambling for Computing Power By Paresh Dave

이제는 전략적인 접근 방식을 채택할 때입니다. 이는 시장에서 하나의 엔티티가 지배적일 때 개발을 억제하고 합리적인 가격을 설정하는 것을 방해한다는 것을 의미합니다.

엔비디아의 지배력에 대처하는 비 빅 테크 플레이어의 전략

1. AMD의 RocM 탐색 시작

AMD는 PyTorch의 주요 라이브러리에서 Rocm을 지속적으로 지원함으로써 NVIDIA와의 AI 개발 격차를 좁히고 있습니다. 이는 PyTorch의 주요 라이브러리에서 Rocm을 지원함으로써 달성되었습니다. 이는 호환성과 성능이 향상되었습니다. 이는 MI300 칩셋에서 잘 나타나며, 이는 대규모 언어 모델(LLM) 추론 작업에서 강력한 성능을 보여주었습니다.

2. 다른 하드웨어 대안 찾기

AMD의 발전 외에도, 구글은 Tensor Processing Units (TPU)를 도입했습니다. 이는 기계 학습 작업을 가속화하기 위해 특별히 설계된 하드웨어입니다.

이러한 산업의 거인들 외에도, Graphcore와 Cerebras (CBRS ) 와 같은 작은 그러나 영향력 있는 플레이어들은 AI 하드웨어 분야에서 주목할 만한 기여를 하고 있습니다. Graphcore의 Intelligence Processing Unit (IPU)는 AI 계산에서 효율성을 위해 설계되었으며, Twitter의 실험에서 보여준 바와 같이 고성능 작업에서 잠재력을 보여주었습니다. Cerebras는 첨단 칩을 통해 경계를 확장하고 있으며, 이는 AI 애플리케이션을 위한 확장성과 원시 계산 능력을 강조합니다.

이러한 기업들의 집체적인 노력은更加 다양화된 AI 하드웨어 생태계로의 전환을 나타냅니다. 이는 개발자와 연구자에게 엔비디아에 대한 의존도를 줄일 수 있는 다양한 플랫폼을 제공합니다.

3. 성능 최적화에 투자 시작

하드웨어 대안을 탐색하는 것 외에도, 소프트웨어 최적화는 엔비디아의 지배력을 완화하는 데 중요한 역할을 합니다. 효율적인 알고리즘을 사용하고, 불필요한 계산을 줄이고, 병렬 처리 기술을 구현함으로써, 비 빅 테크 플레이어는 기존 하드웨어에서 ML 모델의 성능을 최대화할 수 있습니다.

이러한 접근 방식의 예는 Deci Ai의 AutoNAC 기술에서 볼 수 있습니다. 이는 모델 추론을 3-10배까지 가속화할 수 있습니다. 이는 MLPerf 벤치마크에서 입증되었습니다. 이러한 발전은 소프트웨어 최적화가 ML 개발의 효율성을 크게 향상시킬 수 있음을 보여주며, 이는 엔비디아의 지배력을 완화하는 대안을 제공합니다.

4. 분산 클러스터 생성을 위한 다른 조직과의 협력 시작

이러한 협력적인 접근 방식은 연구 결과를 공유하고, 대체 하드웨어 옵션에 공동으로 투자하며, 오픈 소스 프로젝트를 통해 새로운 ML 기술을 개발하는 것을 포함할 수 있습니다. 분산 컴퓨팅 자원을 사용하고 추론을 분산함으로써, 비 빅 테크 플레이어는 경쟁력을 높이고 ML 개발 산업에서更加 경쟁적인 환경을 만들 수 있습니다.

오늘날, 컴퓨팅 자원을 공유하는 전략은 기술 산업 전반에서 추세로 자리 잡고 있습니다. Google Kubernetes Engine (GKE)은 클러스터 멀티 테넌시를 지원하여 자원 활용을 효율적으로 하고 第三자 서비스와의 통합을 가능하게 합니다. 이러한 추세는 Petals와 같은 커뮤니티 주도적인 이니셔티브에서 더 잘 나타나며, 이는 분산 네트워크를 통해 AI 모델을 실행할 수 있도록 합니다. 또한 Together.ai와 같은 플랫폼은 광범위한 오픈 소스 모델에 대한 서버리스 접근을 제공하여 개발을 간소화하고 협력을 촉진합니다. 이러한 플랫폼을 고려하면 컴퓨팅 자원과 협력적인 개발 기회에 접근할 수 있으며, 이는 개발 프로세스를 최적화하고 비용을 줄이는 데 도움이 될 수 있습니다.

결론

전 세계적으로, 이러한 전략의 필요성이 명백해집니다. 하나의 엔티티가 시장을 지배할 때, 이는 개발을 억제하고 합리적인 가격을 설정하는 것을 방해합니다.

비 빅 테크 플레이어는 AMD의 RocM을 탐색하고, 성능 최적화를 투자하며, 다른 조직과 협력하여 분산 클러스터를 생성함으로써 엔비디아의 지배력을 대처할 수 있습니다. 이는更加 다양화된 AI 하드웨어와 개발 산업을 촉진하며, 작은 플레이어들이 AI 개발의 미래에 대해 말할 수 있는 기회를 제공합니다.

이러한 전략은 엔비디아의 가격과 공급에 대한 의존도를 줄이고, 투자 매력을 높이며, 하드웨어 경쟁으로 인한 비즈니스 개발의 둔화 위험을 최소화하며, 전체 산업의 유기적 성장을 촉진하는 것을 목표로 합니다.