Nvidia’s Dominantie Tegengaan: Agile ML-ontwikkelingsstrategieën voor niet-Big Tech-spelers (te midden van supply- en kostenchallenges)

Een bedrijf opbouwen in de game onder de echte grote spelers is nog nooit een eenvoudige taak geweest. In 2023 bereikte de concurrentie in de AI-sector ongekende hoogten, aangewakkerd door echte, verbluffende doorbraken. De release van OpenAI’s GPT-4, de integratie van ChatGPT met Bing, Google’s lancering van Bard, en Meta’s omstreden “open-source”- Llama 2-release. Het klinkt als een lange lijst met grote namen, nietwaar? Hoe opwindend het ook mag klinken, de meeste innovatie ligt waar het geld vloeit, en de concurrentie die kleinere technologiebedrijven moeten doorstaan, wordt met de dag intenser.

In het voortdurend evoluerende landschap van de technologie-industrie, blijft Nvidia (NVDA ) zijn positie als sleutelspeler in AI-infrastructuur versterken. Tijdens een augustus-financiële rapportteleconferentie, benadrukte Jensen Huang, president van NVIDIA, de snel stijgende vraag naar Nvidia-processors. Deze claim wordt ondersteund door bevestiging van Nvidia’s Q3-omzetcijfers, die een indrukwekkend jaar-op-jaar-prestatie-record laten zien, al vanaf november YTD. Ondertussen geven Gartners prognoses aan dat er een aanzienlijke toename van chip-uitgaven zal zijn in de komende vier jaar. Op dit moment staat Nvidia’s software-stack en processors ongeëvenaard, waardoor de industrie onzeker is over wanneer een geloofwaardige concurrent zal verschijnen.

Recente rapporten van Bloomberg en de Financial Times werpen licht op Sam Altman’s, de CEO van OpenAI, onderhandelingen met Midden-Oosterse investeerders om chipproductie te initiëren, met als doel de afhankelijkheid van Nvidia-chips in de AI-sector te verminderen. Het uitdagen van Nvidia, met een marktkapitalisatie van bijna $1,5 biljoen, zal Altman waarschijnlijk tussen de $5 biljoen en $7 biljoen kosten en enkele jaren duren.

Niettemin is het aanpakken van de kostenefficiëntie van ML-modellen voor bedrijven iets wat bedrijven nu moeten doen. Voor bedrijven buiten de grenzen van Big Tech, is het ontwikkelen van kostenefficiënte ML-modellen meer dan alleen een bedrijfsproces – het is een vitale overlevingsstrategie. Dit artikel verkent vier pragmatische strategieën die bedrijven van alle maten in staat stellen om hun modellen te ontwikkelen zonder uitgebreide R&D-investeringen en flexibel te blijven om vendor lock-in te vermijden.

Waarom Nvidia de AI-markt domineert

Kort gezegd, heeft Nvidia het ideale modeltrainingsworkflow gecreëerd door synergiefuncties tussen high-performance GPUs en zijn propriëtaire modeltrainingssoftware-stack, de algemeen geprezen CUDA-toolkit.

CUDA (geïntroduceerd in 2007) is een uitgebreide parallelle computing-toolkit en API voor het optimaal gebruiken van Nvidia GPU-processors. De belangrijkste reden waarom het zo populair is, is zijn ongeëvenaarde capaciteit voor het versnellen van complexe wiskundige berekeningen, die essentieel zijn voor diepe leerprocessen. Bovendien biedt het een rijke ecosysteem zoals cuDNN voor diepe neurale netwerken, waardoor de prestaties en het gebruiksgemak worden verbeterd. Het is essentieel voor ontwikkelaars vanwege de naadloze integratie met belangrijke diepe leerframeworks, waardoor snelle modelontwikkeling en iteratie mogelijk wordt.

De combinatie van zo’n robuuste software-stack met zeer efficiënte hardware heeft zich bewezen als de sleutel tot het veroveren van de markt. Terwijl sommigen beweren dat Nvidia’s dominantie mogelijk een tijdelijk fenomeen is, is het moeilijk om dergelijke voorspellingen te doen in het huidige landschap.

De zware tol van Nvidia’s dominantie

Nvidia’s dominantie in het veld van machine learning-ontwikkeling heeft tal van zorgen opgeroepen, niet alleen op het gebied van ethiek, maar ook met betrekking tot de toenemende onderzoeks- en ontwikkelingsbudgettaire verschillen, die een van de redenen zijn waarom het binnendringen van de markt voor kleinere spelers steeds moeilijker wordt, laat staan start-ups. Voeg hierbij de daling van de interesse van investeerders vanwege hogere risico’s, en de taak om forse R&D-investeringen (zoals die van Nvidia) te verwerven, wordt ronduit onmogelijk, waardoor een zeer oneven speelveld ontstaat.

Maar deze zware afhankelijkheid van Nvidia’s hardware legt nog meer druk op de consistentie van de supply chain en opent het risico voor verstoringen en vendor lock-in, waardoor de marktflexibiliteit afneemt en de markttoegangsbarrières toenemen.

“Sommigen verzamelen geld om ervoor te zorgen dat ze hun gebruikers niet in de steek laten. Overal zijn technische termen als ‘optimalisatie’ en ‘kleinere modelgrootte’ in de mode, omdat bedrijven proberen hun GPU-behoeften te verminderen, en investeerders hebben dit jaar honderden miljoenen dollars ingezet in start-ups wiens software bedrijven helpt om het maximale uit hun GPUs te halen.”

Nvidia-chipgebrek laat AI-startups worstelen om rekenkrachtDoor Paresh Dave

Nu is het tijd om strategische benaderingen te adopteren, aangezien dit mogelijk het enige is dat uw onderneming de kans geeft om te gedijen te midden van Nvidia’s verreikende invloed op ML-ontwikkeling.

Strategieën die niet-Big Tech-spelers kunnen aanpassen aan Nvidia’s dominantie:

1. Start met het verkennen van AMD’s RocM

AMD heeft zijn AI-ontwikkelingskloof met NVIDIA de afgelopen jaar actief verkleind, een prestatie die is behaald door zijn consistente ondersteuning voor Rocm in PyTorch’s hoofdbibliotheken. Deze voortdurende inspanning heeft geresulteerd in verbeterde compatibiliteit en prestaties, die prominent worden tentoongesteld door de MI300-chipset, AMD’s laatste release. De MI300 heeft robuuste prestaties getoond in Large Language Model (LLM)-inference-taken, met name bij modellen zoals LLama-70b. Dit succes onderstreept significante vooruitgang in verwerkingskracht en efficiëntie die door AMD is behaald.

2. Zoek andere hardware-alternatieven

Naast AMD’s stappen, heeft Google Tensor Processing Units (TPU’s) geïntroduceerd, gespecialiseerde hardware die specifiek is ontworpen om machine learning-werklasten te versnellen, waardoor een robuust alternatief wordt geboden voor het trainen van grote AI-modellen.

Verder dan deze industrie-reuzen, zijn kleinere maar invloedrijke spelers zoals Graphcore en Cerebras (CBRS ), die opmerkelijke bijdragen leveren aan de AI-hardware-ruimte. Graphcore’s Intelligence Processing Unit (IPU), ontworpen voor efficiëntie in AI-berekeningen, heeft aandacht getrokken vanwege zijn potentieel in high-performance taken, zoals wordt aangetoond door Twitter’s experimenten. Cerebras, aan de andere kant, duwt de grenzen met zijn geavanceerde chips, waarbij de nadruk ligt op schaalbaarheid en brute rekenkracht voor AI-toepassingen.

De collectieve inspanningen van deze bedrijven duiden op een verschuiving naar een meer diverse AI-hardware-ecosysteem. Deze diversificatie biedt haalbare strategieën om de afhankelijkheid van NVIDIA te verminderen, waardoor ontwikkelaars en onderzoekers een bredere reeks platforms voor AI-ontwikkeling krijgen.

3. Start met het investeren in prestatie-optimalisatie

Naast het verkennen van hardware-alternatieven, is het optimaliseren van software een cruciale factor om de impact van Nvidia’s dominantie te verminderen. Door het gebruik van efficiënte algoritmen, het verminderen van onnodige berekeningen en het implementeren van parallelle verwerkingsmethoden, kunnen niet-Big Tech-spelers de prestaties van hun ML-modellen op bestaande hardware maximaliseren, waardoor een pragmatische aanpak wordt geboden om de kloof te overbruggen zonder uitsluitend te vertrouwen op dure hardware-upgrades.

Een illustratie van deze aanpak is te vinden in Deci Ai’s AutoNAC-technologie. Deze innovatie heeft aangetoond dat modelinference kan worden versneld met een factor van 3-10, zoals ondersteund door de algemeen erkende MLPerf Benchmark. Door dergelijke vooruitgang te laten zien, wordt het duidelijk dat software-optimalisatie de efficiëntie van ML-ontwikkeling aanzienlijk kan verbeteren, waardoor een haalbaar alternatief wordt geboden om de invloed van Nvidia’s dominantie in het veld te mitigeren.

4. Start met het samenwerken met andere organisaties om gedecentraliseerde clusters te creëren

Deze collaboratieve aanpak kan bestaan uit het delen van onderzoeksresultaten, het gezamenlijk investeren in alternatieve hardware-opties en het stimuleren van de ontwikkeling van nieuwe ML-technologieën via open-source-projecten. Door inference te decentraliseren en gedistribueerde rekenbronnen te gebruiken, kunnen niet-Big Tech-spelers het speelveld egaliseren en een meer concurrerend landschap creëren in de ML-ontwikkelingsindustrie.

Vandaag de dag wint de strategie van het delen van rekenbronnen aan populariteit in de technologie-industrie. Google Kubernetes Engine (GKE) is een voorbeeld hiervan, omdat het cluster-multi-tenancy ondersteunt, waardoor efficiënte resource-gebruik en integratie met derde-partijdiensten mogelijk wordt. Deze trend wordt verder ondersteund door community-gedreven initiatieven zoals Petals, die een gedistribueerd netwerk biedt voor het uitvoeren van AI-modellen, waardoor high-performance computing toegankelijk wordt zonder aanzienlijke investering. Bovendien bieden platforms zoals Together.ai serverless toegang tot een breed scala aan open-source-modellen, waardoor ontwikkeling wordt gestroomlijnd en samenwerking wordt gestimuleerd. Door dergelijke platforms te overwegen, kunt u toegang krijgen tot rekenbronnen en collaboratieve ontwikkelingsmogelijkheden, waardoor u uw ontwikkelingsproces kunt optimaliseren en kosten kunt verminderen, ongeacht de grootte van uw organisatie.

Conclusie

Op mondiaal niveau wordt de noodzaak voor de bovengenoemde strategieën duidelijk. Wanneer één entiteit de markt domineert, wordt ontwikkeling gestremd en wordt de vaststelling van redelijke prijzen belemmerd.

Niet-Big Tech-spelers kunnen Nvidia’s dominantie tegengaan door alternatieven te verkennen zoals AMD’s RocM, te investeren in prestatie-optimalisatie door middel van efficiënte algoritmen en parallelle verwerking, en door samen te werken met andere organisaties om gedecentraliseerde clusters te creëren. Dit bevordert een meer diverse en concurrerende landschap in de AI-hardware- en ontwikkelingsindustrie, waardoor kleinere spelers een zegje kunnen hebben in de toekomst van AI-ontwikkeling.

Deze strategieën zijn gericht op het verminderen van de afhankelijkheid van Nvidia’s prijzen en leveringen, waardoor het investeringsaantrekkelijkheid vergroot, het risico van vertraging van de bedrijfsontwikkeling te midden van hardwareconcurrentie wordt geminimaliseerd en organische groei binnen de hele industrie wordt gestimuleerd.