Att möta Nvidias dominans: Agila ML-utvecklingsstrategier för icke-stora tekniska aktörer (mitt i leverans- och kostnadsutmaningar)

Att bygga ett företag i en bransch med stora aktörer har aldrig varit en lätt uppgift. År 2023 nådde konkurrensen inom AI-sektorn oanade höjder, drivet av verkliga och häpnadsväckande genombrott. Lanseringen av OpenAI:s GPT-4, integrationen av ChatGPT med Bing, Google lansering av Bard och Metas kontroversiella “öppen källkod” Llama 2-lansering. Det låter som en lång lista med stora namn, eller hur? Så spännande det än kan låta, ligger de flesta innovationer där pengarna flödar, och konkurrensen som mindre tekniska aktörer måste ta sig igenom blir allt intensivare för varje dag.

I den ständigt föränderliga teknikutvecklingen fortsätter Nvidia (NVDA ) att befästa sin position som nyckelspelare inom AI-infrastruktur. Under en augusti-finansrapport via telefonkonferens betonade Jensen Huang, Nvidias vd, den starka efterfrågan på Nvidias processorer. Detta påstående backas upp av Nvidias Q3-intäktsdata, som visar en imponerande år-för-år-prestation, redan i november. Samtidigt visar Gartners prognoser en betydande ökning av chip-utgifter under de närmaste fyra åren. För närvarande står Nvidias programvarustack och processorer obesegrade, vilket gör det svårt att förutsäga när en trovärdig konkurrent kan dyka upp.

Nya rapporter från Bloomberg och Financial Times belyser Sam Altman, OpenAI:s vd, förhandlingar med mellanöstliga investerare för att initiera chip-tillverkning, i syfte att minska AI-sektorns beroende av Nvidias chip. Att utmana Nvidia, med en marknadsvärdering på nästan 1,5 biljoner dollar, kommer troligen att kosta Altman mellan 5 biljoner och 7 biljoner dollar och ta flera år.

Likväl måste företag hantera kostnadseffektiviteten hos ML-modeller för företag redan nu. För företag utanför de stora tekniska aktörernas sfär är utveckling av kostnadseffektiva ML-modeller mer än bara en affärsprocess – det är en överlevnadsstrategi. Den här artikeln utforskar fyra pragmatiska strategier som ger företag av alla storlekar möjlighet att utveckla sina modeller utan omfattande FoU-investeringar och förblir flexibla för att undvika leverantörsbunden.

Varför Nvidias dominans inom AI-marknaden

För att göra en lång historia kort har Nvidia skapat den idealiska modellträningsarbetsflödet genom att uppnå synergier mellan högpresterande GPU:er och sin egen programvarustack för modellträning, den välkända CUDA-verktygslådan.

CUDA (lanserad 2007) är ett omfattande parallellberäkningsverktyg och API för optimal användning av Nvidias GPU-processorer. Den främsta anledningen till dess popularitet är dess obesegrade förmåga att accelerera komplexa matematiska beräkningar, avgörande för djupinlärning. Dessutom erbjuder det en rik ekosystem, som cuDNN för djupa neurala nätverk, som förbättrar prestanda och användarvänlighet. Det är avgörande för utvecklare på grund av dess sömlösa integration med stora ramverk för djupinlärning, vilket möjliggör snabb modellutveckling och iteration.

Kombinationen av en så robust programvarustack och högeffektiv hårdvara har visat sig vara nyckeln till att erövra marknaden. Medan vissa hävdar att Nvidias dominans kan vara ett tillfälligt fenomen är det svårt att göra sådana förutsägelser i den nuvarande landskapsbilden.

Den tunga bördan av Nvidias dominans

Nvidias överlägsenhet inom maskinlärningsutvecklingen har väckt flera farhågor, inte bara inom etiska området utan även i fråga om de växande forsknings- och utvecklingsbudgetskillnaderna, som är en av anledningarna till att det blivit exponentiellt svårare för mindre aktörer att bryta sig in på marknaden, för att inte tala om startup-företag. Lägg till minskad investeringsintresse på grund av högre risker, och uppgiften att skaffa betydande FoU-investeringar (som Nvidias) blir helt enkelt omöjlig, vilket skapar en mycket ojämn spelplan.

Men denna starka tillit till Nvidias hårdvara lägger ytterligare tryck på leveranskedjekonsekvens och öppnar upp risken för avbrott och leverantörsbunden, vilket minskar marknadsflexibiliteten och ökar marknadsinträdesbarriärerna.

“Vissa samlar in pengar för att säkerställa att de inte kommer att lämna användare i sticket. Överallt är tekniska termer som ‘optimering’ och ‘mindre modellstorlek’ på modet när företag försöker minska sina GPU-behov, och investerare har i år satsat hundratals miljoner dollar på startup-företag vars programvara hjälper företag att klara sig med de GPU:er de har.

Nvidia Chip Shortages Leave AI Startups Scrambling for Computing Power By Paresh Dave

Nu är tiden kommen att anta strategiska tillvägagångssätt, eftersom detta kan vara det som ger ert företag chansen att blomstra mitt i Nvidias långtgående inflytande inom ML-utveckling.

Strategier som icke-stora tekniska aktörer kan anpassa till Nvidias dominans:

1. Börja utforska AMD:s RocM

AMD har aktivt minskat sin AI-utvecklingsklyfta med NVIDIA, en prestation som uppnåtts genom dess konsekventa stöd för Rocm i PyTorchs huvudbibliotek under det senaste året. Detta pågående arbete har resulterat i förbättrad kompatibilitet och prestanda, som visas tydligt av MI300-chippet, AMD:s senaste lansering. MI300 har visat robust prestanda i Large Language Model (LLM)-inferenstester, särskilt med modeller som LLama-70b. Denna framgång understryker betydande framsteg i bearbetningskraft och effektivitet som uppnåtts av AMD.

2. Hitta andra hårdvarualternativ

Förutom AMD:s framsteg har Google introducerat Tensor Processing Units (TPU), specialiserad hårdvara som uttryckligen är utformad för att accelerera maskinlärningsarbetsbelastningar, och erbjuder en robust alternativ för utbildning av stora AI-modeller.

Förutom dessa branschjättar bidrar mindre men betydelsefulla aktörer som Graphcore och Cerebras (CBRS ) på ett betydande sätt till AI-hårdvaruutrymmet. Graphcores Intelligence Processing Unit (IPU), anpassad för effektivitet i AI-beräkningar, har väckt uppmärksamhet för sin potential i högpresterande uppgifter, som demonstreras av Twitters experiment. Cerebras, å andra sidan, driver gränserna med sina avancerade chip, med fokus på skalbarhet och ren beräkningskraft för AI-tillämpningar.

De kollektiva insatserna från dessa företag signalerar en förskjutning mot ett mer diversifierat AI-hårdvaru-ekosystem. Denna diversifiering presenterar livskraftiga strategier för att minska beroendet av NVIDIA, vilket ger utvecklare och forskare en bredare palett av plattformar för AI-utveckling.

3. Börja investera i prestandaoptimering

Förutom att utforska hårdvarualternativ är programvaruoptimering en avgörande faktor för att minska påverkan av Nvidias dominans. Genom att använda effektiva algoritmer, minska onödiga beräkningar och implementera parallellbearbetningstekniker kan icke-stora tekniska aktörer maximera prestandan hos sina ML-modeller på befintlig hårdvara, vilket erbjuder en pragmatisk strategi för att överbrygga gapet utan att enbart förlita sig på dyra hårdvaruuppgraderingar.

Ett exempel på detta tillvägagångssätt är Deci Ais AutoNAC-teknik. Denna innovation har visat förmågan att accelerera modellinferens med en imponerande faktor på 3-10 gånger, vilket bekräftas av den allmänt erkända MLPerf-benchmarken. Genom att visa sådana framsteg blir det uppenbart att programvaruoptimering kan avsevärt förbättra effektiviteten i ML-utveckling, vilket presenterar en livskraftig alternativ strategi för att mildra inflytandet av Nvidias dominans inom området.

4. Börja samarbeta med andra organisationer för att skapa decentraliserade kluster

Detta samarbetsinriktade tillvägagångssätt kan omfatta att dela forskningsresultat, gemensamt investera i alternativa hårdvarualternativ och främja utvecklingen av nya ML-teknologier genom öppen källkodsprojekt. Genom att decentralisera inferens och använda distribuerade beräkningsresurser kan icke-stora tekniska aktörer jämna ut spelplanen och skapa en mer konkurrenskraftig landskapsbild inom ML-utvecklingsindustrin.

Idag växer strategin att dela beräkningsresurser i popularitet inom hela teknikutvecklingen. Google Kubernetes Engine (GKE) exemplifierar detta genom att stödja kluster-multitenancy, vilket möjliggör effektiv resursanvändning och integration med tredjeparts-tjänster. Detta trend är ytterligare belagt av community-ledda initiativ som Petals, som erbjuder ett distribuerat nätverk för körning av AI-modeller, vilket gör högpresterande beräkningar tillgängliga utan betydande investering. Dessutom erbjuder plattformar som Together.ai serverless åtkomst till en bred palett av öppen källkodsmodeller, vilket strömlinjeformar utveckling och främjar samarbete. Att överväga sådana plattformar kan ge er tillgång till beräkningsresurser och samarbetsmöjligheter för utveckling, vilket hjälper till att optimera er utvecklingsprocess och minska kostnader, oavsett organisationens storlek.

Slutsats

På en global skala blir nödvändigheten av ovannämnda strategier uppenbar. När en enhet dominerar marknaden hämmar det utvecklingen och försvårar etableringen av rimliga priser.

Icke-stora tekniska aktörer kan motverka Nvidias dominans genom att utforska alternativ som AMD:s RocM, investera i prestandaoptimering genom effektiva algoritmer och parallellbearbetning, och främja samarbete med andra organisationer för att skapa decentraliserade kluster. Detta främjar en mer diversifierad och konkurrenskraftig landskapsbild inom AI-hårdvaru- och utvecklingsindustrin, vilket ger mindre aktörer möjlighet att ha ett ord med i framtiden för AI-utveckling.

Dessa strategier syftar till att minska beroendet av Nvidias priser och leveranser, vilket förbättrar investeringsattraktiviteten, minskar risken för affärsutvecklingssänkning mitt i hårdvarukonkurrens, och främjar organisk tillväxt inom hela branschen, vilket ger mindre aktörer möjlighet att ha ett ord med i framtiden för AI-utveckling.