Angesichts der Dominanz von Nvidia: Agile ML-Entwicklungsstrategien für nicht große Technologieunternehmen (inmitten von Angebots- und Kostenherausforderungen)

Es war noch nie eine leichte Aufgabe, im Spiel ein Geschäft unter den echten Big Playern aufzubauen. Im Jahr 2023 erreichte der Wettbewerb im KI-Sektor beispiellose Höhen, angetrieben durch echte, umwerfende Durchbrüche. Die Veröffentlichung von OpenAI's GPT-4, Integration von ChatGPT mit Bing, Google startet Bardeund Metas umstrittenes „Open-Source“  Lama 2 freigeben. Es klingt nach einer langen Liste großer Namen, oder? So aufregend es auch klingen mag, der Großteil der Innovation liegt dort, wo Geld fließt, und der Wettbewerb, dem sich kleinere Technologieunternehmen stellen müssen, wird von Tag zu Tag intensiver.

In der sich ständig weiterentwickelnden Landschaft der Technologiebranche festigt Nvidia weiterhin seine Position als Hauptakteur in der KI-Infrastruktur. Während eines Telefonkonferenz zum Finanzbericht im AugustJensen Huang, Präsident von NVIDIA, betonte die steigende Nachfrage nach Nvidia-Prozessoren. Diese Behauptung wird durch eine Bestätigung von gestützt Nvidias Q3 In r Präsentationsumsatzdaten, was eine beeindruckende Leistungsbilanz gegenüber dem Vorjahr zeigt, die bereits im November seit Jahresbeginn sichtbar ist. Unterdessen deuten die Prognosen von Gartner auf einen deutlichen Anstieg der Chipausgaben in den nächsten vier Jahren hin. Derzeit sind der Software-Stack und die Prozessoren von Nvidia konkurrenzlos, sodass die Branche unsicher ist, wann ein glaubwürdiger Konkurrent auftauchen könnte.

Aktuelle Berichte von Bloomberg und für Financial Times Wir beleuchten die Verhandlungen von Sam Altman, dem CEO von OpenAI, mit Investoren aus dem Nahen Osten zur Aufnahme der Chipproduktion, mit dem Ziel, die Abhängigkeit des KI-Sektors von Nvidia-Chips zu verringern. Nvidia mit einer Marktkapitalisierung von fast 1.5 Billionen US-Dollar herauszufordern, dürfte Altman zwischendurch kosten $5 Billion und $7 Billionen und mehrere Jahre dauern.

Dennoch müssen sich Unternehmen jetzt mit der Kosteneffizienz von ML-Modellen für Unternehmen befassen. Für Unternehmen außerhalb der großen Technologiebranche ist die Entwicklung kosteneffizienter ML-Modelle mehr als nur ein Geschäftsprozess – sie ist eine lebenswichtige Überlebensstrategie. In diesem Artikel werden vier pragmatische Strategien untersucht, die es Unternehmen jeder Größe ermöglichen, ihre Modelle ohne umfangreiche Forschungs- und Entwicklungsinvestitionen zu entwickeln und flexibel zu bleiben, um eine Anbieterbindung zu vermeiden.

Warum Nvidia den KI-Markt dominiert

Um es kurz zu machen: Nvidia hat den idealen Modelltrainings-Workflow geschaffen, indem es Synergien zwischen Hochleistungs-GPUs und seinem proprietären Modelltrainings-Software-Stack, dem vielgelobten CUDA-Toolkit, erzielt hat.

CUDA (eingeführt im Jahr 2007) ist ein umfassendes Parallel-Computing-Toolkit und eine API zur optimalen Nutzung von Nvidia-GPU-Prozessoren. Der Hauptgrund für seine Beliebtheit ist seine unübertroffene Fähigkeit, komplexe mathematische Berechnungen zu beschleunigen, die für Deep Learning von entscheidender Bedeutung sind. Darüber hinaus bietet es ein reichhaltiges Ökosystem wie cuDNN für tiefe neuronale Netze, das die Leistung und Benutzerfreundlichkeit verbessert. Aufgrund der nahtlosen Integration mit den wichtigsten Deep-Learning-Frameworks ist es für Entwickler von entscheidender Bedeutung und ermöglicht eine schnelle Modellentwicklung und -iteration.

Die Kombination eines solch robusten Software-Stacks mit hocheffizienter Hardware hat sich als Schlüssel zur Markteroberung erwiesen. Während einige argumentieren, dass die Dominanz von Nvidia ein vorübergehendes Phänomen sein könnte, ist es in der aktuellen Situation schwierig, solche Vorhersagen zu treffen.

Der hohe Tribut der Dominanz von Nvidia

Die Tatsache, dass Nvidia im Bereich der maschinellen Lernentwicklung die Oberhand hat, hat zahlreiche Bedenken geäußert, nicht nur im ethisch Aber auch im Hinblick auf die zunehmenden Ungleichheiten bei den Forschungs- und Entwicklungsbudgets, die einer der Gründe dafür sind, dass der Markteintritt für kleinere Unternehmen, ganz zu schweigen von Start-ups, exponentiell schwieriger geworden ist. Hinzu kommen der Rückgang des Investoreninteresses aufgrund höherer Risiken und die Aufgabe, umfangreiche F&E-Aufwendungen zu tätigen (wie die von Nvidia) werden Investitionen völlig unmöglich, was zu sehr, sehr ungleichen Wettbewerbsbedingungen führt.

Diese starke Abhängigkeit von der Hardware von Nvidia übt jedoch noch mehr Druck auf die Konsistenz der Lieferkette aus und birgt das Risiko von Störungen und Anbieterbindung, wodurch die Marktflexibilität verringert und die Markteintrittsbarrieren eskalieren.

"Einige legen Bargeld zusammen, um sicherzustellen, dass sie die Benutzer nicht im Stich lassen. Überall sind technische Begriffe wie „Optimierung“ und „kleinere Modellgröße“ in Mode, da Unternehmen versuchen, ihren GPU-Bedarf zu senken, und Investoren haben dieses Jahr Hunderte Millionen Dollar auf Start-ups gesetzt, deren Software Unternehmen dabei hilft, mit den von ihnen benötigten GPUs auszukommen. Ich habe.“

Mangel an Nvidia-Chips führt dazu, dass KI-Startups um Rechenleistung kämpfen Von Paresh Dave

Jetzt ist es an der Zeit, strategische Ansätze zu verfolgen, da dies möglicherweise genau das ist, was Ihrem Unternehmen die Chance gibt, inmitten des weitreichenden Einflusses von Nvidia auf die ML-Entwicklung erfolgreich zu sein.

Strategien, die sich Nicht-Großtechnologieunternehmen an die Dominanz von Nvidia anpassen können:

1. Beginnen Sie mit der Erkundung von AMDs RocM 

AMD hat seine KI-Entwicklungslücke zu NVIDIA aktiv verringert, eine Leistung, die durch die konsequente Unterstützung von Rocm in erreicht wurde Die Hauptbibliotheken von PyTorch im Laufe des letzten Jahres. Diese kontinuierlichen Bemühungen haben zu einer verbesserten Kompatibilität und Leistung geführt, was durch die deutlich hervorgehoben wird MI300-Chipsatz, AMDs neueste Version. Der MI300 hat eine robuste Leistung bei Inferenzaufgaben mit großen Sprachmodellen (LLM) gezeigt und ist insbesondere bei Modellen wie LLama-70b hervorragend. Dieser Erfolg unterstreicht die bedeutenden Fortschritte, die AMD bei der Verarbeitungsleistung und Effizienz erzielt hat.

2. Finden Sie andere Hardware-Alternativen

Zusätzlich zu AMDs Fortschritten Google hat Tensor Processing Units (TPUs) eingeführt, spezielle Hardware, die speziell zur Beschleunigung der Arbeitslast beim maschinellen Lernen entwickelt wurde und eine robuste Alternative für das Training großer KI-Modelle bietet.

Neben diesen Branchenriesen leisten auch kleinere, aber einflussreiche Akteure wie Graphcore und Cerebras bemerkenswerte Beiträge zum KI-Hardware-Bereich. Die Intelligence Processing Unit (IPU) von Graphcore, die auf Effizienz bei KI-Berechnungen zugeschnitten ist, hat aufgrund ihres Potenzials bei Hochleistungsaufgaben Aufmerksamkeit erregt, wie gezeigt von Das Experimentieren von Twitter. Cerebras hingegen schon Mit seinen fortschrittlichen Chips überschreitet es Grenzen, wobei der Schwerpunkt auf Skalierbarkeit und reiner Rechenleistung für KI-Anwendungen liegt.

Die gemeinsamen Anstrengungen dieser Unternehmen bedeuten einen Wandel hin zu einem vielfältigeren KI-Hardware-Ökosystem. Diese Diversifizierung stellt praktikable Strategien zur Verringerung der Abhängigkeit von NVIDIA dar und bietet Entwicklern und Forschern ein breiteres Spektrum an Plattformen für die KI-Entwicklung.

3. Beginnen Sie mit der Investition in Leistungsoptimierung

Neben der Erforschung von Hardware-Alternativen erweist sich die Optimierung der Software als entscheidender Faktor, um die Auswirkungen der Dominanz von Nvidia abzumildern. Durch den Einsatz effizienter Algorithmen, die Reduzierung unnötiger Berechnungen und die Implementierung paralleler Verarbeitungstechniken können nicht große Technologieunternehmen die Leistung ihrer ML-Modelle auf vorhandener Hardware maximieren und so einen pragmatischen Ansatz zur Überbrückung der Lücke bieten, ohne ausschließlich auf teure Hardware-Upgrades angewiesen zu sein.

Ein Beispiel für diesen Ansatz ist die AutoNAC-Technologie von Deci Ai. Diese Innovation hat die Fähigkeit bewiesen, die Modellinferenz um den beeindruckenden Faktor 3–10 zu beschleunigen, was durch weithin anerkannte Ergebnisse belegt wird MLPerf-Benchmark. Durch die Darstellung solcher Fortschritte wird deutlich, dass Softwareoptimierung die Effizienz der ML-Entwicklung erheblich steigern kann und eine praktikable Alternative zur Abschwächung des Einflusses der Dominanz von Nvidia auf diesem Gebiet darstellt.

4. Beginnen Sie mit der Zusammenarbeit mit anderen Organisationen, um dezentrale Cluster zu schaffen

Dieser kollaborative Ansatz kann den Austausch von Forschungsergebnissen, gemeinsame Investitionen in alternative Hardwareoptionen und die Förderung der Entwicklung neuer ML-Technologien durch Open-Source-Projekte umfassen. Durch die Dezentralisierung der Inferenz und die Nutzung verteilter Rechenressourcen können nicht große Technologieunternehmen gleiche Wettbewerbsbedingungen schaffen und eine wettbewerbsfähigere Landschaft in der ML-Entwicklungsbranche schaffen.

Heutzutage gewinnt die Strategie der gemeinsamen Nutzung von Computerressourcen in der gesamten Technologiebranche an Bedeutung. Google Kubernetes Engine (GKE) veranschaulicht dies, indem es Cluster-Mehrmandantenfähigkeit unterstützt und so eine effiziente Ressourcennutzung und Integration mit Diensten von Drittanbietern ermöglicht. Dieser Trend wird auch durch von der Community geführte Initiativen wie Petals untermauert, das ein verteiltes Netzwerk für die Ausführung von KI-Modellen bietet und so Hochleistungsrechnen ohne nennenswerte Investitionen zugänglich macht. Darüber hinaus bieten Plattformen wie Together.ai einen serverlosen Zugriff auf eine breite Palette von Open-Source-Modellen, was die Entwicklung rationalisiert und die Zusammenarbeit fördert. Wenn Sie solche Plattformen in Betracht ziehen, können Sie auf Rechenressourcen und Möglichkeiten zur gemeinsamen Entwicklung zugreifen und so Ihren Entwicklungsprozess optimieren und Kosten senken, unabhängig von der Größe eines Unternehmens.

Zusammenfassung 

Auf globaler Ebene wird die Notwendigkeit der oben genannten Strategien deutlich. Wenn ein Unternehmen den Markt dominiert, hemmt es die Entwicklung und behindert die Festlegung angemessener Preise.

Nicht-große Technologieunternehmen können der Dominanz von Nvidia entgegenwirken, indem sie Alternativen wie AMDs RocM erkunden, in Leistungsoptimierung durch effiziente Algorithmen und Parallelverarbeitung investieren und die Zusammenarbeit mit anderen Organisationen fördern, um dezentrale Cluster zu schaffen. Dies fördert eine vielfältigere und wettbewerbsfähigere Landschaft in der KI-Hardware- und Entwicklungsbranche und ermöglicht kleineren Akteuren ein Mitspracherecht bei der Zukunft der KI-Entwicklung.

Diese Strategien zielen darauf ab, die Abhängigkeit von den Preisen und Lieferungen von Nvidia zu verringern und dadurch die Investitionsattraktivität zu erhöhen, das Risiko einer Verlangsamung der Geschäftsentwicklung aufgrund des Hardware-Wettbewerbs zu minimieren und das organische Wachstum innerhalb der gesamten Branche zu fördern.