Das Geheimnis zu schnellerem KI-Training liegt nicht in mehr GPUs, sondern in intelligenteren Netzwerken

KI revolutioniert, was in verschiedenen Branchen wie Gesundheitswesen, Finanzen, Fertigung und Einzelhandel möglich ist. Aber mit vielversprechendem Potenzial bringt sie auch massive Infrastrukturanforderungen mit sich.

Unternehmen weltweit investieren in GPUs im bisher nicht dagewesenen Umfang, um KI-Training und -Inferenz zu beschleunigen. Bis 2028 prognostiziert Gartner , dass der IT-Ausgaben für generative KI 1 Billion Dollar übersteigen werden. Hyperion Research prognostiziert, dass der Gesamtaufwand für den HPC-Markt in diesem Zeitraum 100 Milliarden Dollar übersteigen wird. Trotz Investitionen in hochleistungsfähige Beschleuniger sehen viele CIOs jedoch weiterhin brachliegende GPUs, wobei die Auslastung bei 35 % oder niedriger liegt. Dies führt nicht nur zu einer Unterauslastung, sondern auch zu verschwendeter Energie und höheren Kosten.

Viele KI-Projekte stagnieren, nicht weil ihnen GPUs oder Rechenleistung fehlen, sondern weil das Netzwerk nicht mithalten kann und ein neuer Ansatz für die Gestaltung von KI im großen Maßstab erforderlich ist.

Die versteckten Kosten von Netzwerkengpässen

Wenn Netzwerke Daten nicht schnell genug liefern können, um GPUs kontinuierlich auszulasten, haben Organisationen mehrere kritische Auswirkungen:

• Unterauslastete GPUs und CPUs aufgrund von Datenübertragungsengpässen: GPUs sind für massiv parallele Berechnungen konzipiert, können aber nur so schnell Daten verarbeiten, wie sie geliefert werden. Wenn das Netzwerk nicht mithalten kann, bleiben GPUs untätig, anstatt Zahlen zu berechnen. CPUs können ebenfalls stillstehen, da sie Aufgaben koordinieren und Daten durch die Pipeline bewegen, was zu einer geringen Auslastung trotz der Verfügbarkeit teurer Hardware führt.
• Inkonsistente Inferenzleistung aufgrund von Netzwerkineffizienzen: Netzwerkineffizienzen erzeugen ungleichmäßige Datenflüsse, was dazu führt, dass GPUs zwischen Vollgeschwindigkeit und Leerlaufschaltung schwanken. Dies ergibt unvorhersehbare Inferenzleistungen, die KI-Anwendungen in der Produktion behindern können.
• Längere Trainingszyklen, die den Zeitpunkt der Markteinführung verzögern: Das Training von KI-Modellen erfordert das Übertragen von großen Datensätzen zwischen Servern, GPUs und Speicher. Netzwerkengpässe drosseln diesen Prozess, so dass GPUs weniger Zeit mit dem Training und mehr Zeit mit dem Warten verbringen. Dies verlangsamt direkt die Produktentwicklung und -einführung.
• Steigende Strom- und Betriebskosten: Selbst wenn sie stillstehen, verbrauchen GPUs und die umgebende Infrastruktur immer noch erheblichen Strom. Wenn GPUs aufgrund von Netzwerkineffizienzen unterausgelastet sind, zahlen Organisationen für hohen Stromverbrauch, ohne eine proportionale Leistung zu erhalten. Die Betriebskosten steigen, da Einrichtungen Peak-Strom- und Kühllasten unterstützen müssen, obwohl die Rechenleistung künstlich eingeschränkt ist.

Unternehmen können weiterhin Geld in mehr GPUs investieren, aber ohne die richtigen Netzwerkverbesserungen werden sie nur diese Engpässe und Ineffizienzen verschärfen.

Netzwerk als Beschleuniger: Ein Paradigmenwechsel

Die Lösung erfordert eine Neukonzeption der Netzwerkarchitektur. Die Einführung eines Modells, das das Netzwerk als Beschleuniger nutzt, kehrt die traditionelle Denkweise über HPC- und KI-Leistung um und schaltet neue Fähigkeiten frei.

Anstatt sich hauptsächlich auf die Hinzufügung von Rechenleistung durch GPUs und CPUs zu konzentrieren, behandelt der “Netzwerk als Beschleuniger”-Ansatz die Interconnect-Fabrik als Leistungsmultiplikator. Als Ergebnis kann das Netzwerk hochdichte Rechenleistung besser unterstützen und die ROI durch die Beseitigung von Engpässen, die Anpassung an Rechenanforderungen und die Optimierung von Hardwareinvestitionen beschleunigen. Durch die Möglichkeit, größere Workloads in weniger Raum auszuführen, Ergebnisse schneller zu erhalten und übermäßige Hardwareinvestitionen zu vermeiden, können Organisationen messbare ROI schneller erzielen, indem sie den maximalen Wert aus ihrer bestehenden Infrastruktur ziehen, bevor sie in mehr Silizium investieren.

Wie das “Netzwerk als Beschleuniger”-Modell funktioniert

Wie funktioniert also dieses Modell, damit Organisationen ihr Netzwerk von einem passiven Datenmover in einen aktiven Rechenbeschleuniger umwandeln und die Vorteile nutzen können? Es bietet vier Schlüsselfähigkeiten, die traditionelle Netzwerke nicht haben:

• Zuverlässige Lieferung auf Hardwareebene: Traditionelle Netzwerke belasten CPUs und GPUs mit Paketverfolgung, erneuter Übertragung und Neuordnung. Dies verbraucht Rechenzyklen, die für Training oder Inferenz verwendet werden könnten. Mit einer Netzwerkfabrik, die zuverlässige Lieferung auf Hardwareebene garantiert, werden diese Aufgaben von den Recheneinheiten wegverlagert, was zu geringerem CPU- und GPU-Overhead, vorhersehbarer und konsistenter Leistung und Skalierbarkeit führt, die die Programmierung und Clusterorchestrierung vereinfacht.
• Intelligente dynamische Routing: Konventionelle Routing-Verfahren verlassen sich auf feste oder suboptimale Pfade, die Teile des Netzwerks unterausgelastet lassen oder Engpässe erzeugen können, wenn massive Datenmengen gleichzeitig fließen. Intelligente Routing-Verfahren nutzen dynamisch alle verfügbaren Pfade, um den Datenfluss zu optimieren. Dies ermöglicht höhere Durchsatzraten mit mehreren aktiven Routen, die den Datenfluss ausgleichen, geringere Latenz durch optimale Pfadwahl und verbesserte Ausfallsicherheit, da der Netzwerkverkehr automatisch um fehlgeschlagene Verbindungen oder Knoten herumgeleitet wird. Dies reduziert die Ausfallzeiten und hält GPUs mit Daten voll ausgelastet.
• Link-ebene Auto-Retry: Wenn Pakete verloren oder beschädigt werden, verlassen sich Standardnetzwerke auf die Rechenebene, um sie zu erkennen und erneut zu senden, was erhebliche Latenz verursacht und den Rechenfluss unterbricht. Eine Fabrik mit integrierter Link-ebene Auto-Retry-Funktion behandelt erneute Übertragungen innerhalb des Netzwerks selbst. Dies ermöglicht nahezu transparente Zuverlässigkeit, da Paketverluste für Recheneinheiten unsichtbar werden, während die Latenzauswirkungen reduziert werden, da Wiederholungen lokal am Link und nicht über den gesamten Netzwerkstack erfolgen. Dies eliminiert auch die Notwendigkeit für komplexe Anwendungs-Error-Handling. Auto-Retry-Funktionen gewährleisten ununterbrochene, effiziente verteilte Berechnungen, was wichtig ist, wenn Tausende von GPUs skaliert werden.
• Rechnen im Netzwerk: Während traditionelle Netzwerkfabriken hauptsächlich Daten bewegen, ermöglicht Rechnen im Netzwerk, dass das Netzwerk zu einem Co-Prozessor wird, indem es bestimmte Operationen direkt innerhalb der Fabrik ausführt. NVIDIA SHARP ist ein Beispiel – es ermöglicht Reduzierungen auf den Netzwerkswitches selbst. Dies ermöglicht beschleunigte verteilte Operationen, reduziert die Latenz, da Daten während der Netzwerkübertragung aggregiert werden, und erhöht die Effizienz, da Recheneinheiten von der Ausführung von Aggregationsaufgaben befreit werden, was mehr Zyklen für Training und Simulation freigibt.

Insgesamt sind diese Fähigkeiten das, was “Netzwerk-geführte Rechnung” zum Grundstein für die Skalierung von Next-Gen-KI- und HPC-Umgebungen macht. Ein netzwerkzentrierter Ansatz liefert greifbare Rückkehr, die höhere GPU-Auslastung umfasst, die Datenverknappung eliminiert, schnellere Zeit bis zum Erkenntnisgewinn reduziert, Trainingszyklen verkürzt und Inferenzleistung stabilisiert, verbesserte Ressourceneffizienz und geringere Gesamtkosten.

Entdecken Sie die wahre Netzwerkleistung

KI im großen Maßstab ist nicht nur ein Rechenproblem, sondern eine systemweite Ingenieurherausforderung, bei der das Netzwerk im Mittelpunkt steht. Das Netzwerk als Beschleuniger zu behandeln, macht es zu einem Leistungsmultiplikator für die Rechenleistung, wodurch HPC- und KI-Rechenzentren in der Dichte skaliert werden können, ohne die Leistung zu beeinträchtigen. Es liefert messbare ROI schneller, indem es den maximalen Wert aus der bestehenden Infrastruktur zieht, bevor in mehr Silizium investiert wird.

Durch die Beseitigung von Engpässen, die Auslastung, die Lieferung vorhersehbarer Leistung und intelligentere Netzwerke ermöglichen produktivere KI-Teams, bessere ROI auf GPU-Infrastruktur und schnellere Zeit bis zum Erkenntnisgewinn, Innovation und Marktführerschaft. Es ermöglicht Organisationen, zu entdecken, was ihr Netzwerk wirklich kann, und die Macht von KI auf neue Weise zu nutzen.