Vordenker
Die Zukunft von Generative AI ist das Edge
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Die Einführung von ChatGPT und Generative AI im Allgemeinen ist ein bedeutendes Ereignis in der Geschichte der Technologie und wird mit dem Beginn des Internets und des Smartphones verglichen. Generative AI hat ein enormes Potenzial gezeigt, intelligente Gespräche zu führen, Prüfungen zu bestehen, komplexe Programme/Code zu generieren und beeindruckende Bilder und Videos zu erstellen. Obwohl die meisten Gen-AI-Modelle in der Cloud auf GPUs laufen – sowohl für das Training als auch für die Inferenz – ist dies keine langfristig skalierbare Lösung, insbesondere für die Inferenz, aufgrund von Faktoren wie Kosten, Leistung, Latenz, Datenschutz und Sicherheit. Dieser Artikel behandelt jeden dieser Faktoren sowie motivierende Beispiele, um Gen-AI-Compute-Workloads an den Rand zu verlagern.
Die meisten Anwendungen laufen auf Hochleistungsprozessoren – entweder auf Geräten (z. B. Smartphones, Desktops, Laptops) oder in Rechenzentren. Da der Anteil der Anwendungen, die AI nutzen, zunimmt, sind diese Prozessoren mit nur CPUs unzureichend. Darüber hinaus treibt die schnelle Expansion von Generative-AI-Workloads eine exponentielle Nachfrage nach AI-aktivierten Servern mit teuren, stromhungrigen GPUs an, was wiederum die Infrastrukturkosten in die Höhe treibt. Diese AI-aktiven Server können bis zu 7-mal so teuer sein wie ein normaler Server, und GPUs machen 80 % dieser zusätzlichen Kosten aus.
Zusätzlich verbraucht ein Cloud-Server 500 W bis 2000 W, während ein AI-aktiver Server zwischen 2000 W und 8000 W verbraucht – 4-mal mehr! Um diese Server zu unterstützen, benötigen Rechenzentren zusätzliche Kühlsysteme und Infrastruktur-Upgrades – was sogar höher sein kann als die Recheninvestition. Rechenzentren verbrauchen bereits 300 TWh pro Jahr, fast 1 % des gesamten weltweiten Stromverbrauchs. Wenn die Trends der AI-Adoption weitergehen, könnten bis 2030 bis zu 5 % des weltweiten Stromverbrauchs von Rechenzentren verbraucht werden. Darüber hinaus gibt es eine beispiellose Investition in Generative-AI-Rechenzentren. Es wird geschätzt, dass Rechenzentren bis zu 500 Milliarden Dollar für Kapitalausgaben bis 2027 verbrauchen werden, hauptsächlich getrieben durch AI-Infrastrukturanforderungen.
Der Stromverbrauch von Rechenzentren, bereits 300 TWh, wird mit der Einführung von Generative AI erheblich steigen.
AI-Compute-Kosten sowie Energieverbrauch werden die breite Einführung von Generative AI behindern. Skalierungsprobleme können durch die Verlagerung von AI-Compute an den Rand und die Verwendung von Verarbeitungslösungen, die für AI-Workloads optimiert sind, überwunden werden. Mit diesem Ansatz ergeben sich für den Kunden auch andere Vorteile, einschließlich Latenz, Datenschutz, Zuverlässigkeit sowie erhöhte Fähigkeiten.
Compute folgt den Daten an den Rand
Seit etwa einem Jahrzehnt, als AI aus der akademischen Welt auftrat, fand das Training und die Inferenz von AI-Modellen in der Cloud/Rechenzentrum statt. Da ein Großteil der Daten am Rand generiert und verbraucht wird – insbesondere Video – ergab es Sinn, die Inferenz der Daten an den Rand zu verlagern, um so die Gesamtkosten (TCO) für Unternehmen aufgrund reduzierter Netz- und Rechenkosten zu senken. Während die AI-Inferenzkosten in der Cloud wiederkehrend sind, ist die Kosten für die Inferenz am Rand eine einmalige, hardwarebezogene Ausgabe. Im Wesentlichen senkt die Ergänzung des Systems mit einem Edge-AI-Prozessor die gesamten Betriebskosten. Wie bei der Migration herkömmlicher AI-Workloads an den Rand (z. B. Gerät, Geräte) werden auch Generative-AI-Workloads diesem Trend folgen. Dies wird erhebliche Einsparungen für Unternehmen und Verbraucher bringen.
Die Verlagerung an den Rand, kombiniert mit einem effizienten AI-Accelerator, um Inferenzfunktionen auszuführen, bietet auch andere Vorteile. Vor allem ist da die Latenz. Zum Beispiel können in Gaming-Anwendungen nicht-spielbare Charaktere (NPCs) mit generativer AI gesteuert und erweitert werden. Mit LLM-Modellen, die auf Edge-AI-Acceleratoren in einer Gaming-Konsole oder einem PC laufen, können Gamer diesen Charakteren spezifische Ziele geben, damit sie sinnvoll an der Geschichte teilnehmen können. Die geringe Latenz durch lokale Edge-Inferenz ermöglicht es, dass NPCs Rede und Bewegungen in Echtzeit auf die Befehle und Aktionen der Spieler reagieren. Dies liefert ein hochimmersive Gaming-Erlebnis auf kostengünstige und stromeffiziente Weise.
In Anwendungen wie Gesundheitswesen sind Datenschutz und Zuverlässigkeit extrem wichtig (z. B. Patientenbewertung, Medikamentenempfehlungen). Daten und die zugehörigen Gen-AI-Modelle müssen vor Ort sein, um Patientendaten (Datenschutz) zu schützen, und jeder Netzwerkausfall, der den Zugriff auf AI-Modelle in der Cloud blockiert, kann katastrophal sein. Ein Edge-AI-Gerät, das ein Gen-AI-Modell für jeden Unternehmenskunden – in diesem Fall einen Gesundheitsdienstleister – ausführt, kann die Probleme von Datenschutz und Zuverlässigkeit nahtlos lösen, während es gleichzeitig eine geringere Latenz und Kosten bietet.
Generative AI auf Edge-Geräten stellt eine geringe Latenz in Gaming sicher und schützt Patientendaten und verbessert die Zuverlässigkeit im Gesundheitswesen.
Viele Gen-AI-Modelle, die in der Cloud laufen, können bis zu einer Billion Parameter haben – diese Modelle können effektiv allgemeine Anfragen bearbeiten. Unternehmensspezifische Anwendungen erfordern jedoch, dass die Modelle Ergebnisse liefern, die für den Anwendungsfall relevant sind. Nehmen wir beispielsweise einen Gen-AI-basierten Assistenten, der für die Auftragsannahme in einem Fast-Food-Restaurant entwickelt wurde – damit dieses System eine nahtlose Kundeninteraktion haben kann, muss das zugrunde liegende Gen-AI-Modell auf den Menüartikeln des Restaurants trainiert werden, einschließlich der Kenntnis von Allergenen und Zutaten. Die Modellgröße kann durch die Verwendung eines Supersets von Large Language Models (LLM) optimiert werden, um ein relativ kleines Modell mit 10-30 Milliarden Parametern zu trainieren und dann eine weitere Feinabstimmung mit den kundenspezifischen Daten durchzuführen. Ein solches Modell kann Ergebnisse mit erhöhter Genauigkeit und Fähigkeit liefern. Und da das Modell kleiner ist, kann es effektiv auf einem AI-Accelerator am Rand bereitgestellt werden.
Gen AI wird am Rand gewinnen
Es wird immer einen Bedarf an Gen AI in der Cloud geben, insbesondere für allgemeine Anwendungen wie ChatGPT und Claude. Aber wenn es um unternehmensspezifische Anwendungen geht, wie z. B. Adobe Photoshops generativen Füllstoff oder Github-Copilot, ist Generative AI am Rand nicht nur die Zukunft, sondern auch die Gegenwart. Speziell entwickelte AI-Acceleratoren sind der Schlüssel, um dies möglich zu machen.
