Der Aufstieg von Neural Processing Units: Verbesserung der On-Device-Generative-AI für Geschwindigkeit und Nachhaltigkeit

Die Evolution der generativen KI verändert nicht nur unsere Interaktion und Erfahrungen mit Computern, sondern definiert auch die Grundlagen der Rechnertechnik neu. Einer der wichtigsten Treiber dieser Transformation ist die Notwendigkeit, generative KI auf Geräten mit begrenzten Rechenressourcen auszuführen. Dieser Artikel diskutiert die Herausforderungen, die sich daraus ergeben, und wie Neural Processing Units (NPUs) entstehen, um diese Herausforderungen zu meistern. Darüber hinaus stellt der Artikel einige der neuesten NPU-Prozessoren vor, die in diesem Bereich führend sind.

Herausforderungen der On-Device-Generative-AI-Infrastruktur

Generative KI, die treibende Kraft hinter Bildsynthese, Textgenerierung und Musikkomposition, erfordert erhebliche Rechenressourcen. Üblicherweise werden diese Anforderungen durch die Nutzung der umfassenden Fähigkeiten von Cloud-Plattformen erfüllt. Obwohl dieser Ansatz effektiv ist, kommt er mit eigenen Herausforderungen für die On-Device-Generative-KI, einschließlich der Abhängigkeit von konstanter Internetverbindung und zentraler Infrastruktur. Diese Abhängigkeit führt zu Latenz, Sicherheitslücken und erhöhtem Energieverbrauch.

Der Grundstein der cloud-basierten KI-Infrastruktur beruht hauptsächlich auf Central Processing Units (CPUs) und Graphics Processing Units (GPUs), um die Rechenanforderungen der generativen KI zu bewältigen. Wenn jedoch diese Prozessoren auf die On-Device-Generative-KI angewendet werden, stoßen sie auf erhebliche Hindernisse. CPUs sind für allgemeine Aufgaben konzipiert und verfügen nicht über die spezialisierte Architektur, die für eine effiziente und energiesparende Ausführung von generativen KI-Workloads erforderlich ist. Ihre begrenzten parallelen Verarbeitungsfähigkeiten führen zu geringerer Durchsatzleistung, erhöhter Latenz und höherem Energieverbrauch, was sie weniger ideal für die On-Device-KI macht. Andererseits können GPUs zwar in der parallelen Verarbeitung hervorragend sein, sind jedoch hauptsächlich für Grafikverarbeitungsaufgaben konzipiert. Um generative KI-Aufgaben effektiv auszuführen, benötigen GPUs spezielle integrierte Schaltungen, die viel Energie verbrauchen und erhebliche Wärme erzeugen. Darüber hinaus schaffen ihre große physische Größe Hindernisse für ihre Verwendung in kompakten, On-Device-Anwendungen.

Das Entstehen von Neural Processing Units (NPUs)

Als Reaktion auf die oben genannten Herausforderungen entstehen Neural Processing Units (NPUs) als transformative Technologie für die Implementierung von generativer KI auf Geräten. Die Architektur von NPUs ist hauptsächlich von der Struktur und Funktion des menschlichen Gehirns inspiriert, insbesondere von der Art und Weise, wie Neuronen und Synapsen zusammenarbeiten, um Informationen zu verarbeiten. In NPUs fungieren künstliche Neuronen als grundlegende Einheiten, die biologische Neuronen nachahmen, indem sie Eingaben empfangen, verarbeiten und Ausgaben produzieren. Diese Neuronen sind durch künstliche Synapsen miteinander verbunden, die Signale zwischen Neuronen mit variierender Stärke übertragen, die sich während des Lernprozesses anpassen. Dies emuliert den Prozess der synaptischen Gewichtsänderungen im Gehirn. NPUs sind in Schichten organisiert; Eingabeschichten, die rohe Daten empfangen, versteckte Schichten, die Zwischenverarbeitungen durchführen, und Ausgabeschichten, die die Ergebnisse generieren. Diese schichtweise Struktur spiegelt die mehrstufige und parallele Informationsverarbeitungsfähigkeit des Gehirns wider. Da auch die generative KI mit einer ähnlichen Struktur aus künstlichen neuronalen Netzen konstruiert ist, sind NPUs gut geeignet, um generative KI-Workloads zu bewältigen. Diese strukturelle Ausrichtung reduziert die Notwendigkeit für spezielle integrierte Schaltungen, was zu kompakten, energiesparenden, schnellen und nachhaltigen Lösungen führt.

Abdeckung der vielfältigen Rechenanforderungen der generativen KI

Generative KI umfasst eine breite Palette von Aufgaben, darunter Bildsynthese, Textgenerierung und Musikkomposition, jede mit ihren eigenen einzigartigen Rechenanforderungen. Um beispielsweise Bildsynthese effektiv durchzuführen, werden Matrixoperationen benötigt, während Textgenerierung sequenzielle Verarbeitung erfordert. Um diese vielfältigen Rechenanforderungen effektiv zu erfüllen, werden Neural Processing Units (NPUs) oft in System-on-Chip (SoC)-Technologie neben CPUs und GPUs integriert.

Jeder dieser Prozessoren bietet unterschiedliche Rechenstärken. CPUs sind besonders gut für sequenzielle Steuerung und Unmittelbarkeit, GPUs hervorragend für parallele Datenströme und NPUs fein abgestimmt für Kern-AI-Operationen, die mit Skalar-, Vektor- und Tensor-Rechen arbeiten. Durch die Nutzung einer heterogenen Rechenarchitektur können Aufgaben den Prozessoren basierend auf ihren Stärken und den Anforderungen der spezifischen Aufgabe zugewiesen werden.

NPUs, die für AI-Workloads optimiert sind, können generative KI-Aufgaben effizient von der Haupt-CPU entlasten. Diese Entlastung stellt nicht nur sicher, dass die Operationen schnell und energiesparend sind, sondern beschleunigt auch AI-Schlußaufgaben, sodass generative KI-Modelle auf dem Gerät reibungslos laufen können. Wenn NPUs die AI-bezogenen Aufgaben übernehmen, können CPUs und GPUs Ressourcen für andere Funktionen zuweisen, wodurch die Gesamtleistung der Anwendung verbessert und die thermische Effizienz erhalten bleibt.

Reale Beispiele für NPUs

Die Entwicklung von NPUs gewinnt an Momentum. Hier sind einige reale Beispiele für NPUs:

• Hexagon NPUs von Qualcomm (QCOM ) sind speziell für die Beschleunigung von AI-Schlußaufgaben bei geringer Leistung und geringen Ressourcen konzipiert. Sie sind für generative KI-Aufgaben wie Textgenerierung, Bildsynthese und Audiodatenverarbeitung ausgelegt. Der Hexagon NPU ist in Qualcomms Snapdragon-Plattformen integriert, was eine effiziente Ausführung von neuronalen Netzmodellen auf Geräten mit Qualcomm-AI-Produkten ermöglicht.
• Apples Neural Engine ist ein wichtiger Bestandteil der A-Serie- und M-Serie-Chips, die verschiedene AI-getriebene Funktionen wie Face ID, Siri und erweiterte Realität (AR) antreiben. Der Neural Engine beschleunigt Aufgaben wie Gesichtserkennung für sichere Face ID, natürliche Sprachverarbeitung (NLP) für Siri und verbesserte Objekterkennung und Szenenverständnis für AR-Anwendungen. Er verbessert erheblich die Leistung von AI-bezogenen Aufgaben auf Apple-Geräten und bietet ein nahtloses und effizientes Benutzererlebnis.
• Samsungs NPU ist ein spezieller Prozessor, der für AI-Berechnungen konzipiert ist und tausende von Berechnungen gleichzeitig ausführen kann. Integriert in die neuesten Samsung Exynos SoCs, die viele Samsung-Telefone antreiben, ermöglicht diese NPU-Technologie niedrigen Energieverbrauch, hohe Geschwindigkeit und generative KI-Berechnungen. Samsungs NPU-Technologie ist auch in Flaggschiff-Fernsehern integriert, was AI-getriebene Klanginnovationen und verbesserte Benutzererfahrungen ermöglicht.
• Huaweis Da-Vinci-Architektur dient als Kern ihres Ascend-AI-Prozessors, der darauf ausgelegt ist, die AI-Rechenleistung zu verbessern. Die Architektur nutzt einen Hochleistungs-3D-Würfel-Rechenmotor, der für AI-Workloads leistungsstark ist.

Das Fazit

Generative KI verändert unsere Interaktionen mit Geräten und definiert die Rechnertechnik neu. Die Herausforderung, generative KI auf Geräten mit begrenzten Rechenressourcen auszuführen, ist erheblich, und herkömmliche CPUs und GPUs kommen oft nicht aus. Neural Processing Units (NPUs) bieten eine vielversprechende Lösung mit ihrer spezialisierten Architektur, die auf die Anforderungen der generativen KI zugeschnitten ist. Durch die Integration von NPUs in System-on-Chip (SoC)-Technologie neben CPUs und GPUs können wir die Stärken jedes Prozessors nutzen, was zu schnellerer, effizienterer und nachhaltigerer AI-Leistung auf Geräten führt. Wenn NPUs weiterentwickelt werden, werden sie die On-Device-KI-Fähigkeiten verbessern und Anwendungen responsiver und energiesparender machen.