Verbesserung der AI-Inferenz: Erweiterte Techniken und Best Practices

Wenn es um Echtzeit-Anwendungen wie selbstfahrende Autos oder Gesundheitsüberwachung geht, kann bereits eine Sekunde mehr zur Verarbeitung eines Inputs schwerwiegende Folgen haben. Echtzeit-Anwendungen benötigen zuverlässige GPUs und Rechenleistung, was sehr teuer und für viele Anwendungen prohibitiv war – bis jetzt.

Durch die Übernahme eines optimierten Inferenzprozesses können Unternehmen nicht nur die AI-Effizienz maximieren, sondern auch den Energieverbrauch und die Betriebskosten (um bis zu 90%) reduzieren; die Privatsphäre und Sicherheit verbessern und sogar die Kundenzufriedenheit steigern.

Häufige Inferenzprobleme

Einige der häufigsten Probleme, mit denen Unternehmen bei der Verwaltung von AI-Effizienzen konfrontiert sind, umfassen unterausgelastete GPU-Cluster, die Standardisierung auf allgemeine Modelle und mangelnde Einblicke in die damit verbundenen Kosten.

Teams stellen oft GPU-Cluster für die Spitzenlast bereit, aber zwischen 70 und 80 Prozent der Zeit sind sie aufgrund ungleicher Workflows unterausgelastet.

Darüber hinaus greifen Teams auf große allgemeine Modelle (GPT-4, Claude) zurück, auch für Aufgaben, die auf kleineren, günstigeren Open-Source-Modellen laufen könnten. Der Grund dafür ist ein Mangel an Wissen und eine steile Lernkurve beim Aufbau benutzerdefinierter Modelle.

Schließlich haben Ingenieure in der Regel keinen Einblick in die Echtzeitkosten für jeden Anfrage, was zu hohen Rechnungen führt. Tools wie PromptLayer, Helicone können helfen, diesen Einblick zu gewähren.

Aufgrund mangelnder Kontrolle über die Modellauswahl, Batchverarbeitung und Auslastung können die Inferenzkosten exponentiell (um bis zu 10 Mal) steigen, Ressourcen verschwenden, die Genauigkeit beeinträchtigen und die Benutzererfahrung beeinträchtigen.

Energieverbrauch und Betriebskosten

Das Ausführen größerer LLMs wie GPT-4, Llama 3 70B oder Mixtral-8x7B erfordert erheblich mehr Leistung pro Token. Im Durchschnitt verbrauchen 40 bis 50 Prozent der Energie, die von einem Rechenzentrum verwendet werden, die Computerhardware, und weitere 30 bis 40 Prozent sind für die Kühlung der Hardware erforderlich.

Daher ist es für ein Unternehmen, das rund um die Uhr für die Inferenz im großen Maßstab läuft, vorteilhafter, einen Anbieter vor Ort zu betrachten, anstatt einen Cloud-Anbieter, um einen Aufpreis zu vermeiden und weniger Energie zu verbrauchen.

Privatsphäre und Sicherheit

Laut Cisco’s 2025 Data Privacy Benchmark Study, “64% der Befragten machen sich Sorgen darüber, versehentlich sensible Informationen öffentlich oder mit Wettbewerbern zu teilen, doch fast die Hälfte gibt zu, personenbezogene Mitarbeiter- oder nicht-öffentliche Daten in GenAI-Tools einzugeben.” Dies erhöht das Risiko der Nichteinhaltung, wenn die Daten nicht ordnungsgemäß protokolliert oder zwischengespeichert werden. Eine weitere Gelegenheit für Risiken ist das Ausführen von Modellen über verschiedene Kundenorganisationen auf einer gemeinsam genutzten Infrastruktur; dies kann zu Datenlecks und Leistungsproblemen führen, und es besteht das Risiko, dass die Aktionen eines Benutzers andere Benutzer beeinträchtigen. Daher bevorzugen Unternehmen in der Regel Dienste, die in ihrer Cloud bereitgestellt werden.

Kundenzufriedenheit

Wenn Antworten mehr als ein paar Sekunden dauern, um zu erscheinen, geben Benutzer normalerweise auf, was die Bemühungen der Ingenieure unterstützt, auf Null-Latenz zu optimieren. Darüber hinaus stellen Anwendungen „Hindernisse wie Halluzinationen und Ungenauigkeiten dar, die die weite Verbreitung und den Einsatz einschränken können”, laut einer Gartner-Pressemitteilung.

Unternehmensvorteile bei der Bewältigung dieser Probleme

Die Optimierung der Batchverarbeitung, die Auswahl der richtigen Modelle (z. B. das Umschalten von Llama 70B oder geschlossenen Quellmodellen wie GPT auf Gemma 2B, wo möglich) und die Verbesserung der GPU-Auslastung können die Inferenzkosten um 60 bis 80 Prozent reduzieren. Die Verwendung von Tools wie vLLM kann helfen, ebenso wie der Wechsel zu einem serverlosen Pay-as-you-go-Modell für eine spitze Arbeitslast.

Nehmen wir Cleanlab als Beispiel. Cleanlab hat den Trustworthy Language Model (TLM) zur Hinzufügung eines Vertrauenswerts zu jeder LLM-Antwort. Es ist für hochwertige Ausgaben und verbesserte Zuverlässigkeit konzipiert, was für Unternehmensanwendungen entscheidend ist, um unkontrollierte Halluzinationen zu verhindern. Bevor Inferless kam, erlebte Cleanlabs erhöhte GPU-Kosten, da GPUs auch dann liefen, wenn sie nicht aktiv verwendet wurden. Ihre Probleme waren typisch für traditionelle Cloud-GPU-Anbieter: hohe Latenz, ineffizientes Kostenmanagement und eine komplexe Umgebung zur Verwaltung. Mit serverloser Inferenz reduzierten sie die Kosten um 90 Prozent, während sie die Leistungsmerkmale beibehielten. Wichtiger noch, sie gingen innerhalb von zwei Wochen live, ohne zusätzliche Ingenieurkosten.

Optimierung der Modellarchitektur

Grundmodelle wie GPT und Claude werden oft für Allgemeingültigkeit und nicht für Effizienz oder spezifische Aufgaben trainiert. Durch die Nichtanpassung von Open-Source-Modellen an spezifische Anwendungsfälle verschwenden Unternehmen Speicher und Rechenzeit für Aufgaben, die diese Größe nicht benötigen.

Neue GPU-Chips wie H100 sind schnell und effizient. Diese sind besonders wichtig, wenn große Operationen wie Videogenerierung oder AI-bezogene Aufgaben ausgeführt werden. Mehr CUDA-Kerne erhöhen die Verarbeitungsgeschwindigkeit und überbieten kleinere GPUs; NVIDIA’s Tensor-Kerne sind für die Beschleunigung dieser Aufgaben im großen Maßstab konzipiert.

Die GPU-Speicherung ist auch wichtig für die Optimierung der Modellarchitektur, da große KI-Modelle erheblichen Speicherplatz benötigen. Dieser zusätzliche Speicher ermöglicht es der GPU, größere Modelle ohne Kompromisse bei der Geschwindigkeit auszuführen. Umgekehrt leidet die Leistung kleinerer GPUs mit weniger VRAM, da sie Daten auf ein langsames System-RAM verschieben.

Mehrere Vorteile der Optimierung der Modellarchitektur umfassen Zeit- und Geldersparnis. Zunächst kann das Umschalten von dichten Transformationsmodellen auf LoRA-optimierte oder FlashAttention-basierte Varianten zwischen 200 und 400 Millisekunden von der Antwortzeit pro Abfrage abschneiden, was in Chatbots und Spielen beispielsweise entscheidend ist. Darüber hinaus benötigen quantisierte Modelle (wie 4-Bit- oder 8-Bit-Modelle) weniger VRAM und laufen auf günstigeren GPUs schneller.

Langfristig spart die Optimierung der Modellarchitektur Geld für die Inferenz, da optimierte Modelle auf kleineren Chips laufen können.

Die Optimierung der Modellarchitektur umfasst die folgenden Schritte:

• Quantisierung — Reduzierung der Genauigkeit (FP32 → INT4/INT8), Speicherplatz sparend und Beschleunigung der Rechenzeit
• Beschränkung — Entfernen weniger nützlicher Gewichte oder Schichten (strukturiert oder unstrukturiert)
• Destillation — Trainieren eines kleineren „Schüler“-Modells, um die Ausgabe eines größeren Modells nachzuahmen

Komprimierung der Modellgröße

Kleinere Modelle bedeuten schnellere Inferenz und weniger teure Infrastruktur. Große Modelle (13B+, 70B+) erfordern teure GPUs (A100s, H100s), hohe VRAM und mehr Leistung. Die Komprimierung ermöglicht es ihnen, auf günstigerer Hardware wie A10s oder T4s mit viel geringerer Latenz zu laufen.

Komprimierte Modelle sind auch entscheidend für die Ausführung von Inferenz auf Geräten (Telefonen, Browsern, IoT), da kleinere Modelle die Bedienung von mehr gleichzeitigen Anfragen ohne Infrastrukturvergrößerung ermöglichen. In einem Chatbot mit mehr als 1.000 gleichzeitigen Benutzern ermöglichte der Wechsel von einem 13B- zu einem 7B-komprimierten Modell es einem Team, mehr als doppelt so viele Benutzer pro GPU ohne Latenzspitzen zu bedienen.

Nutzung spezieller Hardware

Allgemeine CPUs sind nicht für Tensor-Operationen konzipiert. Spezielle Hardware wie NVIDIA A100s, H100s, Google TPUs oder AWS Inferentia kann eine schnellere Inferenz (zwischen 10- und 100-mal) für LLMs mit besserer Energieeffizienz bieten. Das Abschneiden von nur 100 Millisekunden pro Anfrage kann einen Unterschied machen, wenn täglich Millionen von Anfragen verarbeitet werden.

Betrachten Sie dieses hypothetische Beispiel:

Ein Team führt LLaMA-13B auf Standard-A10-GPUs für sein internes RAG-System aus. Die Latenz beträgt etwa 1,9 Sekunden, und sie können aufgrund von VRAM-Einschränkungen nicht viel batchen. Also wechseln sie zu H100s mit TensorRT-LLM, aktivieren FP8 und optimieren den Aufmerksamkeitskern, erhöhen die Batch-Größe von acht auf 64. Das Ergebnis ist die Reduzierung der Latenz auf 400 Millisekunden mit einer fünffachen Steigerung der Durchsatzrate.
Dadurch können sie Anfragen fünfmal auf dem gleichen Budget bedienen und Ingenieure von der Navigation durch Infrastruktur-Engpässe befreien.

Bewertung der Bereitstellungsoptionen

Unterschiedliche Prozesse erfordern unterschiedliche Infrastrukturen; ein Chatbot mit 10 Benutzern und eine Suchmaschine, die täglich eine Million Abfragen bedient, haben unterschiedliche Anforderungen. Die vollständige Ausrichtung auf die Cloud (z. B. AWS Sagemaker) oder die DIY-GPU-Server ohne Bewertung der Kosten-Leistungs-Verhältnisse führt zu verschwendeten Ausgaben und einer schlechten Benutzererfahrung. Beachten Sie, dass eine frühzeitige Bindung an einen geschlossenen Cloud-Anbieter eine schmerzhafte Migration der Lösung später nach sich zieht. Die frühzeitige Bewertung mit einer pay-as-you-go-Struktur bietet jedoch Optionen für die Zukunft.

Die Bewertung umfasst die folgenden Schritte:

• Benchmark-Modell-Latenz und -Kosten über Plattformen hinweg: Führen Sie A/B-Tests auf AWS, Azure, lokalen GPU-Clustern oder serverlosen Tools durch, um zu replizieren.
• Messung der Leistung bei Kaltstart: Dies ist besonders wichtig für serverlose oder ereignisgesteuerte Workloads, da Modelle schneller laden.
• Bewertung der Beobachtbarkeit und Skalierungsgrenzen: Bewerten Sie die verfügbaren Metriken und identifizieren Sie, was die maximale Anzahl von Abfragen pro Sekunde ist, bevor die Leistung beeinträchtigt wird.
• Überprüfung der Konformitätsunterstützung: Bestimmen Sie, ob Sie geo-basierte Datenregeln oder Audit-Protokolle durchsetzen können.
• Schätzen des Gesamtkostenbesitzes. Dies sollte GPU-Stunden, Speicher, Bandbreite und Overhead für Teams umfassen.

Fazit

Inferenz ermöglicht es Unternehmen, ihre AI-Leistung zu optimieren, den Energieverbrauch und die Kosten zu senken, die Privatsphäre und Sicherheit aufrechtzuerhalten und die Kunden zufriedenzustellen.