Die Zukunft der serverlosen Inferenz für Large Language Models

Die jüngsten Fortschritte bei Large Language Models (LLMs) wie GPT-4 und PaLM haben zu transformierenden Fähigkeiten bei natürlichen Sprachaufgaben geführt. LLMs werden in verschiedene Anwendungen wie Chatbots, Suchmaschinen und Programmierassistenten integriert. Allerdings bleibt die Bereitstellung von LLMs im großen Maßstab aufgrund ihrer erheblichen GPU- und Speicheranforderungen herausfordernd.

Die Ansätze, um diese Herausforderung zu überwinden, fallen im Allgemeinen in zwei Hauptkategorien:

1. Modellkomprimierungstechniken

Diese Techniken zielen darauf ab, die Größe des Modells zu reduzieren, während die Genauigkeit beibehalten wird. Gängige Ansätze umfassen:

• Beschränkung – Entfernen redundanter oder weniger wichtiger Parameter aus dem Modell. Dies erstellt ein sparsames Modell mit weniger Parametern.
• Quantisierung – Verwenden von niedrigeren Präzisionszahlen wie int8 oder bfloat16, um Gewichte anstelle von fp32 oder fp16 darzustellen. Dies reduziert den Speicherbedarf.
• Wissensdestillation – Trainieren eines kleineren “Schüler”-Modells, um ein großes “Lehrer”-Modell nachzuahmen. Das kleinere Modell wird dann für die Inferenz verwendet.

2. Selektive Ausführung

Anstelle von komprimierten Modellen führen diese Techniken nur Teile des Modells pro Inferenz aus:

• Sparse Aktivierungen – Überspringen von Berechnungen für Null-Aktivierungen.
• Bedingte Berechnung – Ausführen nur bestimmter Schichten, die von der Eingabe abhängen.

Auf der komplementären Seite zur Software-Architektur; um eine schnellere Bereitstellung von LLMs zu ermöglichen, haben Forscher serverlose Inferenzsysteme vorgeschlagen. In serverlosen Architekturen werden LLMs auf gemeinsam genutzten GPU-Clustern gehostet und dynamisch basierend auf der Nachfrage zugewiesen. Dies ermöglicht eine effiziente Nutzung von GPUs und reduziert die Kosten für Entwickler. Prominente Implementierungen umfassen Amazon (AMZN ) SageMaker, Microsoft Azure ML und Open-Source-Optionen wie KServe.

Trotz des Versprechens von serverlosen LLMs zeigen bestehende Systeme hohe Latenzüberhead, die die Benutzererfahrung in interaktiven Anwendungen beeinträchtigen:

1. Kostspielige Checkpoint-Downloads: LLMs haben große Speicherfootprints, oft Gigabyte bis Terabyte groß. Der Download von Checkpoints von Remote-Speicher ist zeitaufwändig und dauert über 20 Sekunden, sogar mit optimierten Netzwerken.
2. Un effiziente Checkpoint-Ladung: Selbst mit lokalem SSD-Speicher dauert das Laden von Checkpoints in den GPU-Speicher zehn Sekunden, aufgrund von Faktoren wie Tensor-Deserialisierung und -Zuweisung. Dies verursacht erhebliche Verzögerungen über die Container-Startzeit hinaus.

Um diese Probleme zu lösen, schlugen Forscher am MIT CSAIL ServerlessLLM vor, ein innovatives System, das eine low-latency-serverlose Inferenz für LLMs erreicht. ServerlessLLM verbessert die Lokalität, indem es die reichlich vorhandene, aber unterausgestattete Kapazität und Bandbreite in Multi-Tier-Server-Speicher für die LLM-Bereitstellung ausnutzt.

Überblick über serverlose LLM-Inferenzsysteme

Schlüsselinnovationen in ServerlessLLM ServerlessLLM umfasst mehrere neuartige Designs, um die LLM-Ladzeiten in serverlosen Umgebungen zu reduzieren:

1. Schnelles Checkpoint-Laden

• Ladoptimiertes Checkpoint-Format, das schnelles sequentielles Lesen und effizientes Tensor-Adressieren im Speicher ermöglicht.
• Multi-Tier-Checkpoint-Ladepipeline, die die Bandbreitenausnutzung über Netzwerk, SSDs, DRAM und GPU-Speicher durch Techniken wie direktes I/O, festgelegte Speicherübertragung und Parallelität maximiert.

2. Live-Migration für lokalitätsgetriebene Inferenz

• Token-basierte Migration, die nur die wesentlichen Prompt-Tokens über das Netzwerk überträgt, ohne langsame Snapshot-Übertragung.
• Zweiphasige Migration, die es ermöglicht, die Inferenz ununterbrochen fortzusetzen, indem asynchron die Cache-Zustände auf dem Zielserver vor der Übertragung der endgültigen Tokens neu berechnet werden.

3. Latenzoptimierte Server-Zuweisung

• Genauere Modelle, um die Checkpoint-Ladzeiten von jedem Tier und die Migrationszeiten für einen Server zu schätzen.
• Lokalitätsbewusster Planer, der Server auswählt, die die erwartete Startlatenz minimieren, unter Verwendung der oben genannten Modelle.

Diese Optimierungen ermöglichen es ServerlessLLM, die LLM-Ladzeiten um 4-8-mal und die Gesamtstartzeit um über 25-mal im Vergleich zu bestehenden Systemen wie PyTorch, TensorFlow und KServe zu reduzieren.

Lassen Sie uns tiefer in die Funktionsweise von ServerlessLLM eintauchen und sehen, wie es diese signifikanten Leistungssteigerungen erreicht.

Beschleunigung des Checkpoint-Ladens

Das erste große Hindernis, das ServerlessLLM angeht, ist die hohe Latenz des Ladens von LLM-Checkpoints aus dem Speicher in den GPU-Speicher.

Um ein schnelles Checkpoint-Laden zu ermöglichen, führt ServerlessLLM Folgendes ein:

1. Ladoptimiertes Checkpoint-Format

Standard-Checkpoints, die von Frameworks wie PyTorch verwendet werden, sind für das Modell-Training und -Debugging konzipiert. Für serverlose Inferenz jedoch werden Checkpoints nur gelesen und wiederholt abgerufen.

Um für eine solche leseintensive Nutzung zu optimieren, konvertiert ServerlessLLM Checkpoints in ein Format mit zwei wichtigen Eigenschaften:

• Sequentielles chunk-basiertes Lesen: Tensoren werden in pro-GPU-Binärdateien gruppiert, was große sequenzielle Lesevorgänge ermöglicht.
• Effizientes Tensor-Adressieren: Ein Index kartiert Tensor-Namen auf Speicher-Offsets, was direktes Wiederherstellen im Speicher ohne Deserialisierung ermöglicht.

2. Multi-Tier-Checkpoint-Ladepipeline

ServerlessLLM nutzt die gestufte Architektur von GPU-Servern, mit Speichermedien wie SSDs und Netzwerken, die über PCIe, NVMe usw. mit GPUs verbunden sind.

Das System umfasst eine mehrstufige Pipeline, um die Bandbreitenausnutzung über alle Ebenen zu maximieren:

• Im Speicher befindliche Daten-Chunks werden mit festgelegtem Speicher für schnellen GPU-Transfer zugewiesen.
• Direktes I/O wird für effizientes SSD-Lesen ohne Caching-Overhead verwendet.
• Mehrere Threads lesen verschiedene Speicher-Chunks parallel.
• Zwischen den Stufen findet eine Koordination über asynchrone Aufgaben-Queues statt.

Zusammen ermöglicht dies, die Bandbreitenausnutzung sogar der schnellsten Ebenen wie NVMe-RAID zu maximieren. Experimente zeigen, dass ServerlessLLM 6-8-mal schnelleres Laden als PyTorch/TensorFlow erreicht und die Startzeit für große LLMs von über einer Minute auf unter 10 Sekunden reduziert.

Lokalitätsgetriebene LLM-Inferenz über Live-Migration

Mit beschleunigtem Laden steht ServerlessLLM vor einer neuen Herausforderung – wie kann es vorgeladene Checkpoints für Lokalität nutzen, ohne die laufende Inferenz auf beschäftigten Servern zu unterbrechen?

ServerlessLLM führt eine neuartige Technik ein – Live-Migration der LLM-Inferenz über GPU-Server. Dies ermöglicht es, die Ausführung nahtlos auf Server mit lokalen Checkpoints zu übertragen.

Schlüssel-Enabler der Live-LLM-Migration:

1. Token-basierte Migration

Anstelle des Snapshot-Transfers des gesamten Modellzustands migriert ServerlessLLM nur die minimalen Prompt-Tokens über das Netzwerk. Dies überträgt weniger Daten als Snapshots.

2. Zweiphasige Migration

Der Zielserver berechnet asynchron die Cache-Zustände aus den Prompt-Tokens vor. Sobald bereit, überträgt der Quellserver die endgültigen Tokens, bevor er Ressourcen freigibt. Dies verhindert Inferenz-Verzögerungen.

Experimente zeigen, dass token-basierte Migration die Migrationszeit von zehn Sekunden auf unter eine Sekunde reduziert, sogar für lange Sequenzen. Live-Migration ist entscheidend, um Wartezeiten zu vermeiden, wenn Lokalitäts-Allocierung erreicht wird.

Latenzoptimierte Modell-Planung

Um die Gesamtlatenz zu minimieren, verbessert ServerlessLLM den Planer, um die Server-Auswahl unter Berücksichtigung der Lokalität zu optimieren. Dies umfasst:

1. Feingranulare Ladzeit-Schätzung

Modelle schätzen die Ladzeiten von Netzwerk, SSD-Caches und Speicher für jeden Server unter Verwendung von Metriken wie Warteschlangen-Verzögerungen, Modellgrößen und gemessener Bandbreite.

2. Genauer Migrationszeit-Predictor

Der Planer schätzt die Migrationszeiten für Server unter Verwendung der Anzahl von Prompt- und Ausgabe-Tokens. Er verfolgt die Inferenz-Fortschritte asynchron, um Overhead zu vermeiden.

3. Lokalitätsbewusste Zuweisung

Für jeden Inferenz-Anfrage bewertet der Planer die geschätzten Ladzeiten und Migrationszeiten über alle Server. Er wählt den Server aus, der die erwartete Startlatenz minimiert.

Der Planer verwaltet auch Server-Aufgaben-Queues und nutzt einen stark konsistenten Speicher für Fehlertoleranz. Zusammen reduzieren diese Innovationen die Planungs-Overhead, während sie die Vorteile der Lokalität maximieren.

Bewertung der ServerlessLLM-Leistung

Umfassende Experimente testen die Gesamteffektivität von ServerlessLLM gegenüber bestehenden Systemen unter Verwendung von realen Modellen wie OPT-175B und Workloads, die nach Azure-Spuren modelliert sind.

Schlüsselergebnisse:

• Mikro-Benchmarks: ServerlessLLM beschleunigt das Checkpoint-Laden um 3,6-8,2-mal im Vergleich zu PyTorch/TensorFlow. Es sättigt die Speicher-Bandbreite, sogar für Cutting-Edge-NVMe-RAID.
• Planung: ServerlessLLM reduziert die Zuweisungs-Latenz um 4-12-mal im Vergleich zur zufälligen Planung, was die Vorteile der Lokalitäts-Erkennung unterstreicht. Live-Migration verhindert Wartezeiten.
• Gesamte Server-Bereitstellung: Für große Modelle wie OPT-30B verbessert ServerlessLLM die 99. Perzentil-Latenz um 28-200-mal im Vergleich zu Systemen wie KServe und Ray Serve. Es verbessert auch die Ressourcen-Effizienz.

Diese erheblichen Gewinne demonstrieren die Fähigkeit von ServerlessLLM, die Engpässe in bestehenden serverlosen Implementierungen zu überwinden und die Leistung von LLMs für interaktive Dienste zu entfesseln.

Die in ServerlessLLM eingeführten Optimierungen, wie Multi-Tier-Laden, Live-Migration und latenzgetriebene Planung, können die Gestaltung zukünftiger serverloser Architekturen informieren. Die Fähigkeit des Systems, Ladzeiten und Startzeiten zu reduzieren, ermöglicht die skalierbare Bereitstellung großer Sprachmodelle für praktische Anwendungen.

Blick in die Zukunft: Anhaltende Herausforderungen

Während ein bedeutender Schritt nach vorne, stellt ServerlessLLM nur den ersten Schritt bei der Optimierung der serverlosen Inferenz für massive LLMs dar. Mehrere offene Probleme bleiben bestehen, darunter:

• Vorhersage der Echtzeit-Modell-Nachfrage, um Bereitstellung und Vorladung zu leiten
• Intelligente Platzierung von Checkpoints über Server, um Cache-Treffer zu maximieren
• Effiziente Skalierung von Planungs-Algorithmen, um größere Cluster zu bewältigen
• Sicherstellung von Fairness bei der Ressourcen-Zuweisung über Modelle und Entwickler hinweg
• Verallgemeinerung von Innovationen wie Live-Migration auf andere serverlose Workloads

Die Lösung dieser Bereiche kann dazu beitragen, das Versprechen von serverlosen LLMs zu erfüllen und ihre Fähigkeiten noch zugänglicher zu machen. Darüber hinaus bleibt die Reduzierung des erheblichen CO2-Fußabdrucks und der potenziellen Schäden von großen Modellen eine dringende Priorität.

ServerlessLLM zeigt, dass ein enormes Potenzial für Innovation in next-generation serverlosen Architekturen für KI-Workloads besteht. Wenn LLMs weiterhin an Größe und Popularität gewinnen, werden Lösungen wie ServerlessLLM, die ihre Skalierbarkeit ermöglichen, immer bedeutsamer. Die Kombination von System- und Maschinen-Lern-Forschung kann neue Paradigmen für die Bereitstellung, den Austausch und die Skalierung von KI-Modellen sicher und nachhaltig einführen.