KI-Modelle und Plattformen

AWS ermöglicht vollständige Gewichtsanpassung bei der serverlosen SageMaker-Modellanpassung

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteVollständiges Fine-Tuning aktualisiert jedes Gewicht, während LoRA die vorab…
Mehr anzeigen
  • Vollständiges Fine-Tuning aktualisiert jedes Gewicht, während LoRA die vorab trainierten Gewichte einfriert und Adapter mit niedrigem Rang einfügt.
  • Aggressive Lernraten von 5e-5 oder höher verursachten katastrophales Vergessen, wobei die MMLU-Genauigkeit auf 3,6 % fiel.
  • Der serverlose Betrieb beseitigt die Infrastrukturverwaltung, verringert jedoch nicht die Anzahl der trainierten Gewichte.

Amazon Web Services kündigte am 18. November 2026 die Unterstützung für vollständiges Fine-Tuning (FFT) bei der serverlosen Modellanpassung von SageMaker AI an und berichtete von einer semantischen Korrektheit von 90,0 % in einem Programmierexperiment mit mehr als 100.000 Trainingsbeispielen. Zugleich warnte das Unternehmen, dass aggressive Einstellungen zu erheblichen Verlusten beim Allgemeinwissen führten.

Kunden geben ein Basismodell, einen Datensatz und Hyperparameter an. Der Dienst weist Rechenressourcen zu und verwaltet Checkpoints, ohne dass GPUs bereitgestellt, Cluster eingerichtet oder Konfigurationen für verteiltes Training vorgenommen werden müssen. Im Beispiel mit dem SageMaker Python SDK von AWS bedeutet ein Methodenwechsel, TrainingType.FULL gegen TrainingType.LORA, während die übrige Jobkonfiguration unverändert bleibt.

FFT aktualisiert jedes Modellgewicht. Bei LoRA bleiben die vortrainierten Gewichte dagegen eingefroren; stattdessen werden Adaptermatrizen mit niedrigem Rang eingefügt. Dadurch sinkt der Bedarf an GPU-Kapazität, die Aktualisierungen beschränken sich jedoch auf einen kleineren Repräsentationsraum. AWS zufolge kann Training mit vollem Rang bei wachsenden Datensätzen komplexere Anpassungen an bestimmte Fachgebiete erfassen, statt lediglich die Zahl der trainierbaren Parameter zu erhöhen.

Kontrollierte Programmier-Tests

AWS verglich die Methoden anhand von überwachtem Fine-Tuning (SFT) eines Qwen3-4B-Basismodells. Dabei kamen identische Prompts, Zielvorgaben und Evaluierungscodes zum Einsatz. Der Datensatz Magicoder-Evol-Instruct-110K enthielt Paare aus Programmieranweisungen und Antworten zu den Themen Algorithmenentwurf, Fehlersuche, Datenstrukturen und Systemprogrammierung. Für das Training wurden 99.000 Datensätze verwendet, für die Validierung 5.500 und für einen zurückgehaltenen Testsatz ebenfalls 5.500.

Bei den Evaluierungen wurden die Aufgabenleistung und der Wissenserhalt getrennt betrachtet. Amazon Nova Pro diente als LLM-Bewerter und prüfte den generierten Code zusammen mit dem ursprünglichen Prompt auf logische Korrektheit. PRIMECODE ermittelte anhand der deterministischen Kennzahlen BLEU, ROUGE-1/2/L und F1 die Ähnlichkeit mit Referenzlösungen. MMLU testete das Allgemeinwissen in 57 akademischen Fachgebieten.

AWS berichtete, dass der Wert für semantische Korrektheit nach drei Epochen seinen Höchststand erreichte und längeres Training die Leistung aller getesteten Varianten verschlechterte. Im Radardiagramm von AWS lag FFT bei jeder dargestellten Qualitätsdimension vor LoRA und dem Basismodell. Die größten Vorsprünge gab es bei BLEU und ROUGE-2, was darauf hindeutet, dass der Unterschied nicht auf eine einzelne Kennzahl beschränkt war.

AWS zufolge führte das Unternehmen Dutzende Anpassungsexperimente mit mehreren Basismodellen durch und variierte dabei Lernrate, Batchgröße, Aufwärmverhältnis, Epochenzahl und Datensatzumfang. Jeder Durchlauf dauerte von der Übermittlung des Jobs bis zur Evaluierung einige Stunden. Die resultierenden Modelle wurden automatisch als versionierte Modellpakete in der SageMaker Model Registry registriert, um geprüft oder bereitgestellt zu werden.

Risiken des Vergessens beim vollständigen Fine-Tuning

AWS warnte, dass FFT nicht durchweg überlegen sei: Sowohl FFT als auch LoRA schnitten beim Exact-Match-Wert für MATH schlechter ab als das Basismodell. Ein separater Vergleich mit LLM-Bewertung fiel zugunsten von LoRA aus: 81,5 % gegenüber 79,5 % bei FFT.

Aggressive Lernraten führten zu erheblichen Leistungsverlusten. Bei 5e-5 oder höher sanken die MATH-Werte in den Tests von AWS auf 2–3 % und die MMLU-Genauigkeit auf 3,6 %. Dies belegt katastrophales Vergessen – den Verlust allgemeinerer Fähigkeiten, wenn das fachspezifische Training das vortrainierte Wissen überschreibt. Die Risikoübersicht von AWS wies 2e-5 als sicherere Einstellung für große Datensätze aus. Eine Basiskonfiguration mit dieser Lernrate, 5 % Aufwärmphase und einer globalen Batchgröße von 8 bewahrte unter den getesteten Konfigurationen das Allgemeinwissen, gemessen mit MMLU, am besten.

Auch die Batchgröße beeinflusste den Wissenserhalt. Bei gleichbleibender Lernrate führten kleinere Batches zu stärker verrauschten Aktualisierungen, die sich wie eine höhere Lernrate auswirkten und das Vergessensrisiko erhöhten. Größere Batches verringerten das Rauschen, reduzierten jedoch auch die Zahl der Optimierungsschritte, was zu einer unzureichenden Anpassung des Modells führen kann.

Abwägungen bei der Bereitstellung

SFT mit FFT ist laut der Liste der unterstützten Modelle von AWS für Open-Weight-Modelle wie DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B und NVIDIA Nemotron 3 Nano 30B (A3B) verfügbar.

Laut der FFT-Dokumentation verwendet die Methode dieselben Datensatzformate wie LoRA, erfordert jedoch mehr Rechenleistung und längere Trainingszeiten. Sie erzeugt größere Artefakte, die die vollständigen Modellgewichte enthalten, und ist nicht mit kontinuierlicher Anpassung kompatibel. Außerdem entfällt beim Inferenzvorgang der zusätzliche Aufwand durch Adapter.

Der serverlose Betrieb verändert, wer die Infrastruktur zuweist und Checkpoints verwaltet; die Zahl der trainierten Gewichte wird dadurch nicht verringert. Die Einführung erleichtert somit die Durchführung umfassenderer Anpassungen. Ob sich der Aufwand lohnt, hängt jedoch weiterhin davon ab, ob die aufgabenspezifischen Verbesserungen die höheren Trainingskosten und mögliche Verluste allgemeinerer Fähigkeiten aufwiegen.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.