Das Beste
10 beste Open-Source-LLMs (November 2026)

Das beste Open-Source-LLM ist dasjenige, das sich für die Arbeit, die Sie tatsächlich erledigen müssen, einsetzen, bewerten und warten lässt. Ein Modell, das auf eine Workstation passt, kann wertvoller sein als ein leistungsstärkeres Modell, für das ein Cluster erforderlich ist. Umgekehrt kann eine Organisation, die anspruchsvolle Programmieragenten betreibt, durchaus erhebliche Infrastrukturkosten in Kauf nehmen, um eine höhere Aufgabenleistung zu erzielen.
Wir haben jedes Modell in diesem Leitfaden unabhängig hinsichtlich seiner Leistungsfähigkeit, der Praktikabilität des Einsatzes, der Lizenzierung, der Dokumentation und seiner Eignung für den angegebenen Anwendungsfall bewertet. Dies ist eine redaktionelle Rangliste und kein neuer Praxistest: Die veröffentlichten Leistungsangaben stammen von den Entwicklern der verlinkten Modelle und lassen sich über verschiedene Testumgebungen oder Einstellungen hinweg nicht direkt vergleichen. Die praktische Zugänglichkeit wird stark gewichtet. Deshalb führen Qwen3.8-27B, Gemma 4 und gpt-oss die Liste an.
Geltungsbereich: Dieser Leitfaden behandelt sowohl Open-Source-LLMs als auch LLMs mit offenen Gewichten. Herunterladbare Gewichte umfassen nicht unbedingt Trainingsdaten oder uneingeschränkte Nutzungsrechte. Jeder Eintrag nennt den jeweiligen Checkpoint oder die Modellfamilie sowie die Lizenz. Übertragen Sie Lizenzannahmen nicht von einer älteren Version oder einem anderen Modell desselben Entwicklers. Geprüft am 14. Oktober 2026.
Die besten Open-Source-LLMs und LLMs mit offenen Gewichten im Vergleich
| KI-Tool | Am besten für | Funktionen |
|---|---|---|
| Qwen3.8-27B | Beste Gesamtbalance für selbst gehostete Anwendungen | Dichtes Sprachmodell mit 27B Parametern; Bildverarbeitung; natives Kontextfenster mit 262K Tokens; Apache 2.0 |
| Gemma 4 | Größte Auswahl an Modellgrößen für lokale multimodale KI | Varianten mit E2B, E4B, 12B, 26B A4B und 31B; Apache 2.0 |
| gpt-oss | Am zugänglichsten für textbasiertes Schlussfolgern | Varianten mit 20b und 120b; konfigurierbares Schlussfolgern; MXFP4; Apache 2.0 |
| DeepSeek V4 | Am besten für Schlussfolgern und Programmieren in großem Maßstab | Offizielle Version Pro-0813; Größen Pro und Flash; Kontextfenster mit einer Million Tokens; MIT |
| GLM-5.3 | Am besten für Programmieragenten im Servermaßstab | Aktualisiertes Post-Training; Programmieren über lange Aufgabenhorizonte; benutzerdefinierte GLM-5.3-Lizenz |
| Kimi K3 | Am besten für multimodale Agenten-Workflows in großem Maßstab | Native Bildverarbeitung; insgesamt 2.8T und 104B aktive Parameter; Kontextfenster mit 1M Tokens; benutzerdefinierte Lizenz |
| Mistral Small 4 | Bestes einheitliches Modell für Geschäftsanwendungen | Insgesamt 119B, davon 6.5B aktiv; Text und Bilder; Kontextfenster mit 256K Tokens; Apache 2.0 |
| Devstral Small 2 | Beste gezielte lokale Option für Programmieragenten | 24B Parameter; Tools für Codebasen; Bildverarbeitung; Kontextfenster mit 256K Tokens; Apache 2.0 |
| Nemotron 3 Nano | Am besten zum Experimentieren mit effizienter Inferenz für Agenten | Insgesamt 30B, davon 3.5B aktiv; hybride Mamba- und Attention-Architektur; NVIDIA-Lizenz |
| Olmo 3.1 | Am besten für transparente Forschung und Anpassung | Varianten 32B Instruct und Think; Trainingsressourcen; Apache 2.0 |
1. Qwen3.8-27B
Qwen3.8-27B empfehlen wir zuerst Entwicklern, die ein leistungsfähiges, anpassungsfähiges Modell suchen, ohne sofort auf einen großen GPU-Cluster umsteigen zu müssen. Es verbindet ein dichtes Sprachmodell mit nativem Bild- und Videoverständnis und eignet sich dadurch für Programmieraufgaben, Dokumentenanalyse, Forschungsassistenten und Anwendungen, die Screenshots interpretieren müssen. Seine Platzierung beruht auf dieser ausgewogenen Kombination aus Leistungsfähigkeit und praktischer Einsetzbarkeit – nicht auf der Behauptung, es gewinne jeden Benchmark.
Das Modell unterstützt konfigurierbares Schlussfolgern und ein natives Kontextfenster mit 262.144 Tokens, das sich auf bis zu eine Million Tokens erweitern lässt. Dieser Unterschied ist wichtig: Ein erweitertes Kontextfenster erfordert eine entsprechende Konfiguration und zusätzliche Ressourcen und sollte auf einer Workstation nicht als Standard gelten. Beginnen Sie bei einem internen Dokumentenassistenten mit einem moderaten Kontextfenster und Retrieval und erweitern Sie es erst, wenn längere Eingaben die Antworten nachweislich verbessern.
Für den Checkpoint gilt die Apache-2.0-Lizenz. Quantisierte Versionen erleichtern lokale Experimente, doch das Sprachmodell, die Bildverarbeitungskomponenten, der Cache und die Laufzeitumgebung beanspruchen alle Speicher. Wählen Sie eine Implementierung, die ihre Architektur und multimodale Eingaben ausdrücklich unterstützt. Dass sich ein rein textbasiertes Modell erfolgreich laden lässt, belegt nicht, dass Bilder, Tool-Aufrufe oder ein erweitertes Kontextfenster korrekt funktionieren.
Vor- und Nachteile
- Nützliche Kombination aus Programmierfähigkeit, Schlussfolgern und visuellem Verständnis
- Praktische Alternative zu Modellen, die einen Cluster erfordern
- Freizügige Checkpoint-Lizenz
- Bei höherer Präzision weiterhin hoher Speicherbedarf
- Ein erweitertes Kontextfenster erhöht die Anforderungen an den Einsatz
Modellkarte zu Qwen3.8-27B ansehen
2. Gemma 4
Gemma 4 ist die vielseitigste Modellfamilie, wenn es darum geht, eine multimodale Anwendung an unterschiedliche Hardwarebudgets anzupassen. Google bietet mehrere Größen an, darunter kleine Modelle mit wenigen effektiven Parametern, ein 12B-Modell, eine 26B-Variante mit Mixture-of-Experts-Architektur und ein dichtes 31B-Modell. So können Entwickler Lösungen für Geräte mit begrenzten Ressourcen bis hin zu Workstations finden, ohne davon auszugehen, dass jeder Nutzer das größte Modell ausführen kann.
Die Fähigkeiten unterscheiden sich innerhalb der Modellfamilie. Das 31B-Modell verarbeitet Text und Bilder, während E2B, E4B und 12B zusätzlich Audioeingaben unterstützen. Die kleineren Varianten haben ein Kontextfenster von 128K, die größeren Konfigurationen eines von 256K. Bei einer Dokumenten- oder Sprachanwendung sollte die Auswahl des konkreten Checkpoints zuerst von den Eingabeanforderungen abhängen. Das größte Modell ist nicht automatisch am besten geeignet, wenn ihm eine benötigte Modalität fehlt.
Gemma 4 steht unter der Apache-2.0-Lizenz, doch die Hardwareplanung will weiterhin sorgfältig durchdacht sein. Bei den effektiven Parameterzahlen von E2B und E4B bleiben einige große Einbettungskomponenten unberücksichtigt; diese Bezeichnungen sind daher kein verlässlicher Anhaltspunkt für den Speicherbedarf. Wir bewerten die Modellfamilie wegen der Auswahlmöglichkeiten bei der Bereitstellung hoch. Wer auf einer festen Workstation die maximale Leistung erzielen möchte, sollte die passende Gemma-Variante direkt mit Qwen anhand eigener Dokumente und Prompts vergleichen.
Vor- und Nachteile
- Mehrere Größen für unterschiedliche Bereitstellungsbudgets
- Bildverarbeitung in der gesamten Modellfamilie
- Audioeingabe bei ausgewählten Varianten
- Modalitäten und Kontextfenster unterscheiden sich je nach Checkpoint
- Bezeichnungen für effektive Parameter können den Speicherbedarf verschleiern
3. gpt-oss
OpenAI’s gpt-oss ist weiterhin ein praktischer Ausgangspunkt für privates textbasiertes Schlussfolgern und Assistenten mit Tool-Unterstützung. Die Modellfamilie umfasst Varianten mit 20b und 120b Parametern; das kleinere Modell ist für leichter zugängliche Hardware ausgelegt. Es nimmt einen hohen Rang ein, weil der Einsatzbereich klar umrissen ist: Nutzer können ein lokales System für Schlussfolgerungen aufbauen, ohne zunächst die Infrastruktur für ein Modell mit einer Billion Parametern bereitstellen zu müssen.
Die offizielle Veröffentlichung verwendet für die Expertengewichte die MXFP4-Quantisierung. OpenAI gibt an, dass 20b mit 16 GB Arbeitsspeicher und 120b auf einer GPU mit 80 GB betrieben werden kann. Diese Angaben sind jedoch keine Garantie für jede Kontextlänge, Laufzeitumgebung oder Anzahl gleichzeitiger Nutzer. Der Aufwand für Schlussfolgerungen lässt sich anpassen. Außerdem unterstützt das Modell strukturierte Ausgaben und Tool-Aufrufe, sofern die Anwendung die dafür erforderliche Ausführungsebene bereitstellt.
Beide Modelle stehen unter der Apache-2.0-Lizenz und erfordern die korrekte Harmony-Formatierung. Sie verarbeiten ausschließlich Text; für visuelle Dokumentenprozesse ist daher eine zusätzliche Komponente erforderlich. Bei einem Programmierassistenten sollten Sie die Tool-Schemas und die Fehlerbehandlung testen, bevor Sie Schreibzugriff gewähren. Für gpt-oss sprechen vor allem die steuerbare und vergleichsweise leicht zugängliche Textinferenz. Wer native Bildverarbeitung benötigt, sollte mit einem anderen Eintrag beginnen.
Vor- und Nachteile
- Für die kleinere Variante ist ein gut erreichbarer Speicherbedarf dokumentiert
- Konfigurierbares Schlussfolgern und Tool-Unterstützung
- Freizügige Lizenz
- Keine native Bild- oder Audioeingabe
- Die korrekte Harmony-Formatierung ist entscheidend
4. DeepSeek V4
DeepSeek V4 eignet sich gut für Organisationen, die Inferenz im großen Maßstab unterstützen können und umfassende Fähigkeiten für Schlussfolgerungen und Programmierung benötigen. Die wichtigste Neuerung ist die offizielle Veröffentlichung Pro-0813, die die frühere Pro-Vorschau ablöst. Bei einer Evaluation sollte genau dieser Checkpoint angegeben werden, statt alle mit V4 bezeichneten Endpunkte als gleichwertig zu behandeln – insbesondere beim Vergleichen von Ergebnissen oder bei der Fehlersuche in verändertem Agentenverhalten.
Die Modellfamilie umfasst Pro mit insgesamt 1,6 Billionen Parametern, von denen pro Token 49 Milliarden aktiviert werden, sowie Flash mit insgesamt 284 Milliarden Parametern, von denen 13 Milliarden aktiviert werden. Die Architektur unterstützt ein Kontextfenster von einer Million Tokens; die offizielle Pro-Version ergänzt ein Modul für spekulatives Decoding. Diese Designentscheidungen zielen auf Effizienz im beträchtlichen Maßstab ab. Die Zahl der aktivierten Parameter beschreibt den Rechenaufwand, macht es aber nicht überflüssig, die übrigen Expertengewichte zu speichern.
Die Veröffentlichung steht unter der MIT-Lizenz. Wir ordnen das Modell hinter den für Workstations ausgelegten Spitzenmodellen ein, weil die Komplexität der Bereitstellung den Nutzerkreis stark einschränkt – nicht, weil kleinere Modelle grundsätzlich leistungsfähiger wären. Ein Team, das einen zentralen Inferenzdienst aufbaut, sollte Pro und Flash anhand der Kosten pro erledigter Aufgabe, der Anzahl gleichzeitiger Anfragen und der Zuverlässigkeit der Tool-Nutzung vergleichen. Wer als Einzelentwickler einen schnell einsatzbereiten lokalen Assistenten sucht, sollte mit einem kleineren Checkpoint an anderer Stelle in diesem Leitfaden beginnen.
Vor- und Nachteile
- Die offizielle Veröffentlichung ist eine Weiterentwicklung der früheren Vorschau
- Pro und Flash bieten unterschiedliche Größenoptionen
- MIT-Lizenz
- Große Experten-Checkpoints erfordern eine leistungsfähige Infrastruktur
- Der Durchsatz bei langen Kontexten muss anhand der jeweiligen Arbeitslast bewertet werden
DeepSeek-V4-Modellkarte ansehen
5. GLM-5.3
GLM-5.3 ist die aktualisierte Open-Weight-Option von Z.ai für anspruchsvolle Softwareentwicklung und umfangreiche Agentenaufgaben. Das Modell basiert auf derselben Grundlage wie GLM-5.2; die Verbesserungen gehen auf das Nachtraining zurück. Der Entwickler berichtet von deutlichen Zuwächsen bei Coding- und Agenten-Benchmarks. Daher ist diese Version die relevante Bewertungsgrundlage, statt einfach die Position und Beschreibung der vorherigen Generation beizubehalten.
Seine Stärke liegt in der längerfristigen Arbeit mit Tools, Dateien und Zwischenergebnissen. Der veröffentlichte Agenten-Score eines Modells hängt jedoch auch von der Testumgebung, dem verfügbaren Reasoning-Budget, dem Kontextmanagement und der eingeräumten Zeit ab. Bei einem Repository-Assistenten sollte die Evaluierung erfassen, ob er die angeforderte Änderung umsetzt, Regressionen verursacht und Tools korrekt einsetzt. Ein herausragender Benchmark-Wert allein belegt nicht, dass diese Ergebnisse auch in einer anderen Entwicklungsumgebung erzielt werden.
Der Lizenzunterschied ist wesentlich: GLM-5.3 wird unter einer benutzerdefinierten Lizenz veröffentlicht und nicht unter der MIT-Lizenz, die zuvor im Artikel für GLM-5.2 angegeben war. Für bestimmte sehr große Unternehmen, die Modelle als Dienst anbieten, enthält die Lizenz eine zusätzliche Prüfbedingung. Auch der umfangreiche Modellcheckpoint erfordert eine Planung auf Serverniveau. GLM-5.3 gehört auf die Auswahlliste für die Entwicklung von Unternehmenssoftware, ist aber keine gute Standardoption für Leser, die das Modell unkompliziert auf einem Laptop einsetzen möchten.
Vor- und Nachteile
- Aktualisierter Fokus auf längerfristige Coding- und Agentenaufgaben
- Herunterladbare Gewichte und dokumentierte Bereitstellungswege
- Detaillierte Evaluierungshinweise des Entwicklers
- Die benutzerdefinierte Lizenz muss für die jeweilige Version geprüft werden
- Die Infrastruktur-Anforderungen schließen die meisten privaten Rechner aus
6. Kimi K3
Kimi K3 ist die Speziallösung für Unternehmen, die visuelles Verständnis mit längerem Reasoning und Tool-Nutzung verbinden möchten. Das Modell von Moonshot hat insgesamt 2,8 Billionen Parameter, von denen pro Token etwa 104 Milliarden aktiviert werden, bietet native Bildverarbeitung und verfügt über ein Kontextfenster von einer Million Token. Es ist relevant, wenn ein Assistent innerhalb desselben Systems mit Code, Screenshots, Dokumenten und umfangreichen Interaktionsverläufen arbeiten muss.
Die Integrationsdetails sind besonders wichtig. Bei Kimi K3 bleibt das Denkvermögen aktiviert; außerdem müssen vollständige Assistentennachrichten einschließlich Reasoning- und Tool-Aufrufinformationen über mehrere Gesprächsrunden hinweg erhalten bleiben. Eine Anwendung, die nur die endgültige Antwort speichert, kann daher das vorgesehene Gesprächsformat fehlerhaft verarbeiten. Bevor Sie das Modell mit einem anderen vergleichen, sollten Sie sicherstellen, dass die Bereitstellungsschicht und das Agenten-Framework den erforderlichen Gesprächsverlauf korrekt bewahren.
Aufgrund der benutzerdefinierten Lizenz und des sehr umfangreichen Modellcheckpoints ist die Wahl auch eine Infrastrukturentscheidung. Die native Quantisierung verbessert die Effizienz der Bereitstellung, macht das Modell aber nicht zu einer gewöhnlichen Workstation-Lösung. Wir empfehlen Kimi K3 Teams, die den Betriebsaufwand durch anspruchsvolle multimodale Arbeitsabläufe rechtfertigen können. Für gewöhnliche Textzusammenfassungen oder kleine Dokumentensammlungen ist dieser Umfang selten erforderlich.
Vor- und Nachteile
- Natives visuelles Verständnis in Verbindung mit Reasoning über lange Kontexte
- Für länger andauernde, toolgestützte Arbeitsabläufe ausgelegt
- Veröffentlichte Gewichte ermöglichen eine kontrollierte Bereitstellung
- Sehr hoher Infrastrukturbedarf
- Benutzerdefinierte Lizenz und Anforderungen an das Gesprächsformat
7. Mistral Small 4
Mistral Small 4 vereint das Befolgen allgemeiner Anweisungen, Reasoning, Coding und Bildverständnis in einem Modell. Das macht es für Geschäftsanwendungen attraktiv, die mehrere Fähigkeiten über eine einheitliche Schnittstelle benötigen, statt für jede Anfrage separate Spezialmodelle zu verwalten. Seine Position verdankt es dieser betrieblichen Vielseitigkeit, insbesondere für Teams, die bereits Erfahrung mit der Verwaltung eines umfangreichen Inferenzdienstes haben.
Trotz des Namens Small umfasst das Modell insgesamt 119 Milliarden Parameter, von denen pro Token 6,5 Milliarden aktiviert werden. Es unterstützt ein Kontextfenster von 256K und einen konfigurierbaren Reasoning-Aufwand. So kann ein Dienst bei Routinefragen kürzere Antworten und bei schwierigen Aufgaben ausführlichere Überlegungen verwenden. Die Mixture-of-Experts-Architektur reduziert den aktiven Rechenaufwand, doch die vollständigen Gewichte bestimmen weiterhin einen Großteil des Speicherbedarfs.
Der Modellcheckpoint steht unter der Apache-2.0-Lizenz. Offizielle quantisierte Varianten und Optionen für spekulatives Decoding bieten Möglichkeiten zur Optimierung; ihr Nutzen hängt jedoch von der Hardware und der Laufzeitumgebung ab. Bei einem Support-Assistenten, der Screenshots auswertet und strukturierte Aktionen ausgibt, sollten Sie Bildqualität, Einhaltung des Schemas und Antwortzeit gemeinsam testen. Wählen Sie das Modell, wenn die Zusammenführung mehrerer Fähigkeiten den Betrieb vereinfacht. Gehen Sie nicht davon aus, dass der Name auf den geringen Speicherbedarf eines 8B-Laptopmodells schließen lässt.
Vor- und Nachteile
- Vereint Reasoning, Anweisungsbefolgung, Coding und visuelles Verständnis
- Der Reasoning-Aufwand lässt sich je nach Anfrage variieren
- Apache-2.0-Lizenz
- Der Namenszusatz Small lässt die tatsächliche Modellgröße kleiner erscheinen
- Der Nutzen der Optimierungen hängt vom Bereitstellungs-Stack ab
Modellkarte zu Mistral Small 4 ansehen
8. Devstral Small 2
Devstral Small 2 ist eine gezielte Alternative für Entwickler, die vor allem ein Modell suchen, das Repositorys erkundet, Dateien bearbeitet und als Softwareentwicklungsagent arbeitet. Mit 24 Milliarden Parametern lässt es sich einfacher bereitstellen als die großen Coding-Systeme weiter oben. Auch wenn neuere Allzweckmodelle in dieselbe Bewertung einbezogen werden sollten, bleibt es als Spezialist nützlich.
Mistral dokumentiert ein Kontextfenster von 256K, Bildverständnis und die Integration in die Programmierumgebung Vibe. Der Wert des Modells zeigt sich daran, wie gut es einen vollständigen Ablauf aus Bearbeitung und Tests bewältigt, nicht daran, ob es ein einzelnes beeindruckendes Code-Snippet erzeugen kann. Bewerten Sie es anhand der Struktur Ihres Repositorys, der verwendeten Programmiersprachen, der Abhängigkeiten und Ihrer Testsuite – mit denselben Tools und Berechtigungen wie bei konkurrierenden Modellen.
Die Veröffentlichung steht unter Apache 2.0. Mistral nennt Consumer-GPUs und Macs mit 32 GB als mögliche Bereitstellungsoptionen; tatsächlich hängt es jedoch von Genauigkeit, Kontext und Laufzeit-Overhead ab, was sich unterbringen lässt. Beginnen Sie mit kürzeren Sitzungen und einer kompatiblen Quantisierung, bevor Sie versuchen, riesige Repositorys in einem Prompt zu verarbeiten. Wir empfehlen es für eine dedizierte Coding-Workstation. Teams, die umfassende Recherche, Sprachfunktionen oder allgemeine multimodale Unterstützung benötigen, sollten den engeren Fokus mit dem der höher eingestuften Allzweckmodelle vergleichen.
Vor- und Nachteile
- Entwickelt für Arbeitsabläufe mit Repositorys und Tools
- Einfacher zu handhaben als führende Coding-Modelle
- Bildverarbeitung und freizügige Lizenz
- Der spezialisierte Fokus eignet sich weniger für allgemeine Assistenzaufgaben
- Der maximale Kontext ist keine Garantie für den Betrieb auf Consumer-Hardware
Modellkarte zu Devstral Small 2 ansehen
9. Nemotron 3 Nano
NVIDIAs Nemotron 3 Nano ist eine interessante Option für Entwickler, die die Effizienz textbasierter Agenten optimieren möchten. Das Modell kombiniert Mamba-Komponenten, Attention und Mixture-of-Experts-Schichten. Insgesamt verfügt es über 30 Milliarden Parameter, von denen pro Token etwa 3,5 Milliarden aktiv sind. Der Grund, es zu evaluieren, liegt in der betrieblichen Eignung seiner Architektur – nicht in der Annahme, dass es dank des Namens Nano auf jedem Gerät ausgeführt werden kann.
Das Modell unterstützt über seine Chat-Vorlage sowohl Schlussfolgerungen als auch Antworten ohne Schlussfolgerungen. So kann eine Anwendung längere Überlegungen für schwierige Anfragen vorsehen und bei einfacheren Fragen schnellere Antworten anstreben. Aufgrund der hybriden Architektur ist außerdem die Laufzeitunterstützung ein entscheidendes Auswahlkriterium: Überprüfen Sie die konkrete Kombination aus Engine, Quantisierungsformat und Hardware, statt davon auszugehen, dass alle üblichen Optimierungen für Transformer greifen.
Die Veröffentlichung steht unter der NVIDIA Nemotron Open Model License. Das Modell ist ein aussichtsreicher Kandidat für Spezialanwendungen, wenn Teams wiederholbare Inferenz-Benchmarks erstellen und bereit sind, ihre Bereitstellung anzupassen. Vergleichen Sie neben der Ausgabequalität auch die Zeit bis zur richtigen Antwort, den Speicherbedarf und das Verhalten bei gleichzeitigen Anfragen. Wer vor allem einen sofort einsatzbereiten visuellen Assistenten sucht, findet weiter oben in dieser Rangliste multimodale Optionen, die besser zu diesem Zweck passen.
Vor- und Nachteile
- Die hybride Architektur bietet eine auf Effizienz ausgerichtete Alternative
- Anpassbares Schlussfolgerungsverhalten
- Ausführliche technische Dokumentation
- Auf Text ausgerichtet statt ein nativer visueller Assistent
- Laufzeitunterstützung und individuelle Lizenz müssen geprüft werden
Modellkarte zu Nemotron 3 Nano ansehen
10. Olmo 3.1
Ai2s Olmo 3.1 gehört in diese Auswahl, denn Offenheit bedeutet mehr als einen Download-Button. Das Modell 32B Instruct ist Teil eines Ökosystems, das Trainingsdatensätze, Code, Zwischen-Checkpoints und die Methodik offenlegt. Für Forschende, die untersuchen, wie sich Trainingsentscheidungen auf das Verhalten auswirken, können diese Ressourcen wertvoller sein als eine höhere Punktzahl eines Modells, dessen Entwicklungsprozess weitgehend unzugänglich ist.
Die Modellfamilie umfasst die Varianten Instruct und Think. In der Dokumentation werden außerdem die Vor- und Nachtrainingsphasen miteinander verknüpft. Dadurch lassen sich Anpassungsentscheidungen leichter untersuchen und verschiedene Entwicklungsphasen eines Modells vergleichen. Beginnen Sie für einen Assistenten mit einem auf Anweisungen feinabgestimmten Checkpoint. Ein Basis-Checkpoint erfüllt einen anderen Zweck und sollte nicht so beurteilt werden, als wäre er bereits für den Dialogeinsatz optimiert.
Olmo 3.1 steht unter Apache 2.0 und ist in erster Linie ein englischsprachiges Textmodell. Wir führen es als Spezialisten für Transparenz, nicht als Behauptung, es sei bei den Spitzenfunktionen führend. Für eine Forschungsgruppe, Lehrkräfte oder ein Team, das sich mit der Anpassung von Modellen befasst, gibt es gute Gründe, es auszuwählen. Wer für den produktiven Einsatz native Bildverarbeitung, größtmögliche Mehrsprachigkeit oder den leistungsfähigsten sofort einsatzbereiten Coding-Agenten sucht, sollte zuerst die oben genannten Alternativen prüfen.
Vor- und Nachteile
- Trainingsressourcen ermöglichen Einblicke und Forschung
- Mehrere Nachtrainingsphasen und Varianten
- Apache-2.0-Lizenz
- Die Ausrichtung auf englischsprachige Texte schränkt manche Anwendungen ein
- Transparenz in der Forschung garantiert keine Spitzenleistung bei der Genauigkeit für bestimmte Aufgaben
Wie viel Arbeitsspeicher benötigen Sie?
Beginnen Sie mit der tatsächlichen Größe des Checkpoints und den dokumentierten Anforderungen der Laufzeitumgebung. Eine grobe Schätzung nur für die Gewichte ergibt sich, indem man die Anzahl der Parameter mit der Anzahl der Bits pro Gewicht multipliziert und das Ergebnis durch acht teilt. Ein 30B-Modell mit vier Bit benötigt näherungsweise 15 GB, noch bevor Metadaten zur Quantisierung, nicht quantisierte Komponenten, der Kontextcache, temporäre Puffer und das Betriebssystem berücksichtigt werden. Dies ist eine rechnerische Untergrenze und keine Garantie dafür, dass das Modell auf einem Rechner mit 16 GB Arbeitsspeicher Platz findet.
Bei Mixture-of-Experts-Modellen sollte die Gesamtzahl der Parameter zur Schätzung des Speicherbedarfs für die Gewichte herangezogen werden. Die Zahl der aktivierten Parameter hilft dabei, den Rechenaufwand pro Token zu erklären; sie bedeutet nicht, dass die übrigen Experten verschwinden. Das Auslagern von Berechnungen auf die CPU kann den Bedarf an GPU-Speicher verringern, die Geschwindigkeit jedoch erheblich reduzieren. Der gemeinsam genutzte Arbeitsspeicher eines Mac steht auch dem System zur Verfügung und sollte daher nicht als vollständig für das Modell verfügbar betrachtet werden.
- Leistungsbegrenzte Privatgeräte: Beginnen Sie mit einer kleineren Gemma-Variante oder prüfen Sie gpt-oss-20b mit einer unterstützten Konfiguration. Lassen Sie ausreichend Spielraum und wählen Sie zunächst ein eher kleines Kontextfenster.
- Workstations mit mehr Arbeitsspeicher: Vergleichen Sie quantisiertes Qwen3.8-27B, geeignete Gemma-Varianten und Devstral Small 2. Prüfen Sie die Bildverarbeitung unabhängig von der Textinferenz.
- Server und Cluster: Ziehen Sie DeepSeek V4, GLM-5.3, Kimi K3 oder größere Konfigurationen in Betracht, wenn der Nutzen für die jeweilige Aufgabe die Kosten und die betriebliche Komplexität rechtfertigt.
Das maximale Kontextfenster eines Modells ist nicht unbedingt eine sinnvolle Einstellung für den täglichen Einsatz. Längere Eingaben erhöhen den Speicher- und Rechenaufwand, während gleichzeitige Nutzer den Ressourcenbedarf vervielfachen. Informationen zu Installationsmöglichkeiten und zu den Unterschieden zwischen Modellen, Laufzeitumgebungen und Benutzeroberflächen finden Sie in unserem Leitfaden zu Tools zum lokalen Ausführen von LLMs.
Open Source, offene Gewichte und private Bereitstellung
Der Zugriff auf die Gewichte gibt Ihnen die Kontrolle darüber, wo die Inferenz ausgeführt wird, bietet aber nicht automatisch das vollständige Trainingsrezept und macht auch nicht jede Nutzung zulässig. Auch Einträge mit Apache 2.0- und MIT-Lizenz sollten für den jeweiligen Checkpoint geprüft werden. GLM-5.3, Kimi K3 und Nemotron verwenden eigene Modelllizenzen. Olmo ist besonders relevant, wenn der Zugang zum Entwicklungsprozess ebenso wichtig ist wie der Zugriff auf die endgültigen Gewichte.
Beim Selbsthosting können Eingaben innerhalb Ihrer Infrastruktur bleiben, sofern die gesamte Anwendung entsprechend konfiguriert ist. Cloudbasierte Einbettungen, die Suche über externe Dienste, Protokollierungsdienste und Agentenwerkzeuge können Daten dennoch an andere Stellen übermitteln. Bewerten Sie den gesamten Arbeitsablauf und messen Sie neben der Latenz auch falsche Antworten und fehlgeschlagene Aktionen. Bei Werkzeugen, die Dateien verändern oder mit Geschäftssystemen interagieren, sollten Sie Berechtigungen begrenzen und gegebenenfalls eine Genehmigung vor der Ausführung verlangen.
Für welches offene LLM sollten Sie sich entscheiden?
Für einen praxisnahen ersten Vergleich können Sie mit Qwen3.8-27B für allgemeine multimodale Anwendungen, Gemma 4 für eine Auswahl lokaler Modellgrößen und gpt-oss für zugängliche Textverarbeitung und Schlussfolgerungen beginnen. Diese Modelle bieten sinnvolle Einstiegsmöglichkeiten, bevor Sie sich auf einen zentralen Inferenzcluster festlegen.
Für anspruchsvolle Aufgaben im Servermaßstab sollten Sie DeepSeek V4 für breit gefächerte Schlussfolgerungen und Programmierung, GLM-5.3 für länger laufende Softwareagenten und Kimi K3 für multimodale Arbeitsabläufe vergleichen. Mistral Small 4 ist eine Prüfung wert, wenn ein einzelnes Modell mehrere Geschäftsaufgaben mit konfigurierbarem Schlussfolgerungsvermögen übernehmen muss.
Die spezialisierten Modelle erfüllen unterschiedliche Anforderungen: Devstral Small 2 für eine Workstation mit Schwerpunkt Programmierung, Nemotron 3 Nano für auf Effizienz ausgelegte Textagenten und Olmo 3.1 für transparente Forschung und Anpassung. Wählen Sie zwei oder drei Modelle aus, die zu Ihrer Hardware und Ihren Lizenzanforderungen passen, und vergleichen Sie sie anhand derselben repräsentativen Aufgaben, bevor Sie sich für eine Bereitstellung entscheiden.











