Beste

10 beste LLM-tools om modellen lokaal te draaien (november 2026)

Alex McFarland
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Toelichting:

Unite.AI kan een vergoeding ontvangen wanneer u links naar beoordeelde producten gebruikt. Dit beïnvloedt onze redactionele beoordelingen niet. Lees onze affiliateverklaring.

Belangrijkste puntenOllama is de gemakkelijkste standaardaanbeveling voor het lokaal draaien van modellen…
Meer weergeven
  • Ollama is de gemakkelijkste standaardaanbeveling voor het lokaal draaien van modellen vanaf de commandoregel of desktop.
  • LM Studio biedt een gepolijste desktopervaring voor het ontdekken en testen van lokale modellen met ontwikkelaarspaden.
  • Open WebUI biedt een zelfgehoste interface voor teams om met lokale en cloudmodellen op één plek te werken.

Een LLM lokaal draaien betekent dat je zowel een model kiest als de software die het laadt, beschikbaar stelt of waarmee je ermee kunt werken. Dat zijn twee afzonderlijke keuzes. Een chatapp voor de desktop, een interface voor teams en een inferentie-engine kunnen allemaal nuttig zijn, maar lossen verschillende problemen op en werken vaak samen.

We hebben de tien onderstaande tools onafhankelijk beoordeeld op hun lokale workflows, praktische sterke punten, configuratievereisten en geschiktheid voor individuele gebruikers of ontwikkelaars. Ollama blijft onze brede aanbeveling als herbruikbare lokale runtime; LM Studio is het sterkste alternatief voor wie vooral een desktopoplossing zoekt. De volgorde weerspiegelt de geschiktheid voor verschillende workflows, niet de resultaten van benchmarks voor inferentiesnelheid. Voor een technische implementatie kan een lager gerangschikte specialist de beste keuze zijn.

Deze gids vergelijkt tools, niet de intelligentie van modellen. Bekijk voor downloadbare modellen onze gids over open-sourcellm’s met open gewichten. Maak ook onderscheid tussen lokale mogelijkheden en lokale uitvoering: veel applicaties bieden inmiddels naast inferentie op het apparaat ook cloudmodellen, zoekfuncties op internet of externe tools aan.

De beste tools om LLM’s lokaal te draaien vergeleken

AI-toolBeste voorFuncties
OllamaLokale modellen aanbieden en integraties voor ontwikkelaarsModelbeheer, opdrachtregelinterface, lokale server en applicatie-integraties
LM StudioModellen zoeken, chatten en lokale API’s gebruiken op de desktopModellen downloaden, offline chatten, chatten over documenten en een server voor ontwikkelaars
Open WebUIEen gedeelde, zelfgehoste AI-interfaceVerbindingen met Ollama en API’s, kennis, gebruikers en tools
AnythingLLMDocumentwerkruimten en productiviteit op het apparaatDesktop- en zelfgehoste versies, informatie ophalen, agents en documentkennis
JanEen open-sourcealternatief voor desktopchatLokale en online modellen, desktopinterface en open ontwikkeling
Msty StudioModellen vergelijken in een herbruikbare AI-werkruimteChats naast elkaar, kennisstapels, persona’s, lokale en online modellen
LocalAIZelfgehoste API’s voor uiteenlopende AI-toepassingenCompatibele API’s, modulaire back-ends, tekst, spraak en beeld
llama.cppDirecte inferentie en controle over hardwareGGUF, kwantisering, CPU-/GPU-back-ends, opdrachtregelinterface en server
GPT4AllEenvoudig chatten over lokale documentenDesktopapp, LocalDocs, lokale modellen, Windows/macOS/Linux
TextGenGeavanceerde experimenten op de desktop en optionele trainingDraagbare GGUF-builds, API en beeldverwerking; uitgebreidere installatie voor training

Welk type lokale AI-tool heb je nodig?

Voor individueel gebruik op de desktop: begin met LM Studio of Jan voor chatten, met AnythingLLM of GPT4All voor documentworkflows en met Msty Studio voor een overzichtelijkere werkruimte met meerdere modellen. TextGen is het overwegen waard als experimenteren en uitgebreide instellingen belangrijker zijn dan eenvoud.

Voor applicaties en gedeelde diensten: Ollama biedt een gebruiksvriendelijke lokale modelserver, llama.cpp geeft je directe controle over de engine en LocalAI brengt verschillende soorten inferentie samen achter één API-laag. Open WebUI is een gedeelde interface die boven op een engine kan draaien. Alleen een front-end installeren is niet genoeg om ook een geschikt model te installeren of de hardware te leveren die nodig is om het te draaien.

10 beste LLM-tools om modellen lokaal te draaien

1. Ollama

Deze demonstratie laat een workflow zien die met Ollama is verbonden. De ingebouwde desktop-engine van AnythingLLM is sindsdien gewijzigd; zie het profiel hieronder voor meer informatie over het verschil.

Ideaal voor: lokale modellen aanbieden en integraties voor ontwikkelaars. Ollama blijft onze eerste aanbeveling voor lezers die een herbruikbare basis voor lokale AI zoeken. Het beheert modeldownloads en stelt modellen beschikbaar aan applicaties, waardoor het ook buiten één chatvenster van pas komt. Ontwikkelaars kunnen een lokaal eindpunt verbinden met hun eigen software, terwijl andere interfaces Ollama als onderliggende engine kunnen gebruiken voor document- of chatworkflows.

Het voordeel is een relatief eenvoudige workflow voor modelbeheer, met een breed ecosysteem eromheen. Een gebruiker kan beginnen met één ondersteund model, controleren of het geschikt is voor de computer en die configuratie vervolgens in meerdere applicaties hergebruiken. Zo staat de keuze voor een modelserver los van de keuze voor een interface. Maar een API die een vertrouwd aanvraagformaat accepteert, garandeert niet dat elk model dezelfde tools, gestructureerde uitvoer of afbeeldingsinvoer ondersteunt.

Het belangrijkste onderscheid is tegenwoordig dat Ollama zowel lokale als cloudmodellen aanbiedt. Selecteer een gedownload lokaal model als verwerking op het apparaat het doel is. De documentatie beschrijft ook een configuratie die uitsluitend lokaal werkt en cloudfuncties en zoeken op het web uitschakelt. We zetten Ollama bovenaan vanwege de flexibiliteit en integratiemogelijkheden, niet omdat het automatisch de eenvoudigste documentomgeving is of op elk apparaat de snelste engine. Controleer waar modellen zijn opgeslagen en hoeveel geheugen ze gebruiken voordat je de context of het aantal gelijktijdige verzoeken vergroot.

Voor- en nadelen

  • Herbruikbare lokale modelserver voor toepassingen
  • Eenvoudig modelbeheer en brede integratiemogelijkheden
  • Gedocumenteerde modus die uitsluitend lokaal werkt
  • De cloudselectie bepaalt waar de inferentie plaatsvindt
  • De prestaties zijn afhankelijk van het model en de hardware

Bron: Documentatie en productinformatie van Ollama.

Bezoek Ollama

2. LM Studio

Ideaal voor: Modellen ontdekken op desktop, chatten en lokale API’s. LM Studio is ons beste alternatief voor desktopgebruikers die via een visuele toepassing lokale modellen willen ontdekken, downloaden en gebruiken. Het biedt ook een lokale server en ontwikkelaarstools, waardoor je eenvoudig de stap kunt zetten van een interactief experiment naar integratie in een toepassing. Wie modellen en instellingen liever in een grafische interface bekijkt, kan redelijkerwijs voor LM Studio kiezen in plaats van Ollama.

Het product biedt nu nadrukkelijk ook Bionic, de agent voor werk en code. Daardoor biedt het meer dan alleen traditionele chat, maar het is belangrijk om de mogelijkheden van de agent te onderscheiden van de onderliggende runtime voor modellen. Gedownloade modellen kunnen worden gebruikt voor lokaal chatten, interactie met documenten en lokale dienstverlening; hoe nuttig een agent is, hangt nog steeds af van de mogelijkheden van het model en de tools waartoe het toegang heeft. In de offlinedocumentatie van LM Studio worden deze essentiële lokale workflows expliciet beschreven.

De grootste aantrekkingskracht is de toegankelijke interface, zonder dat je de mogelijkheid om ermee te ontwikkelen opgeeft. De praktische beperkingen zijn de compatibiliteit met modellen, het beschikbare geheugen en het verschil tussen lokale uitvoering en uitvoering op een gehoste omgeving. Een cloudoptie met een privacybeleid blijft cloudinferentie. Download voordat je op een offline configuratie vertrouwt het benodigde model en de vereiste runtimecomponenten en test de beoogde workflow zonder internetverbinding. Vergelijk de ontwikkelaarstools die je daadwerkelijk nodig hebt, in plaats van je keuze uitsluitend te baseren op de agentdemonstraties op de homepage.

Voor- en nadelen

  • Visueel modellen ontdekken en een desktopworkflow gebruiken
  • Lokaal chatten, chatten over documenten en ontwikkelaarsdiensten
  • Van verkenning naar integratie in toepassingen
  • Cloudmogelijkheden moeten worden onderscheiden van lokale uitvoering
  • Voor grote modellen is nog steeds voldoende geheugen nodig

Bron: Documentatie en productinformatie van LM Studio.

Bezoek LM Studio

3. Open WebUI

Ideaal voor: Een gedeelde, zelfgehoste AI-interface. Open WebUI kun je het best zien als een zelfgehoste interface en applicatielaag, en niet als een concurrerend modelcheckpoint of een afzonderlijke inferentie-engine. Het maakt verbinding met Ollama en compatibele API’s en biedt één centrale plek voor gesprekken, kennis en tools. Daardoor is het bijzonder geschikt wanneer meerdere mensen toegang nodig hebben tot een intern beheerde AI-dienst.

Dankzij de architectuur kan een team dezelfde interface behouden en toch de modelbackend wijzigen. Dit kan van pas komen voor een kleine interne kennisdienst, waarbij een beheerder de verbindingen en functies beheert, in plaats van dat iedere medewerker een afzonderlijke desktopomgeving onderhoudt. De actuele documentatie maakt ook onderscheid tussen installatie op een desktop en opties voor implementatie in productie. Kies de implementatiemethode op basis van wie de dienst beheert en hoe updates, opslag en toegang worden geregeld.

We zetten Open WebUI op de derde plaats vanwege de gedeelde toegang, met de kanttekening dat een zelfgehoste interface een model op afstand niet lokaal maakt. Ook documentextractie, embeddings en andere ondersteunende diensten moeten worden gecontroleerd. De huidige licentie bevat voorwaarden voor het gebruik van de merkidentiteit. Teams die van plan zijn de software opnieuw te verspreiden of van een eigen merk te voorzien, moeten daarom de exacte voorwaarden lezen. Open WebUI is een sterke aanvulling op een runtime, maar vormt overbodige infrastructuur voor wie af en toe privé wil chatten op één laptop.

Voor- en nadelen

  • Gedeelde interface voor verschillende modelbackends
  • Zelfgehoste workflows voor kennis en tools
  • Verschillende implementatiemogelijkheden
  • Vereist een afzonderlijke inferentiebackend
  • Beheer en voorwaarden voor merkgebruik moeten worden gecontroleerd

Bron: Documentatie en productinformatie van Open WebUI.

Bezoek Open WebUI

4. AnythingLLM

Ideaal voor: documentwerkruimten en productiviteit op het apparaat. AnythingLLM is onze meest gerichte aanbeveling voor lezers die met hun eigen documenten willen werken in plaats van tijd te besteden aan het opzetten van een infrastructuur voor het ophalen van informatie. De desktopversie en zelf te hosten opties combineren toegang tot modellen, documentkennis, werkruimten en agentmogelijkheden. De meerwaarde zit in het organiseren van een herhaalbare workflow rond bestanden en informatie, in plaats van elk gesprek als een op zichzelf staande prompt te behandelen.

Een belangrijke verandering betreft de ingebouwde desktopengine. AnythingLLM meldt nu dat gedownloade modellen draaien via llama.cpp, dat wordt beheerd door AMD’s Lemonade. Daarmee is de Ollama-kopie vervangen die eerder in de app was opgenomen. Dit is een wijziging in de geïntegreerde engine; daaruit mag niet worden afgeleid dat ook elke afzonderlijk geconfigureerde providerverbinding is veranderd. Bestaande gebruikers kunnen de migratiedetails het beste bekijken voordat ze oudere installatiehandleidingen volgen waarin de meegeleverde runtime anders wordt beschreven.

AnythingLLM staat op de vierde plaats vanwege de op documenten gerichte productiviteit en kan de eerste keuze zijn voor een lokale onderzoekswerkruimte. Het ophalen van informatie is nog steeds afhankelijk van de kwaliteit van de teksextractie, de embeddingconfiguratie en de vraag of de relevante passage daadwerkelijk wordt geselecteerd. Test lastige bestanden, waaronder bestanden met tabellen en gescand materiaal, in plaats van het programma alleen te beoordelen aan de hand van een tekstdocument met een nette opmaak. Kies de juiste desktop- of gedeelde implementatie en controleer of elke geselecteerde provider lokaal blijft wanneer dat vereist is.

Voor- en nadelen

  • Documentgerichte desktopopties en opties voor zelf hosten
  • De geïntegreerde lokale engine beperkt het werk dat nodig is om alles op te zetten
  • Werkruimten verbinden informatie met terugkerende taken
  • De kwaliteit van het ophalen van informatie is afhankelijk van bestanden en configuratie
  • Oudere handleidingen beschrijven mogelijk een verouderde meegeleverde engine

Bron: Documentatie en productinformatie van AnythingLLM.

Bezoek AnythingLLM

5. Jan

Ideaal voor: een opensource alternatief voor desktopchat. Jan is een opensource desktopalternatief voor gebruikers die een vertrouwde gespreksinterface willen en zelf hun model willen kunnen kiezen. Het huidige product ondersteunt een combinatie van open modellen en onlineproviders, waardoor het geschikt is voor wie één interface wil gebruiken, maar ook de mogelijkheid wil behouden om ondersteunde modellen lokaal te draaien. De open ontwikkeling is bovendien relevant voor gebruikers die het project achter de applicatie willen bekijken.

De duidelijkste toepassing is persoonlijke desktopchat waarbij het model bewust wordt gekozen. Begin met een model dat geschikt is voor de computer en bepaal een bruikbare uitgangssituatie voordat je meer diensten of agentfuncties toevoegt. Dat een model in de lijst met providers van een product staat, betekent niet dat de grootste versie ervan op dat apparaat kan draaien. Dezelfde interface kan zowel een lokaal checkpoint als een gehoste dienst aanbieden, met sterk uiteenlopende gevolgen voor de benodigde hardware en de gegevensstromen.

We zetten Jan op de vijfde plaats als toegankelijk alternatief, niet als compleet platform voor gedeelde teams. Beoordeel de versie die je installeert op basis van de functies die je nodig hebt: op de huidige homepage staat dat geheugen binnenkort beschikbaar komt, dus rekenen we het niet mee als een bestaand voordeel. Lezers die uitgebreid documentbeheer of functies voor meerdere gebruikers nodig hebben, kunnen gespecialiseerde werkruimteprogramma’s vergelijken. Voor individueel chatgebruik kan de beperktere opzet juist een voordeel zijn als die de installatie en het onderhoud vereenvoudigt.

Voor- en nadelen

  • Opendesktopapplicatie
  • Keuze uit lokale en onlineproviders
  • Handige gespreksinterface voor individueel gebruik
  • Aangekondigde functies zijn mogelijk niet beschikbaar in de geïnstalleerde versie
  • Niet onze eerste keuze voor gedeeld documentbeheer

Bron: Documentatie en productinformatie van Jan.

Bezoek Jan

6. Msty Studio

Ideaal voor: modellen vergelijken in een herbruikbare AI-werkruimte. Msty Studio is een werkruimte voor mensen die meerdere modellen gebruiken en hun werk daaromheen willen organiseren. Het combineert toegang tot lokale en online modellen met herbruikbare prompts, persona’s, Knowledge Stacks en Split Chats. Het onderscheidt zich in deze lijst vooral doordat je antwoorden kunt vergelijken en terugkerende werkcontext kunt behouden in een visuele omgeving.

Met Split Chats kan een onderzoeker vergelijken hoe modellen dezelfde vraag beantwoorden, maar overeenstemming tussen modellen is geen onafhankelijke verificatie. Knowledge Stacks bieden nog een handige workflow: orden bronmateriaal, stel er vragen over en bekijk welk materiaal het antwoord onderbouwt. Het bredere productecosysteem van Msty omvat inmiddels ook aanvullende agent- en governanceproducten. Kopers moeten daarom onderscheid maken tussen de functies van Studio en de mogelijkheden van andere producten en abonnementen.

Msty staat op de zesde plaats als je op zoek bent naar een meer gestructureerde werkruimte voor jezelf of je team. Het is minder geschikt als je alleen een kleine lokale HTTP-endpoint nodig hebt. Lokale engines en gehoste providers kunnen naast elkaar in dezelfde applicatie worden gebruikt. Daarom is de keuze van een provider belangrijk bij gevoelige documenten. Controleer welk platform, abonnement en implementatiemodel nodig zijn voor gedeelde beheeropties voordat je ervan uitgaat dat een persoonlijke desktopinstallatie enterprisebeheer biedt. Kies Msty vanwege de workflow eromheen, niet omdat de interface de nauwkeurigheid van het onderliggende model zou veranderen.

Voor- en nadelen

  • Modellen naast elkaar vergelijken
  • Herbruikbare prompts, persona’s en kennis
  • Verbindt meerdere lokale en gehoste engines
  • Mogelijkheden verschillen per product en abonnement
  • Biedt meer werkruimte dan een eenvoudige API-gebruiker nodig heeft

Referentie: documentatie en productinformatie van Msty Studio.

Bezoek Msty Studio

7. LocalAI

Geschikt voor: zelfgehoste API’s voor meerdere AI-modaliteiten. LocalAI is bedoeld voor ontwikkelaars en beheerders die AI-diensten via vertrouwde API’s willen hosten. De modulaire back-ends ondersteunen meer dan alleen chatten met taalmodellen: ze omvatten ook spraak, beeldherkenning, beeldgeneratie, embeddings en andere toepassingen. De oplossing is vooral nuttig wanneer een applicatie verschillende soorten inferentie nodig heeft en het team die via één gemeenschappelijke servicelaag wil beheren.

De architectuur scheidt de API waarmee clients communiceren van de geselecteerde back-end. Verschillende modellen kunnen verschillende engines gebruiken; de configuratie bepaalt wat er onder de motorkap draait. Dit kan de integratiewerkzaamheden aan de kant van de applicatie beperken, maar test de compatibiliteit met de specifieke eindpunten en functies die de applicatie gebruikt. Dat een chatverzoek slaagt, betekent op zichzelf niet dat streaming, toolaanroepen, audiogedrag of foutafhandeling bij alle providers gelijkwaardig werken.

We plaatsen LocalAI op de zevende plaats, omdat de brede inzetbaarheid ervan waardevoller is voor een engineeringteam dan voor iemand die snel op een desktop wil chatten. Dankzij uitvoering op de CPU zijn sommige implementaties mogelijk zonder aparte GPU, maar daardoor wordt niet elk model praktisch bruikbaar op bescheiden hardware. Begin met één toepassing, meet de latentie en het geheugengebruik en voeg zo nodig back-ends toe. Bij gebruik door meerdere gebruikers of op meerdere systemen komen er verantwoordelijkheden bij voor capaciteitsplanning en onderhoud, die bij een eenvoudig lokaal prototype niet zichtbaar zijn.

Voor- en nadelen

  • Meerdere modaliteiten via vertrouwde API’s
  • Keuze uit modulaire back-ends
  • Kan meegroeien voorbij een prototype op één computer
  • De brede operationele inzetbaarheid brengt extra configuratiewerk met zich mee
  • Test de API-compatibiliteit voor elke functie afzonderlijk

Referentie: documentatie en productinformatie van LocalAI.

Bezoek LocalAI

8. llama.cpp

Geschikt voor: directe inferentie en controle over hardware. llama.cpp is bedoeld voor lezers die rechtstreeks met de inferentie-engine willen werken in plaats van volledig te vertrouwen op een desktopapplicatie. De implementatie in C en C++, ondersteuning voor GGUF, quantisatietools, hardwareback-ends, opdrachtregelprogramma’s en server maken het een belangrijke basis voor de lokale implementatie van modellen. Veel gebruiksvriendelijkere applicaties bouwen op deze laag of op verwante componenten die onder hun interfaces draaien.

Rechtstreeks gebruik is waardevol wanneer compatibiliteit met modellen, het verplaatsen van berekeningen naar andere hardware, geheugengedrag of runtimeconfiguratie het eigenlijke probleem vormt. Het geeft technisch onderlegde gebruikers een duidelijkere manier om de engine te beheren en configuraties te vergelijken. Die controle brengt ook verantwoordelijkheid met zich mee: de gekozen build moet de modelarchitectuur en de relevante acceleratieback-end ondersteunen. Een GGUF-bestandsnaam garandeert niet dat een oudere geïnstalleerde versie een nieuw uitgebracht model correct kan laden.

De achtste plaats weerspiegelt de toegankelijkheid voor een breed publiek, niet het technische belang. Voor een ontwikkelaar van inferentiesoftware kan llama.cpp bovenaan staan. Begin met een model waarvan de ondersteuning bekend is en een gedocumenteerde build, en wijzig vervolgens telkens één instelling. Noteer naast de prestatieresultaten ook de contextlengte, quantisatie, hardware en runtimeversie. Zonder die gegevens is een cijfer voor tokens per seconde geen bruikbare vergelijking. Lezers die gewoon privé willen chatten, zijn meestal beter af met een gebruiksvriendelijkere applicatie.

Voor- en nadelen

  • Directe controle over de inferentieconfiguratie
  • Breed ecosysteem voor hardware en quantisatie
  • Bruikbare bouwstenen voor CLI en server
  • Technischere installatie en onderhoud
  • Voor nieuwe modelformaten zijn mogelijk bijgewerkte builds nodig

Referentie: documentatie en productinformatie van llama.cpp.

Bezoek llama.cpp

9. GPT4All

Geschikt voor: eenvoudige lokale documentchat. GPT4All blijft een gespecialiseerde desktopoptie voor mensen die op hun eigen computer lokaal willen chatten en toegang willen hebben tot documenten. De functie LocalDocs is een belangrijk onderdeel van die aantrekkingskracht: gebruikers kunnen vragen stellen over een verzameling bestanden zonder eerst een afzonderlijke ophaaldienst op te zetten. Nomic blijft desktopdownloads aanbieden voor de belangrijkste besturingssystemen, waaronder een Windows ARM-optie op de huidige productpagina.

Dit is een praktisch startpunt voor iemand die een persoonlijke documentverzameling wil verkennen. Bij de beoordeling gaat het niet alleen om de vraag of een model een overtuigend antwoord geeft, maar ook of de toepassing het juiste bronmateriaal ophaalt en dat resultaat bruikbaar maakt. Test bestanden die representatief zijn voor de daadwerkelijke verzameling, waaronder bestanden met dubbelzinnige namen, lange documenten en informatie die over meerdere bronnen is verspreid.

We plaatsen GPT4All op de negende plaats als een eenvoudigere specialist, niet als standaardbasis voor elke lokale AI-toepassing. Beschouw claims over ondersteuning op gewone computers niet als bewijs dat een groot model op elke laptop soepel zal werken. Controleer welke modellen worden ondersteund, welke versnelling beschikbaar is en hoe de geïnstalleerde versie documenten verwerkt. Als de belangrijkste behoefte een gedeelde werkruimte, uitgebreidere experimenten met modellen of een configureerbare servicebackend is, vergelijk dan eerst de andere tools voordat je er een workflow omheen bouwt.

Voor- en nadelen

  • Toegankelijke desktopoptie gericht op documentchat
  • LocalDocs ordent persoonlijke bestanden
  • Downloads voor de belangrijkste desktopplatforms
  • Controleer de compatibiliteit met de huidige modellen en hardware
  • Minder geschikt als complexe gedeelde dienst

Referentie: documentatie en productinformatie van GPT4All.

Ga naar GPT4All

10. TextGen

Geschikt voor: geavanceerde experimenten op de desktop en optionele training. TextGen, van het oobabooga-project, is geschikt voor gebruikers die binnen een desktopinterface meer controle willen over experimenten met lokale modellen. Het project biedt chat, beeldverwerking met ondersteunde modellen, toolaanroepen, bestandsbijlagen en API-toegang. Het kan een nuttige tussenoplossing zijn tussen een sterk vereenvoudigde chattoepassing en het volledig samenstellen van een inferentieomgeving met opdrachtregelcomponenten.

Het verschil tussen de installatiemogelijkheden is belangrijk. Er zijn draagbare versies beschikbaar voor Windows, macOS en Linux, met ondersteuning voor GGUF-modellen via llama.cpp. De uitgebreidere installatie van het project biedt extra mogelijkheden, zoals aanvullende backends, LoRA-training, beeldgeneratie en extensies. Deze functies zijn niet automatisch beschikbaar in elke lichte download. Kies de installatiemethode op basis van het werk dat je wilt doen en de afhankelijkheden die je wilt onderhouden.

TextGen staat op de tiende plaats als specialist voor experimenten, niet omdat het mogelijkheden tekortkomt. Een technisch onderlegde gebruiker die modellen en generatie-instellingen test, geeft er mogelijk de voorkeur aan boven verschillende hoger gerangschikte opties. De extra bedieningselementen zijn minder nuttig voor iemand die alleen een betrouwbare documentassistent met minimale configuratie wil. Houd de instellingen voor modellen, backends, promptsjablonen en sampling consistent wanneer je uitvoer vergelijkt. Optioneel zoeken op het web of het gebruik van extensies verandert bovendien het gedrag van een workflow die anders lokaal blijft. Beoordeel daarom de configuratie en vertrouw niet op een algemene privacyclaim.

Voor- en nadelen

  • Gedetailleerde experimenten met lokale modellen
  • Draagbare GGUF-configuratie beschikbaar
  • Meer functies met de volledige installatie
  • De volledige en draagbare installaties verschillen wezenlijk
  • Extra bedieningselementen en afhankelijkheden zorgen voor meer onderhoud

Referentie: documentatie en productinformatie van TextGen.

Ga naar TextGen

Hoeveel geheugen heb je nodig voor een lokale LLM?

De omvang van de modelgewichten is slechts het uitgangspunt. Als grove rekenkundige illustratie: acht miljard parameters die elk met vier bits zijn opgeslagen, vertegenwoordigen ongeveer 4 GB aan ruwe gewichtgegevens, nog vóór de overhead van het bestandsformaat. Dat betekent niet dat een 8B-model soepel werkt op een computer met slechts 4 GB beschikbaar geheugen. Ook de runtime, het besturingssysteem, de contextcache en andere toepassingen hebben ruimte nodig.

Ga uit van het daadwerkelijke modelbestand en de runtimevereisten. Kwantisering vermindert de opslagruimte voor gewichten, met een kwaliteitsverlies dat afhangt van de methode en de taak. Een langere context en parallelle aanvragen kunnen de geheugenvereisten aanzienlijk verhogen. Het kleine aantal geactiveerde parameters van een mixture-of-experts-model geeft niet aan hoeveel geheugen nodig is om al zijn gewichten op te slaan.

Maak onderscheid tussen systeem-RAM en GPU-geheugen. Een model dat deels naar een GPU is verplaatst, past mogelijk wel, maar werkt veel trager dan een model dat volledig in geschikt acceleratorgeheugen is geladen. Computers met gedeeld geheugen hebben een ander toewijzingsmodel, maar het besturingssysteem gebruikt nog steeds een deel van die gedeelde capaciteit. Controleer welke hardware en backend de toepassing precies ondersteunt, in plaats van alle computers met dezelfde hoeveelheid RAM als gelijkwaardig te beschouwen.

Begin met een bescheiden contextvenster. Laad een ondersteund gekwantiseerd model, voer representatieve prompts uit en controleer het geheugengebruik voordat je de contextlimiet verhoogt. Test zowel een nieuwe modelsessie als een langer gesprek. In de documentatie van Ollama over geheugen en gelijktijdige verzoeken wordt uitgelegd waarom gelijktijdige verzoeken en contextinstellingen invloed hebben op de benodigde resources. Geen van de bovenstaande rangschikkingen impliceert een universeel snelheidsvoordeel.

Zo controleer je of je workflow lokaal blijft

Controleer afzonderlijk het generatiemodel, het embeddingmodel, de documentparser, de reranker, de spraakdienst en eventuele tools. Een lokale chatinterface kan een document nog steeds naar een externe embedding- of parsingdienst sturen. Ook voor webzoekopdrachten en externe tools is netwerkactiviteit nodig, zelfs wanneer het taalmodel zelf op de computer draait.

Test de kernworkflow zonder internetverbinding nadat je de benodigde onderdelen hebt gedownload. Zo kun je vaststellen of de software offline werkt, maar dit is geen volledige controle van netwerkverkeer of telemetrie. Voor Ollama schakelt de gedocumenteerde OLLAMA_NO_CLOUD=1 instelling cloudfuncties uit na een herstart. In de handleiding voor offlinegebruik van LM Studio staat welke kernfuncties zonder verbinding werken.

Bepaal bij gebruik door collega’s wie toegang krijgt tot het eindpunt en wie verantwoordelijk is voor updates, back-ups en opgeslagen documenten. Houd een persoonlijke lokale server privé, tenzij gedeelde toegang bewust is bedoeld en geconfigureerd. Beoordeel de softwarevoorwaarden los van de modellicenties: het downloaden van een model met open gewichten betekent niet dat elk gebruik ervan onbeperkt is. De actuele licentiepagina van Open WebUI licht bijvoorbeeld de voorwaarden voor het gebruik van de merknaam toe.

Veelgestelde vragen

Welke tool is het meest geschikt voor beginners?

LM Studio is een uitstekend startpunt om visueel modellen te ontdekken en op een desktop te chatten. Jan is een andere, gespecialiseerde desktopoptie. Kies AnythingLLM of GPT4All als werken met documenten je belangrijkste doel is. Ollama is vooral handig wanneer meerdere applicaties dezelfde lokale modeldienst nodig hebben.

Heb ik een aparte GPU nodig?

Niet voor elk model of elke workflow. Inferentie op de CPU is mogelijk met ondersteunde runtimes, maar de reactiesnelheid en de bruikbare modelgrootte kunnen sterk uiteenlopen. Een klein model dat vlot reageert, is vaak een beter startpunt dan een groter model waarvoor veel gegevens naar ander geheugen moeten worden verplaatst.

Zijn deze tools zelf LLM’s?

Nee. Het zijn applicaties, interfaces of runtimes die modellen gebruiken. Een andere interface verbetert het redeneervermogen van een model niet automatisch. De opmaak van prompts, contextbeheer, het ophalen van informatie en tools kunnen het resultaat beïnvloeden, maar het gekozen modelcheckpoint en de hardware blijven doorslaggevend.

Is een OpenAI-compatibel eindpunt een volwaardige vervanging voor een gehoste API?

Het kan de integratie vereenvoudigen, maar de compatibiliteit hangt af van de eindpunten en functies die zijn geïmplementeerd. Test streaming, gestructureerde uitvoer, tools, beeldverwerking en foutafhandeling met het daadwerkelijke model. Een gedeelde API-structuur betekent niet dat de mogelijkheden of betrouwbaarheid gelijkwaardig zijn.

Welke lokale LLM-tool moet je kiezen?

Begin met Ollama als je een herbruikbare lokale dienst wilt, of met LM Studio als de desktopervaring voor jou het belangrijkst is. Open WebUI is een sterke interface voor gedeelde implementaties, terwijl AnythingLLM de workflow op documenten richt. Jan biedt een open-sourcealternatief voor de desktop, en Msty Studio is handig om kennis te ordenen en meerdere modellen te vergelijken.

Kies LocalAI voor een breder aanbod aan API’s voor inferentie op zelf gehoste systemen en llama.cpp voor rechtstreekse controle over de engine. GPT4All blijft een gespecialiseerde optie voor lokaal chatten met documenten; TextGen is geschikt voor uitgebreidere experimenten en optionele workflows voor het trainen van modellen. De juiste configuratie is de configuratie waarop je gekozen model betrouwbaar draait, die de beoogde gegevens lokaal houdt en waarvan het beheer haalbaar blijft.

Alex leidt de AI-gedreven nieuwsoperaties van Unite.AI, waarbij journalistiek, onderzoek en automatisering worden gecombineerd om tijdige en schaalbare berichtgeving over kunstmatige intelligentie te ondersteunen. Zijn werk helpt ervoor te zorgen dat opkomende AI-ontwikkelingen efficiënt naar voren worden gebracht, terwijl de redactionele normen van de publicatie worden gehandhaafd.