Det beste
10 beste LLM-verktøy for å kjøre modeller lokalt (november 2026)
Unite.AI kan motta betaling når du bruker lenker til produkter vi vurderer. Dette påvirker ikke våre redaksjonelle vurderinger. Les vår affiliateopplysning.

Viktige punkterOllamas gjenbrukbare kjøretid lar flere lokale applikasjoner dele én inferenstjeneste i…
Vis mer
- Ollamas gjenbrukbare kjøretid lar flere lokale applikasjoner dele én inferenstjeneste i stedet for separate oppsett.
- LM Studio kombinerer grafisk modelloppdagelse med hodeløs servering og kompatible API-er for en polert skrivebordsarbeidsflyt.
- llama.cpp gir tekniske brukere direkte kontroll over inferensinnstillinger, men krever håndtering av bygg og modellkompatibilitet.
Det er nå praktisk å kjøre en språkmodell på sin egen datamaskin til langt mer enn en enkel chatbot. Lokale KI-verktøy kan brukes til dokumentresearch, kodearbeidsflyter, private assistenter og API-er for applikasjoner. Med riktig programvare blir disse mulighetene enklere å utnytte, samtidig som du får kontroll over modellen, maskinvaren og informasjonen som inngår.
Teamet vårt evaluerte hvert verktøy i denne guiden uavhengig av hverandre, med vekt på funksjoner, praktiske styrker, maskinvarefleksibilitet, krav til oppsett og egnethet for daglig bruk av lokal KI. Ollama er best som en gjenbrukbar kjøretidsløsning, LM Studio er vårt beste valg for skrivebordet, og llama.cpp gir den mest direkte kontrollen over motoren. Rangeringen omfatter også dokumentarbeidsområder, delte grensesnitt, Docker-verktøy og et spesialverktøy for Apple silicon. Den gjenspeiler hvor godt verktøyene passer til ulike arbeidsflyter, ikke en referansemåling av inferenshastighet.
Disse produktene er verktøy for å kjøre og bruke modeller, ikke modellene selv. Hvis du vil laste ned kontrollpunkter, kan du se guiden vår til LLM-er med åpen kildekode og åpne modellvekter. Det viktigste skillet er hvor inferensen foregår: En lokal applikasjon kan også tilby skymodeller og tilkoblede verktøy, så det er konfigurasjonen som avgjør hvilke oppgaver som utføres på maskinen.
Sammenligning av de beste verktøyene for å kjøre LLM-er lokalt
| AI-verktøy | Best for | Funksjoner |
|---|---|---|
| Ollama | En gjenbrukbar lokal kjøretidsløsning | Modelladministrasjon, CLI, lokale API-er, appintegrasjoner, verktøykall |
| LM Studio | Chat på skrivebordet og oppdagelse av modeller | Modelloversikt, dokumentchat, lokal server, MCP, llmster og lms |
| llama.cpp | Direkte inferens og maskinvarekontroll | GGUF, kvantisering, CPU-/GPU-bakender, CLI, server og innebygd chat |
| Open WebUI | Et felles, selvhostet KI-arbeidsområde | Flere bakender, kunnskapsbaser, brukere, verktøy, modellforhåndsinnstillinger og tilgangskontroller |
| AnythingLLM | Lokale arbeidsområder sentrert rundt dokumenter | Arbeidsområder, RAG, agenter, lokale vektorrepresentasjoner og en innebygd motor drevet av Lemonade |
| Lemonade | Lokal modellservering tilpasset maskinvaren | Grafisk grensesnitt, CLI, kompatible API-er, modelladministrasjon og flere akselereringsbakender |
| Jan | En åpen skrivebordsassistent | Lokal modellhub, prosjekter, assistenter, MCP og en lokal API-server |
| Docker Model Runner | Lokal KI i utviklingsarbeidsflyter med Docker | CLI-kommandoen docker model, OCI-modellpakking, hurtigbufrede nedlastinger og kompatible API-er |
| MLX LM | Inferens og finjustering på Apple silicon | Inferens med Python og CLI, kvantisering, hurtigbufring av prompter, LoRA og QLoRA |
| LocalAI | Selvhostede API-er for ulike KI-modaliteter | Kompatible API-er, modellgalleri, konfigurerbare bakender, vektorrepresentasjoner, tale og syn |
Velg riktig type lokalt KI-verktøy
For en personlig skrivebordsassistent: Begynn med LM Studio eller Jan. AnythingLLM passer bedre når dokumenter står sentralt i arbeidet.
For en gjenbrukbar modelltjeneste: Ollama og Lemonade håndterer lokal inferens for andre applikasjoner. llama.cpp gir mer direkte kontroll over motoren. Docker Model Runner passer inn i eksisterende utviklingsarbeidsflyter med Docker, mens LocalAI er nyttig når tjenesten trenger å støtte flere KI-modaliteter.
For et delt grensesnitt: Open WebUI kan legges oppå en lokal kjøretidsløsning og gi brukerne felles tilgang til modeller, kunnskap og verktøy. MLX LM retter seg mot en annen målgruppe: utviklere som eksperimenterer med inferens og finjustering på Apple silicon.
10 beste LLM-verktøy for å kjøre modeller lokalt
1. Ollama
Ollama er vårt beste valg totalt sett for å gjøre en datamaskin om til en gjenbrukbar lokal modelltjeneste. Verktøyet håndterer nedlasting og innlasting av modeller, tilbyr en enkel arbeidsflyt via kommandolinjen og gjør et API tilgjengelig som andre applikasjoner kan dele. Dermed er det nyttig til mer enn én chatrute: En dokumentassistent, et kodeverktøy og en tilpasset applikasjon kan koble seg til den samme kjøretidsløsningen i stedet for å vedlikeholde hvert sitt separate inferensoppsett.
Utviklere kan bruke Ollamas opprinnelige API eller OpenAI-kompatible endepunkter. Støttede modeller kan tilby funksjoner som syn og verktøykall, men modellen må støtte den aktuelle oppgaven. Det viktigste fortrinnet er integrasjonsøkosystemet, særlig for brukere som forventer at det lokale oppsettet skal utvikle seg fra personlig eksperimentering til en repeterbar arbeidsflyt.
Velg Ollama når enkel tilgjengeliggjøring av modeller er viktigere enn tilgang til alle innstillingene i inferensmotoren. GPU-støtte, tilgjengelig minne og kontekstvinduets lengde avgjør fortsatt hvilke modeller som kan kjøres uten problemer. Ollama tilbyr også skymodeller og nettsøk, så det at du velger en modell i en app som er koblet til Ollama, betyr ikke automatisk at den kjøres på enheten. Den lokale konfigurasjonen, som inkluderer OLLAMA_NO_CLOUD=1, deaktiverer skyfunksjonene etter en omstart.
Fordeler og ulemper
- Enkel modelladministrasjon og lokal tilgjengeliggjøring
- Bredt økosystem av kompatible apper
- Innebygde API-er og API-er som er kompatible med OpenAI
- Dokumentert lokal modus
- Avansert finjustering er mindre direkte enn når du bruker selve inferensmotoren
- Skymodeller må skilles fra lokale nedlastinger
- Store kontekstvinduer og samtidige forespørsler øker minnebehovet
2. LM Studio
LM Studio er vårt fremste valg for skrivebordsbrukere som vil utforske modeller, laste ned en passende versjon og begynne å chatte i et grafisk grensesnitt. Appen samler modelloppdagelse, samtaleadministrasjon, genereringsinnstillinger og dokumentchat på ett sted. Det gjør den til et praktisk førstevalg for skribenter, forskere og utviklere som vil finne ut hva maskinen deres kan kjøre, uten å sette sammen en pakke med separate verktøy.
Utviklerfunksjonene omfatter nå mer enn en knapp for å starte en server på skrivebordet. LM Studio skiller den grafiske appen fra llmster, daemonen uten grafisk grensesnitt, og lms, kommandolinjeverktøyet. Sammen gjør de det mulig å kjøre modeller i bakgrunnen og administrere dem fra terminalen. Innebygde REST-API-er, endepunkter som er kompatible med OpenAI og Anthropic, og MCP-tilkoblinger gir tilgang fra apper og arbeidsflyter med verktøy.
Frakoblede veiledningen til LM Studio bekrefter at nedlastede modeller, dokumentbehandling og lokal tilgjengeliggjøring kan fungere uten nettilkobling. Modellsøk, nedlastinger, oppdateringer av kjøremiljøet og tilkoblede eksterne verktøy er separate nettverksoperasjoner. Velg løsningen for en gjennomarbeidet skrivebordsarbeidsflyt som kan utvides med modelltilgjengeliggjøring, men kontroller at kjøremiljøet, modellformatet og maskinvaren støttes på den aktuelle maskinen.
Fordeler og ulemper
- Enkel modelloppdagelse og chat på skrivebordet
- Lokal dokumentbehandling og sentrale arbeidsflyter som fungerer uten nettilkobling
- Kjøring uten grafisk grensesnitt via llmster
- Kommandolinjeverktøy, kompatible API-er og støtte for MCP
- Støtte for modeller og kjøremiljø avhenger av plattformen
- Nedlasting av modeller og inferensmotorer krever nettilkobling
- Eksterne MCP-verktøy kan føre til at data sendes til eksterne systemer
3. llama.cpp
llama.cpp er det beste valget for teknisk kyndige brukere som vil ha direkte kontroll over lokal inferens. Implementasjonen i C og C++ ligger til grunn for store deler av det lokale KI-økosystemet og støtter GGUF-modeller, kvantiseringsverktøy og maskinvareakselerasjon på flere plattformer. Når du kjører det direkte, fjernes et mellomlag mellom modellen og innstillingene som bestemmer innlasting, minnebruk og genereringsatferd.
Prosjektet omfatter kommandolinjeverktøy og llama-server, som tilbyr HTTP-API-er og en innebygd chatteapp. Med egnede modeller og riktig konfigurasjon støtter det blant annet parallelle forespørsler, innebygginger, begrensninger for strukturert utdata og verktøybruk. Dermed egner det seg både til et personlig endepunkt med stram kontroll og for utviklere som undersøker atferd som skjules av apper på et høyere nivå.
Velg llama.cpp når maskinvaretilpasning, modellkompatibilitet eller reproduserbare eksperimenter er viktigst. Ulempen er at du selv må ta ansvar for byggingen, bakenden, modellfilen og konfigurasjonen. En nylig lansert arkitektur kan kreve en oppdatert binærfil, og en oppgitt grense for kontekstvinduet er ingen garanti for at maskinen har nok minne til å utnytte den. Hvis du bare av og til vil chatte med dokumenter, er det som regel enklere å bruke en skrivebordsapp som bygger på en inferensmotor.
Fordeler og ulemper
- Direkte tilgang til innstillinger for inferens og avlasting
- Bredt økosystem for GGUF og kvantisering
- Kommandolinjeverktøy, HTTP-server og innebygd chat
- Et godt grunnlag for reproduserbare eksperimenter
- Mer teknisk konfigurasjon enn verktøy som først og fremst er laget for skrivebordet
- Nye arkitekturer kan kreve nyere bygg
- Brukerne må selv sørge for kompatibilitet mellom modell, bakende og kjøremiljø
4. Open WebUI
Open WebUI er vårt fremste grensesnittvalg for et delt, selvdriftet arbeidsområde for lokal KI. Det kobler seg til Ollama og andre støttede leverandører og samler samtaler, filer, kunnskap og verktøy i ett miljø. Det fungerer først og fremst som applikasjonslaget: Den tilkoblede inferenstjenesten og den valgte modellen står for datakraften. Dette skillet gjør det mulig for et team å bytte bakende uten å måtte gi avkall på hele grensesnittet.
Funksjonene i arbeidsområdet omfatter kunnskapssøk, gjenbrukbare modellkonfigurasjoner, samtaler med flere modeller og tilgangskontroller som bestemmer hvem som kan bruke bestemte modeller. Docker- og Python-distribusjoner egner seg for løpende bruk i fellesskap, mens en skrivebordsversjon gir en alternativ installasjonsmulighet. Team kan også utvide miljøet med verktøytilkoblinger og kjøretjenester når arbeidsflyten krever mer enn bare samtaler.
Open WebUI fungerer best når noen har ansvar for administrasjon, lagring og konfigurering av leverandører. Et selvdriftet grensesnitt kan fortsatt bruke en skymodell, en ekstern dokumenttolker eller en ekstern tjeneste for vektorrepresentasjoner; det er den fullstendige konfigurasjonen som avgjør hvor dataene sendes. Lisensen stiller vilkår for merkevareprofilering som er viktige når en distribusjon tilpasses. Velg løsningen for delt tilgang til kunnskap og modeller, ikke som erstatning for et lokalt kjøremiljø for inferens.
Fordeler og ulemper
- Felles grensesnitt for flere modellmotorer
- Kunnskap, filer og gjenbrukbare modellkonfigurasjoner
- Tilgangskontroller for brukere og modeller
- Utvidbare verktøy og distribusjonsmuligheter
- Krever en egnet tilkoblet inferensmotor
- Delte distribusjoner krever løpende administrasjon
- Tilpasning er underlagt vilkår for merkevareprofilering
5. AnythingLLM
AnythingLLM er vår fremste anbefaling når hovedmålet er å arbeide med en personlig eller organisatorisk dokumentsamling. Arbeidsområdene samler samtaler, utvalgte kilder, gjenfinning og agentfunksjoner, slik at brukerne får et fast sted å arbeide med informasjonen sin. Skrivebordsversjonen og den selvdriftede utgaven dekker ulike behov, fra én enkelt forskningsmaskin til et administrert internt arbeidsområde.
Den innebygde modelltilbyderen bruker nå Lemonade med llama.cpp i stedet for Ollama-motoren som fulgte med eldre skrivebordsversjoner. Den støtter lokal kjøring på CPU og GPU, mens Docker tilbyr en innebygd tilbyder som kan velges til. Ollama, LM Studio og andre tilbydere som installeres separat, kan fortsatt kobles til. Dette reduserer oppsettarbeidet for brukere som ellers måtte ha konfigurert dokumentgjenfinning og inferens hver for seg.
AnythingLLM er særlig godt egnet til gjentatt forskningsarbeid, internt referansemateriale og dokumentbaserte assistenter. Kvaliteten på gjenfinningen avhenger av uttrekk, oppdeling i tekstbiter, vektorrepresentasjoner og om riktig tekstutdrag velges, slik dokumentasjonen for RAG forklarer. Bruk representative filer når du evaluerer løsningen, særlig skannede dokumenter og tabeller. Hold språkmodellen, modellen for vektorrepresentasjoner og lagringen lokalt når dokumentene må forbli på maskinen.
Fordeler og ulemper
- Dokumentkunnskap organisert i gjenbrukbare arbeidsområder
- Integrert lokal motor reduserer oppsettarbeidet
- Skrivebordsversjon og selvdriftet alternativ
- Støtter alternative lokale modelltilbydere
- Kvaliteten på gjenfinningen avhenger av dokumentbehandlingen
- Funksjonene i skrivebordsversjonen og Docker-utgaven er forskjellige
- Valg av ekstern tilbyder endrer dataflyten
6. Lemonade
Lemonade kombinerer et lokalt KI-kjøremiljø, et grafisk program, kommandolinjeverktøy og kompatible API-er. Det er spesielt nyttig for brukere som ønsker en enkel serverløsning, samtidig som de har oversikt over maskinvaren som utfører arbeidet. Prosjektet har vokst ut over rollen som et snevert definert AMD-verktøy: den lokale LLM-stakken støtter flere prosessor- og akseleratoralternativer på Windows, Linux og macOS.
Dokumentasjonen for llama.cpp-bakenden dekker CPU-kjøring, Vulkan på tvers av leverandører, NVIDIA CUDA, AMD ROCm og Metal på macOS, med tilgjengelighet avhengig av maskinen. Det tilhørende programmet og modelladministrasjonen gjør disse valgene enklere å håndtere enn om man skulle vedlikeholde hver underliggende motor manuelt. Kompatible endepunkter gjør det også mulig å levere inferens til andre programmer, blant annet dokumentassistenter og kodearbeidsflyter.
Velg Lemonade når den lokale serveren og maskinvareintegrasjonen er hovedkravet, særlig på en maskin der valget av motor er viktig. Løsningen kan også støtte arbeidsoppgaver utover tekst, men støtten for modeller og motorer avhenger av den enkelte arbeidsoppgaven. NPU-akselerasjon er et eget alternativ for støttede enheter, ikke en funksjon som automatisk finnes på alle KI-merkede bærbare PC-er. Den bredere plattformen kan kobles til eksterne tjenester, så bruk lokale modellkonfigurasjoner når målet er å kjøre uten nettforbindelse.
Fordeler og ulemper
- Kombinerer kjøremiljø, grafisk brukergrensesnitt, kommandolinjeverktøy og API-tilgang
- Flere alternativer for maskinvareakselerasjon
- Nyttig motor for andre lokale programmer
- Modelladministrasjon forenkler konfigureringen av motorer
- Akselerasjon avhenger av bestemt maskinvare og drivere
- NPU-støtte er ikke universell
- Enkelte avanserte motorer krever ytterligere konfigurering
7. Jan
Jan er en åpen kildekode-basert skrivebordsassistent for dem som ønsker å chatte lokalt i et velkjent grensesnitt, med mulighet for å organisere arbeidet bedre. Hub hjelper brukerne med å finne modeller som kan lastes ned, mens prosjekter og assistenter samler samtaler, filer og instruksjoner knyttet til gjentakende oppgaver. Lokal kjøring er standard, og skytjenester er tilgjengelige i samme program når brukerne velger dem aktivt.
Jans nåværende arbeidsflyt i skrivebordsprogrammet omfatter valg av modell, nettverktøy og MCP-tilkoblinger. Den lokale API-serveren kan eksponere kompatible endepunkter for andre programmer ved hjelp av llama.cpp- eller MLX-modeller på maskinvare som støttes. Dermed fungerer Jan både som en personlig assistent og som en praktisk bro mellom en nedlastet modell og et mindre lokalt prosjekt.
Jan passer for brukere som setter pris på et skrivebordsprosjekt de kan undersøke, fremfor omfattende serveradministrasjon. Plattformdetaljer er viktige: Støtte for lokale modeller i dagens macOS krever Apple silicon, så de som har en Intel Mac, bør undersøke alternativer. Nettsøk, eksterne tjenesteleverandører og eksterne MCP-tjenester har også andre personvernkonsekvenser enn frakoblet chatting. Vurder forhåndsvisningsfunksjoner for agenter separat fra den etablerte arbeidsflyten for chatting og modellservering, og velg en modell som håndterer instruksjonene og verktøyene oppgaven faktisk krever.
Fordeler og ulemper
- Skrivebordsassistent med åpen kildekode
- Prosjekter og assistenter organiserer gjentakende arbeid
- Innebygd API-server for lokale modeller
- Støtter lokale modeller og valgfrie MCP-verktøy
- Lokal inferens i dagens macOS krever Apple silicon
- Noen arbeidsflyter for agenter er fortsatt på forhåndsvisningsstadiet
- Nett- og funksjoner for eksterne tjenesteleverandører fungerer ikke frakoblet
8. Docker Model Runner
Docker Model Runner integrerer lokal inferens i et verktøysett som mange utviklere allerede bruker. Det håndterer nedlasting, kjøring og servering av modeller via Docker Desktop eller Docker Engine, med en familie av kommandoer under docker model og grafiske kontroller. Modeller kan hentes fra Docker Hub, OCI-kompatible registre eller Hugging Face. Dette gjør arbeidsflyten nyttig for team som vil håndtere modellartefakter sammen med infrastrukturen for applikasjonene sine.
Kjøremiljøet tilbyr API-er som er kompatible med OpenAI og Ollama, og lagrer nedlastede modeller lokalt i en hurtigbuffer. Motoralternativene skiller mellom llama.cpp for effektiv GGUF-inferens og mer spesialiserte GPU-arbeidsbelastninger. Dockers modell-CLI dekker også inspeksjon, logger, pakking og ytelsestesting. Fordelen ligger i konsekvente utviklingsverktøy, ikke i et nytt dokumentarbeidsområde for sluttbrukere.
Velg Docker Model Runner når Docker allerede inngår i applikasjonens livssyklus. Kontroller de konkrete kravene til operativsystem, GPU og kjøremiljø før du forventer samme virkemåte på en Mac, en Windows-arbeidsstasjon og en Linux-server. Inferens implementeres ikke likt på alle plattformer: Docker dokumenterer sandkasseisolerte motorer på vertsmaskinen for macOS og Windows, og isolering med containere for Linux. Dette er et praktisk integreringsvalg, mens et eget chatteprogram er enklere for dem som ellers ikke bruker Docker.
Fordeler og ulemper
- Passer inn i eksisterende Docker-utviklingsmiljøer
- OCI-pakking av modeller og lokal hurtigbufring
- Kompatible API-er for integrering i applikasjoner
- CLI-verktøy for logger, inspeksjon og ytelsestester
- Krever unødvendig oppsett for uformell chatting på skrivebordet
- Støtte for maskinvare og motorer varierer mellom plattformer
- Isoleringen av kjøringen varierer mellom operativsystemer
9. MLX LM
MLX LM er vår spesialistanbefaling for utviklere og forskere som kjører språkmodeller på Apple silicon. Programmet er bygget på MLX og tilbyr arbeidsflyter i Python og på kommandolinjen for generering, samtaler, modellkonvertering og kvantisering. Det er særlig nyttig når målet er å eksperimentere direkte med en modell, fremfor å bruke et generelt skrivebordsgrensesnitt.
Pakken integreres med Hugging Face og støtter kompatible MLX-modeller, også kvantiserte kontrollpunkter. Hurtigbufring av ledetekster og konfigurerbar hurtigbufring er nyttig ved gjentatte eller lengre inndata. Verktøyene for finjustering utvider arbeidsflyten til LoRA, QLoRA og støttet tilpasning av hele modellen. Dermed er dette et reelt alternativ til å installere en chatteapp når lokal modellutvikling faktisk er målet.
MLX drar nytte av Apple silicons arkitektur med enhetlig minne, men modellen, hurtigbufferen, operativsystemet og andre programmer deler fortsatt på en begrenset ressurs. Velg dette hvis du er komfortabel med Python-miljøer og detaljer om modellformater. Det er ikke en generell erstatning for skrivebordsmiljøer på Windows eller Linux, og en GGUF-nedlasting beregnet på llama.cpp er ikke automatisk et MLX-kontrollpunkt. Finjustering krever dessuten mer arbeidsminne enn vanlig inferens.
Fordeler og ulemper
- Utviklet for Apple silicon og MLX
- Direkte arbeidsflyter med Python og kommandolinjen
- Verktøy for kvantisering og hurtigbufring av prompter
- Lokal tilpasning med LoRA og QLoRA
- Spesialvalg for Apple Silicon
- Krever kompatible MLX-modeller og Python-verktøy
- Trening krever mer minne enn generering alene
10. LocalAI
LocalAI er det mest nyttige alternativet her for utviklere som vil samle flere KI-funksjoner bak en tjeneste de drifter selv. I tillegg til inferens med språkmodeller støtter økosystemet vektorrepresentasjoner, tale, syn og bildebehandling ved hjelp av egnede modeller og bakender. Et modellgalleri og konfigurerbare motorer reduserer behovet for at applikasjoner integreres separat med hvert inferensbibliotek.
API-laget er sentralt for appellen: Eksisterende applikasjoner kan kobles til via kjente grensesnitt, samtidig som operatøren velger den lokale implementasjonen. Kjøring på CPU er mulig, mens alternativer for akselerasjon avhenger av maskinvaren og bakenden. Begynn med én nødvendig modalitet, og legg til flere etter hvert som applikasjonen trenger dem. Dette gjør det enklere å håndtere nedlasting av modeller, ressursfordeling og feilsøking.
LocalAI passer godt for utviklingsteam og teknisk kyndige som drifter løsninger selv, men krever mer konfigurasjon enn de fleste trenger for sporadisk chatting. Dokumentasjonen skiller mellom stabil installasjon og utviklingsbygg; man bør ikke gå ut fra at de nyere funksjonene Office, Sandbox, Pages og Team følger med i den stabile utgaven. Ved utrulling av applikasjoner bør du teste de faktiske endepunktene, strømmingen, verktøyhåndteringen og de støttede modellformatene, i stedet for å stole på en generell merkelapp om API-kompatibilitet.
Fordeler og ulemper
- Flere KI-modaliteter i én tjeneste du drifter selv
- Kjente API-grensesnitt for applikasjoner
- Konfigurerbare modellbakender og modellgalleri
- CPU og støttede alternativer for maskinvareakselerasjon
- Et bredere bruksområde gir større driftsmessig kompleksitet
- Nye arbeidsområdefunksjoner kan kreve utviklingsbygg
- Oppførselen til endepunktene avhenger av valgt modell og bakende
Hvor mye minne trenger en lokal LLM?
Ta utgangspunkt i den faktiske modellnedlastingen, og sett deretter av plass til kjøremiljøet, kontekstbufferen, operativsystemet og andre applikasjoner. Antall parametere alene gir ikke et fullstendig bilde. Som et enkelt eksempel tilsvarer åtte milliarder parametere lagret med fire bits hver omtrent 4 GB med rå vekter, før formateringspåslag. Den samlede arbeidsmengden under kjøring krever mer minne enn dette regnestykket tilsier.
Kvantisering reduserer lagringsplassen modellvektene krever. En kvantisert modell kan få plass der den tilsvarende modellen med høyere presisjon ikke gjør det, men kvalitetsavveiningen avhenger av modellen, kvantiseringsmetoden og oppgaven. GGUF- og MLX-sjekkpunkter tilhører ulike kjøremiljøer, så velg et format som det valgte kjøremiljøet kan laste inn.
Kontekst og samtidige forespørsler øker arbeidssettet. Lange dokumenter og samtaler øker behovet for hurtigbuffer, og samtidige forespørsler kan øke det ytterligere. Antallet aktiverte parametere i en blanding-av-eksperter-modell beskriver beregningene for hver token, ikke den totale lagringsplassen som trengs til vektene. Begynn med en moderat kontekst, og øk den etter at du har kontrollert det faktiske minneforbruket.
Systemminne og akseleratorminne er ulike ressurser. Delvis avlasting til CPU/GPU kan gjøre at en modell får plass, men påvirker svarhastigheten. Apple Silicon bruker delt minne, men operativsystemet og applikasjonene trenger fortsatt en del av denne minnepoolen. Kontroller at kjøremiljøet støtter den nøyaktige GPU-en eller NPU-en, i stedet for å anta at KI-merking av enheten garanterer akselerasjon.
Hold hele arbeidsflyten lokal
Følg dataene gjennom hele arbeidsflyten. Genereringsmodellen, embedding-modellen, dokumenttolken, omrangeringen, taletjenesten og tilkoblede verktøy kan alle kjøre på forskjellige steder. En lokal chatmodell koblet til en ekstern leverandør av embedding-tjenester er ikke en fullstendig lokal dokumentassistent.
Last ned de nødvendige modellene og motorene, velg lokale leverandører, og test kjerneoppgaven uten internettilkobling. Da bekrefter du at den valgte arbeidsflyten kan fungere frakoblet. Nettsøk, vertsbaserte modeller og eksterne verktøy krever naturligvis nettverkstilgang; bruk dem bevisst når de tilfører verdi. Innstillingene for kun lokal bruk i Ollama og veiledningen for bruk uten nettilkobling fra LM Studio forklarer hvordan de respektive løsningene fungerer.
Hvis tjenesten skal deles, må du avgjøre hvem som kan nå modellens endepunkt, hvem som har ansvar for oppdateringer, og hvor samtaler og dokumenter lagres. En server som bare lytter på den lokale maskinen, er en annen type utrulling enn en som er tilgjengelig på et nettverk. Programvarelisenser og modellisenser er også separate, så gå gjennom vilkårene for det valgte sjekkpunktet med tanke på den planlagte bruken.
Slik evaluerte vi disse verktøyene
Vi vurderte modelladministrasjon, lokal kjøring, maskinvarestøtte, brukervennlighet, API-er, dokumentarbeidsflyter, utvidelsesmuligheter og vedlikeholdsbehov. Skrivebordsprogrammer, kjøremiljøer og delte grensesnitt rangeres etter oppgavene de løser, ikke som om de var utskiftbare produkter.
Evalueringen bygger på offisiell dokumentasjon, prosjektarkiver, installasjonsveiledninger og forholdet mellom dokumenterte funksjoner og praktiske brukerbehov. Den hevder ikke å bygge på egne hastighetsmålinger på en standardisert maskinvareplattform. En meningsfull sammenligning av ytelse krever samme modell, kvantisering, kontekstlengde, samtidighet og akseleratorinnstillinger.
Ofte stilte spørsmål
Hvilket lokalt LLM-verktøy passer best for nybegynnere?
LM Studio er vårt førstevalg for å finne modeller og chatte i et skrivebordsprogram. Jan er et godt alternativ med åpen kildekode. Velg AnythingLLM når hovedoppgaven er å stille spørsmål om en dokumentsamling, eller Ollama når flere programmer trenger tilgang til det samme lokale kjøremiljøet.
Kan jeg kjøre en LLM uten et dedikert grafikkort?
Ja, støttede kjøremiljøer kan kjøre egnede modeller på en CPU. En liten, kvantisert modell er som regel et mer nyttig utgangspunkt enn en større modell som bruker mer minne enn det som er tilgjengelig. GPU-akselerasjon kan gi bedre ytelse, men støtten avhenger av operativsystemet, enheten, bakenden og modellen.
Fungerer en lokal modell uten internettilgang?
Det er mulig når de nødvendige modellvektene, kjøremiljøet og støttekomponentene er lastet ned. Programmet må konfigureres til å bruke dem lokalt. Å søke etter modeller, se etter oppdateringer, surfe på nettet og bruke skytjenester er separate nettbaserte aktiviteter.
Hva er forskjellen mellom Ollama og Open WebUI?
Ollama administrerer og kjører modeller. Open WebUI tilbyr et grensesnitt for samtaler, kunnskap, brukere og verktøy. De kan brukes sammen: Ollama kjører den valgte lokale modellen, og Open WebUI gir brukerne et felles sted å bruke den.
Er et lokalt API som er kompatibelt med OpenAI, en fullgod erstatning for et vertsbasert API?
Det kan gjøre det enklere å koble til et eksisterende program, men kompatibiliteten gjelder bestemte endepunkter og funksjoner. Sjekk om modellen støtter verktøy, bilder, strukturert utdata og konteksthåndtering. Et kjent forespørselsformat betyr ikke at to modeller har de samme egenskapene.
Hvilket verktøy bør utviklere som bruker Apple Silicon, velge?
MLX LM er et godt valg for direkte eksperimentering i Python, kvantisering og finjustering. LM Studio og Jan tilbyr mer brukervennlige skrivebordsgrensesnitt, mens llama.cpp gir en annen mulighet gjennom GGUF-modeller og Metal-akselerasjon. Velg ut fra modellformatet og arbeidsflyten du trenger.
Hvilket lokalt LLM-verktøy bør du velge?
For de fleste lesere er det lurt å begynne med Ollama for en modell-tjeneste som kan brukes på nytt, eller LM Studio for å finne modeller og chatte i et skrivebordsprogram. llama.cpp passer bedre når direkte konfigurering av motoren står sentralt i arbeidet. Legg til Open WebUI for et felles grensesnitt, eller velg AnythingLLM når kunnskap fra dokumenter er hovedprioriteten.
Lemonade er nyttig for lokal modellservering som tar hensyn til maskinvaren, mens Jan tilbyr en skrivebordsassistent med åpen kildekode. Utviklere som allerede bruker Docker, bør vurdere Docker Model Runner. Velg MLX LM for modellutvikling på Apple Silicon, og vurder LocalAI hvis du vil samle flere egenhostede AI-modaliteter bak én felles tjeneste.
Begynn med én støttet modell som får god plass i minnet, og én oppgave du tydelig kan evaluere. Når svarene, konteksthåndteringen og den lokale dataflyten fungerer som forventet, kan du utvide med større modeller, dokumenter, verktøy eller delt tilgang. Et oversiktlig oppsett som gir nyttige svar, er et bedre utgangspunkt enn en kompleks samling funksjoner du ikke trenger.












