10 bedste LLM-værktøjer til at køre modeller lokalt (november 2026)

Når man kører en LLM lokalt, skal man både vælge en model og den software, der indlæser den, stiller den til rådighed eller gør det muligt at arbejde med den. Det er to separate valg. En chatapp til computeren, en brugerflade til teams og en inferensmotor kan alle være nyttige, men de løser forskellige problemer og bruges ofte sammen.

Vi har uafhængigt evalueret de ti værktøjer nedenfor ud fra deres lokale arbejdsgange, praktiske styrker, krav til konfiguration og egnethed for individuelle brugere eller udviklere. Ollama er fortsat vores generelle anbefaling til et genanvendeligt lokalt kørselsmiljø, mens LM Studio er det stærkeste alternativ med fokus på computeren som førstevalg. Rækkefølgen afspejler, hvor godt værktøjerne passer til arbejdsgangene, ikke målte benchmarks for inferenshastighed. Et værktøj med en lavere placering kan være det bedste valg til en teknisk implementering.

Denne guide sammenligner værktøjer, ikke modellernes intelligens. Hvis du vil vide mere om, hvilke modeller der kan downloades, kan du læse vores guide til LLM’er med åben kildekode og åbne vægte. Skeln også mellem lokal funktionalitet og lokal afvikling: Mange programmer tilbyder nu cloudmodeller, websøgning eller fjernværktøjer sideløbende med inferens på enheden.

Sammenligning af de bedste værktøjer til at køre LLM’er lokalt

Hvilken type lokalt AI-værktøj har du brug for?

Til individuelt arbejde på computeren: Begynd med LM Studio eller Jan til chat, AnythingLLM eller GPT4All til dokumentarbejdsgange og Msty Studio til et mere organiseret arbejdsområde med flere modeller. TextGen er værd at overveje, hvis eksperimentering og detaljerede indstillinger er vigtigere end enkelhed.

Til programmer og delte tjenester: Ollama leverer en praktisk lokal modelserver, llama.cpp giver direkte kontrol over motoren, og LocalAI samler flere typer inferens bag et fælles API-lag. Open WebUI er en fælles brugerflade, der kan placeres oven på en motor. Installation af en brugerflade installerer ikke i sig selv en kapabel model og stiller heller ikke den nødvendige hardware til rådighed.

De 10 bedste LLM-værktøjer til at køre modeller lokalt

1. Ollama

Denne demonstration viser en arbejdsgang, der er forbundet med Ollama. AnythingLLM’s indbyggede desktopmotor er siden blevet ændret; se profilen nedenfor for at få forklaret forskellen.

Bedst til: Lokal modelafvikling og integrationer til udviklere. Ollama er fortsat vores første anbefaling til læsere, der ønsker et genanvendeligt fundament for lokal AI. Programmet håndterer download af modeller og stiller dem til rådighed for andre programmer, så det kan bruges til mere end blot ét chatvindue. Udviklere kan forbinde et lokalt endepunkt til deres egen software, mens andre brugerflader kan anvende Ollama som motor til dokument- eller chatforløb.

Fordelen er en forholdsvis enkel arbejdsgang til modeladministration med et bredt økosystem omkring værktøjet. Man kan begynde med én understøttet model, kontrollere, at den passer til computeren, og genbruge opsætningen på tværs af programmer. Dermed holdes valget af modelserver adskilt fra valget af brugerflade. En API, der accepterer et velkendt anmodningsformat, garanterer dog ikke, at alle modeller understøtter de samme værktøjer, strukturerede output eller billedinput.

Den afgørende forskel i dag er, at Ollama tilbyder både lokale modeller og cloudmodeller. Vælg en downloadet lokal model, når målet er at behandle data på enheden. Dokumentationen beskriver også en konfiguration, der kun bruger lokale funktioner og deaktiverer cloudfunktioner og websøgning. Vi placerer Ollama øverst på grund af fleksibiliteten og integrationsmulighederne, ikke fordi det automatisk er det enkleste dokumentarbejdsområde eller den hurtigste motor på alle enheder. Kontrollér, hvor modellerne er placeret, og hvor meget hukommelse de bruger, før du øger kontekstvinduet eller antallet af samtidige anmodninger.

Reference: Ollama-dokumentation og produktoplysninger.

Besøg Ollama

2. LM Studio

Bedst til: Opdagelse af modeller på computeren, chat og lokale API’er. LM Studio er vores stærkeste alternativ til dem, der foretrækker at bruge en computer, og som vil finde, downloade og arbejde med lokale modeller i et grafisk program. Det tilbyder også en lokal server og udviklerværktøjer, så det er nyttigt, når man vil gå fra et interaktivt eksperiment til integration i en applikation. Brugere, der foretrækker at undersøge modeller og indstillinger i en grafisk grænseflade, kan med god grund vælge det frem for Ollama.

Produktet omfatter nu fremtrædende Bionic, dets agent til arbejde og programmering. Det udvider oplevelsen ud over traditionel chat, men brugerne bør skelne mellem agentens funktioner og kørselsmiljøet for den underliggende model. Downloadede modeller kan understøtte lokal chat, interaktion med dokumenter og lokal serverdrift; en agents anvendelighed afhænger stadig af modellens egenskaber og de værktøjer, den har adgang til. LM Studios offline-dokumentation beskriver udtrykkeligt disse grundlæggende lokale arbejdsgange.

Den største fordel er en brugervenlig grænseflade, uden at man giver afkald på muligheden for at gå videre med udvikling. De praktiske begrænsninger er modellernes kompatibilitet, den tilgængelige hukommelse og forskellen mellem lokal og hostet afvikling. En cloudmulighed med en privatlivspolitik indebærer stadig inferens i skyen. Før du baserer dig på en offlineopsætning, skal du downloade de nødvendige model- og kørselskomponenter og afprøve den ønskede arbejdsgang uden internetforbindelse. Sammenlign de udviklerværktøjer, du rent faktisk har brug for, i stedet for udelukkende at vælge ud fra agentdemonstrationerne på forsiden.

Reference: LM Studio-dokumentation og produktoplysninger.

Besøg LM Studio

3. Open WebUI

Bedst til: En fælles, selvhostet AI-grænseflade. Open WebUI forstås bedst som en selvhostet grænseflade og et applikationslag snarere end som et konkurrerende modelcheckpoint eller en enkelt inferensmotor. Det kan forbindes med Ollama og kompatible API’er og giver et fælles sted til samtaler, vidensbaser og værktøjer. Det gør løsningen særligt relevant, når flere personer skal have adgang til en internt administreret AI-tjeneste.

Arkitekturen gør det muligt for et team at beholde grænsefladen og samtidig skifte modelbackend. Den kan være nyttig til en mindre intern vidensbaseret tjeneste, hvor en administrator administrerer forbindelser og funktioner, frem for at hver medarbejder vedligeholder sin egen separate opsætning på computeren. Den aktuelle dokumentation skelner også mellem installation på en computer og muligheder for produktionsudrulning. Vælg udrulningsmetode ud fra, hvem der skal drive tjenesten, og hvordan opdateringer, lagring og adgang skal administreres.

Vi placerer løsningen som nummer tre til fælles adgang, men med det forbehold, at selvhosting af grænsefladen ikke gør en fjernmodel lokal. Man skal også kontrollere dokumentudtræk, indlejringer og andre understøttende tjenester. Den aktuelle licens indeholder betingelser for branding, så teams, der planlægger at videredistribuere eller omdøbe løsningen, bør læse de præcise vilkår. Open WebUI er et stærkt supplement til et kørselsmiljø, men udgør unødvendig infrastruktur for dem, der kun ønsker lejlighedsvis privat chat på én bærbar computer.

Reference: Open WebUI-dokumentation og produktoplysninger.

Besøg Open WebUI

4. AnythingLLM

Bedst til: Dokumentarbejdsområder og produktivitet på enheden. AnythingLLM er vores mest målrettede anbefaling til læsere, der vil arbejde med deres egne dokumenter i stedet for at bruge tid på at sammensætte en hentningsløsning. Desktopversionen og mulighederne for selvhosting kombinerer adgang til modeller, dokumentviden, arbejdsområder og agentfunktioner. Værdien ligger i at organisere en gentagelig arbejdsgang omkring filer og information i stedet for at behandle hver samtale som en isoleret prompt.

En væsentlig ændring er den indbyggede desktopmotor. AnythingLLM oplyser nu, at downloadede modeller kører via llama.cpp, som administreres af AMD’s Lemonade. Det erstatter den Ollama-kopi, der tidligere var indbygget i appen. Det er en ændring af den integrerede motor, men man bør ikke derfor antage, at alle separat konfigurerede forbindelser til udbydere også er ændret. Eksisterende brugere bør gennemgå oplysningerne om overgangen, før de følger ældre installationsvejledninger, der beskriver den indbyggede køretidskomponent anderledes.

AnythingLLM indtager fjerdepladsen inden for dokumentbaseret produktivitet og kunne være førstevalget til et lokalt arbejdsområde til research. Hentningen afhænger stadig af kvaliteten af tekstudtrækningen, konfigurationen af indlejring og af, om det relevante tekstafsnit rent faktisk udvælges. Afprøv vanskelige filer, herunder tabeller og scannet materiale, i stedet for kun at vurdere værktøjet ud fra et tekstdokument med ren tekst. Vælg den rette løsning til desktop eller delt brug, og kontrollér, at alle valgte udbydere forbliver lokale, når det er et krav.

Reference: Dokumentation og produktoplysninger om AnythingLLM.

Besøg AnythingLLM

5. Jan

Bedst til: Et open source-baseret desktopalternativ til chat. Jan er et open source-baseret desktopalternativ til brugere, der ønsker en velkendt samtalegrænseflade og mulighed for selv at vælge model. Det aktuelle produkt understøtter en blanding af åbne modeller og onlinetjenester fra udbydere, hvilket gør det velegnet til dem, der ønsker én samlet grænseflade, men samtidig vil bevare muligheden for at køre understøttede modeller lokalt. Den åbne udvikling er også relevant for brugere, der ønsker at undersøge projektet bag appen.

Den mest oplagte anvendelse er personlig chat på desktop med et bevidst valg af model. Begynd med en model, der passer til computeren, og fastlæg et nyttigt udgangspunkt, før du tilføjer flere tjenester eller agentfunktioner. At en model vises på produktets liste over udbydere, betyder ikke, at dens største version kan køre på den pågældende enhed. Den samme grænseflade kan tilbyde både et lokalt kontrolpunkt og en hostet tjeneste med meget forskellige konsekvenser for hardware og dataflow.

Vi placerer Jan på femtepladsen som et lettilgængeligt alternativ snarere end en komplet platform til delte teammiljøer. Vurder den version, du installerer, ud fra de funktioner, du har brug for: På den aktuelle hjemmeside står der, at hukommelsesfunktionen kommer senere, så vi regner den ikke som en etableret fordel. Læsere, der har brug for omfattende dokumentadministration eller drift for flere brugere, bør sammenligne med dedikerede arbejdsområdeværktøjer. Til individuel chat kan det mere begrænsede omfang være en fordel, når det reducerer opsætning og vedligeholdelse.

Reference: Dokumentation og produktoplysninger om Jan.

Besøg Jan

6. Msty Studio

Bedst til: Sammenligning af modeller i et genanvendeligt AI-arbejdsområde. Msty Studio er et arbejdsområde til folk, der bruger flere modeller og vil organisere arbejdet omkring dem. Det kombinerer adgang til lokale modeller og onlinemodeller med genanvendelige prompts, personaer, Knowledge Stacks og Split Chats. Den tydeligste forskel på værktøjet i denne liste er muligheden for at sammenligne svar og bevare tilbagevendende arbejdskontekst i et visuelt miljø.

Split Chats kan hjælpe forskere med at sammenligne, hvordan modeller besvarer det samme spørgsmål, men enighed mellem modeller er ikke en uafhængig verifikation. Knowledge Stacks giver en anden nyttig arbejdsgang: Organisér kildemateriale, stil spørgsmål til det, og undersøg, hvad der underbygger svaret. Mstys bredere produktøkosystem omfatter nu yderligere tilbud inden for agenter og styring, så købere bør skelne mellem Studios funktioner og funktionerne i andre produkter og abonnementer.

Msty ligger på sjettepladsen som et mere struktureret arbejdsområde til personlig brug eller teams. Det er mindre relevant, hvis det eneste, man har brug for, er et lille lokalt HTTP-endpoint. Lokale motorer og hostede udbydere kan bruges side om side i samme applikation, hvilket gør valget af udbyder vigtigt, når man arbejder med følsomme dokumenter. Undersøg, hvilken platform, plan og implementeringsmodel der kræves for at få fælles styringsfunktioner, før du går ud fra, at en personlig desktopinstallation giver mulighed for administration på virksomhedsniveau. Vælg det på grund af den samlede arbejdsgang, ikke ud fra en antagelse om, at brugerfladen ændrer den underliggende models nøjagtighed.

Reference: Dokumentation om Msty Studio og produktoplysninger.

Besøg Msty Studio

7. LocalAI

Bedst til: Selvhostede API’er på tværs af flere AI-modaliteter. LocalAI henvender sig til udviklere og driftsansvarlige, der vil hoste AI-tjenester bag velkendte API’er. De modulære backends understøtter mere end chat med sprogmodeller og omfatter tale, syn, billedgenerering, embeddings og andre arbejdsbelastninger. Det er især nyttigt, når en applikation har brug for flere typer inferens, og teamet ønsker at administrere dem gennem et fælles servicelag.

Arkitekturen adskiller den klientvendte API fra den valgte backend. Forskellige modeller kan bruge forskellige motorer, og konfigurationen afgør, hvad der kører nedenunder. Det kan mindske integrationsarbejdet i applikationen, men kompatibiliteten bør afprøves med de specifikke endpoints og funktioner, som applikationen bruger. En vellykket chatforespørgsel er ikke i sig selv ensbetydende med tilsvarende streaming, værktøjskald, lydhåndtering eller fejlhåndtering på tværs af udbydere.

Vi placerer LocalAI på syvendepladsen, fordi bredden er mere værdifuld for et udviklingsteam end for en person, der ønsker hurtig chat på computeren. CPU-afvikling gør visse implementeringer mulige uden en dedikeret GPU, men betyder ikke, at alle modeller kan bruges i praksis på beskedent udstyr. Begynd med én arbejdsbelastning, mål dens svartid og hukommelsesforbrug, og tilføj backends efter behov. Drift for flere brugere eller på tværs af flere maskiner medfører yderligere ansvar for kapacitetsplanlægning og vedligeholdelse, som en simpel lokal prototype ikke afslører.

Reference: Dokumentation om LocalAI og produktoplysninger.

Besøg LocalAI

8. llama.cpp

Bedst til: Direkte inferens og kontrol over hardwaren. llama.cpp er et godt valg for læsere, der vil arbejde direkte med inferensmotoren i stedet for udelukkende at være afhængige af en desktopindpakning. C- og C++-implementeringen, understøttelsen af GGUF, værktøjerne til kvantisering, hardwarebackends, kommandolinjeværktøjerne og serveren gør den til et vigtigt fundament for lokal implementering af modeller. Mange mere brugervenlige applikationer er afhængige af dette lag eller beslægtede komponenter under brugerfladen.

Direkte brug er værdifuld, når det egentlige problem handler om modelkompatibilitet, aflastning, hukommelsesforbrug eller konfiguration af kørselsmiljøet. Det giver teknisk kyndige brugere en tydeligere mulighed for at styre motoren og sammenligne konfigurationer. Den kontrol medfører også et ansvar: Den valgte version skal understøtte modellens arkitektur og den relevante accelerationsbackend. Et GGUF-filnavn er ingen garanti for, at en ældre installeret binærfil kan indlæse en nyligt udgivet model korrekt.

Placeringen som nummer otte afspejler tilgængeligheden for et bredt publikum, ikke den tekniske betydning. For en udvikler af inferensløsninger kan den høre til øverst på listen. Begynd med en dokumenteret version og en model, der med sikkerhed understøttes, og ændr derefter én indstilling ad gangen. Notér kontekststørrelse, kvantisering, hardware og versionen af kørselsmiljøet sammen med ydelsesresultaterne. Uden disse oplysninger er et tal for tokens pr. sekund ikke en brugbar sammenligning. Læsere, der blot ønsker privat chat, vil som regel først have gavn af en mere brugervenlig applikation.

Reference: Dokumentation om llama.cpp og produktoplysninger.

Besøg llama.cpp

9. GPT4All

Bedst til: Enkel chat med lokale dokumenter. GPT4All er fortsat en fokuseret desktopløsning til dem, der ønsker at chatte lokalt og få adgang til dokumenter på deres egen computer. Funktionen LocalDocs er central for denne løsning: Brugerne kan stille spørgsmål til en samling filer uden først at skulle opbygge en separat søgetjeneste. Nomic tilbyder fortsat downloads til desktop til de større operativsystemer, herunder en version til Windows ARM på den aktuelle produktside.

Dette er et praktisk udgangspunkt for den enkelte, der vil udforske sin egen dokumentsamling. Det relevante er ikke kun, om en model giver et overbevisende svar, men også, om programmet finder det rigtige kildemateriale og gør resultatet nyttigt. Test filer, der afspejler den faktiske samling, herunder tvetydige navne, lange dokumenter og oplysninger fordelt på flere kilder.

Vi placerer GPT4All som nummer ni, fordi det er et enklere specialværktøj snarere end det oplagte grundlag for enhver lokal AI-løsning. Påstande om, at det kan bruges på almindelige computere, er ikke ensbetydende med, at en stor model vil køre problemfrit på enhver bærbar computer. Undersøg, hvilke modeller den installerede version understøtter, hvilke accelerationsmuligheder der findes, og hvordan dokumenter behandles. Hvis det primære behov er et fælles arbejdsområde, mere omfattende modelafprøvning eller en konfigurerbar tjenestebackend, bør du sammenligne de andre værktøjer, før du bygger en arbejdsgang op omkring det.

Reference: GPT4All-dokumentation og produktoplysninger.

Besøg GPT4All

10. TextGen

Bedst til: Avanceret eksperimentering på computeren og valgfri træning. TextGen fra oobabooga-projektet er velegnet til brugere, der ønsker større kontrol over afprøvning af lokale modeller i et desktopprogram. Projektet tilbyder chat, synsfunktion med understøttede modeller, værktøjskald, filvedhæftninger og API-adgang. Det kan være et nyttigt kompromis mellem et stærkt forenklet chatprogram og selv at sammensætte et inferensmiljø udelukkende af kommandolinjekomponenter.

Det er vigtigt at kende forskellen på installationsmulighederne. Der findes bærbare versioner til Windows, macOS og Linux, som understøtter GGUF-modeller via llama.cpp. Den mere omfattende installation af projektet tilføjer funktioner som flere backends, LoRA-træning, billedgenerering og udvidelser. Man bør ikke gå ud fra, at disse funktioner automatisk følger med alle letvægtsdownloads. Vælg installationsmetode ud fra det arbejde, du vil udføre, og de afhængigheder, du er parat til at vedligeholde.

TextGen ligger på en tiendeplads som specialværktøj til eksperimentering, ikke fordi det mangler funktioner. En teknisk bruger, der afprøver modeller og indstillinger for tekstgenerering, foretrækker det måske frem for flere værktøjer, der ligger højere på listen. De ekstra kontrolmuligheder er mindre nyttige for dem, der blot ønsker en pålidelig dokumentassistent med minimal opsætning. Sørg for at bruge de samme indstillinger for model, backend, promptskabelon og sampling, når du sammenligner resultater. Valgfri websøgning eller udvidelser ændrer også adfærden i en arbejdsgang, der ellers foregår lokalt, så vurder konfigurationen i stedet for at stole på en generel erklæring om beskyttelse af personlige oplysninger.

Reference: TextGen-dokumentation og produktoplysninger.

Besøg TextGen

Hvor meget hukommelse har du brug for til en lokal LLM?

Modellens vægtstørrelse er kun et udgangspunkt. Som en grov regneillustration svarer otte milliarder parametre lagret med fire bit hver til cirka 4 GB rå vægtdata før formateringsmæssige tillæg. Det betyder ikke, at en 8B-model vil køre problemfrit på en computer med kun 4 GB ledig hukommelse. Kørselsmiljøet, operativsystemet, konteksthukommelsen og andre programmer kræver også plads.

Tag udgangspunkt i den faktiske modelfil og kørselsmiljøets krav. Kvantisering reducerer den plads, vægtene optager, men indebærer et kvalitetstab, der afhænger af metoden og opgaven. Længere kontekst og parallelle forespørgsler kan øge hukommelsesbehovet betydeligt. Antallet af aktiverede parametre i en mixture-of-experts-model er ikke det samme som den hukommelse, der kræves for at indlæse alle dens vægte.

Skeln mellem systemets RAM og GPU-hukommelse. En model, der delvist er flyttet til en GPU, kan være i stand til at køre, men meget langsommere end en model, der ligger fuldt ud i egnet acceleratorhukommelse. Computere med samlet hukommelse bruger en anden fordelingsmodel, men operativsystemet bruger stadig en del af den fælles hukommelsespulje. Undersøg, hvilken konkret hardware og backend programmet understøtter, i stedet for at betragte alle maskiner med samme samlede RAM-mængde som ens.

Begynd med en beskeden kontekst. Indlæs en understøttet kvantiseret model, afprøv repræsentative prompts, og undersøg hukommelsesforbruget, før du hæver kontekstgrænsen. Test både en nyindlæst model og en længere samtale. Ollamas dokumentation om hukommelse og samtidighed forklarer, hvorfor samtidige anmodninger og kontekstindstillinger påvirker de nødvendige ressourcer. Ingen af rangeringerne ovenfor indebærer en universel hastighedsfordel.

Sådan kontrollerer du, at din arbejdsgang forbliver lokal

Kontrollér genereringsmodellen, indlejringsmodellen, dokumentparseren, omrangeringsmodellen, taletjenesten og eventuelle værktøjer hver for sig. En lokal chatgrænseflade kan stadig sende et dokument til en ekstern tjeneste til indlejring eller parsing. Websøgning og eksterne værktøjer kræver også netværksaktivitet, selv når selve sprogmodellen kører på computeren.

Når du har downloadet de nødvendige komponenter, kan du teste den centrale arbejdsgang uden internetforbindelse. Det hjælper med at fastslå, om funktionerne virker offline, men det er ikke en fuldstændig kontrol af netværksaktivitet eller telemetri. For Ollama er den dokumenterede OLLAMA_NO_CLOUD=1 indstilling med til at deaktivere cloudfunktioner efter en genstart. LM Studios vejledning til offlinebrug angiver, hvilke kernefunktioner der virker uden forbindelse.

Hvis du stiller tjenesten til rådighed for kolleger, skal du beslutte, hvem der kan få adgang til endepunktet, og hvem der er ansvarlig for opdateringer, sikkerhedskopier og lagrede dokumenter. Hold en personlig lokal server privat, medmindre delt adgang er tilsigtet og konfigureret. Gennemgå softwarevilkårene separat fra modellicenserne; download af en model med åbne vægte betyder ikke, at enhver brug er ubegrænset. Open WebUIs aktuelle licensside forklarer for eksempel betingelserne for brug af brandet.

Ofte stillede spørgsmål

Hvilket værktøj er bedst for begyndere?

LM Studio er et godt sted at begynde, hvis du vil finde modeller visuelt og chatte på computeren. Jan er et andet fokuseret valg til brug på computeren. Vælg AnythingLLM eller GPT4All, hvis dokumentarbejde er hovedformålet. Ollama bliver særligt nyttigt, når flere applikationer har brug for den samme lokale modeltjeneste.

Har jeg brug for et dedikeret grafikkort?

Ikke til alle modeller eller arbejdsgange. Inferens på CPU er mulig med understøttede kørselsmiljøer, men svarhastigheden og den brugbare modelstørrelse varierer betydeligt. En lille model, der svarer hurtigt, er ofte et bedre udgangspunkt end en større model, der kræver omfattende aflæsning af data til hukommelsen.

Er disse værktøjer selv LLM’er?

Nej. De er applikationer, grænseflader eller kørselsmiljøer, der bruger modeller. En ændring af grænsefladen forbedrer ikke automatisk modellens ræsonnement. Formatering af prompts, konteksthåndtering, informationssøgning og værktøjer kan påvirke resultatet, men det valgte modelcheckpoint og hardwaren er stadig afgørende.

Er et OpenAI-kompatibelt endepunkt en fuldstændig erstatning for en hostet API?

Det kan gøre integrationen enklere, men kompatibiliteten afhænger af de endepunkter og funktioner, der er implementeret. Afprøv streaming, strukturerede output, værktøjer, billedhåndtering og fejlhåndtering med den faktiske model. En fælles API-form sikrer ikke samme kapacitet eller pålidelighed.

Hvilket lokalt LLM-værktøj skal du vælge?

Begynd med Ollama, hvis du ønsker en lokal tjeneste, der kan genbruges, eller med LM Studio, hvis brugeroplevelsen på computeren er vigtigst. Open WebUI er en stærk grænseflade til delte installationer, mens AnythingLLM har dokumenter som omdrejningspunkt for arbejdsgangen. Jan er et open source-alternativ til brug på computeren, og Msty Studio er nyttigt til at organisere viden og sammenligne flere modeller.

Vælg LocalAI for et bredere udvalg af API’er til selvhostet inferens og llama.cpp for direkte kontrol over inferensmotoren. GPT4All er fortsat et målrettet valg til lokal chat med dokumenter, mens TextGen egner sig til mere dybdegående eksperimenter og valgfri arbejdsgange med træning. Den rette opsætning er den, der kører din valgte model pålideligt, holder de tilsigtede data lokale og kræver et administrationsniveau, du kan håndtere.