Hvordan DeepSeek brød kostbarrieren med 5,6 millioner dollars

Konventionel AI-visdom siger, at opbygning af store sprogmodeller (LLM) kræver dybe lommer – typisk milliarder i investering. Men DeepSeek, en kinesisk AI-startup, har netop ødelagt denne paradigm med deres seneste præstation: udvikling af en verdensklasse AI-model for kun 5,6 millioner dollars.

DeepSeeks V3-model kan gå i gang med industrikæmper som Googles Gemini og OpenAIs seneste tilbud, alt imens de bruger en brøkdel af de typiske beregningsressourcer. Præstationen fik opmærksomhed fra mange industriledere, og hvad der gør dette særligt bemærkelsesværdigt, er, at virksomheden opnåede dette på trods af at være udsat for amerikanske eksportrestriktioner, der begrænsede deres adgang til de seneste Nvidia-chip (NVDA ).

Økonomien i effektiv AI

Tallene fortæller en overbevisende historie om effektivitet. Mens de fleste avancerede AI-modeller kræver mellem 16.000 og 100.000 GPU’er til træning, klarede DeepSeek sig med kun 2.048 GPU’er, der kørte i 57 dage. Modellens træning forbrugte 2,78 millioner GPU-timer på Nvidia H800-chip – bemærkelsesværdigt beskedent for en 671-milliard-parameter-model.

For at sætte dette i perspektiv havde Meta brug for ca. 30,8 millioner GPU-timer – omtrent 11 gange mere beregningskraft – for at træne deres Llama 3-model, som faktisk har færre parametre på 405 milliarder. DeepSeeks tilgang ligner en mesterklasse i optimering under begrænsninger. Ved at arbejde med H800-GPU’er – AI-chip designet af Nvidia specifikt til det kinesiske marked med reducerede muligheder – vendte virksomheden potentielle begrænsninger til innovation. I stedet for at bruge standardløsninger til processor-kommunikation udviklede de brugerdefinerede løsninger, der maksimerede effektiviteten.

Mens konkurrenter fortsat opererer under antagelsen af, at massive investeringer er nødvendige, demonstrerer DeepSeek, at genialitet og effektiv ressourceanvendelse kan jævne ud spillere.

Billede: Artificial Analysis

Ingeniørarbejde af det umulige

DeepSeeks præstation ligger i deres innovative tekniske tilgang, der viser, at de mest betydningsfulde gennembrud ofte kommer fra at arbejde inden for begrænsninger snarere end at kaste ubegrænsede ressourcer på et problem.

I hjertet af denne innovation ligger en strategi kaldet “auxiliary-loss-free load balancing”. Tænk på det som at dirigere et massivt parallelprocessystem, hvor man traditionelt ville have brug for komplekse regler og straffe for at holde alt kørende smukt. DeepSeek vendte denne konventionelle visdom på hovedet og udviklede et system, der naturligt opretholder balance uden den overhed, der er forbundet med traditionelle tilgange.

Holdet var også pionerer inden for, hvad de kalder “Multi-Token Prediction” (MTP) – en teknik, der låter modellen tænke fremad ved at forudsige flere tokens på én gang. I praksis oversætter dette sig til en imponerende 85-90% acceptrate for disse forudsigelser på tværs af forskellige emner, hvilket giver 1,8 gange hurtigere processeringstider end tidligere tilgange.

Den tekniske arkitektur i sig selv er et mesterværk af effektivitet. DeepSeeks V3 anvender en mixture-of-experts-tilgang med 671 milliarder parametre i alt, men her er det smarte – den aktiverer kun 37 milliarder for hvert token. Denne selektive aktivering betyder, at de får fordelene ved en massiv model samtidig med, at de opretholder praktisk effektivitet.

Deres valg af FP8-mixed precision-træningsramme er endnu et spring fremad. I stedet for at acceptere de konventionelle begrænsninger af reduceret præcision udviklede de brugerdefinerede løsninger, der opretholder nøjagtighed samtidig med, at de reducerer hukommelse og beregningskrav betydeligt.

Rippleffekter i AI’s økosystem

Virksomhedens præstations indvirkning går langt ud over bare en enkelt succesfuld model.

For europæisk AI-udvikling er dette gennembrud særligt betydningsfuldt. Mange avancerede modeller når ikke til EU, fordi selskaber som Meta og OpenAI enten ikke kan eller vil tilpasse sig EU’s AI-lov. DeepSeeks tilgang viser, at opbygning af avanceret AI ikke altid kræver massive GPU-kluster – det handler mere om at bruge tilgængelige ressourcer effektivt.

Denne udvikling viser også, hvordan eksportrestriktioner kan drive innovation. DeepSeeks begrænsede adgang til højendehardware tvang dem til at tænke anderledes, hvilket resulterede i software-optimeringer, der måske aldrig ville være opstået i et ressource-rigt miljø. Dette princip kan omforme, hvordan vi tilgangen til AI-udvikling globalt.

Demokratiseringsimplikationerne er dybtgående. Mens industrikæmperne fortsat brænder igennem milliarder, har DeepSeek skabt en blåprint for effektiv, omkostningseffektiv AI-udvikling. Dette kunne åbne døre for mindre virksomheder og forskningsinstitutioner, der tidligere ikke kunne konkurrere på grund af ressourcebegrænsninger.

Det betyder dog ikke, at storskala-computing-infrastruktur bliver forældet. Branchen skifter fokus mod at skalerer inferenstid – hvor lang tid en model tager til at generere svar. Da denne trend fortsætter, vil betydelige beregningsressourcer stadig være nødvendige, sandsynligvis endda mere over tid.

Men DeepSeek har fundamentalt ændret samtalen. De langsigtede implikationer er klare: vi indtræder en æra, hvor innovativt tænkning og effektiv ressourceanvendelse kan være mere væsentlige end ren beregningskraft. For AI-samfundet betyder det, at fokusere ikke kun på, hvilke ressourcer vi har, men på, hvordan vi kreativt og effektivt bruger dem.