Hvordan DeepSeek knuste kostnadssperren med $5,6 millioner

Konvensjonell AI-visdom antyder at bygging av store språkmodeller (LLM) krever dype lommer – vanligvis milliarder i investeringer. Men DeepSeek, en kinesisk AI-startup, har nettopp knust denne paradigmen med deres siste prestasjon: utvikling av en verdensklasse AI-modell for bare $5,6 millioner.

DeepSeeks V3-modell kan gå i tet med industrigiganter som Googles Gemini og OpenAIs siste tilbud, samtidig som den bruker en brøkdel av de typiske beregningsresursene. Prestasjonen fikk oppmerksomheten til mange industriledere, og det som gjør dette særlig bemerkelsesverdig er at selskapet klarte å oppnå dette til tross for å møte amerikanske eksportrestriksjoner som begrenset deres tilgang til de siste Nvidia-chipene (NVDA ).

Økonomien i effektiv AI

Tallene forteller en overbevisende historie om effisiens. Mens de fleste avanserte AI-modellene krever mellom 16 000 og 100 000 GPU-er for trening, klarte DeepSeek å gjøre det med bare 2 048 GPU-er som kjørte i 57 dager. Modellens trening forbrukte 2,78 millioner GPU-timer på Nvidia H800-chipene – bemerkelsesverdig beskjedent for en 671-milliardparameters modell.

For å sette dette i perspektiv, trengte Meta omtrent 30,8 millioner GPU-timer – omtrent 11 ganger mer beregningskraft – for å trene deres Llama 3-modell, som faktisk har færre parametre med 405 milliarder. DeepSeeks tilnærming ligner en mesterklasse i optimalisering under begrensninger. Ved å arbeide med H800-GPU-er – AI-chipene designet av Nvidia spesifikt for den kinesiske markedet med reduserte muligheter – omgjorde selskapet potensielle begrensninger til innovasjon. I stedet for å bruke ferdige løsninger for prosessor-kommunikasjon, utviklet de egne løsninger som maksimerte effisiensen.

Mens konkurrenter fortsatt opererer under antagelsen at massive investeringer er nødvendige, demonstrerer DeepSeek at ingeniøriten og effektiv ressursutnyttelse kan jevne ut spillere.

Bilde: Artificial Analysis

Ingeniørkunst: Det umulige

DeepSeeks prestasjon ligger i deres innovative tekniske tilnærming, som viser at noen ganger kommer de mest betydelige gjennombruddene fra å arbeide innenfor begrensninger i stedet for å kaste ubegrensede ressurser på et problem.

I hjertet av denne innovasjonen ligger en strategi kalt “auxiliary-loss-free load balancing”. Tenk på det som å dirigere et massivt parallelt prosesseringsystem hvor du tradisjonelt ville trenge komplekse regler og straffer for å holde alt gående jevnt. DeepSeek snudde denne konvensjonelle visdommen på hodet, og utviklet et system som naturlig opprettholder balanse uten den vanlige overhodet.

Laget var også pionerer med det de kalte “Multi-Token Prediction” (MTP) – en teknikk som lar modellen tenke foran ved å forutsi flere token på en gang. I praksis oversettes dette til en imponerende 85-90% akseptansrate for disse forutsigningene over ulike emner, og leverer 1,8 ganger raskere prosesseringshastigheter enn tidligere tilnærminger.

Den tekniske arkitekturen i seg selv er et mesterverk av effisiens. DeepSeeks V3 benytter en blanding av eksperter med 671 milliarder totale parametre, men her er det smarte – den aktiverer bare 37 milliarder for hvert token. Denne selektive aktivering betyr at de får fordelen av en massiv modell samtidig som de opprettholder praktisk effisiens.

Deres valg av FP8 blandet presisjonstreningramme er et annet sprang fremover. I stedet for å akseptere de konvensjonelle begrensningene av redusert presisjon, utviklet de egne løsninger som opprettholder nøyaktighet samtidig som de betydelig reduserer minne- og beregningskrav.

Rippleffekter i AI-økosystemet

Påvirkningen av DeepSeeks prestasjon går langt utover bare en vellykket modell.

For europeisk AI-utvikling er dette gjennombruddet særlig betydelig. Mange avanserte modeller kommer ikke til EU fordi selskaper som Meta og OpenAI enten ikke kan eller vil tilpasse seg EU AI-loven. DeepSeeks tilnærming viser at bygging av toppmoderne AI ikke alltid krever massive GPU-kluster – det handler mer om å bruke tilgjengelige ressurser effektivt.

Denne utviklingen viser også hvordan eksportrestriksjoner kan drive innovasjon. DeepSeeks begrensede tilgang til høykvalitets-hardware tvang dem til å tenke annerledes, og resulterte i programvareoptimaliseringer som kanskje aldri ville ha oppstått i et ressursrikt miljø. Dette prinsippet kunne omforme hvordan vi nærmer oss AI-utvikling globalt.

Demokratiseringsimplikasjonene er dyptgående. Mens industrigiganter fortsatt brenner gjennom milliarder, har DeepSeek skapt en mal for effektiv, kostnadseffektiv AI-utvikling. Dette kunne åpne dører for mindre selskaper og forskningsinstitusjoner som tidligere ikke kunne konkurrere på grunn av ressursbegrensninger.

Dette betyr imidlertid ikke at storskala beregningsinfrastruktur blir foreldet. Industrien skifter fokus mot å skalerer inferenstid – hvor lenge en modell tar å generere svar. Etterhvert som denne trenden fortsetter, vil betydelige beregningsressurser fortsatt være nødvendige, kanskje enda mer over tid.

Men DeepSeek har fundamentalt endret samtalen. De langsiktige implikasjonene er klare: vi går inn i en æra hvor innovativ tenkning og effektiv ressursbruk kan bety mer enn ren beregningskraft. For AI-samfunnet betyr dette å fokusere ikke bare på hvilke ressurser vi har, men på hvordan vi kreativt og effektivt bruker dem.