Hvordan Phi-4-reasoning gendefinerer AI-reasoning ved at udfordre “Større er bedre”-myten

Microsofts seneste udgivelse af Phi-4-reasoning udfordrer en nøgleantagelse i opbygning af kunstig intelligenssystemer, der er i stand til at reasonere. Siden introduktionen af chain-of-thought-reasoning i 2022 troede forskere, at avanceret reasoning krævede meget store sprogmodeller med hundredvis af milliarder af parametre. Men Microsofts nye 14-milliard parameter model, Phi-4-reasoning, stiller spørgsmål ved denne antagelse. Ved at bruge en data-centreret tilgang i stedet for at afhænge af ren beregningskraft opnår modellen en præstation, der er sammenlignelig med meget større systemer. Denne gennembrud viser, at en data-centreret tilgang kan være lige så effektiv til træning af reasoning-modeller som den er til konventionel AI-træning. Det åbner muligheden for, at mindre AI-modeller kan opnå avanceret reasoning ved at ændre måden, AI-udviklere træner reasoning-modeller, fra “større er bedre” til “bedre data er bedre.”

Den traditionelle reasoning-paradigme

Chain-of-thought-reasoning er blevet en standard for at løse komplekse problemer i kunstig intelligens. Denne teknik guider sprogmodeller gennem trin-for-trin-reasoning, hvorved svære problemer deles op i mindre, håndterbare trin. Det efterligner menneskelig tænkning ved at få modeller til at “tænke højt” på naturlig sprog før de giver et svar.

Men denne evne kom med en vigtig begrænsning. Forskere fandt konsekvent ud, at chain-of-thought-prompting kun virkede godt, når sprogmodellerne var meget store. Reasoning-evnen syntes at være direkte forbundet med modelstørrelse, hvor større modeller opførte sig bedre på komplekse reasoning-opgaver. Denne opdagelse førte til en konkurrence i opbygning af store reasoning-modeller, hvor virksomheder fokuserede på at omdanne deres store sprogmodeller til kraftfulde reasoning-motorer.

Ideën om at inkorporere reasoning-evner i AI-modeller kom primært fra observationen, at store sprogmodeller kan udføre in-context-læring. Forskere observerede, at når modeller vises eksempler på, hvordan man løser problemer trin for trin, lærer de at følge denne mønster for nye problemer. Dette førte til antagelsen, at større modeller, der er trænet på enorme mængder data, naturligt udvikler mere avanceret reasoning. Den stærke forbindelse mellem modelstørrelse og reasoning-præstation blev accepteret visdom. Hold investerede enorme ressourcer i at skala reasoning-evner ved hjælp af reinforcement learning, idet de troede, at beregningskraft var nøglen til avanceret reasoning.

Forståelse af data-centreret tilgang

Opkomsten af data-centreret AI udfordrer “større er bedre”-mentaliteten. Denne tilgang skifter fokus fra modelarkitektur til omhyggelig udvikling af data, der bruges til at træne AI-systemer. I stedet for at behandle data som fast input ser data-centreret metode data som materiale, der kan forbedres og optimeres for at forbedre AI-præstation.

Andrew Ng, en leder på dette område, fremmer opbygning af systematiske ingeniørpraksis til at forbedre datakvalitet i stedet for kun at justere kode eller skala modeller. Denne filosofi erkender, at datakvalitet og kurering ofte materie mere end modelstørrelse. Virksomheder, der antager denne tilgang, viser, at mindre, veltrænede modeller kan overgå større modeller, hvis de trænes på højkvalitets-, omhyggeligt udvalgte datasæt.

Den data-centreret tilgang stiller et andet spørgsmål: “Hvordan kan vi forbedre vores data?” i stedet for “Hvordan kan vi gøre modellen større?” Dette indebærer at skabe bedre træningsdatasæt, forbedre datakvalitet og udvikle systematisk dataingeniørarbejde. I data-centreret AI fokuseres på at forstå, hvad der gør data effektiv for bestemte opgaver, og ikke kun på at samle mere data ind.

Denne tilgang har vist stor løfte i træning af små, men kraftfulde AI-modeller ved hjælp af små datasæt og langt mindre beregning. Microsofts Phi-modeller er et godt eksempel på træning af små sprogmodeller ved hjælp af en data-centreret tilgang. Disse modeller trænes ved hjælp af curriculum learning, der primært er inspireret af, hvordan børn lærer gennem stadig sværere eksempler. Først trænes modellerne på lette eksempler, der derefter gradvist erstattes med sværere eksempler. Microsoft (MSFT ) opbyggede et datasæt fra lærebøger, som beskrevet i deres artikel ” Lærebøger er alt, du behøver.” Dette hjalp Phi-3 til at overgå modeller som Google’s Gemma og GPT 3.5 i opgaver som sprogforståelse, generel viden, grundskolematematikopgaver og medicinske spørgsmål.

Trods den data-centreret tilgangs succes har reasoning generelt forblevet en funktion af store AI-modeller. Dette skyldes, at reasoning kræver komplekse mønstre og viden, som store modeller indfanger mere let. Men denne antagelse er blevet udfordret af udviklingen af Phi-4-reasoning-modellen.

Phi-4-reasonings gennembrudstrategi

Phi-4-reasoning viser, hvordan en data-centreret tilgang kan bruges til at træne små reasoning-modeller. Modellen blev opbygget ved at supervisere finjustering af den grundlæggende Phi-4-model på omhyggeligt udvalgte “lærings”-prompt og reasoning-eksempler genereret med OpenAI’s o3-mini. Fokus lå på kvalitet og specifikke i stedet for datasæts størrelse. Modellen trænes ved hjælp af ca. 1,4 millioner højkvalitets-prompt i stedet for milliarder af generiske prompt. Forskere filtrerede eksempler for at dække forskellige sværhedsgrader og reasoning-typer, hvilket sikrede diversitet. Denne omhyggelige kurering gjorde hver træningseksempel formålfuld, hvor modellen lærte specifikke reasoning-mønstre i stedet for kun at øge datavolumen.

Ved superviseret finjustering trænes modellen med fulde reasoning-demonstrationer, der involverer en fuld tænkeproces. Disse trin-for-trin-reasoning-kæder hjalp modellen til at lære, hvordan den kan bygge logiske argumenter og løse problemer systematisk. For at yderligere forbedre modellens reasoning-evner blev den yderligere finjusteret med reinforcement learning på ca. 6.000 højkvalitets matematikopgaver med verificerede løsninger. Dette viser, at selv små mængder fokuseret reinforcement learning kan betydeligt forbedre reasoning, når det anvendes på velkuratede data.

Præstation ud over forventninger

Resultaterne viser, at denne data-centreret tilgang virker. Phi-4-reasoning overgår langt større åbne-vægt-modeller som DeepSeek-R1-Distill-Llama-70B og næsten matcher den fulde DeepSeek-R1, på trods af at være langt mindre. På AIME 2025-testen (en US Math Olympiad-kvalifikation) overgår Phi-4-reasoning DeepSeek-R1, der har 671 milliarder parametre.

Disse forbedringer går ud over matematik til videnskabelig problemløsning, kodning, algoritmer, planlægning og rumlige opgaver. Forbedringerne fra omhyggelig datakurering overføres godt til generelle benchmarks, hvilket antyder, at denne metode bygger grundlæggende reasoning-færdigheder i stedet for opgave-specifikke tricks.

Phi-4-reasoning udfordrer ideen om, at avanceret reasoning kræver massiv beregning. En 14-milliard parameter model kan matche præstationen af modeller, der er mange gange større, når den trænes på omhyggeligt kurateret data. Denne effektivitet har vigtige konsekvenser for implementering af reasoning-AI, hvor ressourcer er begrænsede.

Konsekvenser for AI-udvikling

Phi-4-reasonings succes signalerer en skift i, hvordan AI-reasoning-modeller skal opbygges. I stedet for at fokusere primært på at øge modelstørrelsen kan hold opnå bedre resultater ved at investere i datakvalitet og kurering. Dette gør avanceret reasoning mere tilgængeligt for organisationer uden enorme beregningsbudgetter.

Den data-centreret metode åbner også nye forskningsveje. Fremtidig arbejde kan fokusere på at finde bedre træningsprompt, at gøre rigere reasoning-demonstrationer og at forstå, hvilken data der bedst hjælper reasoning. Disse retninger kan være mere produktive end kun at bygge større modeller.

I bredere forstand kan dette hjælpe med at demokratisere AI. Hvis mindre modeller, der er trænet på kurateret data, kan matche store modeller, bliver avanceret AI mere tilgængeligt for udviklere og organisationer. Dette kan også accelerere AI-adopterings- og innovationshastighed i områder, hvor meget store modeller ikke er praktiske.

Fremtiden for reasoning-modeller

Phi-4-reasoning sætter en ny standard for udvikling af reasoning-modeller. Fremtidige AI-systemer vil sandsynligvis balancere omhyggelig datakurering med arkitektoniske forbedringer. Denne tilgang erkender, at både datakvalitet og modeldesign er vigtige, men at forbedring af data kan give hurtigere, mere kosteffektive forbedringer.

Dette muliggør også specialiserede reasoning-modeller, der er trænet på domænespecifik data. I stedet for generelle kæmper kan hold bygge fokuserede modeller, der excellerer i bestemte fagområder gennem målrettet datakurering. Dette vil skabe mere effektiv AI til specifikke formål.

Da AI udvikler sig, vil lærdomme fra Phi-4-reasoning påvirke ikke kun reasoning-model-træning, men AI-udvikling i bredere forstand. Succesen med datakurering, der overvinder størrelsesbegrænsninger, antyder, at fremtidig fremgang ligger i at kombinere modelinnovation med intelligent dataingeniørarbejde, snarere end kun at bygge større arkitekturer.

Bottom Line

Microsofts Phi-4-reasoning ændrer den almindelige antagelse, at avanceret AI-reasoning kræver meget store modeller. I stedet for at afhænge af større størrelse bruger denne model en data-centreret tilgang med højkvalitets- og omhyggeligt valgt træningsdata. Phi-4-reasoning har kun 14 milliarder parametre, men opnår en præstation, der er sammenlignelig med langt større modeller på svære reasoning-opgaver. Dette viser, at fokus på bedre data er mere vigtigt end kun at øge modelstørrelse.

Denne nye måde at træne gør avanceret AI-reasoning mere effektivt og tilgængeligt for organisationer, der ikke har store beregningsressourcer. Phi-4-reasonings succes peger på en ny retning i AI-udvikling. Den fokuserer på at forbedre datakvalitet, intelligent træning og omhyggelig ingeniørarbejde i stedet for kun at gøre modellerne større.

Denne tilgang kan hjælpe AI med at udvikle sig hurtigere, reducere omkostninger og tillade flere mennesker og virksomheder at bruge kraftfulde AI-værktøjer. I fremtiden vil AI sandsynligvis udvikle sig ved at kombinere bedre modeller med bedre data, hvilket gør avanceret AI nyttig i mange specialiserede områder.