Hvordan Phi-4-reasoning gjenskaper AI-resonnering ved å utfordre “større er bedre”-myten

Microsofts nylige utgivelse av Phi-4-reasoning utfordrer en nøkkelantakelse i bygging av kunstig intelligenssystemer som kan resonere. Siden introduksjonen av chain-of-thought-resonnering i 2022, trodde forskerne at avansert resonnering krever svært store språkmodeller med hundrevis av milliarder parametre. Men Microsofts nye 14-milliarder-parametere-modell, Phi-4-reasoning, spør denne troen. Ved å bruke en data-sentrert tilnærming i stedet for å stole på ren beregningskraft, oppnår modellen en ytelse som er sammenlignbar med mye større systemer. Denne gjennombruddet viser at en data-sentrert tilnærming kan være like effektiv for å trene resonneringsmodeller som den er for konvensjonell AI-trening. Det åpner muligheten for mindre AI-modeller å oppnå avansert resonnering ved å endre måten AI-utviklere trener resonneringsmodeller, fra “større er bedre” til “bedre data er bedre.”

Den tradisjonelle resonneringsparadigmet

Chain-of-thought-resonnering har blitt en standard for å løse komplekse problemer i kunstig intelligens. Denne teknikken guider språkmodeller gjennom steg-for-steg-resonnering, og bryter ned vanskelige problemer i mindre, håndterbare steg. Den etterligner menneskelig tenkning ved å få modellene til å “tenke høyt” på naturlig språk før de gir et svar.

Men denne evnen kom med en viktig begrensning. Forskere fant konsekvent ut at chain-of-thought-prompting fungerte bra bare når språkmodellene var svært store. Resonneringsevnen syntes å være direkte koblet til modellstørrelse, med større modeller som fungerte bedre på komplekse resonneringsoppgaver. Dette førte til en konkurranse i bygging av store resonneringsmodeller, hvor selskaper fokuserte på å gjøre sine store språkmodeller til kraftfulle resonneringsmotorer.

Tanken på å inkorporere resonneringsevner i AI-modeller kom hovedsakelig fra observasjonen at store språkmodeller kan utføre in-context-læring. Forskere observerte at når modellene ble vist eksempler på hvordan å løse problemer steg-for-steg, lærte de å følge denne mønsteren for nye problemer. Dette ledet til troen på at større modeller trent på enorme datamengder naturlig utviklet mer avansert resonnering. Den sterke sammenhengen mellom modellstørrelse og resonneringsytelse ble akseptert visdom. Teamene investerte enorme ressurser i å skalerer resonneringsevner ved hjelp av forsterkingslæring, og trodde at beregningskraft var nøkkel til avansert resonnering.

Forståelse av data-sentrert tilnærming

Oppblomstringen av data-sentrert AI utfordrer “større er bedre”-mentaliteten. Denne tilnærmingen flytter fokus fra modellarkitektur til å systematisk utvikle datatreningsdata. I stedet for å behandle data som faste inndata, ser data-sentrert metode på data som materiale som kan forbedres og optimaliseres for å forbedre AI-ytelsen.

Andrew Ng, en leder i dette feltet, fremmer bygging av systematisk ingeniørpraksis for å forbedre datakvalitet i stedet for å justere kode eller skalerer modeller. Denne filosofien erkjenner at datakvalitet og kurering ofte mater mer enn modellstørrelse. Selskaper som adopterer denne tilnærmingen viser at mindre, godt trent modeller kan overgå større modeller hvis de er trent på høykvalitets-, nøye forberedte datamengder.

Data-sentrert tilnærming stiller et annet spørsmål: “Hvordan kan vi forbedre våre data?” i stedet for “Hvordan kan vi gjøre modellen større?” Dette betyr å skape bedre treningsdatamengder, forbedre datakvalitet og utvikle systematisk dataingeniørarbeid. I data-sentrert AI er fokus på å forstå hva som gjør data effektiv for bestemte oppgaver, ikke bare å samle inn mer data.

Denne tilnærmingen har vist stor løfte i å trene små, men kraftfulle AI-modeller ved hjelp av små datamengder og mye mindre beregning. Microsofts Phi-modeller er et godt eksempel på å trene små språkmodeller ved hjelp av data-sentrert tilnærming. Disse modellene er trent ved hjelp av curriculum-læring, som hovedsakelig er inspirert av hvordan barn lærer gjennom progressivt vanskeligere eksempler. Først blir modellene trent på enkle eksempler, som deretter gradvis erstattes med vanskeligere eksempler. Microsoft (MSFT ) bygget en datamengde fra lærebøker, som forklart i deres papir ” Lærebøker er alt du trenger.” Dette hjalp Phi-3 å overgå modeller som Google’s Gemma og GPT 3.5 på oppgaver som språkforståelse, generell kunnskap, matematikkproblemer og medisinske spørsmål.

Til tross for suksessen med data-sentrert tilnærming, har resonnering generelt forblitt en egenskap hos store AI-modeller. Dette er fordi resonnering krever komplekse mønster og kunnskap som store modeller fanger mer lett. Men denne troen har nylig blitt utfordret av utviklingen av Phi-4-reasoning-modellen.

Phi-4-reasonings gjennombruddsstrategi

Phi-4-reasoning viser hvordan data-sentrert tilnærming kan brukes til å trene små resonneringsmodeller. Modellen ble bygget ved å finjustere den grundleggende Phi-4-modellen på nøye valgte “lærings”-prompt og resonnerings-eksempler generert med OpenAI’s o3-mini. Fokus var på kvalitet og spesifisitet i stedet for datamengd. Modellen er trent ved hjelp av omtrent 1,4 millioner høykvalitets-prompt i stedet for milliarder av generiske. Forskerne filtrerte eksempler for å dekke ulike vanskelighetsnivåer og resonneringstyper, og sikret mangfold. Denne nøye kurering gjorde hver trenings-eksempel formål, og lærte modellen spesifikke resonneringsmønster i stedet for bare å øke datamengden.

I finjustering, blir modellen trent med fullstendige resonnerings-demonstrasjoner som involverer fullstendig tenkeprosess. Disse steg-for-steg-resonneringskjedene hjalp modellen å lære hvordan å bygge logiske argumenter og løse problemer systematisk. For å ytterligere forbedre modellens resonneringsevner, blir den videre finjustert med forsterkingslæring på omtrent 6 000 høykvalitets-matematikkproblemer med verifiserte løsninger. Dette viser at selv små mengder fokusert forsterkingslæring kan betydelig forbedre resonnering når den brukes på velkurerte data.

Ytelse over forventningene

Resultatene viser at denne data-sentrerte tilnærmingen fungerer. Phi-4-reasoning overgår mye større åpne modeller som DeepSeek-R1-Distill-Llama-70B og nærmer seg fullstendig DeepSeek-R1, til tross for å være mye mindre. På AIME 2025-testen (en US Math Olympiad-kvalifisering), overgår Phi-4-reasoning DeepSeek-R1, som har 671 milliarder parametre.

Disse forbedringene går utover matematikk til vitenskapelig problemløsning, kode, algoritmer, planlegging og romlige oppgaver. Forbedringene fra nøye datakurering overføres godt til generelle benchmark, og antyder at denne metoden bygger grunnleggende resonneringsevner i stedet for oppgave-spesifikke triks.

Phi-4-reasoning utfordrer ideen om at avansert resonnering krever massiv beregning. En 14-milliarder-parametere-modell kan matche ytelsen til modeller som er mange ganger større når den er trent på nøye kurerte data. Denne effektiviteten har viktige konsekvenser for å deployere resonnerings-AI hvor ressurser er begrensede.

Konsekvenser for AI-utvikling

Phi-4-reasonings suksess signaliserer en endring i hvordan AI-resonneringsmodeller bør bygges. I stedet for å fokusere hovedsakelig på å øke modellstørrelse, kan teamene oppnå bedre resultater ved å investere i datakvalitet og kurering. Dette gjør avansert resonnering mer tilgjengelig for organisasjoner uten enorme beregningsbudsjett.

Data-sentrert metode åpner også nye forskningsveier. Fremtidig arbeid kan fokusere på å finne bedre trenings-prompt, å gjøre rikere resonnerings-demonstrasjoner og å forstå hvilke data som best hjelper resonnering. Disse retningene kan være mer produktive enn å bygge større modeller.

Mer generelt kan dette hjelpe til å demokratisere AI. Hvis mindre modeller trent på kurerte data kan matche større modeller, blir avansert AI mer tilgjengelig for flere utviklere og organisasjoner. Dette kan også påskynde AI-adoptsjon og innovasjon i områder hvor svært store modeller ikke er praktiske.

Fremtiden for resonneringsmodeller

Phi-4-reasoning setter en ny standard for resonneringsmodell-utvikling. Fremtidige AI-systemer vil sannsynligvis balansere nøye datakurering med arkitektoniske forbedringer. Denne tilnærmingen erkjenner at både datakvalitet og modell-design er viktige, men at å forbedre data kan gi raskere og mer kostnadseffektive forbedringer.

Dette muliggjør også spesialiserte resonneringsmodeller trent på domene-spesifikke data. I stedet for generelle giganter, kan teamene bygge fokuserte modeller som excellerer i bestemte felt gjennom målrettet datakurering. Dette vil skape mer effektiv AI for spesifikke bruksområder.

Etterhvert som AI utvikler seg, vil lærdommene fra Phi-4-reasoning påvirke ikke bare resonneringsmodell-trening, men AI-utvikling generelt. Suksessen med datakurering som overvinner størrelsesbegrensninger antyder at fremtidig fremgang ligger i å kombinere modell-innovasjon med smart dataingeniørarbeid, i stedet for å bygge større arkitekturer.

Bunnen av saken

Microsofts Phi-4-reasoning endrer den vanlige troen på at avansert AI-resonnering krever svært store modeller. I stedet for å stole på større størrelse, bruker denne modellen en data-sentrert tilnærming med høykvalitets- og nøye valgte treningsdata. Phi-4-reasoning har bare 14 milliarder parametre, men oppnår like god ytelse som mye større modeller på vanskelige resonneringsoppgaver. Dette viser at å fokusere på bedre data er viktigere enn å bare øke modellstørrelse.

Denne nye måten å trene gjør avansert AI-resonnering mer effektiv og tilgjengelig for organisasjoner som ikke har store beregningsressurser. Suksessen med Phi-4-reasoning peker mot en ny retning i AI-utvikling. Den fokuserer på å forbedre datakvalitet, smart trening og nøye ingeniørarbeid i stedet for å bare bygge større modeller.

Denne tilnærmingen kan hjelpe AI til å fremme raskere, redusere kostnader og tillate flere mennesker og selskaper å bruke kraftfulle AI-verktøy. Fremtidig vil AI sannsynligvis vokse ved å kombinere bedre modeller med bedre data, og gjøre avansert AI nyttig i mange spesialiserte områder.