Jak Phi-4-reasoning předefinuje umělou inteligenci tím, že zpochybňuje mýtus “čím větší, tím lepší”

Nedávný release Microsoftu Phi-4-reasoning zpochybňuje jeden z klíčových předpokladů při budování umělých inteligencí schopných rozumět. Od zavedení chain-of-thought reasoning v roce 2022 se vědci domnívali, že pokročilé rozumění vyžaduje velmi velké jazykové modely s stovkami miliard parametrů. Microsoftův nový 14miliardový parametrový model Phi-4-reasoning však zpochybňuje tuto víru. Pomocí datově orientovaného přístupu místo spoléhání se na čistou výpočetní sílu dosahuje model srovnatelných výsledků s mnohem většími systémy. Tento průlom ukazuje, že datově orientovaný přístup může být stejně účinný pro trénování modelů rozumění jako pro konvenční trénování AI. Otevírá možnost, že menší modely AI mohou dosáhnout pokročilého rozumění změnou způsobu, jakým vývojáři AI trénují modely rozumění, a to od “čím větší, tím lepší” k “lepší data jsou lepší.”

Tradiční paradigma rozumění

Chain-of-thought reasoning se stal standardem pro řešení složitých problémů v oblasti umělé inteligence. Tato technika vede jazykové modely prostřednictvím kroků rozumění, rozdělující složité problémy na menší, zvladatelné kroky. Napodobuje lidské myšlení tím, že modely “myslí nahlas” v přirozeném jazyce předtím, než poskytne odpověď.

Avšak tato schopnost přišla s důležitým omezením. Vědci neustále zjistili, že chain-of-thought prompting funguje dobře pouze tehdy, jsou-li jazykové modely velmi velké. Schopnost rozumění se zdála být přímo spojena s velikostí modelu, přičemž větší modely fungovaly lépe na složitých úkolech rozumění. To vedlo k soutěži ve výstavbě velkých modelů rozumění, kde společnosti soustředily své úsilí na přeměnu svých velkých jazykových modelů na výkonné stroje pro rozumění.

Nápad zařazení schopností rozumění do modelů AI primárně pocházel z pozorování, že velké jazykové modely mohou provádět in-context learning. Vědci zjistili, že když jsou modely ukázány příklady, jak řešit problémy krok za krokem, naučí se tento vzorec pro nové problémy. To vedlo k víře, že větší modely trénované na rozsáhlých datech přirozeně vyvinou pokročilejší rozumění. Silná spojitost mezi velikostí modelu a výkonem rozumění se stala všeobecně uznávanou moudrostí. Týmy investovaly obrovské zdroje do škálování schopností rozumění pomocí učení se posilováním, domnívajíce se, že výpočetní síla je klíčem k pokročilému rozumění.

Pochopení datově orientovaného přístupu

Růst datově orientované AI zpochybňuje mentalitu “čím větší, tím lepší”. Tento přístup mění zaměření z architektury modelu na pečlivé inženýrství dat používaných pro trénování systémů AI. Místo toho, aby se data považovala za pevný vstup, datově orientovaná metodika považuje data za materiál, který lze vylepšit a optimalizovat pro zvýšení výkonu AI.

Andrew Ng, lídr v tomto oboru, propaguje budování systematických inženýrských postupů pro zlepšení kvality dat, místo toho, aby se pouze upravoval kód nebo škálovaly modely. Tato filozofie uznává, že kvalita a kurace dat často záleží více než velikost modelu. Společnosti, které přijímají tento přístup, ukazují, že menší, dobře trénované modely mohou překonat větší modely, pokud jsou trénovány na vysoce kvalitních, pečlivě připravených datech.

Datově orientovaný přístup klade jinou otázku: “Jak můžeme zlepšit naše data?” místo “Jak můžeme udělat model větší?” To znamená vytvářet lepší trénovací datové sady, zlepšovat kvalitu dat a vyvíjet systematické datové inženýrství. V datově orientované AI se zaměřuje na pochopení, co dělá data efektivními pro konkrétní úkoly, a ne pouze shromažďuje více dat.

Tento přístup ukázal velký slib v trénování malých, ale výkonných modelů AI pomocí malých datových sad a mnohem menšího výpočtu. Microsoftovy modely Phi jsou dobrým příkladem trénování malých jazykových modelů pomocí datově orientovaného přístupu. Tyto modely jsou trénovány pomocí curriculum learning, který je primárně inspirován tím, jak děti učí prostřednictvím postupně složitějších příkladů. Zpočátku jsou modely trénovány na jednoduchých příkladech, které jsou poté postupně nahrazovány složitějšími. Microsoft (MSFT ) vytvořil datovou sadu z učebnic, jak je vysvětleno v jejich článku “Textbooks Are All You Need.” To pomohlo Phi-3 překonat modely jako Google’s (GOOGL ) Gemma a GPT 3.5 v úkolech, jako je porozumění jazyku, obecné znalosti, matematické problémy na úrovni základní školy a zdravotní otázky.

Navzdory úspěchu datově orientovaného přístupu zůstalo rozumění obecně funkcí velkých modelů AI. To je způsobeno tím, že rozumění vyžaduje komplexní vzorce a znalosti, které velké modely zachycují snadněji. Avšak tato víra byla nedávno zpochybněna vývojem modelu Phi-4-reasoning.

Průlomová strategie Phi-4-reasoning

Phi-4-reasoning ukazuje, jak lze datově orientovaný přístup použít pro trénování malých modelů rozumění. Model byl postaven pomocí dohledovaného jemného ladění základního modelu Phi-4 na pečlivě vybraných “učebních” promptech a příkladech rozumění vygenerovaných pomocí OpenAI’s o3-mini. Zaměření bylo na kvalitu a specificitu spíše než na velikost datové sady. Model je trénován pomocí přibližně 1,4 milionu vysoce kvalitních promptů místo miliard obecných. Vědci filtrovali příklady, aby pokryly různé úrovně obtížnosti a typy rozumění, zajišťující rozmanitost. Tato pečlivá kurace učinila každý trénovací příklad účelným, učí model specifickým vzorcům rozumění spíše než pouze zvyšováním objemu dat.

Při dohledovaném jemném ladění je model trénován s kompletními demonstracemi rozumění, zahrnujícími celý myšlenkový proces. Tyto krok za krokem řetězce rozumění pomohly modelu naučit se, jak budovat logické argumenty a řešit problémy systematicky. Pro další vylepšení schopností modelu rozumění je model dále rafinován pomocí učení se posilováním na přibližně 6 000 vysoce kvalitních matematických problémů s ověřenými řešeními. To ukazuje, že i malé množství zaměřeného učení se posilováním může významně zlepšit rozumění, pokud je aplikováno na pečlivě kurátorovaná data.

Výkon nad očekávání

Výsledky prokazují, že datově orientovaný přístup funguje. Phi-4-reasoning překonává mnohem větší otevřené modely, jako je DeepSeek-R1-Distill-Llama-70B, a téměř se rovná plnému DeepSeek-R1, a to navzdory tomu, že je mnohem menší. Na testu AIME 2025 (kvalifikační soutěž US Math Olympiad) Phi-4-reasoning překonává DeepSeek-R1, který má 671 miliard parametrů.

Tento zisk jde za hranice matematiky a řeší vědecké problémy, kódování, algoritmy, plánování a prostorové úkoly. Zlepšení z pečlivé kurace dat se dobře přenášejí na obecné benchmarky, naznačující, že tato metoda buduje základní schopnosti rozumění spíše než úkolově specifické triky.

Phi-4-reasoning zpochybňuje myšlenku, že pokročilé rozumění vyžaduje masivní výpočet. 14miliardový parametrový model může dosáhnout výkonu modelů desítekkrát větších, pokud je trénován na pečlivě kurátorovaných datech. Tato efektivita má důležité důsledky pro nasazení rozumění AI, kde jsou zdroje omezené.

Důsledky pro vývoj AI

Úspěch Phi-4-reasoning signalizuje posun v tom, jak by se měly stavět modely AI rozumění. Místo toho, aby se soustředily především na zvětšování velikosti modelu, týmy mohou dosáhnout lepších výsledků, investicí do kvality a kurace dat. To činí pokročilé rozumění přístupnějším organizacím bez obrovských výpočetních rozpočtů.

Metoda datově orientovaná také otevírá nové výzkumné směry. Budoucí práce se může soustředit na nalezení lepších trénovacích promptů, vytvoření bohatších demonstrací rozumění a pochopení, která data nejlépe pomáhají rozumění. Tyto směry mohou být produktivnější než pouze budování větších modelů.

Širší dopad spočívá v tom, že může pomoci demokratizovat AI. Pokud menší modely trénované na kurátorovaných datech mohou dosáhnout výkonu velkých modelů, pokročilé AI se stanou dostupnějšími pro více vývojářů a organizací. To může také urychlit přijetí a inovace AI v oblastech, kde jsou velmi velké modely nejsou praktické.

Budoucnost modelů rozumění

Phi-4-reasoning stanoví nový standard pro vývoj modelů rozumění. Budoucí systémy AI budou pravděpodobně vyvažovat pečlivou kuraci dat s architektonickými vylepšeními. Tento přístup uznává, že kvalita dat i design modelu záleží, ale zlepšení dat může přinést rychlejší a nákladově efektivní zisky.

To také umožňuje specializované modely rozumění trénované na doménově specifických datech. Místo obecných gigantů mohou týmy budovat zaměřené modely, které vynikají v konkrétních oblastech prostřednictvím cílené kurace dat. To vytvoří efektivnější AI pro specifické použití.

Jak AI pokročí, lekce z Phi-4-reasoning ovlivňují nejen trénování modelů rozumění, ale vývoj AI obecně. Úspěch kurace dat, který překonává velikostní limity, naznačuje, že budoucí pokrok spočívá v kombinaci inovací modelu se chytrým inženýrstvím dat, spíše než pouze budováním větších architektur.

Podstatné informace

Microsoftův Phi-4-reasoning mění běžnou víru, že pokročilé AI rozumění vyžaduje velmi velké modely. Místo spoléhání se na větší velikost používá tento model datově orientovaný přístup s vysoce kvalitními a pečlivě vybranými trénovacími daty. Phi-4-reasoning má pouze 14 miliard parametrů, ale dosahuje srovnatelných výsledků s mnohem většími modely na složitých úkolech rozumění. To ukazuje, že zaměřování se na lepší data je důležitější než pouze zvětšování velikosti modelu.

Tento nový způsob trénování činí pokročilé AI rozumění efektivnějším a dostupnějším pro organizace, které nemají velké výpočetní zdroje. Úspěch Phi-4-reasoning naznačuje nový směr ve vývoji AI. Zaměřuje se na zlepšení kvality dat, chytré trénování a pečlivé inženýrství spíše než pouze zvětšování modelu.

Tento přístup může pomoci AI pokročit rychleji, snížit náklady a umožnit více lidem a společnostem používat výkonné nástroje AI. V budoucnu se AI pravděpodobně bude rozvíjet kombinací lepších modelů s lepšími daty, činící pokročilé AI užitečné v mnoha specializovaných oblastech.