Sapient Intelligence představuje HRM-Text, model umělé inteligence inspirovaný mozkem, který se chce postavit závodům ve škálování

Jak průmysl umělé inteligence nadále investuje miliardy do stále větších jazykových modelů a stále větších datových center, singapurská společnost pro výzkum umělé inteligence Sapient Intelligence se vydala zcela jinou cestou.

Společnost představila HRM-Text, nový jazykový model s 1 miliardou parametrů, který je navržen kolem hierarchické rekurentní architektury inspirované způsobem, jakým mozek odděluje pomalé, úmyslné myšlení od rychlého, nižšího zpracování.

Místo toho, aby se snažila vyhrát pomocí pouhé škálovatelnosti, Sapient позиcionuje HRM-Text jako důkaz toho, že hloubka myšlení a výpočetní efektivita mohou být důležitější než surový počet parametrů v další fázi vývoje umělé inteligence.

Spuštění také pokračuje v širším trendu, který se objevuje v celém sektoru umělé inteligence: rostoucí skepse, že jednoduše škálovat transformátory donekonečna nebude dostatečné k dosažení více obecných forem inteligence.

Přesunutí se za hranice Transformer Playbooku

Většina moderních velkých jazykových modelů spoléhá na Transformer architektury, které zpracovávají informace prostřednictvím převážně feed-forward systému zaměřeného na předpověď dalšího tokenu. Sapientova HRM architektura místo toho zavádí hierarchickou rekurentní strukturu, ve které více vrstev myšlení interaguje vnitřně, než je vygenerován jakýkoli výstup.

Společnost popisuje architekturu jako fungující prostřednictvím dvou propojených systémů: vyššího „pomalejšího kontrolora“ zodpovědného za abstraktní plánování a myšlení a nižšího „rychlého pracovníka“, který zpracovává detailní výpočty.

To se liší od metod chain-of-thought, které jsou široce používány v současných systémech umělé inteligence, kde myšlení je vyjádřeno prostřednictvím dlouhých viditelných textových sekvencí. HRM-Text místo toho provádí většinu svého myšlení vnitřně v latentním prostoru, než generuje odpovědi.

Sapient tvrdí, že tato struktura umožňuje menším systémům provádět více sofistikované vícekrokové myšlení bez závislosti na enormních velikostech modelů nebo masivních nákladech na inferenci.

Podle výsledků benchmarku poskytnutých společností dosáhl HRM-Text 56,2 % na MATH, 81,9 % na ARC-Challenge, 82,2 % na DROP a 60,7 % na MMLU, přestože má relativně malou stopu.

Efektivita se stává strategickým bojištěm umělé inteligence

Spuštění přichází v době, kdy se obavy kolem nákladů na infrastrukturu umělé inteligence, spotřeby energie a dostupnosti výpočtů stávají centrálními průmyslovými problémy.

Školení a nasazení špičkových systémů umělé inteligence nyní často vyžaduje masivní klastry GPU, hyperscale datové centry a úrovně spotřeby energie, které jsou stále více podrobovány zkoumání vládami a poskytovateli infrastruktury. Sapientův argument je, že budoucí průlomy mohou pocházet ne z škálování větších systémů, ale z fundamentálního přezkoumání architektury samotné.

Společnost tvrdí, že HRM-Text lze školení zhruba za jeden den pomocí 16 GPU napříč dvěma stroji za cenu přibližně 1 000 dolarů. Pro srovnání, modely jazyka na hranici možností mohou vyžadovat školicí rozpočty dosahující stovek milionů dolarů.

Profil nasazení modelu je také pozoruhodný. Při kvantizaci int4 se HRM-Text údajně vejde do přibližně 0,6 GiB, což činí místní nasazení na smartphonech a zařízeních edge teoreticky možným.

Tento důraz na menší, více nasaditelné systémy může se stát stále důležitějším, jak podniky tlačí směrem k umělé inteligenci na zařízení, citlivosti na soukromí a offline systémům, které nezávisí zcela na cloudové infrastruktuře.

Širší tlak na umělou inteligenci inspirovanou mozkem

Práce Sapientu odráží širší hnutí v rámci výzkumu umělé inteligence, které探uje alternativy k tradičnímu škálování transformátorů.

Společnostina HRM architektura silně čerpá z neurovědních konceptů, jako je hierarchické zpracování, temporální separace a rekurentní výpočet.

Na svém webu Sapient popisuje svou dlouhodobou cílem jako prosazování umělé obecné inteligence prostřednictvím architektur schopných myšlení, plánování a adaptivního učení, spíše než spoléhání se primárně na statistickou memorizaci.

Výzkumný tým společnosti zahrnuje bývalé přispěvatele z organizací, jako je DeepMind, DeepSeek a xAI, spolu s výzkumníky spojenými s institucemi, jako je MIT, Carnegie Mellon University, Tsinghua University a University of Cambridge.

Dřívější verze Sapientovy Hierarchické modelu myšlení již upoutaly pozornost v kruzích výzkumu umělé inteligence pro dosažení silného výkonu myšlení pomocí dramaticky menších počtů parametrů než konvenční LLM.

Změna v tom, jak je měřen pokrok umělé inteligence

Zda architektury, jako je HRM, nakonec rivality největších modelů na hranici možností, zůstává otevřenou otázkou. Průmysl umělé inteligence opakovaně viděl slibné alternativy, které se objevily, než byly předstiženy nelítostnou ekonomikou škálování.

Přesto se spuštění Sapientu objevilo v okamžiku, kdy se průmysl stále více potýká s limity brute-force expanze. Nedostatek GPU, energetické uzly, náklady na inferenci a snižující se výnosy z větších datových sad nutí výzkumníky přezkoumat předpoklady, které dominovaly minulým několika letům vývoje umělé inteligence.

Pokud se systémy, jako je HRM-Text, budou dále zlepšovat, mohly by změnit, jak je měřen pokrok v oblasti umělé inteligence — přesunout pozornost od počtu parametrů k efektivitě, hloubce myšlení a adaptabilitě.

Společnost zcela otevřeně zpřístupnila HRM-Text prostřednictvím GitHubu jako součást spuštění.