Sapient Intelligence prezintă HRM-Text, un model de inteligență artificială inspirat de creier, conceput pentru a contesta cursa pentru scalare

În timp ce industria inteligenței artificiale continuă să investească miliarde de dolari în modele de limbaj din ce în ce mai mari și centre de date masive, compania de cercetare în inteligență artificială din Singapore, Sapient Intelligence, adoptă o abordare foarte diferită.

Compania a anunțat HRM-Text, un nou model de limbaj de raționament de 1 miliard de parametri, proiectat în jurul unei arhitecturi recurente ierarhice inspirate de modul în care creierul separă raționamentul lent și deliberat de procesarea rapidă și de nivel inferior.

În loc să încerce să câștige prin pură scală, Sapient poziționează HRM-Text ca dovadă că adâncimea raționamentului și eficiența computațională ar putea deveni mai importante decât numărul brut de parametri în următoarea fază a dezvoltării inteligenței artificiale.

Lansarea continuă o tendință mai largă care apare în sectorul inteligenței artificiale: o scepticism crescând cu privire la faptul că simpla scalare a transformatorilor va fi suficientă pentru a atinge forme mai generale de inteligență.

Depășirea cărții de joc a transformatorului

Majoritatea modelelor de limbaj mari moderne se bazează pe arhitecturi Transformer care procesează informații prin un sistem feed-forward concentrat pe predicția următorului token. Framework-ul HRM al lui Sapient introduce, în schimb, o structură recurentă ierarhică în care multiple straturi de raționament interacționează intern înainte de a genera orice ieșire.

Compania descrie arhitectura ca operând prin două sisteme interconectate: un controlor “lent” de nivel superior responsabil cu planificarea și raționamentul abstract și un “lucrător rapid” de nivel inferior care gestionează calculele detaliate.

Acest lucru se diferențiază de metodele “lanț de gândire” utilizate pe scară largă în sistemele actuale de inteligență artificială, unde raționamentul este exprimat prin secvențe lungi de text vizibile. HRM-Text efectuează, în schimb, o parte semnificativă a raționamentului său intern în spațiul latent înainte de a genera răspunsuri.

Sapient susține că această structură permite sistemelor mai mici să efectueze raționamente multistep mai sofisticate fără a se baza pe dimensiuni uriașe de model sau costuri masive de inferență.

Conform rezultatelor benchmark furnizate de companie, HRM-Text a obținut 56,2% la MATH, 81,9% la ARC-Challenge, 82,2% la DROP și 60,7% la MMLU, în ciuda amprentei sale relativ mici.

Eficiența devine un câmp de luptă strategic pentru inteligența artificială

Lansarea are loc într-un moment în care preocupările legate de costurile infrastructurii de inteligență artificială, consumul de energie și disponibilitatea calculului devin probleme centrale ale industriei.

Antrenarea și implementarea sistemelor de inteligență artificială de ultimă generație necesită acum adesea clusteri masivi de GPU, centre de date de scară largă și niveluri de consum de energie din ce în ce mai supuse scrutinului guvernelor și furnizorilor de infrastructură. Argumentul lui Sapient este că viitoarele descoperiri ar putea veni nu din scalarea sistemelor mai mari, ci din reevaluarea fundamentală a arhitecturii în sine.

Compania afirmă că HRM-Text poate fi antrenat în aproximativ o zi utilizând 16 GPU pe două mașini, la un cost de aproximativ 1.000 de dolari. În comparație, modelele de limbaj de ultimă generație pot necesita bugete de antrenament care ajung la sute de milioane de dolari.

Profilul de implementare compact al modelului este, de asemenea, notabil. La cuantificarea int4, HRM-Text ocupă aproximativ 0,6 GiB, făcând posibilă, teoretic, implementarea locală pe smartphone-uri și dispozitive de margine.

Acest accent pe sisteme mai mici și mai implementabile ar putea deveni din ce în ce mai important pe măsură ce întreprinderile se îndreaptă spre inteligența artificială pe dispozitive, inferența sensibilă la confidențialitate și sistemele de raționament offline care nu depind în întregime de infrastructura cloud.

Impulsul mai larg către inteligența artificială inspirată de creier

Lucrarea lui Sapient reflectă o mișcare mai largă în cadrul cercetării inteligenței artificiale care explorează alternative la scalarea tradițională a transformatorilor.

Arhitectura HRM a companiei se bazează puternic pe concepte din neuroștiință, cum ar fi procesarea ierarhică, separarea temporală și calculul recurent.

Pe site-ul său, Sapient descrie obiectivul său pe termen lung ca fiind urmărirea inteligenței artificiale generale prin arhitecturi capabile de raționament, planificare și învățare adaptativă, mai degrabă decât să se bazeze în primul rând pe memorizarea statistică.

Echipa de cercetare a companiei include foști contribuitori de la organizații precum DeepMind, DeepSeek și xAI, alături de cercetători conectați la instituții precum MIT, Universitatea Carnegie Mellon, Universitatea Tsinghua și Universitatea Cambridge.

Versiunile anterioare ale modelului de raționament ierarhic al lui Sapient au atras deja atenția în cercurile de cercetare a inteligenței artificiale pentru performanța puternică de raționament utilizând numere de parametri dramatic mai mici decât LLM-urile convenționale.

O schimbare în modul în care progresul inteligenței artificiale este măsurat

În ciuda faptului că arhitecturi precum HRM ar putea rivaliza în cele din urmă cu cele mai mari modele de frontieră, rămâne o întrebare deschisă. Industria inteligenței artificiale a văzut repetat apariția unor alternative promițătoare, care au fost ulterior depășite de economia inexorabilă a scalei.

Încă, lansarea lui Sapient are loc într-un moment în care industria se confruntă din ce în ce mai mult cu limitele expansiunii brute. Lipsa de GPU, blocajele de energie, costurile de inferență și randamentul scăzut din cauza dimensiunii mai mari a seturilor de date îi obligă pe cercetători să reevalueze ipotezele care au dominat ultimii ani de dezvoltare a inteligenței artificiale.

Dacă sisteme precum HRM-Text continuă să se îmbunătățească, ele ar putea redefini modul în care progresul inteligenței artificiale este măsurat — schimbând atenția de la numărul de parametri și înspre eficiență, adâncimea raționamentului și adaptabilitate.

Compania a deschis în totalitate sursa HRM-Text prin GitHub ca parte a lansării.