Älykkään Intelligenssin Sapient Esittelee HRM-Textin, Aivoinnokkaan Tekoälymallin, Joka Haastaa Mittasuhteiden Kilpailun

Kun tekoälyteollisuus jatkaa miljardien sijoittamista koskien yhä suurempia kielimalleja ja valtavampia tietokeskuksia, Singaporen perustettu tekoälytutkimusyhtiö Sapient Intelligence on valinnut erilaisen lähestymistavan.

Yhtiö on ilmoittanut HRM-Textistä, uudesta 1 miljardin parametrin päättelykielimallista, joka on suunniteltu hierarkkisen toistuvan arkkitehtuurin ympärille, joka on inspiroitu aivotoiminnasta, jossa hitaampi, tarkoituksenmukainen päättely ja nopeampi, alempi prosessointi erottuvat toisistaan.

Toisin kuin yrittäminen voittaa pelkästään mittasuhteilla, Sapient asettaa HRM-Textin todisteeksi siitä, että päättelysyvyys ja laskennallinen tehokkuus voivat tulla tärkeämmiksi kuin raaka parametrilaskenta tekoälykehityksen seuraavassa vaiheessa.

Julkaisu jatkaa myös laajempaa suuntausta, joka on näkyvissä koko tekoälysektorilla: kasvava epäily siitä, että pelkästään transformatoreiden mittasuhteiden lisääminen ei riitä saavuttamaan yleisempiä älymuotoja.

Siirtyminen Transformatoreiden Pelikirjasta

Useimmat nykyiset suuret kielimallit nojaavat Transformer-arkkitehtuureihin, jotka prosessoidaan pääasiassa eteenpäin suunnatun järjestelmän kautta, joka keskittyy seuraavan tokenin ennustamiseen. Sapientin HRM-kehys esittelee sen sijaan hierarkkisen toistuvan rakenteen, jossa useat päättelykerrokset vuorovaikuttavat sisäisesti ennen kuin mitään tulostetta generoidaan.

Yhtiö kuvailee arkkitehtuuria toimivana kahden keskenään kytketyn järjestelmän kautta: korkeamman tason “hitaan ohjaimen”, joka on vastuussa abstraktista suunnittelusta ja päättelystä, ja alempitasoisen “nopean työntekijän”, joka käsittelee yksityiskohtaisia laskelmia.

Tämä eroaa ketjun ajattelumenetelmistä, joita käytetään laajasti nykyisissä tekoälyjärjestelmissä, joissa päättely ilmenee pitkinä näkyvinä tekstijonoina. HRM-Text suorittaa sen sijaan suurimman osan päättelystään sisäisesti latentin avaruudessa ennen kuin se generoi vastauksia.

Sapient väittää, että tämä rakenne sallii pienemmille järjestelmille suorittaa monimutkaisempaa monivaiheista päättelyä ilman, että niiden tarvitsee nojata valtaviin mallikokoihin tai massiivisiin inference-kustannuksiin.

Yhtiön antamien benchmark-tulosten mukaan HRM-Text saavutti 56,2 %:n MATH:issa, 81,9 %:n ARC-Challengessa, 82,2 %:n DROP:issa ja 60,7 %:n MMLU:ssa, vaikka sen verrattain pieni jalanjälki.

Tehokkuus Muuttuu Strategiseksi Tekoälytaistelutantereeksi

Julkaisu saapuu hetkenä, jolloin tekoälyinfrastruktuurin kustannukset, energiankulutus ja laskentaresurssien saatavuus muuttuvat keskeisiksi teollisuuden ongelmiksi.

Koulutus ja käyttöönotto nykyaikaisia tekoälyjärjestelmiä vaativat usein massiivisia GPU-klustereita, hyperskaalatisia tietokeskuksia ja energiankulutusta, jota hallitukset ja infrastruktuuripalveluntarjoajat tarkkailevat yhä tarkemmin. Sapientin väite on, että tulevat läpimurrot voivat tulla ei siitä, että järjestelmiä suurennetaan, vaan siitä, että arkkitehtuuri itsessään muutetaan perustavasti.

Yhtiö väittää, että HRM-Text voidaan kouluttaa noin yhdessä päivässä käyttäen 16 GPU:ta kahdessa laitteessa ja kustannuksilla, jotka ovat noin 1 000 dollaria. Vertailun vuoksi eturintamalla olevat kielimallit voivat vaatia koulutusbudjetteja, jotka ovat satoja miljoonia dollareita.

Mallin kompakti käyttöönotto on myös merkittävä. Int4-kvantisaatiolla HRM-Text ilmoittaa olevan noin 0,6 GiB, mikä tekee paikallisen käyttöönoton älypuhelimilla ja reuna-laiteilla teoreettisesti mahdolliseksi.

Tuo painopiste pienempiin, käyttöönotettavampiin järjestelmiin voi tulla yhä tärkeämmäksi, kun yritykset pyrkivät laitteistopuoleiseen tekoälyyn, yksityisyydensuojattavaan päättelyyn ja offline-päättelyjärjestelmiin, jotka eivät riipu täysin pilvinfrastruktuurista.

Laajempi Pyrkimys Aivoinnokkaaseen Tekoälyyn

Sapientin työ heijastaa laajempaa liikettä tekoälytutkimuksessa, jossa etsitään vaihtoehtoja perinteiselle transformatoreiden mittasuhteelle.

Yhtiön HRM-arkkitehtuuri perustuu voimakkaasti neurotieteellisiin käsitteisiin, kuten hierarkkiseen prosessointiin, aikasuhteelliseen erotteluun ja toistuvaan laskentaan.

Yhtiön verkkosivuilla Sapient kuvaa pitkän aikavälin tavoitteensa pyrkimyksenä tekoälyä yleisemmän älymystävällisen arkkitehtuurin kautta, joka kykenee päättelyyn, suunnitteluun ja sopeutuvaan oppimiseen, eikä riipu pelkästään tilastollisesta muistamisesta.

Yhtiön tutkimusryhmään kuuluvat entiset avustajat organisaatioista, kuten DeepMind, DeepSeek ja xAI, sekä tutkijat, jotka ovat yhteydessä instituutioihin, kuten MIT, Carnegie Mellon -yliopistoon, Tsinghua-yliopistoon ja Cambridgen yliopistoon.

Aikaisemmat versiot Sapientin Hierarkkisesta Päättelymallista olivat jo herättäneet huomiota tekoälytutkimuspiireissä saavutettuaan vahvan päättelysuorituskyvyn dramaattisesti pienemmällä parametrilaskelmalla kuin perinteiset LLM:t.

Muutos Siinä, Miten Tekoälyedistystä Mitataan

On avoin kysymys, voivatko arkkitehtuureja kuten HRM lopulta kilpailla suurimpien eturintamalla olevien mallien kanssa. Tekoälyteollisuus on toistuvasti nähnyt lupaavien vaihtoehtojen nousun ennen kuin ne jäävät jälkeen mittasuhteiden taloudellisen voiman alle.

Todennäköisesti kuitenkin Sapientin julkaisu saapuu hetkenä, jolloin teollisuus on yhä enenevissä määrin kohtaamassa pakottavien mittasuhteiden laajentamisen rajoja. GPU-puutteet, tehokkuuspullot, inference-kustannukset ja vähenevät palautteet suuremmista tietokannoista pakottavat tutkijoita uudelleenarvioimaan oletuksia, jotka ovat hallinneet viime vuosien tekoälykehitystä.

Jos järjestelmät kuten HRM-Text jatkavat parantumista, ne voivat muuttaa sitä, miten tekoälyedistystä mitataan — siirtäen huomion parametrilaskelmista tehokkuuteen, päättelysyvyyteen ja sopeutuvuuteen.

Yhtiö on julkaissut HRM-Textin täysin avoimena lähdekoodina GitHubissa julkaisun yhteydessä.