Nikolaos Vasiloglou, RelationalAI:n tutkimuksen varapuheenjohtaja – Haastattelu

Nikolaos Vasiloglou on RelationalAI:n tutkimuksen varapuheenjohtaja. Hän on viettänyt uransa rakentamalla ML-ohjelmistoja ja johtamalla data-analytiikka projekteja vähittäiskaupassa, verkkomainonnassa ja turvallisuudessa. Hän on ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P -yhteisön jäsen, ja on toiminut kirjoittajana, arvostelijana ja järjestäjänä työpajoissa ja pääkonferenssissa. Nikolaos johtaa tutkimusta ja strategisia aloitteita suurten kielen mallien ja tietokantagrafiikkojen leikkauskohdassa RelationalAI:ssa.

RelationalAI on yritys, joka kehittää päätöksenteon älykäs alusta, joka auttaa organisaatioita siirtymään data-analytiikasta automaattiseen, laadukkaaseen päätöksentekoon. Sen teknologia integroituu suoraan data-ympäristöihin, kuten Snowflakeen, yhdistäen relaatiotietokannat, tietokantagrafiikat ja edistyneet päättelyjärjestelmät “semanttiseksi malliksi” yrityksestä – perustellen, miten yritys toimii, sen suhteet ja logiikka. Tämä mahdollistaa tekoälyjärjestelmien (mukaan lukien päätöksentekijät, kuten “Rel”) päätellä monimutkaisista, toisiinsa liittyvistä tietoja ja generoida ennustavia ja preskriptiivisiä näkymiä, mahdollistaen yritysten tehdä nopeampia, perustellumpia päätöksiä ilman, että heidän tarvitsee siirtää tietojaan turvallisista pilviympäristöistä.

Olet ollut harvinainen urapolku, joka kattaa akateemisen koneoppimisen, suurten teollisuusjärjestelmien ja johtajan roolit yrityksissä, kuten Symantec, Aisera ja nyt RelationalAI. Miten nämä kokemukset ovat muovanneet näkemyksesi siitä, missä koneoppimisen tutkimus kohtaa todelliset järjestelmät tänään? 

Olin tarpeeksi onnekas osallistuakseen eri liiketoiminta-aloihin, vähittäiskaupasta ja turvallisuudesta verkkomainontaan. Se auttoi minua ymmärtämään, miten koneoppiminen ja tekoäly toimivat yleisenä nimittäjänä. Tiesimme jo 2000-luvun alusta, että ohjelmisto syö maailmaa, data syö päätöksenteon älykkyyttä, mutta harvat yritykset, mukaan lukien Google (GOOGL ), uskoivat, että edistyneet koneoppimisalgoritmit lopulta syövät kaiken. Vuonna 2008 NeurIPS-konferenssin osallistujat pidettiin nerdeinä ja unelmoinnikkoina, jotka eivät ymmärtäneet todellista maailmaa, vaan olivat vain ihmisiä, jotka pitivät leikkimästä lelujen kanssa. Se oli tosi tiettyyn pisteeseen, mutta uskoin, että tämä oli muutoksen polulla. Toisin kuin muut, en antanut periksi akateemisen tutkimuksen siirtymisestä teollisuuteen.

NeurIPS 2025 -analyysisi käytti koodiapua, kuten Claude Code, OpenAI Codex ja NotebookLM, prosessoidakseen koko konferenssin. Mitä yllätti sinua eniten siitä, miten tekoälyjärjestelmät analysoivat itse tekoälytutkimusta? 

Se oli hämmästyttävän helppoa rakentaa ohjelmisto, joka skrapaa dataa, kone-lukee niitä ja luokittelee ne osioihin ja jopa tiivistää ja selittää ne erityisen intuitiivisella tavalla. GenAI-järjestelmät ovat upeita kertomassa tarinaa, mutta eivät kerro tarinaa. NotebookLM on minkä tahansa alan analyysin kuningatar ja antaa uskomattomia tuloksia. Kuitenkin sinulla ei ole valvontaa tarinan, grafiikkojen tai korostuksen suhteen. Opetin, että työkalut eivät ole hyviä luomaan PowerPoint-esityksiä, joten minun piti turvautua HTML:n rakentamiseen ja muuttaa ne PDF-muotoon. Suurin haaste oli luoda kuvia – difuusiogeneraattori oli liian hidas, epäluotettava ja kallis, eikä siinä ollut valvontaa. Yllättäen mallit ovat hyviä luomaan SVG-tiedostoja ohjelmallisesti matplotlib-, plotly- ja muiden Python-kirjastojen avulla. Tämä tekniikka skaalautui, mutta se vaati useita kierroksia korjataksesi visualisointivirheitä. Mallit tulevat olemaan vielä parempia ensi vuonna.

Yksi vahvimmista teemoista analyysissasi on siirtymä koulutusajan skaalautumisesta inference-ajan laskentaan. Miksi testausajan laskenta nousee voimakkaaksi vipuna parantamaan mallin suorituskykyä? 

Skaalautumisen lait ovat kompassimme. Mallin koon ja esikoulutusdatan lisääminen on saavuttanut kapasiteettinsa. Ensimmäisen sukupolven skaalautumisen lait auttoivat meitä GPT-4:ään asti. Ne auttoivat OpenAI:ta aloittamaan GenAI-vallankumouksen. Pian tajusimme, että oli toinen ulottuvuus, joka salli mallille generoida useita tokenia ennen kuin se saavutti vastauksen. Tämä on toinen tapa parantaa LLM:n tehokkuutta. Mallin koko ja päättelyjäljen pituus usein ilmenevät järjestelmä 1 ja järjestelmä 2 -ajattelutavoissa (Daniel Kahneman). Päättelyjäljet on toinen tapa lisätä mallin kapasiteettia. Jos ajattelet sitä, ihmisillä aloittivat läpimurrot vaistosta (korkea älykkyys), mutta menestys oli aina pitkän ja vaikean päättelyn ansiota. Näemme tämän kaavan: Pienemmät mallit pitkillä ajattelunikkunoilla ylittävät suurempia malleja, jotka ovat 100 kertaa suurempia. Ajattelu on tärkeämpää kuin älykkyys LLM:ssä.

korostit siirtymistä yhtenäisistä malleista agenteista, jotka pystyvät suunnittelemaan, toimimaan ja vahvistamaan tuloksiaan. Kuinka lähellä olemme agenteista, jotka ovat luotettavia tuotantoparadigmoja eikä tutkimusprototyyppejä? 

Tehdään suuria harppauksia tämän suunnan suhteen. Suurimmat ongelmat ovat luotettavuus ja turvallisuus, jotta voimme luottaa niihin autonomisesti. Jos tarkastelet NeurIPS-sisältöä tarkkaan, näet itsenäisiä järjestelmiä, jotka tekevät tutkimusta, ratkaisevat matemaattisia ongelmia ja ratkaisevat koodausongelmia, mutta et näe agenteja, jotka ajavat autoa esimerkiksi. Viimeisin kokemus Moltbook (sosiaalinen verkosto agenteille) korosti itsenäisten agenteiden ongelmat. Kuitenkin uusien lääkkeiden ja materiaalien löytäminen agenteilla on valtava, joten juhlimme ja indeksoidaan sitä hetkeksi.

Näyttää siltä, että tehokkuus on tärkeä innovaation ajaja, ja pienemmät mallit saavuttavat kilpailukykyisen suorituskyvyn arkkitehtuurin parannusten ja älykkäiden inference-strategioiden kautta. Olemme siirtymässä aikakauteen, jossa tehokkuuden läpimurrot ovat tärkeämpiä kuin raaka mallin koko? 

Kun tekoäly laajenee tuotantoon, insinööritöistä tulee tärkeämpää. Riippuvuus eturintamalla olevista malleista ei ole kestävää. Se on hyvä demoille, mutta yritykset kohtaavat katkeran todellisuuden, kun he näkevät suurten mallien korkeat kustannukset. Ensimmäistä kertaa pienemmät mallit ovat tulleet paljon toteuttamiskelpoisemmaksi ratkaisuksi. On olemassa hiljainen voima, joka muuttaa alan tilannetta. NVIDIA (NVDA ) on pitänyt GPU-monopolia ja pitänyt hinnat korkeina. AMD on tekemässä tietä markkinoilla laadukkailla piireillä, mikä pakottaa hinnat laskemaan. Energia on edelleen ongelma, mutta näemme jo liikettä markkinoilla. Kun eturintamalaboratoriot ovat tulleet kalliimmaksi, pienempien mallien ratkaisu vuokrattavilla GPU:illa on tullut toteuttamiskelpoisemmaksi.

Esitelmäsi viittaa siihen, että ala on siirtynyt yhden akselin skaalautumisesta (parametreistä) moniulotteiseen skaalautumiseen, joka kattaa parametreja, dataa, arkkitehtuureja ja inferenceä. Miten tutkijoiden ja käytännön soveltajien tulisi ajatella tätä uutta skaalautumisparadigmaa? 

Useimmille ammattilaisille arkkitehtuuri ja parametri ovat ulottumattomissa. Mallien tuottajat, joilla on tarvittava pääoma, ajavat innovaatiota. Token-inferenssin pituus määräytyy heidän organisaationsa capex-kulutuksen mukaan. Mitä heillä on valvontaa, on data. Näemme enemmän painopistettä datan luomisessa, kuratoinnissa ja debuggaamisessa (usein päättelyjäljillä). Tämä tulee olemaan päivittäisten operaatioiden painopiste. Tietysti heidän on seurattava NeurIPS:ia ja muita suuria konferensseja pysyäkseen ajan tasalla uusien arkkitehtuurien suuntauksilla.

NeurIPS-synteesissäsi korostit, että kasvava osa tutkimuksesta keskittyy tekoälyohjattuun tieteelliseen löytöön, biologian ja ilmastomallien välillä. Näetkö tekoälytieteellisen löydön seuraavana suurena rintamana tekoälytutkimukselle? 

Luulen, että se menee akateemisen tutkimuksen ulkopuolelle. Olemme katsomassa seuraavaa kultaryntäystä. Vuonna 1849 Kalifornian kultaryntäys saavutti huipunsa. Kaikki, mitä ihmisillä oli tehtävä, oli vain jatkuvaan virtaavan veden siivilöinti, jotta he löysivät kultaa. Tiedämme nyt, että monet eivät löytäneet kultaa, mutta mitä näemme tänään, on hyvin todellista. Voin nähdä suuren aallon kahden tai kolmen hengen start-upeja, jotka käyttävät kielen malleja löytääkseen uusia materiaaleja, lääkkeitä ja tuotekomponentteja. Polttoainetta säästävä tokenien polttaminen voi tuoda suuria tuottoja. Koodiapuohjelmat, kuten Claude Code, OpenAI Codex ja Google Antigravity, voivat poistaa esteen SaaS-yrityksiltä, jättäen koko sukupolven erittäin kyvykkäitä tietokoneen kanssa työskenteleviä tieteilijöitä tieteelliseen etsintään. Jos työskentelet voittonsaajayrityksessä, kuten First Principles tai Bio[hub], on mahdollisuuksia löytää uusia fysiikan lakeja ja teorioita tai muita biologian osa-alueita. Jos haluat generoida tuloja, työskentelet keksimällä uusia tuotteita tieteen perusteella, kuten lääkkeitä, materiaaleja, paristoja jne.

Tutkimuksesi korostaa myös kasvavaa vahvistamisvälimatkaa, jossa mallit saavuttavat vahvat benchmark-pisteet, mutta epäonnistuvat yksinkertaisissa todellisissa muunnelmissa. Mitä tämä välimatka paljastaa suurten kielen mallien nykyisistä rajoituksista? 

Ne vaikuttavat olevan upeita muistissaan ja pystyvät yleistämään hyvin. Benchmarkit ovat hyviä tutkimuksen alussa. Kun ylität kynnyksen, opit benchmarkin, ei ongelman. Olemme olleet hyviä vuosien varrella resetoimassa benchmarkkeja ja tekemässä niistä haasteellisempia. Ongelma benchmarkkeihin on, että lopulta alkamme yli-indeksoida ja lopulta petkuttaa. Koko trendi tässä on tehdä kilpailijoista reippaampia. Henkilökohtaisesti en kiinnitä liikaa huomiota benchmarkkeihin muutaman loikan jälkeen. Voit olla hyvä tuote, joka ei ole jopa kymmenen parhaan joukossa. Olen nähnyt monia alentavia tuotteita, jotka ovat hyviä benchmarkkeihin.

Esitelmäsi viittaa siihen, että pienet kielen mallit yhdistettynä inference-skaalautumiseen ja agenteilla arkkitehtuureihin voivat mahdollistaa voimakkaita tekoälyjärjestelmiä, jotka toimivat hyperskaalaisissa datakeskuksissa. Voisiko tämä desentralisointi muuttaa, miten tekoälyä käytetään eri aloilla? 

Näimme suuren painopisteen reunan käyttöönotossa. Näemme älykkämpiä laitteita ympärillämme. Microsoft (MSFT ) on työskennellyt vuosia 1-bittisen LLM:n parissa, joka saavuttaa noin 30-kertaisen pakkaamisen, mikä mahdollistaa sen suorittamisen jopa eturintamalla olevilla malleilla yhdellä piirillä tulevaisuudessa. Olemme seuranneet tätä työtä vuosia, ja edistys on hämmästyttävää. Erityisesti wearable-alueella.

Jotain, mitä käsiteltiin viime vuoden NeurIPS:ssa, oli ajatus yhdistää heikot reunamallit eturintamalla oleviin malleihin. Tämä mahdollistaa sovittaa inference-voimaa bändin leveyden mukaan jatkuvassa spektrissä. Ensimmäinen Telco-työpaja NeurIPS:ssa paljasti suuntauksen asentaa GPU:ita solutornien päälle, mikä on mielenkiintoista, koska solutorni ei ole datakeskus eikä reunalaite. Tämä esittää uuden kerroksen laskentahierarkiassa.

Jotain muuta, mikä pääsi pakoon LLM:istä, on hajautettu mallin koulutus (ja en tarkoita Googlea, joka kouluttaa Geminiä etäisissä datakeskuksissa). On mielenkiintoinen trendi, joka on kiinni itsenäisistä entiteeteistä, jotka kouluttavat omia mallejaan ja yhdistävät niitä Lego-paloina rakentamaan suurempia ja voimakkaampia malleja. Tämä on lupaava modulaarinen arkkitehtuuri. Tämä on, miten suuret mallit koulutetaan. Eri tiimit rakentavat erikoistuneita malleja, ja lopulta ne liittävät ne yhteen Lego-paloina.

NeurIPS-papereiden analyysin jälkeen, missä aihealueet tekoälytutkimuksen yhteisö ennustaa oikein edistystä, ja missä se saattaa olla väärässä tulevista muutoksista? 

Tutkimusyhteisö ei tee ennusteita. Tutkijat ovat omien ajureidensa, uteliaisuutensa, rahoituksensa, sattumansa ja tietysti vaistonsa ohjaamia. He voivat aina missata mielenkiintoisia suuntauksia, mutta joku löytää sen ja ottaa sen haltuunsa jossain vaiheessa tulevaisuudessa. Se on odotettavissa ja terve. Johtajat, sijoittajat ja insinöörit tarvitsevat tunnistaa nousevat suuntaukset, jotta he voivat tehdä oikeat päätökset ja ottaa koulutetut vedot. Viiden vuoden analyysiajani aikana oli suuntauksia, jotka havaittiin aikaisin, ja toisia signaaleja, joita ei havaittu. Joidenkin niistä on edelleen aikaa ratsastaa alfakanavan aallonharjalla.

Datamarkkinat ovat jotain, mitä olen seurannut vuosia, ja ne tekivät loikan tänä vuonna. Puuttuva komponentti oli attribuutti. Voimme nyt tunnistaa koulutusdatan, joka vaikutti LLM-kilpailuun lennossa. Se tarkoittaa, että voit maksaa osuuksia. Tämä on ollut puuttuva mahdollisuus kustantajilta, jotka ovat oikeudenkäynnissä eturintamalla olevien mallien kanssa. Jotkut heistä joutuivat antautumaan tasaisiin lisensointisopimuksiin, mutta uskon, että heillä on mahdollisuus tehdä kestävämpiä tuloja attribuuttimallista.

On vallankumous tulossa robottiikassa. Maailmanmallit, jotka NVIDIA ja muut ilmoittivat, tekevät erittäin tarkkaa ja skaalautuvaa fysiikan simulaatiota. Odota tekoälyn olevan fyysisempää tulevaisuudessa.

Transformer-arkkitehtuuri lopulta yhdistyi tila-avaruusmalleihin, kuten RNN:ihin, mambaan jne. ja tuotti upeita pieniä LLM:ejä. Nyt tiedämme transformerin tarkan rajoituksen, joka vaikuttaa suorituskykyyn, mutta emme tiedä, mitä seuraava askel on. Se tulee, kun transformer on osoittautunut die-hardiksi ja hyvin kestäväksi. Mitä emme tiedä, on se, onko se ihminen vai transformer, joka suunnittelee LLM:n uuden arkkitehtuurin. Transformer yhdisti kaikki hajanaiset arkkitehtuurit NLP:ssä (kyllä, älä unohda, että GenAI alkoi perustuvista NLP-tehtävistä, kuten entiteettien luokittelusta). Se toimi matematiikassa, se toimi taulukoissa, mutta se ei toiminut fysiikassa. Laskin yli 15 erilaista arkkitehtuuria. Uusi arkkitehtuuri, joka yhdistää fysiikan, saattaa olla se, joka korvaa transformerin tekoälyn matkalla kohti AGI:ta.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla RelationalAI:ssa.