Nikolaos Vasiloglou, VP de Cercetare ML la RelationalAI – Seria de Interviuri

Nikolaos Vasiloglou este VP de Cercetare ML la RelationalAI. El și-a petrecut cariera construind software de ML și conducând proiecte de știință a datelor în retail, publicitate online și securitate. El este membru al comunității ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P, servind ca autor, recenzent și organizator de ateliere și conferințe principale. Nikolaos conduce cercetarea și inițiativele strategice la intersecția dintre modelele de limbaj mari și grafurile de cunoaștere pentru RelationalAI.

RelationalAI este o companie de inteligență artificială care construiește o platformă de inteligență decizională proiectată pentru a ajuta organizațiile să treacă dincolo de analiza datelor către luarea deciziilor automate de înaltă calitate. Tehnologia sa se integrează direct cu mediile de date, cum ar fi Snowflake, combinând baze de date relationale, grafuri de cunoaștere și sisteme de raționament avansat pentru a crea un “model semantic” al unei afaceri – esențialmente, codificând modul în care o companie funcționează, relațiile sale și logica sa. Acest lucru permite sistemelor de inteligență artificială (inclusiv agenților de decizie, cum ar fi “Rel”) să raționeze peste date complexe și interconectate și să genereze insight-uri predictive și prescriptive, permițând întreprinderilor să ia decizii mai rapide și mai informate, fără a muta datele din afara mediilor de cloud securizate.

Ați avut o carieră rară, care acoperă învățământul mașinilor, implementări industriale la scară largă și roluri de conducere în companii precum Symantec, Aisera și acum RelationalAI. Cum v-au modelat aceste experiențe perspectiva asupra modului în care cercetarea învățării mașinilor se întâlnește cu sistemele din lumea reală astăzi?

Am fost suficient de norocos să mă implic în diferite domenii de afaceri, de la retail și securitate, până la publicitate online. Acest lucru m-a ajutat să înțeleg cum se potrivește învățământul mașinilor și inteligența artificială ca un numitor comun. Știam din anii 2000 că software-ul mănâncă lumea, datele mănâncă inteligența decizională, însă puține companii, inclusiv Google (GOOGL ), credeau că algoritmii avansați de învățare a mașinilor vor mânca în cele din urmă totul. În 2008, participanții la NeurIPS erau considerați niște nerd și visători care nu înțelegeau lumea reală, doar oameni care își plac să se joace cu jucării. Acest lucru a fost adevărat până la un anumit punct, dar eu am crezut că acesta era pe o traiectorie de a se schimba. În contrast cu alții, nu am renunțat la participarea activă la trecerea de la cercetarea academică la industrie.

Analiza dvs. a NeurIPS 2025 a folosit asistenți de codare precum Claude Code, OpenAI Codex și NotebookLM pentru a procesa întreaga conferință. Ce v-a surprins cel mai mult despre utilizarea sistemelor de inteligență artificială pentru a analiza cercetarea de inteligență artificială în sine?

A fost ușor să construiesc software pentru a extrage datele, a le citi cu mașina și a le categorisi în secțiuni și chiar a le rezuma și explica într-un mod intuitiv. Sistemele de inteligență artificială generativă sunt uimitoare la spunerea unei povești, dar nu la spunerea poveștii. NotebookLM este regina analizei oricărui domeniu și oferă rezultate incredibile. Cu toate acestea, nu aveți control asupra poveștii, graficelor sau accentului. Am învățat că uneltele nu sunt foarte bune la crearea diapozitivelor PowerPoint, așa că am fost nevoit să construiesc HTML și apoi să le convertească în PDF-uri. Cea mai mare provocare a fost crearea figurilor – generarea difuziei a fost prea lentă, instabilă și scumpă, fără control. Surprinzător, modelele sunt destul de bune la crearea SVG-urilor programatic cu matplotlib, plotly și alte biblioteci Python. Această tehnică s-a scalat, dar a necesitat mai multe treceri pentru a corecta erorile de vizualizare. Modelele vor fi și mai bune anul viitor.

Una dintre cele mai puternice teme din analiza dvs. este schimbarea de la scalarea timpului de antrenament la computarea timpului de inferență. De ce computarea timpului de testare devine un atât de puternic levier pentru îmbunătățirea performanței modelului?

Legile de scalare sunt busola noastră. Creșterea dimensiunii modelului și a datelor de antrenament a atins capacitatea sa. Prima generație de legi de scalare ne-a adus până la GPT-4. Acestea au fost cele care au ajutat OpenAI să înceapă revoluția GenAI. Am realizat curând că există o altă dimensiune care permite modelului să genereze multe tokeni înainte de a ajunge la un răspuns. Acesta este un alt mod de a îmbunătăți eficiența LLM-urilor. Dimensiunea modelului și lungimea raționamentului sunt adesea exprimate ca moduri de gândire Sistem 1 și Sistem 2 (Daniel Kahneman). Urmele raționamentului sunt un alt mod de a crește capacitatea modelului. Dacă vă gândiți la acest lucru, descoperirile oamenilor au început de la instincte (coeficient de inteligență ridicat), dar succesul a fost întotdeauna datorat unui raționament lung și dureros. Vedem un anumit model: Modele mai mici cu ferestre de gândire lungă depășesc modele care sunt de 100 de ori mai mari. Așa că gândirea contează mai mult decât coeficientul de inteligență în LLM-uri.

Subliniați trecerea de la modele monolitice la sisteme agențice capabile să planifice, să acționeze și să verifice ieșirile lor. Cât de aproape suntem de a face ca inteligența artificială agențică să devină un paradigma de producție fiabilă, în loc de un prototip de cercetare?

Facem pași importanți în acea direcție. Cele mai mari probleme sunt fiabilitatea și siguranța, astfel încât să putem avea încredere în ele pentru a fi autonome. Dacă priviți cu atenție conținutul NeurIPS, veți vedea sisteme autonome care efectuează cercetări, rezolvă probleme matematice și rezolvă probleme de codare, dar nu veți vedea o mașină fără șofer agențică, de exemplu. Experiența recentă cu Moltbook (o rețea socială pentru agenți de inteligență artificială) a subliniat problemele inteligenței artificiale agențice autonome. Cu toate acestea, descoperirea de noi medicamente și materiale cu inteligență artificială agențică este uriașă, așa că să celebrăm și să indexăm asta pentru moment.

Se pare că eficiența este un factor major de inovare, cu modele mai mici care ating performanțe competitive prin îmbunătățiri arhitecturale și strategii de inferență mai inteligente. Intrăm într-o eră în care breșele de eficiență contează mai mult decât dimensiunea brută a modelului?

Pe măsură ce inteligența artificială se extinde în producție, ingineria devine mai importantă. A te baza pe modelele de frontieră nu este pur și simplu sustenabil. Este minunat pentru demo-uri, dar companiile se confruntă cu realitatea amară atunci când văd costul ridicat al modelelor mari. Pentru prima dată, modelele mai mici au devenit o soluție mult mai viabilă. Există o forță silențioasă care schimbă statu quo-ul industriei. Până acum, NVIDIA (NVDA ) a avut monopolul pe GPU-uri și a ținut prețurile ridicate. AMD își face drum în piață cu cipuri de înaltă calitate și acest lucru va forța prețurile să scadă. Energia continuă să fie o problemă, dar vedem o mișcare pe piață. Pe măsură ce laboratoarele de frontieră au devenit mai scumpe, soluția modelelor mai mici pe GPU-uri închiriate a devenit mai viabilă.

Prezentația dvs. sugerează că domeniul a trecut de la scalarea pe o singură axă (parametri) la o scalare multi-dimensională care implică parametri, date, arhitectură și inferență. Cum ar trebui cercetătorii și practicienii să gândească despre acest nou paradigma de scalare?

Pentru majoritatea profesioniștilor, arhitectura și parametrii sunt dincolo de controlul lor. Producătorii de modele care au capitalul necesar vor conduce inovația. Lungimea inferenței tokenului va fi dedicată cheltuielilor de capital ale organizației. Ce rămâne sub controlul lor este datele. Vom vedea o focalizare mai mare pe crearea, curățarea și depanarea datelor (urmărirea raționamentului, de cele mai multe ori). Acesta va fi focusul operațiunilor de zi cu zi. Desigur, vor trebui să urmărească NeurIPS și alte conferințe mari pentru a rămâne la curent cu tendințele noilor arhitecturi.

În sinteza dvs. NeurIPS, subliniați faptul că o parte tot mai mare a cercetării se axează pe descoperirea științifică condusă de inteligență artificială, de la biologie la modelarea climei. Considerați inteligența artificială pentru știință ca următoarea frontieră majoră pentru cercetarea învățării mașinilor?

Cred că depășește cercetarea academică. Ne uităm la următoarea goană după aur. În 1849, goana după aur din California a atins apogeul. Toate pe care trebuiau să le facă oamenii erau să strecoare apa râului pentru a găsi aur. Știm acum că mulți nu au găsit aur, dar ceea ce vedem astăzi este foarte real. Pot vedea o undă mare de start-up-uri cu două sau trei persoane care folosesc modele de limbaj pentru a găsi noi materiale, medicamente și componente de produse. Arderea tokenilor în modul cel mai inteligent poate aduce randamente mari. Asistenții de codare precum Claude Code, OpenAI Codex și Google Antigravity pot elimina șanțul pentru companiile SaaS, lăsând o întreagă generație de oameni de știință capabili în căutarea științifică. Dacă lucrați pentru o organizație non-profit, cum ar fi First Principles sau Bio[hub], există oportunități de a găsi noi legi fizice și teorii, sau alte contribuții în biologie. Dacă doriți să generați venituri, veți lucra la inventarea de noi produse bazate pe știință, cum ar fi medicamente, materiale, baterii etc.

Lucrările dvs. subliniază, de asemenea, o lacună de verificare în creștere, unde modelele ating scoruri puternice la benchmark, dar eşuează la variații simple din lumea reală. Ce revelează această lacună despre limitările actuale ale modelelor de limbaj mari?

Pare că au o memorie uimitoare și pot generaliza bine. Benchmark-urile sunt bune la începutul cercetării. Odată ce treceți pragul, învățați benchmark-ul și nu problema. Am fost foarte bun în ultimii ani să resetăm benchmark-urile și să le facem și mai greu de atins pentru a împinge limitele. Problema cu benchmark-urile este că, la un moment dat, începem să supraindexăm și, în cele din urmă, să înșelăm. Tendința de aici este de a face competitorii mai onești. Personal, nu acord prea multă atenție benchmark-urilor după câteva salturi. Puteți avea un produs bun care nu este nici măcar în top 10 din clasament. Am văzut, de asemenea, multe produse subpar care sunt bune la benchmark-uri.

Prezentația sugerează că modelele de limbaj mici combinate cu scalarea inferenței și arhitecturile agențice ar putea permite sisteme de inteligență artificială puternice care rulează în afara centrelor de date hyperscale. Ar putea descentralizarea să remodeleze modul în care inteligența artificială este implementată în diferite industrii?

Am văzut un accent mare pe implementarea la margine. Vom vedea dispozitive mai inteligente în jurul nostru, cu siguranță. Microsoft (MSFT ) a lucrat de ani de zile la 1bit LLM, care realizează o compresie de aproximativ 30x, permițându-i să ruleze chiar și modele de frontieră pe un singur cip în viitor. Am urmărit această muncă de ani de zile și progresul este uimitor. În special în domeniul purtabil.

Ceva care a fost acoperit în NeurIPS-ul de anul trecut a fost ideea de a combina modele slabe de margine cu cele de frontieră. Acest lucru vă permite să ajustați puterea de inferență în funcție de lățimea de bandă într-un spectru continuu. Primul atelier Telco de la NeurIPS a dezvăluit o tendință de a plasa GPU-uri pe turnuri de celule, ceea ce este interesant, deoarece turnul de celule nu este nici un centru de date, nici un dispozitiv de margine. Acest lucru introduce un strat nou în ierarhia calculului.

Ceva altceva care a scăpat de la LLM-uri este antrenarea distribuită a modelului (și nu mă refer la antrenarea Gemini de către Google în centre de date remote). Există o tendință foarte interesantă care prinde viață, și anume entități independente care antrenează propriile modele și utilizatori care le combină ca pe niște Lego pentru a construi modele mai mari și mai puternice. Acesta este un modul de arhitectură foarte promițător. Acesta este modul în care se antrenează modelele mari. Diferite echipe construiesc modele specializate, iar la final, le conectează ca niște blocuri Lego.

După analizarea a mii de articole NeurIPS, unde credeți că comunitatea de cercetare a inteligenței artificiale prezice cu acuratețe progresul și unde ar putea să omoare cele mai importante schimbări viitoare?

Comunitatea de cercetare nu face previziuni. Cercetătorii au propriii lor factori de decizie, curiozitate, finanțare, întâmplare și, desigur, instinct. Ei pot să rateze direcții interesante, dar, cu siguranță, cineva va găsi și va prelua acestea la un moment dat în viitor. Acest lucru este așteptat și este sănătos. Executivii, investitorii și inginerii sunt obligați să identifice tendințele emergente, astfel încât să poată lua decizii corecte și să facă pariuri educate. În fereastra mea de analiză de 5 ani, au existat tendințe care au fost identificate devreme, iar altele au fost ratate. Pentru unele dintre ele, există încă timp să urce valul alfa.

Piețele de date sunt ceva pe care le-am urmărit de ani de zile, și abia anul acesta au făcut saltul. Componenta lipsă a fost atributionarea. Putem identifica acum datele de antrenament care au contribuit la un concurs LLM pe parcurs, și putem plăti dividendele. Acest lucru a fost o oportunitate ratată de la editori care sunt în procese cu modele de frontieră. Unii dintre ei au trebuit să accepte acorduri de licențiere plată, în timp ce eu cred că au oportunitatea de a obține venituri mai mari și mai durabile dintr-un model de atribution.

Există o revoluție care vine în robotică. Modelele de lume anunțate de NVIDIA și alții realizează simulări fizice foarte precise și scalabile. Așa că, așteptați-vă ca inteligența artificială să fie mai fizică în viitor.

Arhitectura transformer s-a unit în cele din urmă cu modelele de spațiu de stare, cum ar fi RNN-urile, mamba etc. și a produs LLM-uri mici uimitoare. Acum știm exact limitările arhitecturii transformer care joacă un rol major în performanță, dar încă nu știm următorul pas. Acesta va veni atunci când transformerul a fost dovedit a fi dur și rezistent. Ce nu știm este dacă va fi un om sau un transformer care va proiecta noua arhitectură a unui LLM! Transformerul a unit toate arhitecturile fragmentate în NLP (da, nu uitați că GenAI a început cu sarcini de bază NLP, cum ar fi clasificarea entităților). A funcționat pentru matematică, anul acesta a funcționat pentru tabele, dar nu a funcționat pentru fizică. Am numărat mai mult de 15 arhitecturi diferite. Așa că, noua arhitectură care unește fizica ar putea fi și cea care va înlocui transformerul în călătoria către AGI.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre RelationalAI.