Nikolaos Vasiloglou, Vicepræsident for Forskning ML hos RelationalAI – Intervieuserie

Nikolaos Vasiloglou er Vicepræsident for Forskning ML hos RelationalAI. Han har brugt sin karriere på at bygge ML-software og lede datavidenskabsprojekter i detail, online-reklame og sikkerhed. Han er medlem af ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P-fællesskabet, hvor han har fungeret som forfatter, anmelder og arrangør af workshops og hovedkonferencer. Nikolaos leder forsknings- og strategiske initiativer ved skæringen af Large Language Models og Knowledge Graphs for RelationalAI.

RelationalAI er et enterprise AI-selskab, der bygger en beslutningsintelligensplatform designet til at hjælpe organisationer med at gå ud over dataanalyse mod automatiseret, højkvalitetsbeslutning. Dens teknologi integrerer direkte med datamiljøer som Snowflake, kombinerer relationelle databaser, videnstammer og avancerede resoneringssystemer for at skabe en “semantisk model” af en virksomhed – essentielt kodificerer, hvordan et selskab fungerer, dets relationer og dets logik. Dette giver AI-systemer (herunder beslutningsagenter som “Rel”) mulighed for at resonere over komplekse, sammenhængende data og generere prædiktive og preskriptive indsighter, hvilket giver virksomheder mulighed for at træffe hurtigere og mere informerede beslutninger uden at flytte deres data uden for sikre cloud-miljøer.

Du har haft en sjælden karrierebane, der spænder over akademisk maskinlæring, storstilede industrielæg og ledelsesroller hos selskaber som Symantec, Aisera og nu RelationalAI. Hvordan har disse erfaringer formet din perspektiv på, hvor maskinlæringsforskning møder virkelige systemer i dag? 

Jeg havde held til at engagere mig i forskellige forretningsdomæner, fra detail og sikkerhed til online-reklame. Det hjalp mig med at forstå, hvordan maskinlæring og AI fungerer som en fælles nævner. Vi vidste allerede fra begyndelsen af 2000’erne, at software var på vej til at æde verden, data var på vej til at æde beslutningsintelligens, men få selskaber, herunder Google (GOOGL ), troede, at avancerede maskinlæringsalgoritmer ville til sidst æde alt. Tilbage i 2008 blev NeurIPS-deltagere betragtet som nørder og drømmere, der ikke forstod den virkelige verden, men kun var mennesker, der kunne lide at lege med legetøj. Det var sandt til en vis grad, men jeg troede, at dette var på vej til at ændre sig. Til forskel fra andre gav jeg ikke op på at deltage aktivt i overgangen fra akademisk forskning til industri.

Din analyse af NeurIPS 2025 brugte kodestøtter som Claude Code, OpenAI Codex og NotebookLM til at behandle hele konferencen. Hvad overraskede dig mest ved at bruge AI-systemer til at analysere AI-forskning i sig selv? 

Det var forbløffende let at bygge software til at hente data, maskinlæse dem og kategorisere dem i sektioner og endda sammenfatte og forklare dem på en særligt intuitiv måde. GenAI-systemer er fantastiske til at fortælle en historie, men ikke til at fortælle historien. NotebookLM er dronningen af at analysere ethvert domæne og levere fantastiske resultater. Men du har ingen kontrol over historien, grafikken eller betoningen. Jeg lærte, at værktøjerne ikke er gode til at oprette PowerPoint-præsentationer, så jeg måtte ty til at bygge HTML og derefter konvertere dem til PDF’er. Den største udfordring var at oprette figurer – diffusionsgenerering var blot for langsom, upålidelig og dyr, med ingen kontrol. Overraskende var modellerne ret gode til at oprette SVG’er programmeringsmæssigt med matplotlib, plotly og andre Python-biblioteker. Denne teknik skalerer, men den kræver flere gennemløb for at korrigere visualiseringsfejl. Modellerne vil være endnu bedre næste år.

En af de stærkeste temaer i din analyse er skiftet fra træningstidsskaleringslæring til inferens-tidsskaleringslæring. Hvorfor er test-tidsskaleringslæring ved at blive en så kraftfuld hjælp til at forbedre modellens ydeevne? 

Skaleringslove er vores kompas. At øge modellens størrelse og fortræningsdata har nået sin kapacitet. Den første generation af skaleringslove bragte os op til GPT-4. De var dem, der hjalp OpenAI med at starte GenAI-revolutionen. Vi opdagede snart, at der var en anden dimension, der tillod modellen at generere mange tokens, før den nåede et svar. Dette er en anden måde at forbedre LLM’ernes effektivitet på. Modellens størrelse og resonanslængde udtrykkes ofte som System 1 og System 2 tænketilgange (Daniel Kahneman). Resonansspor er en anden måde at øge modellens kapacitet på. Hvis du tænker over det, startede gennembruddene fra mennesker med instinkter (høj IQ), men succesen skyldtes altid lang og smertefuld resonans. Vi ser lidt denne mønster: Mindre modeller med lange tænkevinduer overgår modeller, der er 100 gange større. Så tænkning betyder mere end IQ i LLM’er.

Du fremhæver overgangen fra monolitiske modeller til agente systemer, der kan planlægge, handle og verificere deres output. Hvor tæt er vi på, at agente AI bliver en pålidelig produktionsparadigme snarere end en forskningsprototyp? 

Vi er på vej mod dette. De største problemer er pålidelighed og sikkerhed, så vi kan stole på, at de kan være autonome. Hvis du ser nærmere på NeurIPS-indholdet, vil du se autonome systemer, der gør forskning, løser matematikproblemer og løser kodningsproblemer, men du ser ikke en agente selvstyrende bil, for eksempel. Den seneste erfaring med Moltbook (en social netværk for AI-agenter) fremhævede problematikken med autonome agente AI. Men opdagelse af nye lægemidler og materialer med agente AI er enormt, så lad os fejre og indexere på det for øjeblikket.

Effektivitet synes at være en større driver for innovation, med mindre modeller, der opnår konkurrencedygtig ydeevne gennem arkitektoniske forbedringer og smartere inferensstrategier. Er vi på vej ind i en æra, hvor effektivitetsgennembrud betyder mere end ren modellens størrelse? 

Da AI skalerer ud til produktion, bliver ingeniørarbejde vigtigere. At stole på frontmodellerne er simpelthen ikke bæredygtigt. Det er godt til demos, men selskaber står over for den bitre virkelighed, når de ser den høje pris for store modeller. For første gang er mindre modeller blevet en langt mere livskraftig løsning. Der er en stille kraft, der ændrer branchens status quo. Indtil nu har NVIDIA (NVDA ) haft monopol på GPU’er og holdt priserne høje. AMD er på vej ind på markedet med højkvalitets-chips, og det vil tvinge priserne ned. Energi er fortsat et problem, men vi ser lidt bevægelse på markedet. Da frontlaboratorier er blevet mere dyre, er løsningen med mindre modeller på lejede GPU’er blevet mere livskraftig.

Din præsentation antyder, at feltet er gået fra enakset-skaleringslæring (parametre) til multi-dimensionel skaleringslæring, der involverer parametre, data, arkitektur og inferens. Hvordan bør forskere og praktikere tænke over denne nye skaleringsparadigme? 

For de fleste fagfolk er arkitektur og parametre uden for deres kontrol. Producenterne af modellerne, der har den nødvendige kapital, vil drive innovation. Token-inferenslængde vil blive dedikeret af den enkelte organisations kapitaludgifter. Hvad der er tilbage under deres kontrol, er data. Vi vil se mere fokus på at oprette, kurater og fejlfinde data (resonansspor det meste af tiden). Dette vil være fokus for dag-til-dag-operationer. Selvfølgelig skal de følge NeurIPS og de andre store konferencer for at holde sig opdateret med trendene for de nye arkitekturer.

I din NeurIPS-syntese påpeger du, at en stigende andel af forskningen fokuserer på AI-dreven videnskabelig opdagelse, fra biologi til klimamodellering. Ser du AI-til-videnskab som den næste store front for maskinlæringsforskning? 

Jeg tror, det går ud over akademisk forskning. Vi ser på den næste guldrush. I 1849 nåede guldrushen i Californien sit højdepunkt. Alt, folk skulle gøre, var at strække flodvand ud for at finde guld. Vi ved nu, at mange ikke fandt guld, men det, vi ser i dag, er meget virkeligt. Jeg kan se en stor bølge af to-tre-mands-startups, der bruger sprogmodeller til at finde nye materialer, lægemidler og produktkomponenter. At brænde tokens på den smarteste måde kan give store afkast. Kodestøtter som Claude Code, OpenAI Codex og Google Antigravity kan fjerne muren for SaaS-selskaber, hvilket efterlader en hel generation af meget dygtige computerforskere i videnskabelig søgning. Hvis du arbejder for en non-profit-organisation som First Principles eller Bio[hub], er der muligheder for at finde nye fysiklove og teorier eller andre bidrag i biologi. Hvis du vil generere indtægter, vil du arbejde med at opfinde nye produkter baseret på videnskab, som lægemidler, materialer, batterier osv.

Dit arbejde fremhæver også en stigende verificeringskløft, hvor modeller opnår stærke benchmarkresultater, men fejler på simple virkelige variationer. Hvad afslører denne kløft om de nuværende begrænsninger for store sprogmodeller? 

De synes at have en fantastisk hukommelse og kan generalisere godt. Benchmark’er er gode til at starte med i forskningen. Når du overskrider en tærskel, lærer du benchmark’en og ikke problemet. Vi har været meget gode til at nulstille benchmark’er og gøre dem endnu sværere for at skubbe grænserne. Problemet med benchmark’er er, at på et tidspunkt begynder vi at overindexere og til sidst snyde. Den hele trend her er at gøre konkurrenterne mere ærlige. Personligt betaler jeg ikke så meget opmærksomhed til benchmark’er efter et par spring. Du kan have et godt produkt, der ikke er i top 10 på listen. Jeg har også set mange underlige produkter, der er gode til benchmark’er.

Din præsentation antyder, at små sprogmodeller kombineret med inferensskaleringslæring og agente arkitekturer kan aktivere kraftfulde AI-systemer, der kan køre uden for hyperskaledatacentre. Kan denne decentralisering omforme, hvordan AI bliver implementeret på tværs af brancher? 

Vi så et stort fokus på edge-implementation. Vi vil se smartere enheder omkring os helt sikkert. Microsoft (MSFT ) har arbejdet i årevis på 1bit LLM, der opnår ca. 30 gange kompression, hvilket giver mulighed for at køre selv frontmodeller på en enkelt chip i fremtiden. Vi har sporet dette arbejde i årevis, og fremskridtet er forbløffende. Især i den bærbare domæne.

Noget, der blev dækket på sidste års NeurIPS, var idéen om at kombinere svage edge-modeller med frontmodeller. Dette giver mulighed for at justere din inferenskraft baseret på din båndbredde i et kontinuerligt spektrum. Det første Telco-Workshop på NeurIPS afslørede en trend mod at placere GPU’er på cellulærtårne, hvilket er interessant, fordi cellulærtårnet hverken er et datacenter eller en edge-enhed. Dette introducerer et nyt lag i beregningshierarkiet.

Noget andet, der undslap fra LLM’er, er distribueret modeltræning (og jeg mener ikke Google, der træner Gemini i fjern-datacentre). Der er en meget interessant trend, der er ved at fange på. Uafhængige enheder træner deres egne modeller, og brugere kombinerer dem som Legoblokke for at bygge større og mere kraftfulde modeller. Dette er en meget lovende modulær arkitektur. Dette er, hvordan store modeller trænes. Forskellige hold bygger specialiserede modeller, og til sidst kobler de dem sammen som Legoblokke.

Efter at have analyseret tusindvis af NeurIPS-papirer, hvor tror du, at AI-forskningsfællesskabet korrekt forudsiger fremskridt, og hvor kan det måske gå glip af de vigtigste kommende skift? 

Forskningsfællesskabet laver ikke forudsigelser. Forskere har deres egne drivere, nysgerrighed, finansiering, serendipitet og selvfølgelig instinkt. De kan altid gå glip af interessante retninger, men næsten sikkert vil nogen finde det og samle det op på et tidspunkt i fremtiden. Det er forventet og sundt. Chefer, investorer og ingeniører er nødt til at identificere de opkomne tendenser, så de kan træffe de rigtige beslutninger og tage de mest uddannede chancer. I mit 5-års analysevindue var der tendenser, der blev opfanget tidligt, og andre signaler blev overset. For nogle af dem er der stadig tid til at ride alpha-bølgen.

Data-markeder er noget, jeg har fulgt i årevis, og de gjorde springet i år. Den manglende komponent var attribution. Vi kan nu identificere træningsdata, der bidrog til en LLM-konkurrence på flyvetiden. Det betyder, du kan betale dividender. Dette har været en overset mulighed for udgivere, der er på gruppesagføringsklager med frontmodeller. Nogle af dem måtte blot opgive til flade licensaftaler, mens jeg tror, de har mulighed for at tjene mere vedvarende indtægter fra en attributionsmodel.

Der er en revolution på vej i robotteknologi. Verdensmodellerne, som NVIDIA og andre annoncerede, gør meget præcise og skalerbare fysiksimuleringer. Så forvent AI til at være mere fysisk i fremtiden.

Transformer-arkitekturen sluttede sig tilbage til statrum-modeller som RNN’er, mamba osv. og har produceret fantastiske små LLM’er. Vi ved nu de præcise begrænsninger for transformer, der spiller en stor rolle i ydeevnen, men vi mangler stadig det næste skridt. Det vil komme, når transformer er blevet bevist at være hård og ret resistent. Hvad vi ikke ved, er, om det er et menneske eller en transformer, der designer den nye arkitektur for en LLM! Transformer samlede alle fragmenterede arkitekturer i NLP (ja, glem ikke, at GenAI startede fra rudimenterede NLP-opgaver, såsom entitetsklassificering). Det fungerede for matematik, det fungerede for tabeller i år, men det har ikke fungeret for fysik. Jeg talte mere end 15 forskellige arkitekturer. Så den nye arkitektur, der samler fysik, kan også være den, der erstatter transformer i AGI-rejsen.

Tak for det fantastiske interview, læsere, der ønsker at lære mere, skal besøge RelationalAI.