Interviews
Nikolaos Vasiloglou, VP van Onderzoek ML bij RelationalAI – Interviewreeks
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Nikolaos Vasiloglou is de VP van Onderzoek ML bij RelationalAI. Hij heeft zijn carrière besteed aan het bouwen van ML-software en het leiden van data science-projecten in Retail, Online Advertising en Security. Hij is lid van de ICLR/ICML/NeurIPS/UAI/MLconf/
RelationalAI is een onderneming die een beslissingsintelligentieplatform bouwt dat bedoeld is om organisaties te helpen om verder te gaan dan data-analyse naar geautomatiseerde, hoogwaardige besluitvorming. De technologie integreert rechtstreeks met data-omgevingen zoals Snowflake, waarbij relationele databases, kennisgrafieken en geavanceerde redeneersystemen worden gecombineerd om een “semantisch model” van een bedrijf te creëren – in wezen hoe een bedrijf werkt, zijn relaties en zijn logica. Dit stelt AI-systemen (inclusief beslissingsagenten zoals “Rel”) in staat om over complexe, onderling verbonden data te redeneren en voorspellende en prescriptieve inzichten te genereren, waardoor ondernemingen sneller en beter geïnformeerde beslissingen kunnen nemen zonder hun data buiten veilige cloud-omgevingen te verplaatsen.
U hebt een zeldzame carrièrepad gehad dat academische machine learning, grote industriële implementaties en leiderschapsrollen bij bedrijven zoals Symantec, Aisera en nu RelationalAI omvat. Hoe hebben die ervaringen uw perspectief beïnvloed op waar machine learning-onderzoek en echte wereldsystemen elkaar ontmoeten?
Ik was gelukkig genoeg om met verschillende bedrijfsdomeinen te werken, van retail en security tot online advertising. Dat hielp me om te begrijpen hoe machine learning en AI een gemeenschappelijke noemer vormt. We wisten vanaf de vroege jaren 2000 dat software de wereld aan het opslokken was, data beslissingsintelligentie aan het opslokken was, maar weinig bedrijven, inclusief Google (GOOGL ), geloofden dat geavanceerde machine learning-algoritmen uiteindelijk alles zouden opslokken. In 2008 werden NeurIPS-deelnemers beschouwd als nerds en dromers die de echte wereld niet begrepen, maar alleen mensen die graag met speeltjes speelden. Dat was tot op zekere hoogte waar, maar ik geloofde dat dit op een traject lag om te veranderen. In tegenstelling tot anderen, gaf ik niet op om actief deel te nemen aan de overgang van academisch onderzoek naar industrie.
Uw analyse van NeurIPS 2025 gebruikte coding-assistenten zoals Claude Code, OpenAI Codex en NotebookLM om de hele conferentie te verwerken. Wat verbaasde u het meest over het gebruik van AI-systemen om AI-onderzoek zelf te analyseren?
Het was verbazingwekkend gemakkelijk om software te bouwen om de data te schrapen, machine-lezen en categoriseren in secties en zelfs samen te vatten en uit te leggen op een bijzonder intuïtieve manier. GenAI-systemen zijn geweldig in het vertellen van een verhaal, maar niet in het vertellen van het verhaal. NotebookLM is de koningin van het analyseren van elk domein en leveren van ongelooflijke resultaten. Echter, u hebt geen controle over het verhaal, de graphics of de nadruk. Ik leerde dat de tools niet goed zijn in het maken van PowerPoint-dia’s, dus ik moest terugvallen op het bouwen van HTML en vervolgens converteren naar PDF’s. De grootste uitdaging was het maken van figuren – diffusiegeneratie was gewoon te langzaam, onbetrouwbaar en duur, met geen controle. Verbazingwekkend genoeg zijn de modellen behoorlijk goed in het programmatisch maken van SVG’s met matplotlib, plotly en andere Python-bibliotheken. Die techniek schaalde, maar het vergde meerdere passes om visualisatiefouten te corrigeren. De modellen zullen nog beter zijn volgend jaar.
Een van de sterkste thema’s in uw analyse is de verschuiving van trainings-tijd schalen naar inferentie-tijd rekenen. Waarom komt test-tijd rekenen naar voren als een zo krachtige hefboom voor het verbeteren van modelprestaties?
Schalingswetten zijn onze kompas. Het vergroten van de modelgrootte en voorafgaande trainingsdata heeft zijn capaciteit bereikt. De eerste generatie schalingswetten bracht ons tot GPT-4. Zij waren degene die OpenAI hielpen om de GenAI-revolutie te starten. We realiseerden ons al snel dat er een andere dimensie was die het model in staat stelde om veel tokens te genereren voordat het antwoord bereikt werd. Dit is een andere manier om de efficiëntie van LLM’s te verbeteren. Modelgrootte en redeneerlengte worden vaak uitgedrukt als System 1 en System 2 denkwijzen (Daniel Kahneman). Redeneersporen is een andere manier om modelcapaciteit te vergroten. Als u erover nadenkt, begonnen de doorbraken van de mens met instincten (hoge IQ), maar het succes was altijd te danken aan lang en pijnlijk redeneren. We zien een soortgelijk patroon: kleinere modellen met lange denkvensters presteren beter dan modellen die 100 keer groter zijn. Dus denken is belangrijker dan IQ in LLM’s.
U benadrukt de overgang van monolithische modellen naar agente systemen die in staat zijn om te plannen, te handelen en hun uitvoer te verifiëren. Hoe dichtbij zijn we bij het maken van agente AI tot een betrouwbaar productieparadigma in plaats van een onderzoeksprototype?
We maken grote stappen in die richting. De grootste problemen zijn betrouwbaarheid en veiligheid, zodat we ze kunnen vertrouwen om autonoom te zijn. Als u goed kijkt naar de NeurIPS-inhoud, zult u autonome systemen zien die onderzoek doen, wiskundige problemen oplossen en coderingsproblemen oplossen, maar u ziet geen agente autonome auto, bijvoorbeeld. De laatste ervaring met Moltbook (een sociaal netwerk voor AI-agenten) benadrukte de problemen van autonome agente AI. Echter, het ontdekken van nieuwe geneesmiddelen en materialen met agente AI is enorm, dus laten we daar voorlopig van genieten.
Efficiëntie lijkt een belangrijke driver van innovatie te zijn, met kleinere modellen die concurrerende prestaties bereiken door architectonische verbeteringen en slimmere inferentiestrategieën. Gaan we een tijdperk binnen waarin efficiëntie-doorbraken belangrijker zijn dan brute modelgrootte?
Als AI zich uitbreidt naar productie, wordt engineering belangrijker. Afhankelijk zijn van frontier-modellen is simpelweg niet duurzaam. Het is geweldig voor demos, maar bedrijven zien de bittere realiteit als ze de hoge kosten van grote modellen zien. Voor het eerst zijn kleinere modellen een veel meer levensvatbare oplossing geworden. Er is een stille kracht die de status quo van de industrie verandert. Tot nu toe heeft NVIDIA (NVDA ) een monopolie op GPU’s gehad en de prijzen hoog gehouden. AMD maakt zijn weg in de markt met hoge kwaliteit chips en dat zal de prijzen doen dalen. Energie blijft een probleem, maar we zien enige beweging in de markt. Omdat frontier-labs duurder zijn geworden, is de oplossing van kleinere modellen op gehuurde GPU’s een veel meer levensvatbare optie geworden.
Uw presentatie suggereert dat het veld is veranderd van single-as schalen (parameters) naar multi-dimensionale schalen die parameters, data, architectuur en inferentie omvatten. Hoe moeten onderzoekers en praktijkmensen over dit nieuwe schalingsparadigma denken?
Voor de meeste professionals zijn architectuur en parameters buiten hun controle. De producenten van de modellen die het nodige kapitaal hebben, zullen innovatie aandrijven. Token-inferentielengte zal worden toegewezen door de capex-uitgaven van hun organisatie. Wat onder hun controle blijft, is data. We zullen meer focus zien op het creëren, cureren en debuggen van data (meestal redeneersporen). Dit zal het focuspunt zijn van de dagelijkse operaties. Natuurlijk moeten ze NeurIPS en de andere grote conferenties volgen om up-to-date te blijven met de trends van de nieuwe architectuur.
In uw NeurIPS-synthese wijst u erop dat een groeiend aandeel van het onderzoek zich richt op AI-gedreven wetenschappelijke ontdekking, van biologie tot klimaatmodellering. Ziet u AI-voor-wetenschap als de volgende grote frontier voor machine learning-onderzoek?
Ik denk dat het verder gaat dan academisch onderzoek. We kijken naar de volgende gold rush. In 1849 bereikte de gold rush in Californië zijn hoogtepunt. Alle mensen hoefden te doen was eindeloos rivierwater te zeven om goud te vinden. We weten nu dat veel mensen geen goud vonden, maar wat we vandaag zien is heel echt. Ik kan een grote golf van twee- of driemans startups zien die taalmodellen gebruiken om nieuwe materialen, geneesmiddelen en productcomponenten te vinden. Het verbranden van tokens op de slimste manier kan grote opbrengsten opleveren. Coding-assistenten zoals Claude Code, OpenAI Codex en Google Antigravity kunnen de moat voor SaaS-bedrijven verwijderen, waardoor een hele generatie zeer capabele computerwetenschappers in wetenschappelijk onderzoek terechtkomt. Als u voor een non-profitorganisatie zoals First Principles of Bio[hub] werkt, zijn er kansen om nieuwe natuurkundige wetten en theorieën te vinden, of andere bijdragen in biologie. Als u inkomsten wilt genereren, zult u werken aan het uitvinden van nieuwe producten op basis van wetenschap, zoals farmaceutica, materialen, batterijen, enz.
Uw werk benadrukt ook een groeiende verificatiekloof, waarin modellen sterke benchmark-scores behalen maar falen op eenvoudige echte wereldvariaties. Wat onthult deze kloof over de huidige beperkingen van grote taalmodellen?
Ze lijken een geweldig geheugen te hebben en kunnen goed generaliseren. Benchmarks zijn goed in het begin van onderzoek. Zodra u een drempel overschrijdt, leert u de benchmark en niet het probleem. We zijn de afgelopen jaren erg goed geweest in het resetten van benchmarks en ze nog moeilijker te maken om de grenzen te verleggen. Het probleem met benchmarks is dat we op een gegeven moment beginnen met overindexeren en uiteindelijk vals spelen. De hele trend hier is om concurrenten eerlijker te maken. Ik persoonlijk besteed niet te veel aandacht aan benchmarks na een paar sprongen. U kunt een goed product hebben dat niet eens in de top tien van de leaderboard staat. Ik heb ook veel ondermaatse producten gezien die goed zijn in benchmarks.
Uw presentatie suggereert dat kleine taalmodellen in combinatie met inferentie-schalen en agente-architectuur krachtige AI-systemen kunnen mogelijk maken die buiten hyperscale-datacenters worden uitgevoerd. Kan deze decentralisatie de manier veranderen waarop AI wordt geïmplementeerd in verschillende industrieën?
We zagen een grote nadruk op edge-implementatie. We gaan slimmere apparaten om ons heen zien. Microsoft (MSFT ) heeft jarenlang gewerkt aan de 1bit LLM, die ongeveer 30x compressie bereikt, waardoor het zelfs frontier-modellen op een enkele chip in de toekomst kan uitvoeren. We hebben deze ontwikkeling jarenlang gevolgd en de vooruitgang is verbluffend. Vooral in het domein van draagbare apparaten.
Iets dat vorig jaar in NeurIPS werd behandeld, was het idee om zwakke edge-modellen te combineren met frontier-modellen. Dit stelt u in staat om uw inferentiekracht aan te passen op basis van uw bandbreedte in een continue spectrum. De eerste Telco-Workshop op NeurIPS onthulde een trend om GPU’s op celtorens te plaatsen, wat interessant is omdat de celtoren noch een datacenter noch een edge-apparaat is. Dit introduceert een nieuwe laag in de compute-hiërarchie.
Iets anders dat ontsnapt is aan de LLM’s is gedistribueerde modeltraining (en ik bedoel niet dat Google Gemini in externe datacenters traint.) Er is een zeer interessante trend die in opkomst is, namelijk onafhankelijke entiteiten die hun eigen modellen trainen en gebruikers die ze combineren als Legoblokken om grotere en krachtigere modellen te bouwen. Dit is een zeer veelbelovende modulaire architectuur. Dit is hoe grote modellen getraind worden. Verschillende teams bouwen gespecialiseerde modellen, en uiteindelijk pluggen ze ze in als Legoblokken.
Na het analyseren van duizenden NeurIPS-papers, waar denkt u dat de AI-onderzoekscommunity accurate voorspellingen doet, en waar kan het de meest belangrijke toekomstige verschuivingen missen?
De onderzoekscommunity doet geen voorspellingen. Onderzoekers hebben hun eigen drivers, nieuwsgierigheid, financiering, toeval en natuurlijk instinct. Ze kunnen altijd interessante richtingen missen, maar iemand zal ze op een gegeven moment in de toekomst vinden en oppakken. Dat is verwacht en het is gezond. Executives, investeerders en ingenieurs moeten de opkomende trends identificeren zodat ze de juiste beslissingen kunnen nemen en de meest onderbouwde weddenschappen kunnen plaatsen. In mijn 5-jarige analysevenster waren er trends die vroeg werden opgepikt, en andere signalen werden gemist. Voor sommige van hen is er nog tijd om de alpha-golf te berijden.
Data-markten zijn iets dat ik al jaren volg, en ze hebben dit jaar eindelijk de sprong gemaakt. Het ontbrekende onderdeel was attributie. We kunnen nu de trainingsdata identificeren die hebben bijgedragen aan een LLM-concurrentie op de vlucht. Dat betekent dat u dividend kunt uitbetalen. Dit is een gemiste kans geweest voor uitgevers die in een rechtszaak met frontier-modellen verwikkeld zijn. Sommigen van hen moesten gewoon capituleren voor vlakke licentieovereenkomsten, terwijl ik geloof dat ze de kans hebben om meer duurzame inkomsten te genereren vanuit een attributiemodel.
Er komt een revolutie in robotica. De wereldmodellen die NVIDIA en anderen aankondigden, doen zeer nauwkeurige en schaalbare fysica-simulaties. Dus verwacht dat AI fysiek zal worden in de toekomst.
De transformer-architectuur is uiteindelijk gefuseerd met state space-modellen zoals RNN’s, mamba, enz. en heeft geweldige kleine LLM’s geproduceerd. We weten nu de exacte beperkingen van de transformer die een belangrijke rol spelen in de prestaties, maar we weten nog niet wat de volgende stap is. Dat zal komen wanneer de transformer is bewezen om hardnekkig en zeer robuust te zijn. Wat we niet weten, is of het een mens of een transformer is die de nieuwe architectuur van een LLM ontwerpt! De transformer heeft alle gefragmenteerde architectuur in NLP (ja, vergeet niet dat GenAI begon met rudimentaire NLP-taken, zoals entiteitsclassificatie) verenigd. Het werkte voor wiskunde, dit jaar werkte het voor tabellen, maar het werkte niet voor fysica. Ik telde meer dan 15 verschillende architectuur. Dus de nieuwe architectuur die fysica verenigt, kan ook degene zijn die de transformer in de reis van AGI vervangt.
Bedankt voor het geweldige interview, lezers die meer willen leren, moeten RelationalAI bezoeken.
