Nikolaos Vasiloglou, VP of Research ML at RelationalAI – Interview-Serie

Nikolaos Vasiloglou ist der VP of Research ML bei RelationalAI. Er hat seine Karriere damit verbracht, ML-Software zu entwickeln und Datenwissenschaftsprojekte in den Bereichen Einzelhandel, Online-Werbung und Sicherheit zu leiten. Er ist Mitglied der ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P-Gemeinschaft und hat als Autor, Rezensent und Organisator von Workshops und der Hauptkonferenz fungiert. Nikolaos leitet die Forschung und strategischen Initiativen an der Schnittstelle zwischen Large Language Models und Wissensgraphen für RelationalAI.

RelationalAI ist ein Unternehmen für Unternehmenskünstliche Intelligenz, das eine Entscheidungsintelligenzplattform entwickelt, die Unternehmen dabei helfen soll, über die Datenanalyse hinaus zu automatisierter, hochwertiger Entscheidungsfindung zu gelangen. Die Technologie integriert sich direkt in Datenumgebungen wie Snowflake und kombiniert relationale Datenbanken, Wissensgraphen und fortschrittliche Reasoning-Systeme, um ein “semantisches Modell” eines Unternehmens zu erstellen – im Wesentlichen die Kodierung, wie ein Unternehmen operiert, seine Beziehungen und seine Logik. Dies ermöglicht es KI-Systemen (einschließlich Entscheidungsagenten wie “Rel”), über komplexe, vernetzte Daten nachzudenken und prädiktive und präskriptive Erkenntnisse zu generieren, sodass Unternehmen schneller und fundiertere Entscheidungen treffen können, ohne ihre Daten außerhalb sicherer Cloud-Umgebungen zu verschieben.

Sie haben eine seltene Karrierelaufbahn, die akademische Maschinelles Lernen, groß angelegte Industrie-Einsätze und Führungsrollen in Unternehmen wie Symantec, Aisera und jetzt RelationalAI umfasst. Wie haben diese Erfahrungen Ihre Perspektive darauf geprägt, wo Maschinelles Lernen-Forschung auf reale Systeme trifft? 

Ich hatte das Glück, mich mit verschiedenen Geschäftsbereichen auseinanderzusetzen, von Einzelhandel und Sicherheit bis hin zu Online-Werbung. Das half mir, zu verstehen, wie Maschinelles Lernen und KI als gemeinsamer Nenner fungieren. Wir wussten bereits in den frühen 2000er Jahren, dass Software die Welt aufisst, Daten die Entscheidungsintelligenz aufisst, doch nur wenige Unternehmen, einschließlich Google (GOOGL ), glaubten, dass fortschrittliche Maschinelles Lernen-Algorithmen letztendlich alles aufsaugen würden. Im Jahr 2008 wurden NeurIPS-Teilnehmer als Nerds und Träumer angesehen, die die reale Welt nicht verstanden, sondern nur Leute, die gerne mit Spielzeug herumspielten. Das war bis zu einem bestimmten Punkt wahr, aber ich glaubte, dass sich das ändern würde. Im Gegensatz zu anderen gab ich nicht auf, aktiv an der Umwandlung akademischer Forschung in Industrie teilzunehmen.

Ihre Analyse von NeurIPS 2025 nutzte Kodierhilfen wie Claude Code, OpenAI Codex und NotebookLM, um die gesamte Konferenz zu verarbeiten. Was überraschte Sie am meisten bei der Verwendung von KI-Systemen, um KI-Forschung selbst zu analysieren? 

Es war erstaunlich einfach, Software zu entwickeln, um die Daten zu scrapen, maschinell zu lesen und in Abschnitte und sogar zusammenzufassen und in einer besonders intuitiven Weise zu erklären. GenAI-Systeme sind unglaublich gut darin, eine Geschichte zu erzählen, aber nicht die Geschichte. NotebookLM ist die Königin darin, jedes Gebiet zu analysieren und unglaubliche Ergebnisse zu liefern. Allerdings haben Sie keine Kontrolle über die Geschichte, die Grafiken oder den Schwerpunkt. Ich lernte, dass die Tools nicht großartig darin sind, PowerPoint-Präsentationen zu erstellen, also musste ich mich auf die Erstellung von HTML und deren Umwandlung in PDFs verlassen. Die größte Herausforderung bestand darin, Figuren zu erstellen – Diffusionsgenerierung war einfach zu langsam, unzuverlässig und teuer, mit keiner Kontrolle. Überraschenderweise sind die Modelle ziemlich gut darin, SVGs programmatisch mit Matplotlib, Plotly und anderen Python-Bibliotheken zu erstellen. Diese Technik skalierte, erforderte aber mehrere Durchläufe, um Visualisierungsfehler zu beheben. Die Modelle werden noch besser sein, bis zum nächsten Jahr.

Eines der stärksten Themen in Ihrer Analyse ist der Wechsel von Trainingszeit-Skalierung zu Inferenzzeit-Berechnung. Warum wird Testzeit-Berechnung zu einem so mächtigen Hebel für die Verbesserung der Modellleistung? 

Skalierungsgesetze sind unser Kompass. Die Erhöhung der Modellgröße und der Vorbildungsdaten hat ihre Kapazität erreicht. Die erste Generation von Skalierungsgesetzen brachte uns bis zu GPT-4. Sie halfen OpenAI, die GenAI-Revolution zu starten. Wir erkannten bald, dass es eine andere Dimension gab, die es dem Modell ermöglichte, viele Token zu generieren, bevor es zu einer Antwort kam. Dies ist eine weitere Möglichkeit, die Effizienz von LLMs zu verbessern. Modellgröße und Denklänge sind oft als System 1 und System 2 Denkmodi (Daniel Kahneman) ausgedrückt. Denkspuren sind eine weitere Möglichkeit, die Modellkapazität zu erhöhen. Wenn man darüber nachdenkt, begannen die Durchbrüche von Menschen mit Instinkten (hohes IQ), aber der Erfolg war immer aufgrund langer und schmerzhafter Argumentation. Wir sehen dieses Muster: Kleinere Modelle mit langen Denkfenstern überbieten Modelle, die 100-mal größer sind. Also zählt Denken mehr als IQ in LLMs.

Sie heben die Transition von monolithischen Modellen zu agentischen Systemen hervor, die in der Lage sind, zu planen, zu handeln und ihre Ausgaben zu überprüfen. Wie nahe sind wir daran, agentische KI zu einer zuverlässigen Produktionsparadigma anstelle eines Forschungsprototyps zu machen? 

Wir machen große Fortschritte in diese Richtung. Die größten Probleme sind Zuverlässigkeit und Sicherheit, damit wir ihnen vertrauen können, autonom zu sein. Wenn man sich die NeurIPS-Inhalte genau ansieht, sieht man autonome Systeme, die Forschung betreiben, mathematische Probleme lösen und Codierprobleme lösen, aber man sieht keinen agentischen fahrerlosen Wagen, zum Beispiel. Die letzte Erfahrung mit Moltbook (einem sozialen Netzwerk für KI-Agenten) hob die Probleme autonomer agentischer KI hervor. Allerdings ist die Entdeckung neuer Medikamente und Materialien mit agentischer KI enorm, also lasst uns das für den Moment feiern und darauf aufbauen.

Effizienz scheint ein wichtiger Treiber der Innovation zu sein, wobei kleinere Modelle durch architektonische Verbesserungen und intelligentere Inferenzstrategien wettbewerbsfähige Leistungen erzielen. Betreten wir eine Ära, in der Effizienz-Durchbrüche wichtiger sind als die reine Modellgröße? 

Wenn KI in die Produktion skaliert, wird Ingenieurwesen wichtiger. Die Abhängigkeit von Frontier-Modellen ist einfach nicht nachhaltig. Es ist großartig für Demos, aber Unternehmen stehen vor der bitteren Realität, wenn sie die hohen Kosten großer Modelle sehen. Erstmalig sind kleinere Modelle eine viel viablere Lösung. Es gibt eine stille Kraft, die den Status Quo der Branche ändert. Bisher hatte NVIDIA (NVDA ) das GPU-Monopol und hielt die Preise hoch. AMD bahnt sich seinen Weg auf dem Markt mit hochwertigen Chips und das wird die Preise senken. Energie bleibt ein Problem, aber wir sehen einige Bewegung auf dem Markt. Da Frontier-Labore teurer geworden sind, ist die Lösung von kleineren Modellen auf gemieteten GPUs viel viabler geworden.

Ihre Präsentation legt nahe, dass die Branche von einer einachsigen Skalierung (Parametern) zu einer mehrdimensionalen Skalierung wechselt, die Parameter, Daten, Architektur und Inferenz umfasst. Wie sollten Forscher und Praktiker über dieses neue Skalierungsparadigma nachdenken? 

Für die meisten Fachleute sind Architektur und Parameter außerhalb ihrer Kontrolle. Die Hersteller der Modelle, die das notwendige Kapital haben, werden die Innovation vorantreiben. Token-Inferenzlänge wird durch den Capex-Aufwand ihrer Organisation bestimmt. Was unter ihrer Kontrolle bleibt, ist Daten. Wir werden mehr Fokus auf die Erstellung, Pflege und Fehlersuche von Daten (meistens Denkspuren) sehen. Das wird der Schwerpunkt des Tagesgeschäfts sein. Natürlich müssen sie NeurIPS und die anderen großen Konferenzen verfolgen, um mit den Trends der neuen Architekturen Schritt zu halten.

In Ihrer NeurIPS-Synthese weisen Sie darauf hin, dass ein zunehmender Anteil der Forschung auf KI-gesteuerte wissenschaftliche Entdeckungen abzielt, von Biologie bis hin zu Klimamodellierung. Sehen Sie KI-für-Wissenschaft als die nächste große Grenze für Maschinelles Lernen-Forschung? 

Ich denke, es geht über akademische Forschung hinaus. Wir sehen uns der nächsten Goldgräberstimmung gegenüber. Im Jahr 1849 erreichte die Goldgräberstimmung in Kalifornien ihren Höhepunkt. Alle, was die Leute tun mussten, war, endlos Flusswasser zu filtern, um Gold zu finden. Wir wissen jetzt, dass viele kein Gold fanden, aber was wir heute sehen, ist sehr real. Ich kann eine große Welle von Zwei- bis Dreipersonen-Startups sehen, die Sprachmodelle nutzen, um neue Materialien, Medikamente und Produktkomponenten zu finden. Token in der intelligentesten Weise zu verbrennen, kann große Erträge bringen. Kodierhilfen wie Claude Code, OpenAI Codex und Google Antigravity können den Graben für SaaS-Unternehmen beseitigen und eine ganze Generation sehr fähiger Computerwissenschaftler in der wissenschaftlichen Suche zurücklassen. Wenn Sie für eine Non-Profit-Organisation wie First Principles oder Bio[hub] arbeiten, gibt es Chancen, neue physikalische Gesetze und Theorien oder andere Beiträge in der Biologie zu finden. Wenn Sie Einnahmen generieren möchten, werden Sie neue Produkte auf der Grundlage von Wissenschaft entwickeln, wie Pharmazeutika, Materialien, Batterien usw.

Ihre Arbeit hebt auch eine wachsende Verifizierungslücke hervor, bei der Modelle starke Benchmark-Ergebnisse erzielen, aber bei einfachen realen Variationen versagen. Was offenbart diese Lücke über die aktuellen Grenzen von Large Language Models? 

Sie scheinen ein erstaunliches Gedächtnis zu haben und können gut generalisieren. Benchmarks sind am Anfang der Forschung gut. Sobald man eine Schwelle überschreitet, lernt man die Benchmark und nicht das Problem. Wir waren über die Jahre sehr gut darin, Benchmarks zurückzusetzen und sie noch schwieriger zu machen, um die Grenzen zu pushen. Das Problem mit Benchmarks ist, dass man zu einem bestimmten Punkt anfängt, zu überindexieren und schließlich zu betrügen. Der ganze Trend hier ist, die Konkurrenten ehrlicher zu machen. Ich achte persönlich nicht zu sehr auf die Benchmarks, nachdem einige Sprünge passiert sind. Man kann ein gutes Produkt haben, das nicht einmal in den Top Ten der Rangliste ist. Ich habe auch viele unterdurchschnittliche Produkte gesehen, die gut in den Benchmarks sind.

Ihre Präsentation legt nahe, dass kleine Sprachmodelle in Kombination mit Inferenz-Skalierung und agentischen Architekturen leistungsstarke KI-Systeme ermöglichen könnten, die außerhalb von Hyperscale-Rechenzentren laufen. Könnte diese Dezentralisierung die Art und Weise verändern, wie KI in verschiedenen Branchen eingesetzt wird? 

Wir sahen einen großen Schwerpunkt auf Edge-Deployment. Wir werden sicherlich cleverere Geräte um uns herum sehen. Microsoft (MSFT ) hat seit Jahren an der 1-Bit-LLM gearbeitet, die etwa 30-fache Komprimierung erreicht und es ermöglicht, sogar Frontier-Modelle auf einem einzigen Chip in der Zukunft zu laufen. Wir haben diese Arbeit seit Jahren verfolgt und der Fortschritt ist atemberaubend. Besonders im Bereich der Wearables.

Etwas, das im letzten Jahr auf der NeurIPS behandelt wurde, war die Idee, schwache Edge-Modelle mit Frontier-Modellen zu kombinieren. Dies ermöglicht es, die Inferenzleistung basierend auf der verfügbaren Bandbreite in einem kontinuierlichen Spektrum anzupassen. Der erste Telco-Workshop auf der NeurIPS zeigte einen Trend hin zur Platzierung von GPUs auf Funktürmen, was interessant ist, da der Funkturm weder ein Rechenzentrum noch ein Edge-Gerät ist. Dies führt eine neue Ebene in der Rechenhierarchie ein.

Etwas anderes, das aus den LLMs entwich, ist die verteilte Modelltraining (und ich meine nicht Google, das Gemini in Remote-Rechenzentren trainiert). Es gibt einen sehr interessanten Trend, der aufkommen, unabhängige Entitäten ihre eigenen Modelle trainieren und Benutzer sie wie Legos kombinieren, um größere und leistungsstärkere zu bauen. Dies ist eine sehr vielversprechende modulare Architektur. So werden große Modelle trainiert. Verschiedene Teams bauen spezialisierte Modelle, und am Ende verbinden sie sie wie Lego-Blöcke.

Nach der Analyse von Tausenden von NeurIPS-Papieren, wo denken Sie, dass die KI-Forschungsgemeinschaft genaue Fortschritte vorhersagt, und wo könnte sie die wichtigsten kommenden Verschiebungen verpassen? 

Die Forschungsgemeinschaft macht keine Vorhersagen. Forscher haben ihre eigenen Antriebe, Neugier, Finanzierung, Serendipität und natürlich Instinkt. Sie können immer interessante Richtungen verpassen, aber fast sicherlich wird jemand sie finden und aufgreifen, wenn es soweit ist. Das ist erwartet und gesund. Führungskräfte, Investoren und Ingenieure müssen die aufkommenden Trends identifizieren, damit sie die richtigen Entscheidungen treffen und die besten fundierten Wetten abschließen können. In meinem Analysefenster von 5 Jahren gab es Trends, die frühzeitig erkannt wurden, und andere Signale, die verpasst wurden. Für einige von ihnen gibt es noch Zeit, die Alpha-Welle zu reiten.

Datenmärkte sind etwas, das ich seit Jahren beobachte, und sie haben gerade den Sprung gemacht. Das fehlende Komponent war Attribution. Wir können jetzt die Trainingsdaten identifizieren, die zu einem LLM-Wettbewerb beigetragen haben, auf dem Flug. Das bedeutet, dass Sie Dividenden zahlen können. Dies war eine verpasste Gelegenheit für die Verleger, die mit Frontier-Modellen auf Klagen wegen Urheberrechtsverletzungen sitzen. Einige von ihnen mussten einfach flache Lizenzvereinbarungen akzeptieren, während ich glaube, dass sie die Gelegenheit haben, nachhaltigere Einnahmen aus einem Attribution-Modell zu erzielen.

Es kommt eine Revolution in der Robotik. Die Weltmodelle, die NVIDIA und andere angekündigt haben, sind sehr genaue und skalierbare Physik-Simulationen. Also erwarten Sie, dass KI physischer wird.

Die Transformer-Architektur verschmolz letztendlich mit den Zustandsraummodellen wie RNNs, Mamba usw. und hat erstaunliche kleine LLMs produziert. Wir wissen jetzt die genauen Grenzen des Transformers, die eine wichtige Rolle bei der Leistung spielen, aber wir vermissen den nächsten Schritt. Das wird kommen, wenn der Transformer bewiesen hat, dass er hart und ziemlich widerstandsfähig ist. Was wir nicht wissen, ist, ob es ein Mensch oder ein Transformer sein wird, der die neue Architektur eines LLM entwirft! Der Transformer hat alle fragmentierten Architekturen in NLP (ja, vergessen Sie nicht, dass GenAI mit rudimentären NLP-Aufgaben wie Entitätsklassifizierung begann) vereint. Es funktionierte für Mathematik, es funktionierte in diesem Jahr für Tabellen, aber es hat nicht für Physik funktioniert. Ich zählte mehr als 15 verschiedene Architekturen. Also könnte die neue Architektur, die Physik vereint, auch diejenige sein, die den Transformer auf dem Weg zur künstlichen allgemeinen Intelligenz ersetzt.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten RelationalAI besuchen.