Nikolaos Vasiloglou, VP de la recherche ML chez RelationalAI – Série d’entretiens

Nikolaos Vasiloglou est le VP de la recherche ML chez RelationalAI. Il a passé sa carrière à développer des logiciels de ML et à diriger des projets de science des données dans le domaine du retail, de la publicité en ligne et de la sécurité. Il est membre de la communauté ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P, ayant servi en tant qu’auteur, réviseur et organisateur de workshops et de la conférence principale. Nikolaos dirige les recherches et les initiatives stratégiques à l’intersection des grands modèles de langage et des graphes de connaissances pour RelationalAI.

RelationalAI est une entreprise d’IA qui construit une plateforme d’intelligence de décision conçue pour aider les organisations à aller au-delà de l’analyse des données vers une prise de décision automatisée et de haute qualité. Sa technologie s’intègre directement avec des environnements de données tels que Snowflake, combinant des bases de données relationnelles, des graphes de connaissances et des systèmes de raisonnement avancés pour créer un « modèle sémantique » d’une entreprise – essentiellement en codant la façon dont une entreprise fonctionne, ses relations et sa logique. Cela permet aux systèmes d’IA (y compris les agents de décision comme « Rel ») de raisonner sur des données complexes et interconnectées et de générer des insights prédictifs et prescriptifs, permettant ainsi aux entreprises de prendre des décisions plus rapides et plus éclairées sans déplacer leurs données en dehors d’environnements cloud sécurisés.

Vous avez eu une carrière rare qui s’étend de la recherche académique en apprentissage automatique à des déploiements à grande échelle dans l’industrie et à des rôles de direction dans des entreprises comme Symantec, Aisera et maintenant RelationalAI. Comment ces expériences ont-elles façonné votre perspective sur la façon dont la recherche en apprentissage automatique rencontre les systèmes du monde réel aujourd’hui ?

J’ai eu la chance de m’engager dans différents domaines d’activité, de la vente au détail à la sécurité, en passant par la publicité en ligne. Cela m’a aidé à comprendre comment l’apprentissage automatique et l’IA s’intègrent comme un dénominateur commun. Nous savions dès les années 2000 que les logiciels allaient dévorer le monde, que les données allaient dévorer l’intelligence de décision, mais que peu d’entreprises, y compris Google (GOOGL ), croyaient que les algorithmes d’apprentissage automatique avancés allaient finalement tout dévorer. En 2008, les participants à NeurIPS étaient considérés comme des nerds et des rêveurs qui ne comprenaient pas le monde réel, juste des personnes qui aimaient jouer avec des jouets. C’était vrai jusqu’à un certain point, mais je croyais que cela allait changer. Contrairement à d’autres, je n’ai pas abandonné la participation active à la transition de la recherche académique vers l’industrie.

Votre analyse de NeurIPS 2025 a utilisé des assistants de codage comme Claude Code, OpenAI Codex et NotebookLM pour traiter l’ensemble de la conférence. Qu’est-ce qui vous a le plus surpris en utilisant des systèmes d’IA pour analyser la recherche en IA elle-même ?

C’était incroyablement facile de construire des logiciels pour extraire les données, les lire à l’aide d’une machine et les catégoriser en sections, et même les résumer et les expliquer de manière intuitive. Les systèmes de GenAI sont incroyables pour raconter une histoire, mais pas pour raconter l’histoire. NotebookLM est la reine de l’analyse de tout domaine et fournit des résultats incroyables. Cependant, vous n’avez aucun contrôle sur l’histoire, les graphiques ou l’accent. J’ai appris que les outils ne sont pas très bons pour créer des diapositives PowerPoint, donc j’ai dû recourir à la construction de HTML, puis les convertir en PDF. Le plus grand défi a été la création de figures – la génération de diffusion était trop lente, peu fiable et coûteuse, sans contrôle. Étonnamment, les modèles sont très bons pour créer des SVG de manière programmatique avec matplotlib, plotly et d’autres bibliothèques Python. Cette technique a été rentable, mais elle a nécessité plusieurs passes pour corriger les erreurs de visualisation. Les modèles seront encore meilleurs l’année prochaine.

L’un des thèmes les plus forts de votre analyse est le passage de la mise à l’échelle du temps d’entraînement à la mise à l’échelle du calcul d’inférence. Pourquoi le calcul d’inférence émerge-t-il comme un levier si puissant pour améliorer les performances des modèles ?

Les lois de mise à l’échelle sont notre boussole. L’augmentation de la taille du modèle et des données d’entraînement a atteint sa capacité. La première génération de lois de mise à l’échelle nous a menés jusqu’à GPT-4. Ils ont aidé OpenAI à lancer la révolution de la GenAI. Nous avons rapidement réalisé qu’il y avait une autre dimension qui permettait au modèle de générer de nombreux jetons avant d’arriver à une réponse. C’est une autre façon d’améliorer l’efficacité des LLM. La taille du modèle et la longueur de raisonnement sont souvent exprimées en termes de modes de pensée System 1 et System 2 (Daniel Kahneman). Les traces de raisonnement sont une autre façon d’augmenter la capacité du modèle. Si vous y réfléchissez, les avancées de l’humanité ont commencé avec des instincts (haut QI), mais le succès a toujours été dû à une réflexion longue et douloureuse. Nous voyons un peu ce schéma : les modèles plus petits avec des fenêtres de réflexion plus longues surpassent les modèles qui sont 100 fois plus grands. Donc, la réflexion compte plus que le QI dans les LLM.

Vous mettez en évidence la transition des modèles monolithiques aux systèmes agents capables de planifier, d’agir et de vérifier leurs sorties. À quel point sommes-nous proches de voir l’IA agente devenir un paradigme de production fiable plutôt qu’un prototype de recherche ?

Nous faisons de grands progrès dans cette direction. Les plus grands problèmes sont la fiabilité et la sécurité, afin que nous puissions leur faire confiance pour qu’ils soient autonomes. Si vous regardez de près le contenu de NeurIPS, vous verrez des systèmes autonomes qui effectuent des recherches, résolvent des problèmes mathématiques et résolvent des problèmes de codage, mais vous ne verrez pas de voiture autonome, par exemple. L’expérience la plus récente avec Moltbook (un réseau social pour les agents d’IA) a mis en évidence les problèmes de l’IA agente autonome. Cependant, la découverte de nouveaux médicaments et de matériaux avec l’IA agente est énorme, alors célébrons et indexons cela pour le moment.

L’efficacité semble être un moteur majeur de l’innovation, les modèles plus petits atteignant des performances concurrentielles grâce à des améliorations architecturales et à des stratégies d’inférence plus intelligentes. Entrons-nous dans une ère où les avancées en efficacité comptent plus que la taille brute du modèle ?

Lorsque l’IA se déploie en production, l’ingénierie devient plus importante. S’appuyer sur les modèles de pointe n’est simplement pas durable. C’est génial pour les démonstrations, mais les entreprises font face à la dure réalité lorsqu’elles voient le coût élevé des grands modèles. Pour la première fois, les modèles plus petits sont devenus une solution beaucoup plus viable. Il y a une force silencieuse qui change le statu quo de l’industrie. Jusqu’à présent, NVIDIA (NVDA ) a eu le monopole des GPU et a maintenu les prix élevés. AMD fait son chemin sur le marché avec des puces de haute qualité et cela obligera les prix à baisser. L’énergie continue d’être un problème, mais nous voyons certains mouvements sur le marché. Alors que les laboratoires de pointe sont devenus plus coûteux, la solution des modèles plus petits sur des GPU loués est devenue plus viable.

Votre présentation suggère que le domaine est passé d’une mise à l’échelle à une dimension (paramètres) à une mise à l’échelle multi-dimensionnelle impliquant des paramètres, des données, une architecture et une inférence. Comment les chercheurs et les praticiens devraient-ils penser à ce nouveau paradigme de mise à l’échelle ?

Pour la plupart des professionnels, l’architecture et les paramètres sont hors de leur contrôle. Les producteurs de modèles qui ont le capital nécessaire vont conduire l’innovation. La longueur d’inférence des jetons sera déterminée par les dépenses de capital de leur organisation. Ce qui reste sous leur contrôle, c’est les données. Nous allons voir plus de focus sur la création, la curation et le débogage des données (traces de raisonnement la plupart du temps). Cela sera l’objet des opérations quotidiennes. Bien sûr, ils devront suivre NeurIPS et les autres grandes conférences pour rester à jour avec les tendances des nouvelles architectures.

Dans votre synthèse de NeurIPS, vous soulignez que une part croissante de la recherche se concentre sur la découverte scientifique pilotée par l’IA, allant de la biologie à la modélisation du climat. Voyez-vous l’IA pour la science comme le prochain grand front pour la recherche en apprentissage automatique ?

Je pense que cela va au-delà de la recherche académique. Nous regardons la prochaine ruée vers l’or. En 1849, la ruée vers l’or en Californie a atteint son sommet. Toutes les personnes devaient faire était de filtrer l’eau du fleuve pour trouver de l’or. Nous savons maintenant que de nombreuses personnes n’ont pas trouvé d’or, mais ce que nous voyons aujourd’hui est très réel. Je peux voir une grande vague de startups de deux ou trois personnes utilisant des modèles de langage pour trouver de nouveaux matériaux, médicaments et composants de produits. Brûler des jetons de la manière la plus intelligente peut apporter de grands rendements. Des assistants de codage comme Claude Code, OpenAI Codex et Google Antigravity peuvent supprimer le fossé pour les entreprises SaaS, laissant une génération entière de scientifiques informatiques très capables en recherche scientifique. Si vous travaillez pour une organisation à but non lucratif comme First Principles ou Bio[hub], il y a des opportunités pour trouver de nouvelles lois de la physique et des théories, ou d’autres contributions en biologie. Si vous voulez générer des revenus, vous allez travailler sur l’invention de nouveaux produits basés sur la science, comme les médicaments, les matériaux, les batteries, etc.

Votre travail met également en évidence un fossé de vérification croissant, où les modèles atteignent de forts scores de référence mais échouent sur de simples variations du monde réel. Qu’est-ce que ce fossé révèle sur les limites actuelles des grands modèles de langage ?

Ils semblent avoir une mémoire incroyable et peuvent généraliser bien. Les benchmarks sont bons au début de la recherche. Une fois que vous franchissez un seuil, vous apprenez le benchmark et non le problème. Nous avons été très bons au fil des ans pour réinitialiser les benchmarks et les rendre encore plus difficiles pour pousser les limites. Le problème avec les benchmarks est qu’à un certain moment, nous commençons à surestimer et à tricher. La tendance ici est de rendre les concurrents plus honnêtes. Personnellement, je ne prête pas trop attention aux benchmarks après quelques bonds. Vous pouvez avoir un bon produit qui n’est même pas dans les dix premiers du classement. J’ai également vu de nombreux produits médiocres qui sont bons aux benchmarks.

Votre présentation suggère que de petits modèles de langage combinés avec une mise à l’échelle de l’inférence et des architectures agentes pourraient permettre des systèmes d’IA puissants qui s’exécutent en dehors des centres de données hyperscale. Cette décentralisation pourrait-elle remodeler la façon dont l’IA est déployée dans les industries ?

Nous avons vu un grand accent sur le déploiement sur le bord. Nous allons voir des appareils plus intelligents autour de nous, c’est certain. Microsoft (MSFT ) a travaillé pendant des années sur le 1bit LLM, qui atteint environ 30x de compression, permettant de l’exécuter même sur un seul circuit intégré à l’avenir. Nous avons suivi ce travail pendant des années et les progrès sont époustouflants. Surtout dans le domaine des wearables.

Quelque chose qui a été couvert lors de la NeurIPS de l’année dernière était l’idée de combiner des modèles de bord faibles avec des modèles de pointe. Cela permet d’ajuster votre puissance d’inférence en fonction de votre bande passante dans un spectre continu. Le premier atelier Telco à NeurIPS a révélé une tendance à placer des GPU sur des tours de cellules, ce qui est intéressant car la tour de cellule n’est ni un centre de données ni un appareil de bord. Cela introduit une nouvelle couche dans la hiérarchie du calcul.

Quelque chose d’autre qui a échappé aux LLM est la formation de modèles distribués (et je ne veux pas dire que Google forme Gemini dans des centres de données distants). Il y a une tendance très intéressante qui se rapproche de l’entraînement de modèles indépendants par des entités et de la combinaison de ces modèles par les utilisateurs comme des Lego pour construire des modèles plus grands et plus puissants. C’est une architecture modulaire très prometteuse. C’est ainsi que les grands modèles sont formés. Des équipes construisent des modèles spécialisés, et à la fin, ils les branchent ensemble comme des blocs Lego.

Après avoir analysé des milliers de documents de recherche NeurIPS, où pensez-vous que la communauté de recherche en IA prédit avec précision les progrès, et où pourrait-elle manquer les changements les plus importants à venir ?

La communauté de recherche ne fait pas de prédictions. Les chercheurs ont leurs propres moteurs, la curiosité, le financement, la sérendipité et, bien sûr, l’instinct. Ils peuvent toujours manquer des directions intéressantes, mais presque certainement, quelqu’un les trouvera et les ramassera à un moment donné dans le futur. C’est prévu et c’est sain. Les cadres, les investisseurs et les ingénieurs sont tenus d’identifier les tendances émergentes afin de prendre les bonnes décisions et de faire les paris les plus éclairés. Dans ma fenêtre d’analyse de 5 ans, il y a eu des tendances qui ont été repérées tôt, et d’autres signaux ont été manqués. Pour certaines d’entre elles, il y a encore du temps pour profiter de la vague alpha.

Les marchés de données sont quelque chose que j’ai regardé pendant des années, et ils viennent de faire le saut cette année. Le composant manquant était l’attribution. Nous pouvons maintenant identifier les données d’entraînement qui ont contribué à une compétition LLM en temps réel. Cela signifie que vous pouvez payer des dividendes. Cela a été une opportunité manquée pour les éditeurs qui sont sur des poursuites judiciaires avec des modèles de pointe. Certains d’entre eux ont dû simplement capituler face à des accords de licence plats, tandis que je crois qu’ils ont l’opportunité de générer des revenus plus durables à partir d’un modèle d’attribution.

Il y a une révolution qui arrive dans la robotique. Les modèles de monde que NVIDIA et d’autres ont annoncés font des simulations de physique très précises et évolutives. Alors, attendez-vous à ce que l’IA soit plus physique à l’avenir.

L’architecture du transformateur a finalement fusionné avec les modèles d’espace d’état comme les RNN, mamba, etc. et a produit des LLM incroyables. Nous savons maintenant les limites exactes du transformateur qui joue un rôle majeur dans les performances, mais nous sommes toujours à la recherche de l’étape suivante. Cela viendra lorsque le transformateur aura été prouvé être dur et très résilient. Ce que nous ne savons pas, c’est si ce sera un humain ou un transformateur qui concevra la nouvelle architecture d’un LLM ! Le transformateur a uni toutes les architectures fragmentées en NLP (oui, n’oubliez pas que la GenAI a commencé avec des tâches NLP rudimentaires, telles que la classification d’entités). Il a fonctionné pour les mathématiques, il a fonctionné pour les tableaux cette année, mais il n’a pas fonctionné pour la physique. J’ai compté plus de 15 architectures différentes. Donc, la nouvelle architecture qui unifie la physique pourrait également être celle qui remplacera le transformateur dans le parcours de l’IA générale.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter RelationalAI.