Interviews
Série d'entretiens avec Nikolaos Vasiloglou, vice-président de la recherche en apprentissage automatique chez RelationalAI.
Nikolaos Vasiloglou est vice-président de la recherche en apprentissage automatique chez RelationalAI. Il a consacré sa carrière au développement de logiciels d'apprentissage automatique et à la direction de projets de science des données dans les secteurs du commerce de détail, de la publicité en ligne et de la sécurité. Il est membre des conférences ICLR/ICML/NeurIPS/UAI/MLconf/
IA relationnelle est une entreprise spécialisée en IA qui développe une plateforme d'intelligence décisionnelle conçue pour aider les organisations à passer de l'analyse de données à une prise de décision automatisée et de haute qualité. Sa technologie s'intègre directement aux environnements de données tels que Snowflake, combinant bases de données relationnelles, graphes de connaissances et systèmes de raisonnement avancés pour créer un « modèle sémantique » de l'entreprise, codant ainsi son fonctionnement, ses relations et sa logique. Ceci permet aux systèmes d'IA (y compris les agents de décision comme « Rel ») de raisonner sur des données complexes et interconnectées et de générer des informations prédictives et prescriptives, permettant aux entreprises de prendre des décisions plus rapides et plus éclairées sans déplacer leurs données hors d'environnements cloud sécurisés.
Votre parcours professionnel est atypique : vous avez travaillé dans le domaine de l’apprentissage automatique, déployé des solutions industrielles à grande échelle et occupé des postes de direction dans des entreprises comme Symantec, Aisera et maintenant RelationalAI. Comment ces expériences ont-elles influencé votre vision de l’application concrète de la recherche en apprentissage automatique aujourd’hui ?
J'ai eu la chance de travailler dans différents secteurs d'activité, du commerce de détail à la sécurité, en passant par la publicité en ligne. Cela m'a permis de comprendre le rôle commun de l'apprentissage automatique et de l'IA. Dès le début des années 2000, nous savions que les logiciels envahissaient le monde et que les données bouleversaient l'intelligence décisionnelle. Pourtant, peu d'entreprises, Google y compris, croyaient que les algorithmes d'apprentissage automatique avancés finiraient par tout envahir. En 2008, les participants à NeurIPS étaient considérés comme des geeks et des rêveurs déconnectés de la réalité, de simples bricoleurs. C'était vrai jusqu'à un certain point, mais j'étais convaincu que cela allait changer. Contrairement à d'autres, je n'ai pas renoncé à participer activement à la transition de la recherche académique vers l'industrie.
Votre analyse de NeuroIPS 2025 J'ai utilisé des assistants de programmation comme Claude Code, OpenAI Codex et NotebookLM pour traiter l'intégralité de la conférence. Qu'est-ce qui vous a le plus surpris dans l'utilisation de systèmes d'IA pour analyser la recherche en IA elle-même ?
Il était étonnamment facile de créer un logiciel pour extraire les données, les lire automatiquement, les catégoriser et même les résumer et les expliquer de manière particulièrement intuitive. Les systèmes d'IA générale sont excellents pour raconter une histoire, mais pas pour la raconter. NotebookLM est le roi de l'analyse de n'importe quel domaine et offre des résultats incroyables. Cependant, on n'a aucun contrôle sur le récit, les graphiques ou la mise en valeur. J'ai constaté que les outils ne sont pas performants pour créer des diapositives PowerPoint ; j'ai donc dû me rabattre sur la création de fichiers HTML, puis leur conversion en PDF. Le plus gros défi a été la création de figures : la génération de diffusion était tout simplement trop lente, peu fiable et coûteuse, sans aucun contrôle. Étonnamment, les modèles sont plutôt performants pour créer des SVG par programmation avec matplotlib, plotly et d'autres bibliothèques Python. Cette technique est évolutive, mais elle a nécessité plusieurs itérations pour corriger les erreurs de visualisation. Les modèles seront encore meilleurs l'année prochaine.
L'un des thèmes majeurs de votre analyse est le passage d'une mise à l'échelle lors de l'entraînement à une mise à l'échelle lors de l'inférence. Pourquoi la mise à l'échelle lors des tests s'avère-t-elle un levier si puissant pour améliorer les performances des modèles ?
Les lois d'échelle sont notre boussole. L'augmentation de la taille du modèle et des données de pré-entraînement a atteint ses limites. La première génération de lois d'échelle nous a permis d'atteindre GPT-4. Ce sont elles qui ont aidé OpenAI à lancer la révolution de l'IA générale. Nous avons rapidement compris qu'une autre dimension permettait au modèle de générer de nombreux jetons avant d'arriver à une réponse. C'est une autre façon d'améliorer l'efficacité des modèles de langage. La taille du modèle et la longueur du raisonnement sont souvent exprimées en termes de modes de pensée Système 1 et Système 2 (Daniel Kahneman). Les traces de raisonnement constituent un autre moyen d'accroître la capacité du modèle. Si l'on y réfléchit, les percées humaines sont parties de l'instinct (QI élevé), mais le succès a toujours été dû à un raisonnement long et laborieux. On observe une tendance similaire : des modèles plus petits, dotés de longues fenêtres de réflexion, surpassent des modèles 100 fois plus grands. Ainsi, dans les modèles de langage, la réflexion compte plus que le QI.
Vous soulignez la transition des modèles monolithiques aux systèmes multi-agents capables de planifier, d'agir et de vérifier leurs résultats. Sommes-nous proches de voir l'IA multi-agents devenir un paradigme de production fiable plutôt qu'un prototype de recherche ?
Nous réalisons des progrès considérables dans ce sens. Les principaux enjeux sont la fiabilité et la sécurité, afin de pouvoir leur faire confiance pour une autonomie totale. Si vous examinez attentivement le contenu de NeurIPS, vous verrez des systèmes autonomes qui effectuent des recherches, résolvent des problèmes mathématiques et de programmation, mais pas de voiture autonome dotée d'un véritable agent, par exemple. L'expérience la plus récente avec Moltbook (Un réseau social pour agents IA) a mis en lumière les problématiques liées à l'IA autonome. Cependant, la découverte de nouveaux médicaments et matériaux grâce à l'IA est un enjeu majeur ; concentrons-nous donc sur cet aspect pour le moment.
L'efficacité semble être un moteur majeur d'innovation, les modèles plus petits atteignant des performances compétitives grâce à des améliorations architecturales et des stratégies d'inférence plus intelligentes. Entrons-nous dans une ère où les progrès en matière d'efficacité priment sur la taille brute du modèle ?
À mesure que l'IA se déploie en production, l'ingénierie devient primordiale. S'appuyer sur des modèles de pointe n'est tout simplement pas viable. Si ces modèles sont parfaits pour les démonstrations, les entreprises se heurtent à la dure réalité lorsqu'elles constatent leur coût exorbitant. Pour la première fois, les modèles plus petits constituent une solution bien plus intéressante. Une force silencieuse est en train de bouleverser le statu quo du secteur. Jusqu'à présent, NVIDIA détenait le monopole des GPU et maintenait des prix élevés. AMD s'impose sur le marché avec des puces de haute qualité, ce qui entraînera une baisse des prix. L'énergie reste un enjeu majeur, mais le marché commence à évoluer. Face à l'augmentation des coûts des laboratoires de pointe, la solution des modèles plus petits utilisant des GPU loués est devenue plus viable.
Votre présentation suggère que le domaine est passé d'une mise à l'échelle unidimensionnelle (paramètres) à une mise à l'échelle multidimensionnelle prenant en compte les paramètres, les données, l'architecture et l'inférence. Comment les chercheurs et les praticiens doivent-ils appréhender ce nouveau paradigme de mise à l'échelle ?
Pour la plupart des professionnels, l'architecture et les paramètres échappent à leur contrôle. Les producteurs de modèles disposant des capitaux nécessaires seront les moteurs de l'innovation. La durée d'inférence des jetons sera déterminée par les investissements de leur organisation. Seules les données demeurent sous leur contrôle. On observera un intérêt accru pour la création, la gestion et le débogage des données (principalement le raisonnement sur les traces). Ce sera le cœur de leurs opérations quotidiennes. Bien entendu, ils devront suivre NeurIPS et les autres grandes conférences pour rester informés des tendances en matière de nouvelles architectures.
Dans votre synthèse pour NeurIPS, vous soulignez qu'une part croissante de la recherche se concentre sur la découverte scientifique pilotée par l'IA, dans des domaines aussi variés que la biologie et la modélisation climatique. Considérez-vous l'IA au service de la science comme le prochain grand défi pour la recherche en apprentissage automatique ?
Je pense que cela dépasse le cadre de la recherche universitaire. Nous assistons à une nouvelle ruée vers l'or. En 1849, la ruée vers l'or en Californie a atteint son apogée. Il suffisait alors de filtrer inlassablement l'eau des rivières pour trouver de l'or. Nous savons aujourd'hui que beaucoup n'en ont pas trouvé, mais ce que nous observons aujourd'hui est bien réel. J'entrevois une vague importante de startups de deux ou trois personnes utilisant des modèles de langage pour découvrir de nouveaux matériaux, médicaments et composants de produits. L'utilisation judicieuse des ressources numériques peut s'avérer très fructueuse. Les assistants de programmation comme Claude Code, OpenAI Codex et Google Antigravity peuvent lever les obstacles à la croissance des entreprises SaaS, libérant ainsi toute une génération d'informaticiens très compétents pour la recherche scientifique. Travailler pour une organisation à but non lucratif comme First Principles ou Bio[hub] offre des opportunités de découvrir de nouvelles lois et théories physiques, ou d'apporter d'autres contributions à la biologie. Si vous souhaitez générer des revenus, vous travaillerez à l'invention de nouveaux produits basés sur la science, tels que des produits pharmaceutiques, des matériaux, des batteries, etc.
Vos travaux mettent également en lumière un écart croissant entre les modèles de validation et les modèles existants : certains atteignent d’excellents scores de référence, mais échouent face à des variations simples du monde réel. Que révèle cet écart sur les limites actuelles des grands modèles de langage ?
Ils semblent avoir une mémoire incroyable et une excellente capacité de généralisation. Les benchmarks sont utiles au début d'une recherche. Une fois un certain seuil franchi, on retient le benchmark et non le problème. Au fil des ans, nous avons veillé à réinitialiser les benchmarks et à les rendre encore plus difficiles afin de repousser les limites. Le problème des benchmarks, c'est qu'à un moment donné, on commence à sur-indexer et, finalement, à tricher. L'objectif est d'inciter les concurrents à être plus honnêtes. Personnellement, je ne prête plus trop attention aux benchmarks après quelques progrès significatifs. On peut avoir un bon produit sans même figurer dans le top 10 du classement. J'ai également vu de nombreux produits médiocres qui obtiennent de bons résultats aux benchmarks.
La présentation suggère que des modèles de langage compacts, associés à une inférence à grande échelle et à des architectures multi-agents, pourraient permettre de créer des systèmes d'IA puissants fonctionnant en dehors des centres de données hyperscale. Cette décentralisation pourrait-elle transformer en profondeur le déploiement de l'IA dans tous les secteurs d'activité ?
Nous avons constaté un fort engouement pour le déploiement en périphérie de réseau. Il est certain que nous verrons des appareils plus intelligents autour de nous. Microsoft travaille depuis des années sur le LLM 1 bit, qui atteint un taux de compression d'environ 30x, permettant ainsi d'exécuter des modèles encore plus novateurs sur une seule puce à l'avenir. Nous suivons ces travaux depuis des années et les progrès sont impressionnants, notamment dans le domaine des objets connectés.
L'un des sujets abordés lors de la conférence NeurIPS de l'année dernière était l'idée de combiner des modèles de périphérie à faible puissance avec des modèles de pointe. Cela permet d'ajuster la puissance d'inférence en fonction de la bande passante disponible dans un spectre continu. Le premier atelier consacré aux télécommunications à NeurIPS a révélé une tendance à l'installation de GPU sur les antennes-relais, ce qui est intéressant car une antenne-relais n'est ni un centre de données ni un périphérique de périphérie. Cela introduit une nouvelle couche dans la hiérarchie de calcul.
Autre chose qui a échappé aux LLM : l’entraînement distribué des modèles (et je ne parle pas de l’entraînement de Gemini par Google dans des centres de données distants). Une tendance très intéressante se développe : des entités indépendantes entraînent leurs propres modèles, et les utilisateurs les combinent comme des Legos pour en construire de plus grands et plus puissants. Il s’agit d’une architecture modulaire très prometteuse. C’est ainsi que sont entraînés les grands modèles. Différentes équipes développent des modèles spécialisés, qu’elles assemblent ensuite comme des briques Lego.
Après avoir analysé des milliers d'articles de NeurIPS, selon vous, dans quels domaines la communauté de recherche en IA prédit-elle avec précision les progrès, et dans quels domaines pourrait-elle passer à côté des changements les plus importants à venir ?
La communauté scientifique ne fait pas de prédictions. Les chercheurs sont motivés par leurs propres facteurs : curiosité, financements, hasard et, bien sûr, intuition. Il leur arrive de passer à côté de pistes intéressantes, mais il est presque certain que quelqu’un les découvrira et les exploitera plus tard. C’est normal et même positif. Les dirigeants, les investisseurs et les ingénieurs doivent identifier les tendances émergentes afin de prendre les bonnes décisions et de faire les choix les plus judicieux. Sur une période d’analyse de cinq ans, certaines tendances ont été repérées précocement, tandis que d’autres signaux ont été manqués. Pour certaines d’entre elles, il est encore temps de surfer sur la vague du succès.
Je suis les marchés des données depuis des années, et ils ont franchi une étape décisive cette année. L'élément manquant était l'attribution. Nous pouvons désormais identifier instantanément les données d'entraînement ayant contribué à un concours de master en droit. Cela signifie qu'il est possible de verser des dividendes. C'est une opportunité manquée pour les éditeurs impliqués dans des recours collectifs contre des modèles émergents. Certains ont dû se résigner à accepter des accords de licence fixes, alors que je suis convaincu qu'un modèle d'attribution leur permettrait de générer des revenus plus stables.
Une révolution se profile à l'horizon en robotique. Les modèles du monde annoncés par NVIDIA et d'autres entreprises réalisent des simulations physiques d'une précision et d'une évolutivité remarquables. Il faut donc s'attendre à ce que l'IA soit de plus en plus physique à l'avenir.
L'architecture Transformer a fini par fusionner avec les modèles d'espace d'état comme les RNN, Mamba, etc., et a permis de produire des LLM compacts et performants. Nous connaissons désormais les limitations exactes du Transformer, qui jouent un rôle majeur dans ses performances, mais l'étape suivante reste à franchir. Elle interviendra lorsque le Transformer aura démontré sa robustesse et sa résilience. Ce que nous ignorons, c'est si la conception de la nouvelle architecture d'un LLM sera le fait d'un humain ou d'un Transformer ! Le Transformer a unifié toutes les architectures fragmentées en TAL (n'oublions pas que l'IA générale a débuté par des tâches de TAL rudimentaires, comme la classification d'entités). Il a fonctionné pour les mathématiques, puis pour les tableaux cette année, mais pas encore pour la physique. J'ai recensé plus de 15 architectures différentes. Ainsi, la nouvelle architecture qui unifiera la physique pourrait bien être celle qui remplacera le Transformer dans le développement de l'IA générale.
Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter IA relationnelle.
