Zuzanna Stamirowska, co-fondatrice et PDG de Pathway – Série d’entretiens

Zuzanna Stamirowska, co-fondatrice et PDG de Pathway, est une chercheuse devenue bâtisseuse qui a précédemment travaillé sur les phénomènes émergents et l’évolution des réseaux à grande échelle. Ses projets ont été reconnus par l’Académie nationale des sciences des États-Unis, et elle détient un doctorat en systèmes complexes. Zuzanna, aux côtés du CTO Jan Chorowski et du CSO Adrian Kosowski, dirige une équipe qui a déjà construit des outils d’intelligence artificielle ouverts avec plus de 62 000 étoiles sur GitHub.

Pathway réinvente la façon dont les modèles d’intelligence artificielle pensent, visant à créer des systèmes qui fonctionnent de manière continue et adaptative plutôt que par lots. Derrière la scène, son outillage et son architecture permettent aux modèles de traiter, d’apprendre et d’évoluer en temps réel. L’entreprise a attiré le soutien de personnalités telles que Lukasz Kaiser (co-inventeur des Transformers) et de sociétés de capital-risque éminentes.

Qu’est-ce qui vous a motivé à lancer Pathway, et comment votre expérience dans les systèmes complexes, la théorie des jeux et les phénomènes émergents a-t-elle façonné la vision et la direction technique de l’entreprise ?

Nous voulions créer une intelligence artificielle qui pense et s’adapte comme les humains. Nous avons réalisé que cela signifiait des systèmes d’intelligence artificielle (modèles d’apprentissage automatique ou de deep learning) capables d’apprendre en continu sur la base des données de l’environnement, en s’améliorant avec l’expérience et en « corrigeant » parfois leurs points de vue précédents sur le monde. Nous avons effectivement obtenu une certaine couverture sur le sujet de « l’oubli des machines ». En plus des modèles, de tels systèmes nécessitaient un niveau d’ingénierie complet pour capturer les données à la source et les intégrer immédiatement dans des systèmes dynamiques.

Ayant travaillé sur l’émergence dans les réseaux complexes, j’ai développé un certain nombre d’hypothèses que nous avons fini par appliquer directement ou presque directement dans le développement de notre technologie. Finalement, j’ai fait quelques paris avec mes collègues (Adrian, CSO, et Jan, CTO) et j’ai gagné quelques bouteilles de cognac très bon. Premièrement, nous croyions que l’intelligence naturelle résulte d’une structure émergente et d’une action de neurones dans le cerveau (c’est évident, pas de pari ici). Deuxièmement, à partir de mes recherches précédentes, je savais que, en général, la fonction façonne le réseau (j’ai gagné ce pari). Dans mes travaux précédents, j’ai découvert cela pour le commerce, et les neuroscientifiques avaient étudié cela pour les nerfs et les sens chez les souris, etc. Troisièmement, c’était le fait que cette formation de la structure du réseau doit suivre des règles très locales liées au « voisinage » de chaque emplacement du réseau (dans ce cas, un nœud est un neurone) (j’ai gagné ce pari). Les autres éléments provenaient de ma connaissance des systèmes d’interaction de particules – pensez, par exemple, au magnétisme – où les particules ajustent leurs spins à un champ externe et créent une sorte d’« ordre spontané ». C’était le type de mathématiques que j’ai utilisé lors de mon travail sur la théorie des jeux sur les graphes. En mettant tout cela ensemble, dès le premier jour de l’existence de l’entreprise, nous avions une forte conviction que la parcimonie (structures similaires à des graphes) serait une pierre angulaire dans le progrès de l’intelligence artificielle.

Le fait de tenir compte d’une notion de temps était crucial et également très caractéristique de mon expérience, car l’émergence se produit généralement au fil du temps.

Quand vous avez lancé l’entreprise en 2020, quels étaient vos premières hypothèses sur ce que les futurs systèmes d’intelligence artificielle devraient faire différemment, et comment ces points de vue ont-ils évolué ?

Nous avions une forte conviction dès le départ que l’intelligence artificielle devait être vivante, adaptive et intégrée dans de grands processus. Elle devait apprendre directement à partir de la source, avec les données les plus brutes possibles.

Tout d’abord, nous l’avons fait pour des approches d’apprentissage automatique plus classiques, et chemin faisant, nous avons construit des couches d’ingénierie qui permettent à de tels systèmes d’être déployés facilement dans le monde réel. Maintenant, nous avons apporté cette approche au deep learning.

Nous savions que les éléments de temps et de structure (réseaux) seraient clés pour le progrès vers l’intelligence artificielle générale. Nous avons cela écrit dans certains de nos documents fondateurs de 2020.

Pouvez-vous nous guider à travers l’architecture « post-Transformer » que vous introduisez et comment elle diffère des systèmes basés sur les Transformers actuels ?

Notre nouvelle architecture, appelée Baby Dragon Hatchling (BDH), relie formellement la façon dont les Transformers traitent l’information et la façon dont la raison émerge dans le cerveau.
BDH se comporte comme un système physique : un modèle de calcul cérébral dans lequel les neurones font un effort collaboratif pour découvrir le prochain fait le plus pertinent. La raison contextuelle n’est pas limitée par des limitations d’ingénierie, telles que la longueur de contexte fixe du Transformer, mais plutôt elle s’étend avec le nombre de neurones du modèle.

En termes plus techniques, contrairement au Transformer, dans BDH, nous avons une attention linéaire, des vecteurs clés-interrogation parcimonieux et aucune limite sur la taille de la fenêtre de contexte.

Cette approche ouvre la porte à des systèmes qui apprennent pendant l’exécution, maintiennent de longues chaînes de raisonnement et s’adaptent en continu dans le contexte.

Une fonctionnalité clé du système est la localité : les données importantes sont situées juste à côté des sites où elles sont traitées. Cela minimise la communication et élimine le goulet d’étranglement le plus douloureux pour les modèles de raisonnement pendant l’inférence : la bande passante mémoire-noyau.

Comment votre approche s’inspire-t-elle de la raison humaine, en particulier pour permettre l’adaptabilité et l’apprentissage continu sans réentraînement ?

BDH rapproche l’intelligence naturelle et l’intelligence artificielle.

Cette architecture s’inspire de la façon dont les neurones et les synapses fonctionnent dans le cerveau. Elle mappe les mécanismes d’attention biologiques au concept computationnel d’attention dans l’apprentissage automatique, créant un pont évolutif entre les Transformers et le cerveau.

BDH rapproche l’attention des paramètres du modèle, les présentant comme deux reflets de la même dynamique de système cérébral, avec l’attention changeant à un rythme rapide à mesure que de nouveaux faits deviennent connus pendant la raisonnement, et les paramètres du modèle changeant plus lentement à mesure que le système change ses habitudes à long terme. C’est plus proche de la façon dont nous croyons que la raison fonctionne dans le cerveau.

Nous considérons BDH comme un jalon vers la conception de systèmes d’intelligence artificielle qui raisonnent au milieu d’une tâche, s’améliorent avec l’expérience et s’adaptent sans réentraînement – des propriétés que nous associons à la raison humaine.

L’un des défis de l’intelligence artificielle est de trouver un équilibre entre la stabilité et l’adaptabilité — comment vous assurez-vous que les systèmes peuvent apprendre en temps réel sans perdre les connaissances passées ?

BDH repose sur sa structure sans échelle et sur les états de neurones localisés pour maintenir la raison sur de longs horizons temporels, équilibrant la stabilité et la capacité à intégrer de nouvelles connaissances et observations. Cet équilibre naturel de santé est facile à extraire et à suivre sur la durée de vie d’un modèle.

Avec BDH, nous plaçons la raison comme la pierre angulaire de l’intelligence. Avec le travail actuel, nous faisons des progrès sur une hypothèse sur le rôle de la connaissance dans les grands modèles de langage : il ne s’agit pas tant de ce qui est « vrai », mais de ce qui est « utile » dans un contexte donné pour progresser dans une chaîne de raisonnement donnée. Par exemple, si la connaissance est contextualisée, il n’y a soudainement aucune contradiction entre notre monde qui suit les lois de la nature et le fait que nous connaissons un conte populaire qui admet l’existence de fées et de magie. De la même manière, il n’y a pas de contradiction pour un modèle qui considère plusieurs hypothèses de prévision différentes, avec des hypothèses plus et moins optimistes, dans une seule chaîne de pensée.

Les modèles basés sur BDH acquièrent de nouveaux faits pendant leur durée de vie de manière contextualisée. Ils peuvent s’auto-corriger à cause de cela. En exposant des statistiques faciles à suivre de l’activité des neurones et un contrôle granulaire sur le transfert des connaissances du contexte dans les paramètres du modèle, l’architecture aide à limiter le risque de « contextes obsolètes » qui réapparaissent à un moment inopportun.

Quels sont les compromis d’ingénierie pour construire un moteur de traitement de données en temps réel qui peut soutenir ces capacités à grande échelle ?

L’offre d’entreprise de Pathway repose sur le moteur de traitement de données le plus rapide sur le marché. Ce moteur sous-tend notre capacité à gérer les entrées en temps réel et à réagir à de nouvelles informations avec une faible latence. Avec la percée actuelle de BDH, nous nous assurons que cette adaptabilité en temps réel s’étend jusqu’aux modèles d’intelligence artificielle fondamentaux utilisés dans les déploiements. Notre objectif global pour les déploiements à grande échelle est de passer d’une optimisation statique à la construction d’une infrastructure capable de gérer des raisonnements à long terme.

Quels sont les cas d’utilisation les plus convaincants qui exigent vraiment cette prochaine étape de l’intelligence artificielle, et où les systèmes basés sur les Transformers actuels font-ils défaut ?

De nombreuses innovations ont étendu la fonctionnalité de l’intelligence artificielle générative pour s’adapter rapidement à de nouvelles informations et pour s’appuyer profondément sur le « temps sur tâche ». Mais rien encore n’a été capable de remplacer l’embauche d’une personne très talentueuse.

La réponse très rapide et directe est que nous parlons de toute tâche qui nécessite actuellement plus de 2 heures et 17 minutes de travail cohérent d’un expert humain. C’est la limite actuelle de GPT5 selon METER.

Nous avons eu d’excellentes discussions avec des partenaires de conception dans l’entreprise qui nécessitent une personnalisation profonde, des modèles qui apprennent sur le tas à partir de données rares, et la sécurité du déploiement.

BDH rend relativement simple pour une entreprise de traiter des processus complexes tels que :

• Clôturer un trimestre pour une entreprise publique
• Génération dynamique du meilleur plan d’action suivant dans des environnements à haute pression est très pertinente à la fois dans les ventes et la défense.
• Gestion des investissements

L’OTAN utilise déjà la technologie de Pathway pour traiter des données militaires et sociales en temps réel, permettant ainsi des systèmes de planification qui s’adaptent à mesure que les situations évoluent. La Poste utilise la technologie d’intelligence artificielle en temps réel de Pathway pour gérer dynamiquement ses opérations en temps réel. Des industries telles que la finance et les soins de santé, où les données sont rares ou sensibles, peuvent bénéficier de modèles qui nécessitent moins de données mais offrent des insights plus profonds et des jugements plus fiables.

Pouvez-vous partager des exemples de la façon dont des organisations comme l’OTAN, La Poste ou l’équipe de Formule 1 ont appliqué votre technologie et de l’impact qu’elle a eu ?

L’OTAN, La Poste et les équipes de Formule 1 sont déjà des premiers utilisateurs de la technologie de Pathway.

Pathway offre à l’OTAN une technologie de traitement de données robuste et innovante pour débloquer de nouvelles capacités pour une utilisation critique à grande échelle. Avec notre démonstrateur fonctionnel, l’outil de simulation d’activation du renforcement (REST), nous avons développé la pierre angulaire pour un développement ultérieur de solutions d’intelligence artificielle soutenues par l’OTAN. En utilisant Pathway pour connecter des données open source, nous avons accéléré la prise de conscience de la situation et l’avons portée au niveau requis par l’OTAN pour opérer avec succès dans les années 2020.

La Poste utilise Pathway pour améliorer les processus liés à ses unités de transport. Avec le framework Pathway, La Poste anticipe ses opérations automatiquement en temps réel et génère une analyse qualitative en temps réel de ses opérations de transport. Avec Pathway, l’entreprise a pu optimiser dynamiquement sa logistique, en réduisant les délais d’attente, les temps de traitement / les temps de lead, et en augmentant la fiabilité. De plus, ils ont réalisé des réductions significatives des coûts opérationnels (50 % de réduction du TCO dans certains cas).

L’équipe de Formule 1 utilise Pathway pour adapter sa stratégie dans des conditions de temps réel et à haute pression. L’entreprise voulait une plate-forme pour que les utilisateurs finals créent des fonctions définies par l’utilisateur (UDF) de manière indépendante et alimentent divers besoins commerciaux, allant des e-sports / sim-racing aux voitures et à la course de Formule 1. Le framework de données en temps réel de Pathway permet des transformations de données avancées à l’équipe de Formule 1 à la latence la plus basse (90 fois plus rapide que les vitesses de traitement précédentes).

Quels sont les plus grands obstacles au déploiement de systèmes adaptatifs dans des secteurs tels que les soins de santé ou la défense, et comment les surmontez-vous ?

Par conception, les LLM actuels génèrent du contenu qui est « nouveau » sans jugement réel – appelez-le le « gen » de l’intelligence artificielle générative. De nombreuses industries réglementées ont besoin de gouvernance par définition et hésitent à déployer des processus métier impulsés par l’intelligence artificielle sans reproductibilité, confiance et observabilité. Ironiquement, pour déployer l’intelligence artificielle, ces entreprises « simplifient » souvent la fonctionnalité et introduisent une complexité supplémentaire pour faciliter la conformité avec les réglementations.

Par conception, BDH permet à une entreprise d’observer et de s’adapter à ce qui se passe à l’intérieur du modèle. Cette observabilité sur de longues périodes de « raisonnement » donne à l’entreprise la confiance pour traiter des processus métier plus longs et plus complexes. BDH est, par conception, à la fois observable et conscient des processus métier sur l’axe du temps. Pas besoin de jeux de données parfaits et énormes pour l’apprentissage, pas besoin de fenêtres de contexte extrêmement longues, ou de logique de collage pour l’observabilité.

Quelles considérations éthiques ou sauvegardes sont essentielles lorsque les systèmes d’intelligence artificielle commencent à apprendre et à s’adapter en temps réel ?

Les systèmes qui apprennent avec l’expérience ont en fait de meilleures chances d’être sûrs que les systèmes basés sur les Transformers actuels. Un élément de ceci est le fait qu’avec l’apprentissage continu, ils ont une chance de s’auto-corriger et de mettre à jour leurs préconceptions si elles étaient fausses.

Pour assurer la sécurité de tels systèmes, ils doivent recevoir des commentaires au fil du temps. Cela signifie que nous devons continuer à les alimenter avec des données fraîches et potentiellement assurer des boucles de rétroaction pour qu’ils comprennent les effets de leur propre fonctionnement. C’est proche de l’apprentissage par renforcement.

Deuxièmement, un modèle basé sur BDH offre une interprétabilité qui facilite la compréhension de son fonctionnement, donnant aux humains un meilleur contrôle sur eux.

Qu’est-ce qu’il faudrait pour qu’un paradigme « post-Transformer » devienne mainstream à travers la communauté de l’intelligence artificielle ?

Un modèle sur le marché qui est extrêmement utile et qui a des coûts d’inférence significativement plus bas tout en étant plus rapide. Nous croyons qu’il y a une victoire de marché à atteindre, en particulier dans l’entreprise.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter Pathway.