Neetu Pathak, Co-Fondateur et PDG de Skymel – Série d’entretiens

Neetu Pathak, Co-Fondateur et PDG de Skymel, dirige l’entreprise dans la révolution de l’inférence IA avec sa technologie innovante NeuroSplit ™. Aux côtés du CTO Sushant Tripathy, elle conduit la mission de Skymel pour améliorer les performances des applications IA tout en réduisant les coûts de calcul.

NeuroSplit ™ est une technologie d’inférence adaptative qui distribue dynamiquement les charges de travail IA entre les appareils des utilisateurs finaux et les serveurs cloud. Cette approche exploite les ressources de calcul inactives sur les appareils des utilisateurs, réduisant les coûts d’infrastructure cloud de jusqu’à 60 %, accélérant les vitesses d’inférence, assurant la confidentialité des données et permettant une mise à l’échelle transparente.

En optimisant la puissance de calcul locale, NeuroSplit ™ permet aux applications IA de fonctionner efficacement même sur les anciennes cartes graphiques, réduisant ainsi considérablement les coûts tout en améliorant l’expérience utilisateur.

Qu’est-ce qui vous a inspiré pour co-fonder Skymel, et quels sont les principaux défis de l’infrastructure IA que vous visiez à résoudre avec NeuroSplit ?

L’inspiration pour Skymel est venue de la convergence de nos expériences complémentaires. Pendant son séjour chez Google (GOOGL ), mon co-fondateur, Sushant Tripathy, déployait des modèles d’IA basés sur la parole sur des milliards d’appareils Android. Il a découvert qu’il y avait une énorme quantité de puissance de calcul inutilisée sur les appareils des utilisateurs finaux, mais que la plupart des entreprises ne pouvaient pas l’utiliser efficacement en raison des défis d’ingénierie complexes liés à l’accès à ces ressources sans compromettre l’expérience utilisateur.

Pendant ce temps, mon expérience de travail avec des entreprises et des startups chez Redis m’a donné une compréhension approfondie de l’importance de la latence pour les entreprises. À mesure que les applications IA devenaient plus répandues, il est devenu clair que nous devions déplacer le traitement plus près de l’endroit où les données étaient créées, plutôt que de les faire constamment aller et retour vers les centres de données.

C’est alors que Sushant et moi avons réalisé que l’avenir n’était pas de choisir entre le traitement local ou le traitement cloud – mais de créer une technologie intelligente qui puisse s’adapter en douceur entre le traitement local, le cloud ou l’hybride en fonction de chaque demande d’inférence spécifique. Cette compréhension nous a amenés à fonder Skymel et à développer NeuroSplit, en allant au-delà des limitations traditionnelles de l’infrastructure qui freinaient l’innovation IA.

Pouvez-vous expliquer comment NeuroSplit optimise dynamiquement les ressources de calcul tout en maintenant la confidentialité et les performances de l’utilisateur ?

L’un des principaux pièges de l’inférence locale IA a été ses exigences de calcul statiques – traditionnellement, l’exécution d’un modèle d’IA nécessite les mêmes ressources de calcul indépendamment des conditions de l’appareil ou du comportement de l’utilisateur. Cette approche universelle ignore la réalité selon laquelle les appareils ont des capacités matérielles différentes, allant des puces (GPU, NPU, CPU, XPU) à des largeurs de bande réseau variables, et que les utilisateurs ont des comportements différents en termes d’utilisation d’applications et de modèles de charge.

NeuroSplit surveille en continu diverses télémétries d’appareil – des capacités matérielles à l’utilisation actuelle des ressources, à l’état de la batterie et aux conditions réseau. Nous prenons également en compte les modèles de comportement des utilisateurs, comme le nombre d’autres applications en cours d’exécution et les modèles d’utilisation typiques de l’appareil. Cette surveillance complète permet à NeuroSplit de déterminer dynamiquement combien de calcul d’inférence peut être exécuté en toute sécurité sur l’appareil de l’utilisateur final tout en optimisant les indicateurs de performance clés des développeurs.

Lorsque la confidentialité des données est primordiale, NeuroSplit garantit que les données brutes ne quittent jamais l’appareil, traitant les informations sensibles localement tout en maintenant des performances optimales. Notre capacité à diviser, élaguer ou découpler les modèles d’IA nous permet de faire tenir 50 à 100 modèles d’IA dans l’espace mémoire d’un seul modèle quantifié sur un appareil de l’utilisateur final. En termes pratiques, cela signifie que les utilisateurs peuvent exécuter simultanément un nombre significativement plus grand d’applications alimentées par l’IA, traitant des données sensibles localement, par rapport aux approches de calcul statique traditionnelles.

Quels sont les principaux avantages de l’inférence adaptative de NeuroSplit pour les entreprises d’IA, en particulier celles qui travaillent avec une technologie GPU plus ancienne ?

NeuroSplit offre trois avantages transformateurs pour les entreprises d’IA. Premièrement, il réduit considérablement les coûts d’infrastructure grâce à deux mécanismes : les entreprises peuvent utiliser efficacement des GPU moins chers et plus anciens, et notre capacité unique à faire tenir à la fois des modèles complets et des modèles réduits sur des GPU cloud permet des taux d’utilisation de GPU nettement plus élevés. Par exemple, une application qui nécessite normalement plusieurs NVIDIA A100 à 2,74 $ par heure peut désormais fonctionner sur un seul A100 ou plusieurs V100 à seulement 0,83 $ par heure.

Deuxièmement, nous améliorons considérablement les performances en traitant les données brutes initiales directement sur les appareils des utilisateurs. Cela signifie que les données qui finissent par voyager vers le cloud sont nettement plus petites, réduisant ainsi la latence réseau tout en maintenant la précision. Cette approche hybride offre aux entreprises le meilleur des deux mondes – la rapidité du traitement local avec la puissance du calcul cloud.

Troisièmement, en traitant le traitement initial des données sensibles sur l’appareil de l’utilisateur final, nous aidons les entreprises à maintenir de solides protections de confidentialité des utilisateurs sans sacrifier les performances. Cela devient de plus en plus crucial à mesure que les réglementations en matière de confidentialité deviennent plus strictes et que les utilisateurs sont de plus en plus sensibles à la confidentialité.

Comment la solution de Skymel réduit-elle les coûts de l’inférence IA sans compromettre la complexité ou la précision du modèle ?

Tout d’abord, en divisant les modèles d’IA individuels, nous distribuons le calcul entre les appareils des utilisateurs et le cloud. La première partie s’exécute sur l’appareil de l’utilisateur final, traitant 5 % à 100 % du calcul total en fonction des ressources disponibles sur l’appareil. Seule la charge de calcul restante doit être traitée sur des GPU cloud.

Cette division signifie que les GPU cloud traitent une charge de calcul réduite – si un modèle nécessitait à l’origine un GPU A100 complet, après division, la même charge de travail pourrait nécessiter seulement 30 à 40 % de la capacité du GPU. Cela permet aux entreprises d’utiliser des instances de GPU plus rentables comme le V100.

Deuxièmement, NeuroSplit optimise l’utilisation des GPU dans le cloud. En arrangeant efficacement à la fois des modèles complets et des modèles réduits sur le même GPU cloud, nous réalisons des taux d’utilisation nettement plus élevés que les approches traditionnelles. Cela signifie que plus de modèles peuvent s’exécuter simultanément sur le même GPU cloud, réduisant ainsi davantage les coûts par inférence.

Qu’est-ce qui distingue l’approche hybride (locale + cloud) de Skymel des autres solutions d’infrastructure IA sur le marché ?

Le paysage de l’IA est à un point d’inflexion fascinant. Alors que les entreprises comme Apple (AAPL ), Samsung et Qualcomm (QCOM ) démontrent la puissance de l’IA hybride à travers leurs fonctionnalités d’écosystème, celles-ci restent des jardins clos. Mais l’IA ne devrait pas être limitée par l’appareil que quelqu’un se trouve utiliser.

NeuroSplit est fondamentalement agnostique en matière d’appareil, de cloud et de réseau de neurones. Cela signifie que les développeurs peuvent enfin offrir des expériences IA cohérentes indépendamment du fait que leurs utilisateurs soient sur un iPhone, un appareil Android ou un ordinateur portable – ou qu’ils utilisent AWS, Azure ou Google Cloud.

Pensez à ce que cela signifie pour les développeurs. Ils peuvent construire leur application IA une seule fois et savoir qu’elle s’adaptera intelligemment à tout appareil, tout cloud et toute architecture de réseau de neurones. Plus de construction de différentes versions pour différentes plateformes ou de compromis sur les fonctionnalités en fonction des capacités de l’appareil.

Nous sortons les capacités d’IA hybride d’entreprise des jardins clos et les rendons universellement accessibles. À mesure que l’IA devient centrale dans chaque application, ce type de flexibilité et de cohérence n’est pas seulement un avantage – c’est essentiel pour l’innovation.

Comment l’agent d’orchestrateur complète-t-il NeuroSplit, et quel rôle joue-t-il dans la transformation des stratégies de déploiement de l’IA ?

L’agent d’orchestrateur (OA) et NeuroSplit travaillent ensemble pour créer un système de déploiement d’IA auto-optimisé :

1. Les développeurs définissent les limites :

• Contraintes : modèles autorisés, versions, fournisseurs de cloud, zones, règles de conformité
• Objectifs : latence cible, limites de coûts, exigences de performances, besoins de confidentialité

2. L’OA travaille dans ces contraintes pour atteindre les objectifs :

• Décide quels modèles / API utiliser pour chaque demande
• Adapte les stratégies de déploiement en fonction des performances du monde réel
• Fait des compromis pour optimiser les objectifs spécifiés
• Peut être reconfiguré instantanément au fur et à mesure que les besoins changent

3. NeuroSplit exécute les décisions de l’OA :

• Utilise la télémétrie de l’appareil en temps réel pour optimiser l’exécution
• Divise le traitement entre l’appareil et le cloud lorsque cela est bénéfique
• Garantit que chaque inférence s’exécute de manière optimale compte tenu des conditions actuelles

C’est comme avoir un système d’IA qui s’optimise lui-même de manière autonome dans vos règles et objectifs définis, plutôt que de nécessiter une optimisation manuelle pour chaque scénario.

À votre avis, comment l’agent d’orchestrateur va-t-il remodeler la façon dont l’IA est déployée dans les différentes industries ?

Il résout trois défis critiques qui ont freiné l’adoption et l’innovation de l’IA.

Premièrement, il permet aux entreprises de suivre les derniers progrès de l’IA sans effort. Avec l’agent d’orchestrateur, vous pouvez exploiter instantanément les derniers modèles et techniques sans revoir votre infrastructure. C’est un avantage concurrentiel majeur dans un monde où l’innovation de l’IA progresse à un rythme vertigineux.

Deuxièmement, il permet une optimisation dynamique de la sélection de modèles d’IA pour chaque demande. L’agent d’orchestrateur peut intelligemment combiner des modèles de l’écosystème vaste des options pour offrir les meilleurs résultats possibles pour chaque interaction utilisateur. Par exemple, un service client IA pourrait utiliser un modèle spécialisé pour les questions techniques et un autre pour les demandes de facturation, offrant ainsi de meilleurs résultats pour chaque type d’interaction.

Troisièmement, il maximise les performances tout en minimisant les coûts. L’agent équilibre automatiquement entre l’exécution de l’IA sur l’appareil de l’utilisateur ou dans le cloud en fonction de ce qui a le plus de sens à ce moment-là. Lorsque la confidentialité est importante, il traite les données localement. Lorsque plus de puissance de calcul est nécessaire, il exploite le cloud. Tout cela se passe en arrière-plan, créant une expérience fluide pour les utilisateurs tout en optimisant les ressources pour les entreprises.

Mais ce qui distingue vraiment l’agent d’orchestrateur, c’est qu’il permet aux entreprises de créer des expériences hyper-personnalisées pour leurs utilisateurs. Prenons une plateforme d’apprentissage en ligne – avec notre technologie, ils peuvent construire un système qui s’adapte automatiquement à l’approche d’enseignement en fonction du niveau de compréhension de chaque élève. Lorsqu’un utilisateur recherche “apprentissage automatique”, la plateforme ne montre pas seulement des résultats génériques – elle peut évaluer instantanément sa compréhension actuelle et personnaliser les explications en utilisant des concepts qu’il connaît déjà.

En fin de compte, l’agent d’orchestrateur représente l’avenir du déploiement de l’IA – un passage d’une infrastructure d’IA statique et monolithique à une orchestration d’IA dynamique et auto-optimisée. Ce n’est pas seulement pour rendre le déploiement de l’IA plus facile – c’est pour rendre des classes entières de nouvelles applications d’IA possibles.

Quel type de retour avez-vous reçu jusqu’à présent des entreprises participant à la version bêta privée de l’agent d’orchestrateur ?

Le retour des participants à notre version bêta privée a été excellent ! Les entreprises sont ravies de découvrir qu’elles peuvent enfin se libérer du verrouillage de l’infrastructure, qu’il s’agisse de modèles propriétaires ou de services d’hébergement. La capacité de protéger toute décision de déploiement future a été un facteur de changement de jeu, éliminant ces mois redoutés de révision lors du passage à une autre approche.

Nos résultats de performance NeuroSplit ont été rien de moins que remarquables – nous avons hâte de partager les données publiquement bientôt. Ce qui est particulièrement passionnant, c’est la façon dont le concept même de déploiement d’IA adaptatif a capturé l’imagination. Le fait que l’IA se déploie elle-même sonne futuriste et n’est pas quelque chose qu’ils attendaient maintenant, donc juste à partir de l’avancement technologique, les gens s’excitent sur les possibilités et les nouveaux marchés qu’il pourrait créer à l’avenir.

Avec les progrès rapides de l’IA générative, quels sont les principaux obstacles que vous voyez pour l’infrastructure d’IA, et comment Skymel prévoit-il de les relever ?

Nous nous dirigeons vers un avenir que la plupart des gens n’ont pas encore pleinement compris : il n’y aura pas un seul modèle d’IA dominant, mais des milliards. Même si nous créons le modèle d’IA général le plus puissant imaginable, nous aurons toujours besoin de versions personnalisées pour chaque personne sur Terre, adaptées à des contextes, des préférences et des besoins uniques. C’est au moins 8 milliards de modèles, sur la base de la population mondiale.

Ceci marque un changement révolutionnaire par rapport à l’approche universelle actuelle. L’avenir exige une infrastructure intelligente capable de gérer des milliards de modèles. Chez Skymel, nous ne résolvons pas seulement les défis de déploiement d’aujourd’hui – notre feuille de route technologique est déjà en train de construire les fondations de ce qui vient ensuite.

Comment voyez-vous l’évolution de l’infrastructure d’IA au cours des cinq prochaines années, et quel rôle Skymel jouera-t-il dans cette évolution ?

Le paysage de l’infrastructure d’IA est sur le point de subir un changement fondamental. Alors que l’attention est actuellement portée sur le scaling de modèles de langage grand dans le cloud, les cinq prochaines années verront l’IA devenir profondément personnalisée et sensible au contexte. Ce n’est pas seulement une question de fine-tuning – c’est de l’IA qui s’adapte à des utilisateurs, des appareils et des situations spécifiques en temps réel.

Ce changement crée deux défis d’infrastructure majeurs. Premièrement, l’approche traditionnelle consistant à exécuter tout le traitement dans des centres de données centralisés devient insoutenable à la fois techniquement et économiquement. Deuxièmement, la complexité croissante des applications d’IA signifie que nous avons besoin d’une infrastructure capable de s’optimiser dynamiquement sur plusieurs modèles, appareils et emplacements de calcul.

Chez Skymel, nous construisons une infrastructure qui répond spécifiquement à ces défis. Notre technologie permet à l’IA de s’exécuter là où cela a le plus de sens – que ce soit sur l’appareil où les données sont générées, dans le cloud où plus de calcul est disponible, ou en divisant intelligemment entre les deux. Plus important encore, elle adapte ces décisions en temps réel en fonction des conditions et des exigences changeantes.

À l’avenir, les applications d’IA réussies ne seront pas définies par la taille de leurs modèles ou la quantité de calcul qu’elles peuvent accéder. Ils seront définis par leur capacité à offrir des expériences personnalisées et réactives tout en gérant efficacement les ressources. Notre objectif est de rendre ce niveau d’optimisation intelligente accessible à chaque application d’IA, quelle que soit son ampleur ou sa complexité.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Skymel.