Jason Knight est co-fondateur et vice-président de l’apprentissage automatique chez OctoAI – Série d’entretiens

Jason Knight est co-fondateur et vice-président de l’apprentissage automatique chez OctoAI, la plateforme qui offre une pile complète pour les créateurs d’applications pour exécuter, ajuster et mettre à l’échelle leurs applications d’intelligence artificielle dans le cloud ou sur site.

OctoAI a été créé à partir de l’Université de Washington par les créateurs originaux d’Apache TVM, une pile open source pour la portabilité et les performances de l’apprentissage automatique. TVM permet aux modèles d’apprentissage automatique de fonctionner de manière efficace sur n’importe quel backend matériel, et est devenu rapidement une partie clé de l’architecture de dispositifs populaires tels qu’Amazon Alexa.

Pouvez-vous partager l’inspiration derrière la création d’OctoAI et le problème principal que vous avez cherché à résoudre ?

L’intelligence artificielle a traditionnellement été un domaine complexe accessible uniquement à ceux qui sont à l’aise avec les mathématiques et l’informatique de haute performance nécessaires pour créer quelque chose avec. Mais l’intelligence artificielle débloque les interfaces de calcul ultimes, celles du texte, de la voix et de l’image programmées par des exemples et des rétroactions, et apporte la pleine puissance de l’informatique à tous sur Terre. Avant l’intelligence artificielle, seuls les programmeurs pouvaient faire fonctionner les ordinateurs en écrivant des textes de langage de programmation arcans.

OctoAI a été créé pour accélérer notre chemin vers cette réalité afin que plus de personnes puissent utiliser et bénéficier de l’intelligence artificielle. Et les gens, à leur tour, peuvent utiliser l’intelligence artificielle pour créer encore plus de bénéfices en accélérant les sciences, la médecine, l’art et plus encore.

En réfléchissant à votre expérience chez Intel (INTC ), comment vos précédents rôles vous ont-ils préparé à co-fonder et à diriger le développement chez OctoAI ?

Intel et les startups de matériel et de biotechnologie avant cela m’ont donné la perspective de voir à quel point l’intelligence artificielle est difficile même pour les sociétés de technologie les plus sophistiquées, et pourtant à quel point elle peut être précieuse pour ceux qui ont compris comment l’utiliser. Et en voyant que l’écart entre ceux qui bénéficient de l’intelligence artificielle par rapport à ceux qui ne l’ont pas encore est principalement un problème d’infrastructure, de calcul et de meilleures pratiques – et non de magie.

Qu’est-ce qui différencie OctoStack des autres solutions de déploiement d’intelligence artificielle disponibles sur le marché aujourd’hui ?

OctoStack est la première pile technologique complète conçue spécifiquement pour servir les modèles d’intelligence artificielle générative partout. Il offre une plateforme de production clé en main qui fournit une inférence hautement optimisée, une personnalisation de modèle et une gestion d’actifs à l’échelle de l’entreprise.

OctoStack permet aux organisations d’atteindre l’autonomie de l’intelligence artificielle en exécutant n’importe quel modèle dans leur environnement préféré avec un contrôle total sur les données, les modèles et le matériel. Il offre également des performances et une efficacité coût sans précédent, avec des économies pouvant aller jusqu’à 12 fois par rapport à d’autres solutions comme GPT-4.

Pouvez-vous expliquer les avantages de déployer des modèles d’intelligence artificielle dans un environnement privé à l’aide d’OctoStack ?

Les modèles sont aujourd’hui omniprésents, mais assembler l’infrastructure nécessaire pour exécuter ces modèles et les appliquer avec vos propres données est là où le cycle de valeur réel de l’entreprise commence à tourner. En utilisant ces modèles sur vos données les plus sensibles, puis en les transformant en connaissances, en meilleure ingénierie de prompt, en pipelines RAG et en fine-tuning, c’est là que vous pouvez obtenir la plus grande valeur de l’intelligence artificielle générative. Mais il est encore difficile pour toutes les sociétés, à l’exception des plus sophistiquées, de le faire seules, ce qui est là où une solution clé en main comme OctoStack peut accélérer et rassembler les meilleures pratiques en un seul endroit pour vos praticiens.

Le déploiement de modèles d’intelligence artificielle dans un environnement privé à l’aide d’OctoStack offre plusieurs avantages, notamment une sécurité et un contrôle renforcés sur les données et les modèles. Les clients peuvent exécuter des applications d’intelligence artificielle générative dans leurs propres VPC ou sur site, en garantissant que leurs données restent sécurisées et dans leur environnement choisi. Cette approche offre également aux entreprises la flexibilité d’exécuter n’importe quel modèle, qu’il soit open source, personnalisé ou propriétaire, tout en bénéficiant de réductions de coûts et d’améliorations de performance.

Quels défis avez-vous rencontrés pour optimiser OctoStack afin de prendre en charge une large gamme de matériel, et comment ces défis ont-ils été surmontés ?

L’optimisation d’OctoStack pour prendre en charge une large gamme de matériel a nécessité de garantir la compatibilité et les performances sur divers appareils, tels que les GPU NVIDIA (NVDA ) et AMD et AWS Inferentia. OctoAI a surmonté ces défis en exploitant son expertise approfondie en systèmes d’intelligence artificielle, développée au fil des ans de recherche et de développement, pour créer une plateforme qui met à jour et prend en charge continuellement de nouveaux types de matériel, de cas d’utilisation de GenAI et de meilleures pratiques. Cela permet à OctoAI de fournir des performances et une efficacité coût de premier plan.

De plus, obtenir les dernières fonctionnalités de l’intelligence artificielle générative, telles que la multimodalité, l’appel de fonction, le respect strict du schéma JSON, l’hébergement de fine-tuning efficace, etc., et les mettre à la disposition de vos développeurs internes accélérera votre point de départ pour l’intelligence artificielle.

OctoAI a une riche histoire d’utilisation d’Apache TVM. Comment ce cadre a-t-il influencé les capacités de votre plateforme ?

Nous avons créé Apache TVM pour faciliter la création de bibliothèques d’intelligence artificielle efficaces pour les GPU et les accélérateurs par les développeurs sophistiqués. Nous l’avons fait parce que l’obtention des meilleures performances des GPU et des accélérateurs était cruciale pour l’inférence d’intelligence artificielle à l’époque, tout comme elle l’est aujourd’hui.

Nous avons ensuite exploité la même mentalité et expertise pour l’ensemble de la pile de service de Gen AI afin de fournir une automatisation pour un ensemble plus large de développeurs.

Pouvez-vous discuter des améliorations de performance significatives qu’OctoStack offre, telles que les 10 fois de gain de performance dans les déploiements à grande échelle ?

OctoStack offre des améliorations de performance importantes, notamment des économies pouvant aller jusqu’à 12 fois par rapport à d’autres modèles comme GPT-4 sans sacrifier la vitesse ou la qualité. Il offre également une utilisation 4 fois meilleure du GPU et une réduction de 50 pour cent des coûts opérationnels, permettant aux organisations d’exécuter des déploiements à grande échelle de manière efficace et rentable.

Pouvez-vous partager quelques cas d’utilisation notables où OctoStack a considérablement amélioré le déploiement d’intelligence artificielle pour vos clients ?

Un cas d’utilisation notable est Apate.ai, un service mondial qui combat les arnaques téléphoniques à l’aide de l’intelligence artificielle conversationnelle générative. Apate.ai a utilisé OctoStack pour exécuter efficacement sa gamme de modèles de langage sur plusieurs géographies, bénéficiant de la flexibilité, de l’échelle et de la sécurité d’OctoStack. Ce déploiement a permis à Apate.ai de fournir des modèles personnalisés prenant en charge plusieurs langues et dialectes régionaux, répondant ainsi à ses exigences de performance et de sécurité.

En outre, nous servons des centaines de fine-tunes pour notre client OpenPipe. S’ils devaient créer des instances dédiées pour chacun d’eux, les cas d’utilisation de leurs clients seraient inviabilisés à mesure qu’ils grandissent et évoluent leurs cas d’utilisation et réentraînent continuellement leurs fine-tunes à paramètres efficaces pour une qualité de sortie maximale à des prix abordables.

Je vous remercie pour cette excellente interview. Les lecteurs qui souhaitent en savoir plus peuvent visiter OctoAI.