Ugur Tigli, Directeur technique de MinIO – Série d’entretiens

Ugur Tigli est le Directeur technique de MinIO, le leader du stockage d’objets haute performance pour l’IA. En tant que Directeur technique, Ugur aide les clients à concevoir et déployer des infrastructures de données d’entreprise de niveau entreprise, axées sur les API, natives du cloud et évolutives, en utilisant MinIO.

Pouvez-vous décrire votre parcours pour devenir Directeur technique de MinIO, et comment vos expériences ont façonné votre approche de l’IA et de l’infrastructure de données ?

J’ai commencé ma carrière en tant qu’ingénieur d’infrastructure chez Merrill Lynch en tant qu’administrateur de sauvegarde et de restauration. J’ai continué à relever différents défis et à occuper divers postes techniques. J’ai rejoint la Bank of America (BAC ) via l’acquisition de Merrill Lynch, où j’étais vice-président de l’ingénierie de stockage. Cependant, mon rôle s’est élargi pour inclure l’ingénierie de calcul et de centre de données.

Dans le cadre de mon travail, j’ai également travaillé avec diverses sociétés de capital-risque (VC) et leurs sociétés de portefeuille pour apporter les dernières et meilleures technologies. Lors d’une de mes réunions avec General Catalyst, j’ai été présenté à l’idée et aux personnes derrière MinIO. Cela m’a intéressé en raison de la façon dont ils abordaient l’infrastructure de données — cela diffère de tous les autres sur le marché. La société a réalisé l’importance du magasin d’objets et des API standard que les applications utilisaient pour démarrer. À cette époque, ils pouvaient prédire l’avenir de l’informatique et de l’IA avant quiconque d’autre, ou même avant qu’il ne soit appelé ce qu’il est aujourd’hui. Je voulais faire partie de la mise en œuvre de cette vision et construire quelque chose de vraiment unique. MinIO est maintenant le magasin d’objets le plus largement déployé sur la planète.

L’impact de mes précédents rôles et expériences sur la façon dont j’aborde les nouvelles technologies, en particulier l’IA et l’infrastructure de données, est également simplement l’accumulation des nombreux projets auxquels j’ai participé au fil des ans pour soutenir les équipes d’applications dans une société de services financiers très exigeante.

Des jours de bande passante réseau limitée, qui ont conduit à la technologie Hadoop il y a 15 ans, en passant par diverses technologies de médias de données, du disque dur (HDD) au disque à état solide (SSD), bon nombre de ces changements technologiques ont façonné ma vision actuelle de l’écosystème IA et de l’infrastructure de données.

MinIO est reconnu pour ses capacités de stockage d’objets haute performance. Comment MinIO répond-il spécifiquement aux besoins des entreprises axées sur l’IA aujourd’hui ?

Lorsque AB et Garima ont conceptualisé MinIO, leur première priorité était de réfléchir à une déclaration de problème — ils savaient que les données continueraient à croître et que les technologies de stockage existantes étaient incompatibles avec cette croissance. L’émergence rapide de l’IA a rendu leurs vues prévoyantes du marché une réalité. Depuis, le stockage d’objets est devenu fondamental pour l’infrastructure IA (tous les principaux LLM comme OpenAI et Anthropic sont tous construits sur des magasins d’objets), et le centre de données moderne est construit sur une base de magasin d’objets.

MinIO a récemment lancé une nouvelle plate-forme de stockage d’objets avec des fonctionnalités d’entreprise critiques pour soutenir les organisations dans leurs initiatives IA : le MinIO Enterprise Object Store. Il est conçu pour les défis de performance et d’évolutivité introduits par les charges de travail IA massives et permet aux clients de répondre plus facilement aux défis associés à des milliards d’objets, ainsi qu’à des centaines de milliers d’opérations cryptographiques par nœud par seconde. Il comporte six nouvelles fonctionnalités commerciales qui ciblent les défis opérationnels et techniques clés auxquels sont confrontées les charges de travail IA : Catalogue (ce qui résout le problème de l’espace de noms et de la recherche de métadonnées du stockage d’objets), Pare-feu (conçu pour les données), Système de gestion de clés (résout le problème de la gestion de milliards de clés cryptographiques), Cache (fonctionne comme un service de mise en cache), Observabilité (permet aux administrateurs de visualiser tous les composants du système sur chaque instance) et, enfin, la Console d’entreprise (sert de volet de verre unique pour toutes les instances de MinIO d’une organisation).

La gestion de l’IA à grande échelle devient de plus en plus cruciale. Pouvez-vous expliquer pourquoi c’est le cas et comment MinIO répond à ces exigences pour les infrastructures de données modernes ?

Presque tout ce que les organisations construisent est maintenant sur le stockage d’objets, ce qui ne fera que s’accélérer à mesure que ceux qui exécutent une infrastructure avec un appareil heurtent un mur à l’ère des lacs de données modernes et de l’IA. Les organisations examinent de nouvelles infrastructures pour gérer toutes les données qui entrent dans leur système, puis construisent des applications axées sur les données au-dessus — cela nécessite une échelle et une flexibilité extraordinaires que seul le stockage d’objets peut prendre en charge. C’est là que MinIO intervient et pourquoi l’entreprise a toujours été loin devant la concurrence, car elle est conçue pour répondre à ce dont l’IA a besoin — stocker des volumes massifs de données structurées et non structurées et fournir des performances à grande échelle.

De même que les besoins en apprentissage automatique (ML) des générations précédentes de l’IA, les données et les lacs de données modernes ont été essentiels au succès de toute IA « prédictive ». Cependant, avec l’avancement de l’IA « générative », ce paysage s’est élargi pour inclure de nombreux autres composants, tels que les données d’exploitation IA, les pipelines de documents et les bases de données vectorielles.

Tous ces composants supplémentaires utilisent le stockage d’objets, et la plupart d’entre eux s’intègrent directement à MinIO. Par exemple, Milvus, une base de données vectorielle, utilise MinIO, et de nombreux moteurs de requête modernes s’intègrent à MinIO via les API S3.

La dette technique IA est une préoccupation croissante pour de nombreuses organisations. Quelles stratégies MinIO emploie-t-elle pour aider les clients à éviter ce problème, en particulier en termes d’utilisation plus efficace des GPU ?

Une chaîne n’est forte que si son maillon le plus faible est solide – et votre infrastructure IA/ML n’est forte que si son composant le plus lent est rapide. Si vous formez des modèles d’apprentissage automatique avec des GPU, votre maillon faible peut être votre solution de stockage. Le résultat est ce que j’appelle le « problème de GPU affamé ». Le problème de GPU affamé se produit lorsque votre réseau ou votre solution de stockage ne peut pas servir les données d’entraînement à votre logique d’entraînement suffisamment rapidement pour utiliser pleinement vos GPU, laissant une puissance de calcul précieuse sur la table. Quelque chose que les organisations peuvent faire pour exploiter pleinement leurs GPU est de comprendre d’abord les signes d’une mauvaise architecture de données et comment elle peut directement entraîner une sous-utilisation de la technologie IA. Pour éviter la dette technique, les entreprises doivent changer leur façon de voir (et de stocker) les données.

Les organisations peuvent configurer une solution de stockage qui se trouve dans le même centre de données que leur infrastructure de calcul. Idéalement, ce serait dans le même cluster que votre calcul. Puisque MinIO est une solution de stockage définie par logiciel, elle est capable des performances nécessaires pour nourrir des GPU affamés – un benchmark récent a atteint 325 GiB/s sur GET et 165 GiB/s sur PUT avec seulement 32 nœuds de disques SSD NVMe.

Vous avez une riche expérience dans la création d’infrastructures de données haute performance pour des institutions financières mondiales. Comment ces expériences éclairent-elles votre travail chez MinIO, en particulier dans la conception de solutions pour les besoins diversifiés de l’industrie ?

J’ai aidé à construire le premier cloud privé pour la Bank of America et cette initiative a économisé des milliards de dollars en fournissant des fonctionnalités et des fonctionnalités disponibles dans les clouds publics à l’interne à un coût inférieur. Non seulement cette grande initiative, mais de nombreux autres besoins d’applications diversifiés sur lesquels j’ai travaillé chez BofA Merrill Lynch ont façonné mon travail chez MinIO en ce qui concerne la conception de solutions pour nos clients aujourd’hui.

Par exemple, apprendre à la dure a fonctionné avec l’équipe qui a construit des grappes Hadoop qui n’utilisaient que les composants de stockage de données du serveur tout en gardant les processeurs du serveur sous-utilisés ou presque inactifs. De simples exemples ou apprentissages comme celui-ci m’ont permis d’utiliser des solutions de données et de calcul déconnectées dans l’infrastructure de données moderne d’aujourd’hui, tout en aidant nos clients et partenaires, qui sont techniquement meilleurs et moins coûteux, en utilisant les technologies de réseau à haut débit et les magasins d’objets haute performance comme MinIO et n’importe quel moteur de requête ou de traitement.

Le cloud hybride présente des défis et des complexités uniques. Pouvez-vous en discuter en détail et expliquer comment le modèle de « burst » de MinIO vers le cloud aide à contrôler les coûts du cloud de manière efficace ?

Passer au multicloud ne devrait pas entraîner une explosion des budgets informatiques et une incapacité à atteindre les jalons — cela devrait aider à gérer les coûts et à accélérer la feuille de route d’une organisation. Quelque chose à considérer est la répatriation du cloud — la réalité est que le déplacement des opérations du cloud vers une infrastructure sur site peut entraîner d’importants économies de coûts, selon le cas, et vous devriez toujours considérer le cloud comme un modèle d’exploitation, et non comme une destination. Par exemple, les organisations lancent des instances GPU mais passent ensuite du temps à prétraiter les données pour les faire correspondre aux GPU. Cela gaspille un temps et une argent précieux — les organisations doivent optimiser mieux en choisissant des technologies natives du cloud et, plus important encore, des technologies portables du cloud qui peuvent débloquer le pouvoir du multicloud sans coûts importants. L’utilisation des principes du modèle d’exploitation cloud-first et l’adhésion à ce cadre fournissent l’agilité pour s’adapter aux exigences opérationnelles changeantes.

Les solutions natives Kubernetes sont essentielles pour les infrastructures modernes. Comment l’intégration de MinIO avec Kubernetes améliore-t-elle sa scalabilité et sa flexibilité pour l’infrastructure de données IA ?

MinIO est natif Kubernetes par conception et compatible S3 dès sa création. Les développeurs peuvent déployer rapidement un stockage d’objets persistant pour toutes leurs applications natives du cloud. La combinaison de MinIO et Kubernetes fournit une plate-forme puissante qui permet aux applications de s’étendre sur n’importe quelle infrastructure multicloud et hybride, tout en étant gérée et sécurisée de manière centralisée, en évitant le verrouillage du cloud public.

Avec Kubernetes comme moteur, MinIO peut s’exécuter partout où Kubernetes s’exécute – ce qui, dans le monde moderne, cloud-natif/IA, est essentiellement partout.

En regardant vers l’avenir, quels développements ou améliorations les utilisateurs peuvent-ils attendre de MinIO dans le contexte de l’infrastructure de données IA ?

Nos partenariats et lancements de produits récents sont un signe pour le marché que nous ne ralentissons pas. Nous allons continuer à pousser là où cela a du sens pour nos clients. Par exemple, nous avons récemment conclu un partenariat avec Carahsoft pour rendre le portefeuille de stockage d’objets défini par logiciel de MinIO disponible pour les secteurs du gouvernement, de la défense, du renseignement et de l’éducation. Cela permet aux organisations du secteur public de construire n’importe quelle infrastructure de données à grande échelle, allant des lacs de données modernes étendus aux solutions de stockage de données spécifiques aux missions à la pointe autonome. Ensemble, nous apportons ces solutions uniques et de pointe aux clients du secteur public, leur permettant de résoudre facilement et efficacement les défis d’infrastructure de données. Ce partenariat intervient à un moment où il y a une poussée accrue pour permettre au secteur public d’être prêt pour l’IA, avec les exigences récentes de l’OMB selon lesquelles tous les agences fédérales doivent avoir un directeur IA (entre autres choses). Dans l’ensemble, le partenariat aide à renforcer la posture IA de l’industrie et fournit au secteur public les outils précieux nécessaires pour réussir.

En outre, MinIO est très bien positionné pour l’avenir. L’infrastructure de données IA est encore dans son enfance. De nombreux domaines en seront plus apparents au cours des deux prochaines années. Par exemple, la plupart des entreprises souhaiteront utiliser leurs données et documents propriétaires avec des modèles fondamentaux et une génération augmentée de récupération (RAG). Une intégration plus poussée à ce modèle de déploiement sera facile pour MinIO, car toutes ces choix architecturaux et modèles de déploiement ont une chose en commun – toutes ces données sont déjà stockées sur MinIO.

Enfin, pour les dirigeants technologiques qui souhaitent construire ou améliorer leur infrastructure de données pour l’IA, quels conseils seriez-vous en mesure d’offrir sur la base de votre expérience et de vos connaissances chez MinIO ?

Pour rendre toute initiative IA réussie, il y a trois éléments clés auxquels vous devez vous tenir : avoir les bonnes données, la bonne infrastructure et les bonnes applications. Cela commence vraiment par la compréhension de ce dont vous avez besoin — ne sortez pas et n’achetez pas de GPU coûteux simplement parce que vous avez peur de manquer le bateau de l’IA. Je crois fermement que les stratégies IA d’entreprise échoueront en 2024 si les organisations se concentrent uniquement sur les modèles eux-mêmes et non sur les données. Réfléchir modèle par modèle par rapport aux données est une erreur critique — vous devez commencer par les données. Construisez une infrastructure de données appropriée. Ensuite, réfléchissez à vos modèles. À mesure que les organisations évoluent vers une architecture IA première, il est impératif que votre infrastructure de données permette à vos données de fonctionner – et non les contraintes.

Je vous remercie pour cette grande interview. Les lecteurs qui souhaitent en savoir plus peuvent visiter MinIO.