Choix du stockage pour supporter les initiatives d’IA/ML

Par Candida Valois, Field CTO, Americas, Scality

L’adoption de l’apprentissage automatique et de l’intelligence artificielle continue de croître rapidement, ce qui n’est pas surprenant, étant donné les connaissances commerciales et la transformation de l’industrie que leurs nombreux cas d’utilisation laissent présager. PwC prévoit que d’ici 2030, l’IA pourrait contribuer près de 16 billions de dollars à l’économie mondiale. Cela se traduit par une augmentation de 26 % du PIB pour les économies locales.

Ces technologies nécessitent d’énormes quantités de données non structurées pour fonctionner, et ces données proviennent souvent sous forme de vidéos, d’images, de texte et de voix. Les charges de travail de ces types nécessitent une nouvelle approche du stockage des données ; les anciennes méthodes ne suffisent pas. Avec l’avènement de ces charges de travail, les applications nécessitent un accès plus rapide à d’énormes quantités de données – des données qui sont créées partout : dans le cloud, aux extrémités et sur site. Ces charges de travail intensives nécessitent une faible latence, la capacité de prendre en charge différents types et tailles de charges utiles, et la capacité de scaler linéairement.

Il faut une nouvelle approche de la livraison de données, une approche centrée sur l’application plutôt que sur l’emplacement ou la technologie. Avec l’adoption à grande échelle de l’IA/ML et de l’analyse, les dirigeants des entreprises doivent opérer un changement significatif dans la façon dont ils réfléchissent à la gestion et au stockage des données.

Gestion de toutes les tailles de fichiers

En termes de charges de travail d’IA/ML et de stockage de données, les organisations ont besoin d’une solution qui puisse gérer différents types de charges de travail, tant pour les petits que pour les grands fichiers. Dans certains cas, vous devrez peut-être faire face à seulement quelques dizaines de téraoctets, tandis que dans d’autres, il y aura de nombreux pétaoctets. Toutes les solutions ne sont pas conçues pour les fichiers énormes, tout comme certaines ne peuvent pas gérer les très petits. Le secret est de trouver une solution qui puisse gérer les deux de manière flexible.

La scalabilité est essentielle

Pour assurer l’exactitude et la rapidité, les organisations nécessitent des ensembles de données massifs, car c’est ce dont les algorithmes d’IA/ML ont besoin pour former correctement les modèles sous-jacents. Les organisations veulent augmenter leur capacité et leurs performances, mais sont souvent entravées par les solutions de stockage traditionnelles. Lorsqu’elles tentent de scaler linéairement, elles sont incapables de le faire. Les charges de travail d’IA/ML nécessitent une solution de stockage qui puisse scaler infiniment à mesure que les données augmentent.

Quelques centaines de téraoctets dépassent les capacités des solutions de stockage de fichiers et de blocs standard ; après cela, elles ne peuvent pas scaler. Le stockage d’objets peut scaler sans limites, de manière élastique et transparente en fonction de la demande. Et ce qui est important pour le stockage d’objets par rapport au stockage traditionnel, c’est qu’il s’agit d’un espace complètement plat dans lequel il n’y a pas de limitations. Les utilisateurs ne rencontreront pas les limitations qu’ils trouveraient avec le stockage traditionnel.

Répondre aux exigences de performance

La mise à l’échelle de la capacité est importante, mais ce n’est pas suffisant. Les organisations ont également besoin de la capacité de scaler linéairement en termes de performance. Malheureusement, avec de nombreuses solutions de stockage traditionnelles, la mise à l’échelle de la capacité se fait au détriment de la performance. Lorsqu’une organisation doit scaler linéairement en termes de capacité, la performance a tendance à stagner ou à décliner.

Le paradigme de stockage standard consiste en des fichiers organisés dans une hiérarchie, avec des répertoires et des sous-répertoires. Cette architecture fonctionne très bien lorsque la capacité de données est faible, mais à mesure que la capacité augmente, la performance souffre à un certain point en raison des goulots d’étranglement du système et des limitations des tables de recherche de fichiers. Cependant, le stockage d’objets fournit un espace de noms plat illimité, de sorte que simplement en ajoutant des nœuds supplémentaires, vous pouvez scaler jusqu’à des pétaoctets et au-delà. Pour cette raison, vous pouvez scaler pour la performance tout en scalant pour la capacité.

Stockage pouvant supporter les projets d’IA/ML

Les organisations doivent adopter une nouvelle façon de considérer le stockage à mesure que l’IA et l’apprentissage automatique gagnent en popularité. Cette nouvelle approche doit les habiliter à établir, exécuter et scaler leurs initiatives d’IA/ML de la bonne manière. La formation de l’IA/ML est un besoin clair, donc certains des logiciels de stockage d’objets de niveau entreprise disponibles aujourd’hui sont conçus pour répondre à ce besoin. Les entreprises peuvent commencer leurs initiatives à petite échelle, en commençant par un serveur, puis scaler en fonction des besoins pour la capacité et la performance. Ces projets ont également besoin de performances pour leurs applications d’analyse, et le stockage d’objets rapide les leur fournit. De plus, le stockage d’objets fournit une gestion complète du cycle de vie des données à travers plusieurs nuages et permet une flexibilité de l’extrémité au noyau.

Les entreprises doivent traiter les données de manière efficace, et le stockage d’objets le fait en permettant aux applications d’accéder facilement aux données sur site, même dans plusieurs nuages. Sa faible latence, sa scalabilité et sa flexibilité font du stockage d’objets un allié solide pour les initiatives d’IA/ML.