Activer les déploiements d’IA dans le monde réel à grande échelle

Par Brad King, field CTO, Scality

Les outils d’IA/ML et de données massives ont un fil conducteur commun – ils ont besoin de données, et ils en ont besoin en grande quantité. La sagesse conventionnelle dit que plus il y a de données, mieux c’est. Les analystes prévoient que la création de données mondiales atteindra plus de 180 zettaoctets d’ici 2025 – et en 2020, la quantité de données créées et reproduites a atteint un nouveau sommet de 64,2 zettaoctets.

Ces données sont extrêmement précieuses – souvent irremplaçables et parfois représentant des événements uniques ou qui ne se reproduisent qu’une fois. Ces données doivent être stockées en toute sécurité ; et même si l’on estime que seul un petit pourcentage de ces nouvelles données est conservé, la demande de capacité de stockage continue de croître. En fait, la base installée de capacité de stockage devrait croître à un taux de croissance annuel composé de 19,2 % entre 2020 et 2025, selon les chercheurs de Statista.

Avec la création de plus de données – en particulier par ces charges de travail d’IA/ML – les organisations ont besoin de plus de stockage, mais pas toutes les solutions de stockage peuvent gérer ces charges de travail intensives et massives. Ce qui est nécessaire, c’est une nouvelle approche du stockage. Voyons comment les organisations surmontent ces défis à travers le prisme de trois cas d’utilisation.

L’industrie du voyage

Alors que beaucoup d’entre nous ne font que commencer à voyager à nouveau après plus d’un an de confinement, l’industrie du voyage cherche à retrouver son niveau d’avant la pandémie de manière importante. Et cela rend l’importance des données – en particulier, l’application et l’utilisation pertinentes de ces données – encore plus cruciale.

Imaginez ce que vous pourriez faire avec la connaissance de l’endroit où la majorité des voyageurs aériens du monde vont voyager demain ou où ils vont voyager la semaine prochaine. Pour une agence de voyage, par exemple, cela serait énorme.

Mais ces organisations de voyage sont confrontées à tellement de données que trier celles-ci pour déterminer ce qui est significatif est une perspective accablante. Environ un pétaoctet de données est généré chaque jour, et certaines de ces données sont dupliquées par des sites comme Kayak. Ces données sont sensibles au temps, et les entreprises de voyage doivent rapidement découvrir lesquelles sont significatives. Elles ont besoin d’un outil pour gérer ce niveau d’échelle de manière plus efficace.

L’industrie automobile

Un autre exemple vient de l’industrie automobile, qui est certainement l’un des cas d’utilisation les plus discutés. L’industrie travaille dur depuis longtemps sur des outils d’assistance tels que les systèmes de maintien de voie, d’évitement de collision, etc. Tous ces capteurs génèrent d’énormes quantités de données. Et, bien sûr, ils développent, testent et vérifient des algorithmes de conduite autonome.

Ce dont l’industrie a besoin, c’est d’une meilleure façon de donner un sens à ces données stockées afin de pouvoir les utiliser pour analyser les incidents où quelque chose a mal tourné, sélectionner les sorties de capteurs en tant que cas de test, tester des algorithmes contre des données de capteurs, etc. Ils ont besoin de tests de qualité pour éviter les régressions, et ils ont besoin de documenter les cas qui échouent.

La pathologie numérique

Un autre cas d’utilisation intéressant pour l’IA/ML qui lutte également contre le déluge de données et le besoin de mieux utiliser les données est la pathologie numérique. Comme les autres exemples, ce dont ils ont vraiment besoin, c’est la capacité de mieux utiliser ces données pour faire des choses comme détecter automatiquement les pathologies dans les échantillons de tissus, effectuer des diagnostics à distance, etc.

Mais le stockage actuel limite l’utilisation. Les images avec une résolution utile sont trop grandes pour être stockées de manière économique. Cependant, le stockage d’objets rapide permettra de nouvelles capacités – comme des banques d’images qui peuvent être utilisées comme ressource de formation clé et l’utilisation de courbes de remplissage d’espace pour nommer et stocker des images multirésolution dans un magasin d’objets. Cela permet également une balise de métadonnées extensible et flexible, ce qui facilite la recherche et la compréhension de ces informations.

Les charges de travail d’IA nécessitent une nouvelle approche

Comme nous l’avons vu dans les trois cas ci-dessus, il est crucial de pouvoir agréger et orchestrer d’énormes quantités de données liées aux charges de travail d’IA/ML. Les ensembles de données atteignent souvent une échelle de plusieurs pétaoctets, avec des exigences de performances qui pourraient saturer l’ensemble de l’infrastructure. Lorsque l’on traite de telles grandes quantités de données de formation et de test, surmonter les goulets d’étranglement de stockage (problèmes de latence et/ou de débit) et les limitations de capacité/barrières sont des éléments clés pour le succès.

Les charges de travail d’IA/ML/DL nécessitent une architecture de stockage qui puisse maintenir le flux de données à travers le pipeline, avec une excellente performance brute et une capacité d’évolutivité. L’infrastructure de stockage doit suivre les exigences de plus en plus exigeantes à toutes les étapes du pipeline d’IA/ML/DL. La solution est une infrastructure de stockage spécifiquement conçue pour la vitesse et l’évolutivité illimitée.

Extraire de la valeur

Il ne passe pas une semaine sans que des histoires soient racontées sur le potentiel de l’IA et du ML pour changer les processus commerciaux et la vie quotidienne. Il existe de nombreux cas d’utilisation qui démontrent clairement les avantages de l’utilisation de ces technologies. La réalité de l’IA dans l’entreprise aujourd’hui, cependant, est celle de jeux de données énormes et de solutions de stockage qui ne peuvent pas gérer ces charges de travail massives. Les innovations dans les voitures, les soins de santé et de nombreuses autres industries ne peuvent pas aller de l’avant tant que le problème de stockage n’est pas résolu. Le stockage d’objets rapide surmonte le défi de conserver les grandes données afin que les organisations puissent extraire la valeur de ces données pour faire progresser leurs entreprises.