Auswahl von Speicherlösungen zur Unterstützung von AI/ML-Initiativen

Von Candida Valois, Field CTO, Americas, Scality

Die Adoption von ML und AI nimmt schnell zu, was nicht überraschend ist, wenn man die Geschäftserkenntnisse und die Branchentransformation berücksichtigt, die ihre vielen Anwendungsfälle versprechen. PwC prognostiziert, dass AI bis 2030 fast 16 Billionen Dollar zur globalen Wirtschaft beitragen könnte. Das entspricht einer Steigerung des BIP um 26% für lokale Volkswirtschaften.

Diese Technologien erfordern enorme Mengen an unstrukturierten Daten, um zu funktionieren, und diese Daten kommen oft in Form von Videos, Bildern, Texten und Sprache. Workloads dieser Art erfordern einen neuen Ansatz für die Datenspeicherung; die alten Methoden reichen nicht aus. Mit der Einführung solcher Workloads benötigen Anwendungen einen schnelleren Zugriff auf enorme Mengen an Daten – Daten, die überall erstellt werden: in der Cloud, an den Rändern und vor Ort. Diese intensiven Workloads erfordern eine geringe Latenz, die Fähigkeit, verschiedene Arten und Größen von Payloads zu unterstützen, und die Fähigkeit, linear zu skalieren.

Was benötigt wird, ist ein neuer Ansatz für die Datenbereitstellung, der anwendungszentriert und nicht orts- oder technologiezentriert ist. Mit der großflächigen Adoption von AI/ML und Analytics benötigen Unternehmens-IT-Führungskräfte einen wesentlichen Wandel in der Art und Weise, wie sie über Datenmanagement und -speicherung nachdenken.

Umgang mit allen Dateigrößen

In Bezug auf AI/ML-Workloads und Datenspeicherung benötigen Organisationen eine Lösung, die verschiedene Arten von Workloads, sowohl kleine als auch große Dateien, verarbeiten kann. In einigen Fällen müssen Sie möglicherweise nur mit einigen zehn Terabyte umgehen, während in anderen Fällen viele Petabyte vorhanden sind. Nicht alle Lösungen sind für große Dateien gedacht, genauso wie nicht alle kleine Dateien verarbeiten können. Der Trick besteht darin, eine Lösung zu finden, die beide flexibel verarbeiten kann.

Skalierbarkeit ist entscheidend

Um Genauigkeit und Geschwindigkeit zu gewährleisten, benötigen Organisationen enorme Datensätze, da dies das ist, was AI/ML-Algorithmen benötigen, um die zugrunde liegenden Modelle ordnungsgemäß zu trainieren. Organisationen möchten in Bezug auf Kapazität und Leistung wachsen, werden aber oft durch traditionelle Speicherlösungen behindert. Wenn sie versuchen, linear zu skalieren, können sie es nicht. AI/ML-Workloads erfordern eine Speicherlösung, die sich unbegrenzt skalieren lässt, wenn die Daten wachsen.

Einige hundert Terabyte reichen aus, um Standard-Datei- und Blockspeicherlösungen auszureizen; danach können sie nicht mehr skalieren. Objektspeicher kann unbegrenzt, elastisch und nahtlos basierend auf der Nachfrage skalieren. Und was wichtig ist bei Objektspeicher im Vergleich zu traditionellem Speicher, ist, dass es ein völlig flaches Speichermedium ist, in dem es keine Einschränkungen gibt. Benutzer werden nicht auf die Einschränkungen stoßen, die sie bei traditionellem Speicher finden würden.

Erfüllung der Leistungsanforderungen

Kapazitätsskalierung ist wichtig, aber nicht ausreichend. Organisationen benötigen auch die Fähigkeit, linear in Bezug auf Leistung zu skalieren. Leider führt die Kapazitätsskalierung bei vielen traditionellen Speicherlösungen auf Kosten der Leistung zu. Wenn also eine Organisation linear in Bezug auf Kapazität skalieren muss, neigt die Leistung dazu, zu plateauieren oder abzunehmen.

Das Standard-Speicherparadigma besteht aus Dateien, die in einer Hierarchie organisiert sind, mit Verzeichnissen und Unterverzeichnissen. Diese Architektur funktioniert sehr gut, wenn die Datenspeicherung klein ist, aber wenn die Kapazität wächst, leidet die Leistung an einem bestimmten Punkt aufgrund von Systemengpässen und Einschränkungen bei der Dateisuche. Objektspeicher hingegen bietet einen unbegrenzten flachen Namensraum, so dass Sie durch das Hinzufügen zusätzlicher Knoten auf Petabyte und darüber hinaus skalieren können. Aus diesem Grund können Sie für Leistung skalieren, während Sie für Kapazität skalieren.

Speicher, der AI/ML-Projekte unterstützen kann

Organisationen müssen einen neuen Ansatz für die Speicherung entwickeln, wenn AI und ML an Popularität gewinnen. Dieser neue Ansatz muss es ihnen ermöglichen, ihre AI/ML-Initiativen auf die richtige Weise zu etablieren, auszuführen und zu skalieren. AI/ML-Training ist ein klarer Bedarf, daher ist einige der heute verfügbaren unternehmensweiten Objektspeicher-Software darauf ausgelegt, diesen Bedarf zu erfüllen. Unternehmen können ihre Initiativen auf einer kleinen Skala beginnen, mit einem Server, und dann wie benötigt für Kapazität und Leistung skalieren. Diese Projekte benötigen auch entscheidend Leistung für ihre Analyseanwendungen, und schneller Objektspeicher liefert sie. Darüber hinaus bietet Objektspeicher eine vollständige Datenlebenszyklusverwaltung über mehrere Clouds hinweg und ermöglicht Flexibilität von der Edge bis zum Core.

Unternehmen müssen Daten effizient verarbeiten, und Objektspeicher ermöglicht dies, indem er Anwendungen den einfachen Zugriff auf Daten vor Ort ermöglicht, sogar in mehreren Clouds. Seine geringe Latenz, Skalierbarkeit und Flexibilität machen Objektspeicher zu einem starken Verbündeten für AI/ML-Initiativen.