Ermöglichung von Real-World-AI-Deployments im großen Maßstab

Von Brad King, Field CTO, Scality

Die Werkzeuge von KI/ML und Big Data haben einen gemeinsamen Faden – sie benötigen Daten und sie benötigen viele davon. Die gängige Meinung besagt, dass mehr immer besser ist. Analysten prognostizieren, dass die globale Datenerstellung bis 2025 auf mehr als 180 Zettabyte anwachsen wird – und im Jahr 2020 erreichte die Menge an erstellten und replizierten Daten einen neuen Höchststand von 64,2 Zettabytes.

Diese Daten sind extrem wertvoll – oft unersetzlich und manchmal repräsentieren sie einmalige oder einmalige Ereignisse. Diese Daten müssen sicher und sicher gespeichert werden; und obwohl geschätzt wird, dass nur ein kleiner Prozentsatz dieser neu erstellten Daten aufbewahrt wird, wächst die Nachfrage nach Speicherkapazität weiter. Tatsächlich wird die installierte Basis der Speicherkapazität zwischen 2020 und 2025 mit einer jährlichen Wachstumsrate von 19,2 % anwachsen, laut Forschern von Statista.

Mit der Erstellung immer mehr Daten – insbesondere durch diese KI/ML-Workloads – benötigen Unternehmen mehr Speicher, aber nicht alle Speicherlösungen können diese intensiven und massiven Workloads bewältigen. Was benötigt wird, ist ein neuer Ansatz für den Speicher. Lassen Sie uns sehen, wie Unternehmen diese Herausforderungen durch die Linse von drei Use-Cases überwinden.

Die Reiseindustrie

Während viele von uns gerade erst wieder anfangen zu reisen, nach mehr als einem Jahr der Lockdowns, will die Reiseindustrie auf große Weise zu den Zeiten vor der Pandemie zurückkehren. Und dies macht die Bedeutung von Daten – insbesondere die relevante Anwendung und Verwendung dieser Daten – noch wichtiger.

Stellen Sie sich vor, was Sie mit dem Wissen über den Großteil der Weltreisenden tun könnten, die morgen oder übermorgen reisen werden. Für eine Reiseagentur wäre das beispielsweise enorm.

Aber diese Reiseunternehmen haben es mit so vielen Daten zu tun, dass es überwältigend ist, herauszufinden, was bedeutungsvoll ist. Etwa ein Petabyte an Daten wird täglich generiert, und einige der Daten werden von Seiten wie Kayak dupliziert. Diese Daten sind zeitkritisch, und Reiseunternehmen müssen schnell herausfinden, welche Daten bedeutungsvoll sind. Sie benötigen ein Werkzeug, um diese Menge an Daten effektiver verwalten zu können.

Die Automobilindustrie

Ein weiteres Beispiel kommt aus der Automobilindustrie, die sicherlich zu den meistdiskutierten Use-Cases gehört. Die Branche arbeitet bereits seit Langem an Hilfswerkzeugen wie Spurhalter, Kollisionsvermeidung und ähnlichem. All diese Sensoren liefern große Mengen an Daten. Und natürlich entwickeln, testen und verifizieren sie selbstfahrende Algorithmen.

Was die Branche benötigt, ist eine bessere Möglichkeit, diese gespeicherten Daten zu nutzen, um sie für die Analyse von Vorfällen zu verwenden, bei denen etwas schiefgelaufen ist, um Sensorausgaben als Testfall zu kuratieren, um Algorithmen gegen Sensordaten zu testen und mehr. Sie benötigen QA-Tests, um Regressionsfehler zu vermeiden, und sie müssen Fälle dokumentieren, die fehlschlagen.

Digitale Pathologie

Ein weiterer interessanter Use-Case für KI/ML, der auch mit dem Datenüberfluss und der Notwendigkeit, besser von Daten Gebrauch zu machen, zu kämpfen hat, ist die digitale Pathologie. Genau wie in den anderen Beispielen benötigen sie die Fähigkeit, besser von diesen Daten Gebrauch zu machen, um Dinge wie das automatische Erkennen von Pathologien in Gewebeproben, die Durchführung von Ferndiagnosen und so weiter zu tun.

Aber der Speicher ist heute limitierend. Bilder mit nützlicher Auflösung sind zu groß, um sie wirtschaftlich zu speichern. Allerdings wird der schnelle Objektspeicher neue Fähigkeiten ermöglichen – wie Bildbanken, die als wichtige Trainingsressource verwendet werden können, und die Verwendung von Raumfüllkurven, um multiresolutionale Bilder in einem Objektspeicher zu benennen und abzurufen. Er ermöglicht auch erweiterbare und flexible Metadatentagging, was es einfacher macht, nach diesen Informationen zu suchen und sie zu verstehen.

KI-Workloads erfordern einen neuen Ansatz

Wie wir in den drei oben genannten Fällen gesehen haben, ist es entscheidend, riesige Mengen an Daten im Zusammenhang mit KI/ML-Workloads aggregieren und orchestrieren zu können. Datensätze erreichen oft eine Größe von mehreren Petabytes, mit Leistungsanforderungen, die die gesamte Infrastruktur überlasten könnten. Wenn man mit solchen großen Trainings- und Testdatensätzen zu tun hat, sind die Überwindung von Speicherengpässen (Latenz- und/oder Durchsatzprobleme) und Kapazitätsbegrenzungen/Barrieren Schlüsselelemente für den Erfolg.

KI/ML/DL-Workloads erfordern eine Speicherarchitektur, die die Daten durch die Pipeline fließen lassen kann, mit sowohl hervorragender Rohleistung als auch Kapazitätsskalierfähigkeit. Die Speicherinfrastruktur muss mit den immer anspruchsvolleren Anforderungen auf allen Stufen der KI/ML/DL-Pipeline Schritt halten. Die Lösung ist eine Speicherinfrastruktur, die speziell für Geschwindigkeit und unbegrenztes Wachstum entwickelt wurde.

Wert extrahieren

Keine Woche vergeht, ohne dass es Geschichten über das Potenzial von KI und ML gibt, um Geschäftsprozesse und das tägliche Leben zu verändern. Es gibt viele Use-Cases, die die Vorteile der Verwendung dieser Technologien klar demonstrieren. Die Realität von KI im Unternehmen heute ist jedoch eine der überwältigend großen Datensätze und Speicherlösungen, die diese massiven Workloads nicht bewältigen können. Innovationen in der Automobilindustrie, im Gesundheitswesen und in vielen anderen Branchen können nicht voranschreiten, bis das Speicherproblem gelöst ist. Der schnelle Objektspeicher überwindet die Herausforderung, Big Data zu speichern, sodass Unternehmen den Wert aus diesen Daten extrahieren können, um ihre Geschäfte voranzutreiben.