Выбор хранилища для поддержки инициатив AI/ML

Кандида Валойс, технический директор по работе с клиентами, Америка, Scality

Принятие ML и AI продолжает быстро увеличиваться, что не удивительно, учитывая бизнес-прозрения и трансформацию отрасли, которые предвещают многие варианты использования. PwC прогнозирует, что к 2030 году AI может внести почти 16 триллионов долларов в глобальную экономику. Это соответствует увеличению на 26% ВВП для местных экономик.

Эти технологии требуют огромных объемов неструктурированных данных для работы, и эти данные часто представлены в виде видео, изображений, текста и голоса. Такие рабочие нагрузки требуют нового подхода к хранению данных; старые методы уже не подходят. С появлением таких рабочих нагрузок приложениям необходим быстрый доступ к огромным объемам данных – данным, которые создаются повсюду: в облаке, на краях и на местном уровне. Эти интенсивные рабочие нагрузки требуют низкой задержки, возможности поддерживать разные типы и размеры полезной нагрузки и возможности линейного масштабирования.

Необходим новый подход к доставке данных, который будет ориентирован на приложения, а не на местоположение или технологии. С широким внедрением AI/ML и аналитики лидеры корпоративной ИТ cần существенно изменить свой подход к управлению данными и хранению.

Обработка файлов любого размера

В отношении рабочих нагрузок AI/ML и хранения данных организации нуждаются в решении, которое может обрабатывать разные типы рабочих нагрузок, как небольшие, так и крупные файлы. В некоторых случаях может потребоваться работа с десятками терабайт, а в других – с петабайтами. Не все решения предназначены для работы с огромными файлами, как и не все могут обрабатывать очень маленькие. Секрет в том, чтобы найти решение, которое может гибко обрабатывать оба варианта.

Масштабируемость имеет решающее значение

Для обеспечения точности и скорости организации требуют огромных наборов данных, поскольку именно это необходимо алгоритмам AI/ML для правильной подготовки основных моделей. Организации хотят расти в плане емкости и производительности, но часто сталкиваются с ограничениями традиционных решений для хранения. Когда они пытаются масштабироваться линейно, они не могут этого сделать. Рабочие нагрузки AI/ML требуют решения для хранения, которое может масштабироваться бесконечно по мере роста данных.

Несколько сотен терабайт – это предел стандартных решений для файлового и блочного хранения; после этого они не могут масштабироваться. Хранение объектов может масштабироваться без ограничений, эластично и бесшовно на основе спроса. И что важно в хранении объектов по сравнению с традиционным хранением, так это то, что это полностью плоское пространство, в котором нет ограничений. Пользователи не столкнутся с ограничениями, которые они встретили бы при традиционном хранении.

Соответствие требованиям производительности

Масштабирование емкости важно, но этого недостаточно. Организациям также необходима возможность линейного масштабирования производительности. К сожалению, многие традиционные решения для хранения при масштабировании емкости ухудшают производительность. Итак, когда организации нуждаются в линейном масштабировании емкости, производительность, как правило, достигает плато или снижается.

Стандартная парадигма хранения состоит в том, что файлы организованы в иерархию, с каталогами и подкаталогами. Эта архитектура работает очень хорошо, когда емкость данных небольшая, но по мере роста емкости производительность страдает из-за системных瓶颈ов и ограничений с таблицами поиска файлов. Однако хранение объектов обеспечивает неограниченное плоское пространство имен, поэтому, просто добавляя дополнительные узлы, можно масштабироваться до петабайт и более. По этой причине можно масштабировать производительность при масштабировании емкости.

Хранение, которое может поддерживать проекты AI/ML

Организации должны принять новый подход к хранению по мере роста популярности AI и ML. Этот новый подход должен позволить им правильно создавать, запускать и масштабировать свои инициативы AI/ML. Обучение AI/ML – это явная необходимость, поэтому некоторые из доступных сегодня программных продуктов для хранения объектов уровня предприятия предназначены для удовлетворения этой потребности. Предприятия могут начать свои инициативы в небольшом масштабе, начиная с одного сервера, а затем масштабировать по мере необходимости как для емкости, так и для производительности. Эти проекты также крайне необходимы для производительности своих аналитических приложений, и быстрое хранение объектов обеспечивает ее. Кроме того, хранение объектов обеспечивает полное управление жизненным циклом данных на нескольких облаках и позволяет гибкость от края до ядра.

Предприятиям необходимо обрабатывать данные эффективно, и хранение объектов делает это, позволяя приложениям легко доступ к данным на местном уровне, даже в нескольких облаках. Его низкая задержка, масштабируемость и гибкость делают хранение объектов сильным союзником для инициатив AI/ML.