Выбор хранилища для поддержки инициатив ИИ/МЛ

Кандида Валойс, технический директор компании Scality в Америке, Scality

Принятие технологий машинного обучения и искусственного интеллекта продолжает быстро расти, что не удивительно, учитывая бизнес-инсайты и трансформацию отрасли, которые обещают многие случаи их применения. По прогнозам PwC, к 2030 году ИИ может внести почти 16 триллионов долларов в глобальную экономику. Это означает увеличение ВВП местных экономик на 26%.

Эти технологии требуют огромных объемов неструктурированных данных для работы, и эти данные часто представлены в виде видео, изображений, текста и голоса. Такие рабочие нагрузки требуют нового подхода к хранению данных; старые методы больше не подходят. С появлением таких рабочих нагрузок приложениям необходим быстрый доступ к огромным объемам данных – данным, которые создаются повсюду: в облаке, на краях и на месте. Эти интенсивные рабочие нагрузки требуют низкой задержки, возможности поддерживать разные типы и размеры полезных нагрузок, а также способности масштабироваться линейно.

Необходим свежий подход к доставке данных, который будет ориентирован на приложения, а не на местоположение или технологии. С широким внедрением ИИ/МЛ и аналитики лидеры предприятий cần значительный сдвиг в своем мышлении о управлении данными и хранении.

Обработка файлов любого размера

В отношении рабочих нагрузок ИИ/МЛ и хранения данных организации нуждаются в решении, которое может обрабатывать разные типы рабочих нагрузок, как небольшие, так и большие файлы. В некоторых случаях вам, возможно, придется иметь дело только с десятками терабайт, а в других – с множеством петабайт. Не все решения предназначены для работы с огромными файлами, как и не все могут справиться с очень небольшими. Секрет в том, чтобы найти решение, которое может справиться с обоими в гибкой манере.

Масштабируемость имеет решающее значение

Чтобы обеспечить точность и скорость, организации требуют огромных наборов данных, поскольку именно это нужно алгоритмам ИИ/МЛ для правильной тренировки основных моделей. Организации хотят расти в плане емкости и производительности, но часто сталкиваются с традиционными решениями хранения. Когда они пытаются масштабироваться линейно, они не могут этого сделать. Рабочие нагрузки ИИ/МЛ требуют решения для хранения, которое может масштабироваться бесконечно по мере роста данных.

Несколько сотен терабайт максимально используют стандартные решения хранения файлов и блоков; после этого они не могут масштабироваться. Хранение объектов может масштабироваться безгранично, эластично и без проблем на основе спроса. И что важно в хранении объектов по сравнению с традиционным хранением, так это то, что это полностью плоское пространство, в котором нет ограничений. Пользователи не столкнутся с ограничениями, которые они найдут в традиционном хранении.

Соответствие требованиям производительности

Масштабирование емкости важно, но этого недостаточно. Организациям также необходимо иметь возможность масштабироваться линейно в плане производительности. К сожалению, многие традиционные решения хранения не могут обеспечить это. Когда организациям необходимо масштабироваться линейно в плане емкости, производительность, как правило, достигает плато или снижается.

Стандартная парадигма хранения состоит в том, что файлы организованы в иерархию, с каталогами и подкаталогами. Эта архитектура работает довольно хорошо, когда емкость данных небольшая, но по мере роста емкости производительность начинает страдать из-за системных узких мест и ограничений таблиц поиска файлов. Однако хранение объектов обеспечивает неограниченное плоское пространство имен, поэтому, просто добавляя дополнительные узлы, можно масштабироваться до петабайт и более. По этой причине можно масштабироваться как для емкости, так и для производительности.

Хранение, которое может поддержать проекты ИИ/МЛ

Организациям необходимо принять новый подход к хранению с ростом популярности ИИ и МЛ. Этот новый подход должен позволить им правильно создавать, запускать и масштабировать свои инициативы ИИ/МЛ. Тренировка ИИ/МЛ – это明确ная потребность, поэтому некоторые из современного программного обеспечения для хранения объектов предназначены для удовлетворения этой потребности. Предприятия могут начать свои инициативы с небольшой масштабности, начиная с одного сервера, а затем масштабироваться по мере необходимости как для емкости, так и для производительности. Эти проекты также критически требуют производительности для своих аналитических приложений, и быстрое хранение объектов обеспечивает ее. Кроме того, хранение объектов обеспечивает полное управление жизненным циклом данных в нескольких облаках и позволяет гибко работать от края до ядра.

Предприятиям необходимо обрабатывать данные эффективно, и хранение объектов делает это, позволяя приложениям легко доступаться к данным на месте, даже в нескольких облаках. Его низкая задержка, масштабируемость и гибкость делают хранение объектов сильным союзником для инициатив ИИ/МЛ.