Включение развертывания ИИ в реальном мире в крупном масштабе

Брэд Кинг, технический директор, Scality

Инструменты ИИ/МЛ и больших данных имеют общую нить – им нужны данные, и им нужно много данных. Обычная мудрость говорит, что чем больше, тем лучше. Аналитики предсказывают, что глобальное создание данных вырастет до более 180 зеттабайт к 2025 году – и в 2020 году количество созданных и скопированных данных достигло нового максимума в 64,2 зеттабайта.

Эти данные чрезвычайно ценны – часто незаменимы и иногда представляют собой одноразовые или разовые события. Эти данные необходимо хранить безопасно и безопасно; и хотя, по оценкам, только небольшой процент этих новых данных сохраняется, спрос на емкость хранения продолжает расти. Фактически, установленная база емкости хранения, по прогнозам исследователей Statista, будет расти с темпом роста 19,2% в год между 2020 и 2025 годами.

С увеличением создания данных – особенно этими рабочими нагрузками ИИ/МЛ – организациям нужно больше места для хранения, но не все решения для хранения могут справиться с этими интенсивными и массивными рабочими нагрузками. Что необходимо, так это новый подход к хранению. Давайте посмотрим, как организации преодолевают эти проблемы через призму трех случаев использования.

Туриндустрия

Хотя многие из нас только привыкают к путешествиям после более чем года локдаунов, туриндустрия стремится вернуться к доковидному уровню в значительной степени. И это делает важность данных – в частности, соответствующего применения и использования этих данных – еще более важной.

Представьте, что вы могли бы сделать с знанием того, куда большинство авиапассажиров будут путешествовать завтра или где они будут путешествовать завтра. Для туристического агентства, например, это было бы огромно.

Но эти туристические организации имеют дело с таким количеством данных, что сортировка через них, чтобы понять, что является значимым, является подавляющей перспективой. Около петабайта данных генерируется каждый день, и некоторые из этих данных дублируются сайтами, такими как Kayak. Эти данные являются чувствительными к времени, и туристическим компаниям необходимо быстро обнаружить, какие данные являются значимыми. Им нужен инструмент, чтобы управлять этим уровнем масштаба более эффективно.

Автомобильная промышленность

Другой пример исходит из автомобильной промышленности, которая, безусловно, является одной из наиболее обсуждаемых случаев использования. Промышленность уже давно работает над инструментами помощи, такими как системы поддержания полосы, предотвращения столкновений и т. д. Все эти датчики приносят огромное количество данных. И, конечно, они разрабатывают, тестируют и проверяют алгоритмы самоходных транспортных средств.

Промышленности нужен лучший способ сделать смысл из этих хранимых данных, чтобы они могли использовать их для анализа инцидентов, когда что-то пошло не так, курирования выходных данных датчиков в качестве тестового случая, тестирования алгоритмов против данных датчиков и т. д. Им нужны тесты QA, чтобы избежать регрессий, и им нужно документировать случаи, когда что-то не получается.

Цифровая патология

Другой интересный случай использования ИИ/МЛ, который также борется с наводнением данных и необходимостью лучше использовать данные, является цифровая патология. Как и в других примерах, что им действительно нужно, так это возможность лучше использовать эти данные, чтобы они могли делать такие вещи, как автоматическое обнаружение патологий в тканевых образцах, удаленную диагностику и т. д.

Но хранение сегодня ограничивает использование. Изображения с полезным разрешением слишком велики, чтобы хранить их экономически. Однако быстрое объектное хранение позволит использовать новые возможности – такие как банки изображений, которые можно использовать в качестве ключевого ресурса для обучения, и использование кривых, заполняющих пространство, для именования/хранения и извлечения многоразрешающих изображений в объектном хранилище. Это также позволяет расширять и гибко тегировать метаданные, что делает легче поиск и понимание этой информации.

Рабочие нагрузки ИИ требуют нового подхода

Как мы видели в трех случаях выше, крайне важно能够 агрегировать и оркестрировать огромные объемы данных, связанных с рабочими нагрузками ИИ/МЛ. Наборы данных часто достигают масштаба нескольких петабайт, с требованиями к производительности, которые могут насытить всю инфраструктуру. Когда речь идет о таких крупномасштабных обучающих и тестовых наборах данных, преодоление проблем хранения (латентности и/или проблем с пропускной способностью) и ограничений/барьеров емкости является ключевым элементом для успеха.

Рабочие нагрузки ИИ/МЛ/ГЛ требуют архитектуры хранения, которая может поддерживать поток данных через конвейер, с отличной сырой производительностью ввода/вывода и возможностью масштабирования емкости. Инфраструктура хранения должна идти в ногу с все более требовательными требованиями на всех этапах конвейера ИИ/МЛ/ГЛ. Решение заключается в инфраструктуре хранения, специально построенной для скорости и безграничного масштаба.

Извлечение ценности

Не проходит и недели, чтобы не появлялись истории о потенциале ИИ и МЛ изменить бизнес-процессы и повседневную жизнь. Есть много случаев использования, которые четко демонстрируют выгоды от использования этих технологий. Реальность ИИ в современном предприятии, однако, является реальностью чрезвычайно больших наборов данных и решений для хранения, которые не могут справиться с этими массивными рабочими нагрузками. Инновации в автомобильной промышленности, здравоохранении и многих других отраслях не могут двигаться вперед, пока проблема хранения не будет решена. Быстрое объектное хранение преодолевает проблему сохранения больших данных, чтобы организации могли извлечь ценность из этих данных и двигать свое дело вперед.