Включение развертывания искусственного интеллекта в реальном мире в крупном масштабе

Брэд Кинг, технический директор, Scality

Инструменты ИИ/МЛ и больших данных имеют одну общую нить – им нужны данные, и им нужно много данных. Согласно общепринятому мнению, чем больше, тем лучше. Аналитики прогнозируют, что глобальное создание данных вырастет до более 180 зеттабайт к 2025 году – и в 2020 году количество созданных и скопированных данных достигло нового максимума в 64,2 зеттабайта.

Эти данные чрезвычайно ценны – часто незаменимы и иногда представляют собой события, которые происходят только один раз или раз в жизни. Эти данные необходимо хранить безопасно и безопасно; и хотя, по оценкам, только небольшой процент этих новых данных сохраняется, спрос на емкость хранения продолжает расти. Фактически, установленная база емкости хранения, как прогнозируют исследователи из Statista, будет расти с темпом роста 19,2% в год между 2020 и 2025 годами.

С созданием все большего количества данных – особенно такими интенсивными и массивными рабочими нагрузками ИИ/МЛ – организациям нужны большие объемы хранения, но не все решения для хранения могут справиться с такими интенсивными и массивными рабочими нагрузками. Для этого необходим новый подход к хранению. Давайте посмотрим, как организации преодолевают эти проблемы через призму трех случаев использования.

Туриндустрия

Хотя многие из нас только начинают привыкать к путешествиям после более чем годовых локдаунов, туриндустрия стремится вернуться к докризисному уровню в большом масштабе. И это делает важность данных – в частности, соответствующего применения и использования этих данных – еще более важной.

Представьте, что вы могли бы сделать, если бы знали, куда большинство авиапассажиров будут путешествовать завтра или куда они будут путешествовать на следующей неделе. Для туристической компании, например, это было бы огромно.

Но эти туристические организации имеют дело с таким большим количеством данных, что сортировка этих данных, чтобы определить, что является значимым, является подавляющей задачей. Около петабайта данных генерируется каждый день, и некоторые данные дублируются сайтами, такими как Kayak. Эти данные имеют ограниченный срок годности, и туристическим компаниям необходимо быстро обнаружить, какие данные являются значимыми. Им нужен инструмент, чтобы управлять таким уровнем масштаба более эффективно.

Автомобильная промышленность

Другой пример исходит из автомобильной промышленности, которая, безусловно, является одной из наиболее обсуждаемых случаев использования. Промышленность уже давно работает над инструментами помощи, такими как системы поддержания полосы и избегания столкновений. Все эти датчики генерируют огромные объемы данных. И, конечно, они разрабатывают, тестируют и верифицируют алгоритмы самоходных автомобилей.

Что нужно промышленности, так это лучший способ осмыслить эти сохраненные данные, чтобы использовать их для анализа инцидентов, когда что-то пошло не так, создания тестовых случаев, тестирования алгоритмов на датчиках и многое другое. Им нужны тесты QA, чтобы избежать регрессий, и им нужно документировать случаи, когда что-то не получилось.

Цифровая патология

Другой интересный случай использования ИИ/МЛ, который также борется с наводнением данных и необходимостью лучше использовать данные, – это цифровая патология. Как и в других примерах, что им действительно нужно, так это возможность лучше использовать эти данные, чтобы автоматически обнаруживать патологии в тканевых образцах, выполнять удаленную диагностику и многое другое.

Но хранение сегодня ограничивает использование. Изображения с полезным разрешением слишком велики, чтобы хранить их экономически. Однако быстрое хранение объектов позволит использовать новые возможности – такие как банки изображений, которые можно использовать в качестве ключевого ресурса для обучения, и использование пространственных кривых для именования и извлечения изображений с несколькими разрешениями в объектном хранилище. Это также позволяет расширять и гибко标очить метаданные, что делает проще поиск и понимание этой информации.

Рабочие нагрузки ИИ требуют нового подхода

Как мы видели в трех случаях выше, крайне важно иметь возможность агрегировать и оркестрировать огромные объемы данных, связанных с рабочими нагрузками ИИ/МЛ. Наборы данных часто достигают масштаба нескольких петабайт, с требованиями к производительности, которые могут насытить всю инфраструктуру. Когда речь идет о таких крупномасштабных тренировочных и тестовых наборах данных, преодоление проблем хранения (латентности и/или проблем с пропускной способностью) и ограничений емкости является ключевым элементом успеха.

Рабочие нагрузки ИИ/МЛ/ГЛ требуют архитектуры хранения, которая может поддерживать поток данных через конвейер, с отличной сырой производительностью ввода/вывода и возможностью масштабирования емкости. Инфраструктура хранения должна соответствовать все более требовательным требованиям на всех этапах конвейера ИИ/МЛ/ГЛ. Решение заключается в инфраструктуре хранения, специально построенной для скорости и бесконечного масштаба.

Извлечение ценности

Не проходит и недели, чтобы не появлялись истории о потенциале ИИ и МЛ изменить бизнес-процессы и повседневную жизнь. Есть много случаев использования, которые четко демонстрируют преимущества использования этих технологий. Реальность ИИ в корпоративном секторе сегодня – это реальность чрезвычайно больших наборов данных и решений для хранения, которые не могут справиться с этими массивными рабочими нагрузками. Инновации в автомобильной промышленности, здравоохранении и многих других отраслях не могут двигаться вперед, пока проблема хранения не будет решена. Быстрое хранение объектов преодолевает проблему хранения больших данных, чтобы организации могли извлечь ценность из этих данных и двигать свой бизнес вперед.