Раскройте потенциал своих усилий в области ML и AI с помощью трансформации данных – лидеры мнений

Чем больше разнообразия, скорости и объема данных мы имеем, тем более осуществимым становится использование прогностической аналитики и моделирования для прогнозирования роста и выявления областей возможностей и улучшений. Однако для получения максимальной пользы от инструментов отчетности, машинного обучения (ML) и искусственного интеллекта (AI) организация должна иметь доступ к данным из многих источников и обеспечить, чтобы данные были высококачественными и заслуживающими доверия. Это часто является самым большим барьером на пути к преобразованию больших данных в бизнес-стратегию.

Профессионалы в области данных тратят так много времени на сбор и проверку данных, чтобы подготовить их к использованию, что у них остается мало времени, чтобы сосредоточиться на своей основной цели: анализе данных и получении бизнес-ценности из них. Неудивительно, что 76 процентов специалистов по данным говорят, что подготовка данных является наименее приятной частью их работы. Кроме того, текущие усилия по подготовке данных, такие как обработка данных и традиционный ETL, требуют ручного труда от специалистов IT и не достаточно эффективны для обработки масштаба и сложности больших данных.

Компании, которые хотят использовать силу AI, должны отказаться от этих утомительных и в основном ручных процессов, которые увеличивают риск получения результатов “мусор на входе, мусор на выходе”. Вместо этого им необходимы процессы трансформации данных, которые извлекают сырые данные из нескольких источников и форматов, объединяют и нормализуют их, и добавляют ценность с помощью бизнес-логики и метрик, чтобы сделать их готовыми для аналитики. С помощью сложной трансформации данных они могут быть уверены, что модели ML/AI основаны на чистых, точных данных, которые обеспечивают достоверные результаты.

Использование потенциала облака с помощью ELT

Лучшее место для подготовки и трансформации данных сегодня – это облачный хранилище данных (CDW), такое как Amazon (AMZN ) Redshift, Google (GOOGL ) BigQuery, Microsoft Azure Synapse или Snowflake. Хотя традиционные подходы к хранению данных требуют, чтобы данные были извлечены и преобразованы до того, как они могут быть загружены, CDW использует масштабируемость и производительность облака для более быстрой загрузки и трансформации данных и позволяет извлечь и загрузить данные из многих различных источников данных до их преобразования внутри CDW.

Идеально, модель ELT изначально перемещает данные в раздел CDW, зарезервированный для сырых данных. Оттуда CDW может использовать свои практически неограниченные вычислительные ресурсы, доступные для задач интеграции данных и ETL, которые очищают, агрегируют, фильтруют и объединяют этапированные данные. Данные могут затем быть преобразованы в другую схему – хранилище данных или схему Star, например, оптимизируя данные для отчетности и аналитики.

Подход ELT также позволяет реплицировать сырые данные внутри CDW для последующей подготовки и трансформации, когда и по мере необходимости. Это позволяет использовать инструменты бизнес-интеллекта, которые определяют схему на чтение и производят конкретные трансформации по требованию, эффективно позволяя трансформировать одни и те же данные несколькими способами, когда вы обнаруживаете новые способы их использования.

Ускорение моделей машинного обучения

Эти реальные примеры показывают, как две компании из разных отраслей используют трансформацию данных в CDW для стимулирования инициатив AI.

Бутик-агентство по маркетингу и рекламе создало проприетарную платформу управления клиентами, чтобы помочь своим клиентам лучше определить, понять и мотивировать своих клиентов. Преобразуя данные в CDW, платформа быстро и легко интегрирует данные клиентов в режиме реального времени из различных каналов в 360-градусный обзор клиента, который информирует модели AI/ML платформы для того, чтобы сделать взаимодействия с клиентами более последовательными, своевременными и персонализированными.

Глобальная логистическая компания, осуществляющая 100 миллионов доставок 37 миллионам уникальных клиентов в 72 странах, нуждается в огромных объемах данных для обеспечения своей повседневной деятельности. Приняв трансформацию данных в CDW, компания смогла развернуть 200 моделей машинного обучения за один год. Эти модели делают 500 000 прогнозов каждый день, значительно улучшая эффективность и обеспечивая превосходный сервис клиентов, который снизил входящие звонки в контакт-центр на 40 процентов.

Лучшие практики для начала работы

Компании, которые хотят поддержать свои инициативы AI/ML с помощью силы трансформации данных в облаке, должны понять свои конкретные случаи использования и потребности. Начиная с того, что вы хотите сделать с вашими данными – снизить затраты на топливо, оптимизировав маршруты доставки, повысить продажи, предоставляя лучшие предложения агентам службы поддержки клиентов в режиме реального времени и т. д. – позволяет вам обратить процесс и определить, какие данные будут давать релевантные результаты.

Как только вы определите, какие данные вашему проекту AI/ML необходимо для построения моделей, вам понадобится облачное решение ELT, которое сделает ваши данные пригодными для использования. Ищите решение, которое:

• Является независимым от поставщика и способным работать с вашим текущим технологическим стеком

• Является достаточно гибким, чтобы масштабироваться вверх и вниз и адаптироваться, когда меняется ваш технологический стек

• Может обрабатывать сложные трансформации данных из нескольких источников данных

• Предлагает модель оплаты по мере использования, при которой вы платите только за то, что используете

• Создано специально для вашего предпочитаемого CDW, чтобы вы могли полностью использовать его возможности для запуска заданий быстрее и трансформации данных без проблем.

Облачное решение трансформации данных, которое ориентировано на общие знаменатели всех CDW, может обеспечить последовательный опыт, но только то, которое позволяет использовать мощные дифференцирующие функции вашего выбранного CDW, может обеспечить высокую производительность, которая ускоряет время получения информации. Правильное решение позволит вам обеспечить свои проекты AI/ML более чистыми, заслуживающими доверия данными из более источников за меньшее время – и генерировать более быстрые, надежные результаты, которые стимулируют ранее неосознанные бизнес-ценности и инновации.