Повысьте эффективность машинного обучения и искусственного интеллекта с помощью преобразования данных — лидеры мнений

Чем больше разнообразие, скорость и объем данных, которые мы имеем, тем более реальным становится использование прогнозной аналитики и моделирования для прогнозирования роста и определения областей возможностей и улучшений. Однако для получения максимальной отдачи от инструментов отчетности, машинного обучения (МО) и искусственного интеллекта (ИИ) организация должна иметь доступ к данным из многих источников и обеспечивать их высокое качество и надежность. Зачастую это является самым большим препятствием на пути трансформации больших данных в бизнес-стратегию.

Специалисты по данным тратят так много времени на сбор и проверку данных, чтобы подготовить их к использованию, что у них остается мало времени, чтобы сосредоточиться на своей основной цели: анализе данных и извлечении из них ценности для бизнеса. Неудивительно, что 76 % специалистов по данным говорят, что подготовка данных — наименее приятная часть их работы. Кроме того, текущие усилия по подготовке данных, такие как обработка данных и традиционный ETL, требуют ручных усилий со стороны ИТ-специалистов и недостаточны для обработки масштаба и сложности больших данных.

Компании, которые хотят использовать возможности ИИ, должны отказаться от этих утомительных и в основном ручных процессов, которые увеличивают риск результатов «мусор на входе, мусор на выходе». Вместо этого им нужны процессы преобразования данных, которые извлекают необработанные данные из нескольких источников и форматов, объединяют и нормализуют их, а также добавляют ценность с помощью бизнес-логики и метрик, чтобы подготовить их для аналитики. Благодаря сложному преобразованию данных они могут быть уверены, что модели AI/ML основаны на чистых и точных данных, дающих достоверные результаты.

Использование возможностей облака с помощью ELT

Лучшее место для подготовки и преобразования данных сегодня — это облачное хранилище данных (CDW), такое как Amazon Redshift, Google BigQuery, Microsoft Azure Synapse или Snowflake. В то время как традиционные подходы к хранению данных требуют, чтобы данные были извлечены и преобразованы, прежде чем их можно будет загрузить, CDW использует масштабируемость и производительность облака для более быстрого приема и преобразования данных и позволяет извлекать и загружать данные из множества разрозненных источников данных, прежде чем их можно будет загрузить. преобразование его внутри CDW.

В идеале модель ELT изначально перемещает данные в раздел CDW, зарезервированный для необработанных промежуточных данных. Оттуда CDW может использовать свои почти неограниченные вычислительные ресурсы, доступные для интеграции данных и заданий ETL, которые очищают, объединяют, фильтруют и объединяют промежуточные данные. Затем данные можно преобразовать в другую схему — хранилище данных или звездную схему, например, оптимизировав данные для отчетности и аналитики.

Подход ELT также позволяет реплицировать необработанные данные в CDW для последующей подготовки и преобразования по мере необходимости. Это позволяет вам использовать инструменты бизнес-аналитики, которые определяют схему при чтении и производят определенные преобразования по запросу, эффективно позволяя преобразовывать одни и те же данные несколькими способами по мере того, как вы находите для них новые применения.

Ускорение моделей машинного обучения

Эти примеры из реальной жизни показывают, как две компании из разных отраслей используют преобразование данных в CDW для реализации инициатив ИИ.

Небольшое маркетинговое и рекламное агентство создало собственную платформу управления клиентами, чтобы помочь своим клиентам лучше идентифицировать, понимать и мотивировать своих клиентов. Преобразуя данные в CDW, платформа быстро и легко интегрирует данные о клиентах в режиме реального времени по каналам в 360-градусное представление клиентов, которое информирует модели платформы AI/ML для обеспечения более последовательного, своевременного и персонализированного взаимодействия с клиентами.

Глобальная логистическая компания, осуществляющая 100 миллионов доставок 37 миллионам уникальных клиентов в 72 странах, нуждается в огромных объемах данных для обеспечения своих ежедневных операций. Внедрение преобразования данных в CDW позволило компании развернуть 200 моделей машинного обучения за один год. Эти модели делают 500,000 40 прогнозов каждый день, значительно повышая эффективность и обеспечивая превосходное обслуживание клиентов, что позволило сократить количество входящих звонков в колл-центр на XNUMX процентов.

Рекомендации по началу работы

Компании, которые хотят поддержать свои инициативы в области искусственного интеллекта и машинного обучения с помощью преобразования данных в облаке, должны понимать свои конкретные варианты использования и потребности. Начиная с того, что вы хотите делать с вашими данными — снижения затрат на топливо за счет оптимизации маршрутов доставки, увеличения продаж за счет доставки ближайших лучших предложений агентам по обслуживанию клиентов в режиме реального времени и т. д. — вы можете перестроить свои процессы, чтобы вы могли определить, какие данные дадут соответствующие результаты.

Как только вы определите, какие данные нужны вашему проекту AI/ML для построения моделей, вам понадобится облачное решение ELT, которое сделает ваши данные пригодными для использования. Ищите решение, которое:

• Не зависит от поставщика и может работать с вашим текущим стеком технологий

• Достаточно гибок, чтобы масштабироваться вверх и вниз и адаптироваться по мере изменения вашего технологического стека.

• Может обрабатывать сложные преобразования данных из нескольких источников данных

• Предлагает модель ценообразования с оплатой по мере использования, при которой вы платите только за то, что используете.

• Создан специально для предпочитаемого вами CDW, поэтому вы можете в полной мере использовать функции этого CDW для более быстрого выполнения заданий и беспрепятственного преобразования данных.

Решение для преобразования облачных данных, которое соответствует общим знаменателям всех CDW, может обеспечить согласованную работу, но только то решение, которое включает мощные отличительные функции выбранного вами CDW, может обеспечить высокую производительность, которая ускоряет получение информации. Правильное решение позволит вам наполнить ваши проекты ИИ/МО более чистыми и надежными данными из большего количества источников за меньшее время, а также быстрее и надежнее получать результаты, обеспечивающие ранее нереализованную ценность для бизнеса и инновации.