Підсилюйте свої зусилля в ML і AI за допомогою перетворення даних – лідери думок

Чим більша різноманітність, швидкість і обсяг даних, які ми маємо, тим більш доцільним стає використання прогнозної аналітики та моделювання для прогнозування зростання та визначення областей можливостей і покращень. Однак для отримання найбільшої користі від інструментів звітності, машинного навчання (ML) і штучного інтелекту (AI) організація має мати доступ до даних із багатьох джерел і гарантувати, що дані є високоякісними та надійними. Часто це є найбільшою перешкодою для перетворення великих даних у бізнес-стратегію.

Фахівці з обробки даних витрачають стільки часу на збір і перевірку даних, щоб підготувати їх до використання, що їм залишається зовсім небагато часу, щоб зосередитися на своїй основній меті: аналізі даних і отриманні від них цінності для бізнесу. Не дивно, що 76 відсотків дослідників даних кажуть, що підготовка даних є найменш приємною частиною їхньої роботи. Крім того, поточні зусилля з підготовки даних, як-от суперечка даних і традиційний ETL, вимагають ручних зусиль ІТ-фахівців і недостатні для обробки масштабу та складності великих даних.

Компанії, які хочуть використовувати можливості штучного інтелекту, повинні відмовитися від цих виснажливих і здебільшого ручних процесів, які підвищують ризик результатів «сміття входить, сміття виходить». Натомість їм потрібні процеси перетворення даних, які витягають необроблені дані з багатьох джерел і форматів, об’єднують і нормалізують їх, а також додають цінність за допомогою бізнес-логіки та показників, щоб зробити їх готовими для аналітики. Завдяки комплексному перетворенню даних вони можуть бути впевнені, що моделі AI/ML базуються на чистих і точних даних, які забезпечують надійні результати.

Використання потужності хмари за допомогою ELT

Найкращим місцем для підготовки та перетворення даних сьогодні є хмарне сховище даних (CDW), таке як Amazon Redshift, Google BigQuery, Microsoft Azure Synapse або Snowflake. У той час як традиційні підходи до сховищ даних вимагають вилучення та трансформації даних перед їх завантаженням, CDW використовує масштабованість і продуктивність хмари для швидшого прийому та перетворення даних і дає змогу витягувати та завантажувати дані з багатьох різнорідних джерел даних, перш ніж перетворюючи його всередину CDW.

В ідеалі модель ELT спочатку переміщує дані в розділ CDW, зарезервований для необроблених проміжних даних. Звідти CDW може використовувати свої майже необмежені обчислювальні ресурси, доступні для інтеграції даних і завдань ETL, які очищають, агрегують, фільтрують і об’єднують поетапні дані. Потім дані можна перетворити в іншу схему – сховище даних або схему зірок, наприклад, оптимізуючи дані для звітності та аналітики

Підхід ELT також дозволяє копіювати необроблені дані всередині CDW для подальшої підготовки та перетворення, коли і за потреби. Це дає вам змогу використовувати інструменти бізнес-аналітики, які визначають схему під час читання та виробляють певні перетворення на вимогу, фактично дозволяючи вам трансформувати ті самі дані кількома способами, коли ви відкриваєте для них нові способи використання.

Прискорення моделей машинного навчання

Ці реальні приклади показують, як дві компанії в різних галузях використовують перетворення даних у CDW для стимулювання ініціатив ШІ.

Бутик-маркетингове та рекламне агентство розробило власну платформу керування клієнтами, щоб допомогти своїм клієнтам краще ідентифікувати, розуміти та мотивувати своїх клієнтів. Трансформуючи дані в CDW, платформа швидко й легко інтегрує дані клієнтів у режимі реального часу через канали в 360-градусний огляд клієнта, який інформує моделі AI/ML платформи, щоб зробити взаємодію з клієнтами більш узгодженою, своєчасною та персоналізованою.

Глобальна логістична компанія, яка здійснює 100 мільйонів поставок 37 мільйонам унікальних клієнтів у 72 країнах, потребує величезних обсягів даних для забезпечення своїх щоденних операцій. Перетворення даних у CDW дозволило компанії розгорнути 200 моделей машинного навчання за один рік. Ці моделі роблять 500,000 40 прогнозів щодня, значно підвищуючи ефективність і покращуючи обслуговування клієнтів, завдяки чому кількість вхідних дзвінків кол-центру зменшилася на XNUMX відсотків.

Найкращі практики для початку

Компанії, які хочуть підтримувати свої ініціативи AI/ML за допомогою потужності перетворення даних у хмарі, повинні розуміти свій конкретний варіант використання та потреби. Починаючи з того, що ви хочете зробити зі своїми даними – зменшити витрати на паливо за рахунок оптимізації маршрутів доставки, підвищити продажі за рахунок доставки наступних найкращих пропозицій агентам із обслуговування клієнтів у режимі реального часу тощо – це дозволить вам перепроектувати свої процеси, щоб ви могли визначити, які дані дадуть відповідні результати.

Коли ви визначите, які дані потрібні вашому проекту AI/ML для створення своїх моделей, вам знадобиться хмарне рішення ELT, яке зробить ваші дані придатними для використання. Шукайте рішення, яке:

• Не залежить від постачальника та може працювати з вашим поточним стеком технологій

• Досить гнучкий, щоб масштабувати його вгору та вниз, а також адаптувати до змін стеку технологій

• Може обробляти складні перетворення даних із кількох джерел даних

• Пропонує платіжну модель ціноутворення, за якою ви платите лише за те, що використовуєте

• Створено спеціально для CDW, якому ви віддаєте перевагу, щоб ви могли повністю використовувати функції CDW для швидшого виконання завдань і плавного перетворення даних.

Хмарне рішення для перетворення даних, яке відповідає загальним знаменникам усіх CDW, може забезпечувати узгоджену роботу, але лише те, яке забезпечує потужні відмінні функції вибраного вами CDW, може забезпечити високу продуктивність, яка пришвидшує час для розуміння. Правильне рішення дозволить вам забезпечувати свої проекти штучного інтелекту/ML більш чистими, надійними даними з більшої кількості джерел за менший час – і генерувати швидші та надійніші результати, які стимулюють раніше нереалізовану бізнес-цінність та інновації.