Connect with us

Năng lượng hóa nỗ lực ML và AI của bạn với Chuyển đổi Dữ liệu – Lãnh đạo Tư tưởng

Trí tuệ nhân tạo

Năng lượng hóa nỗ lực ML và AI của bạn với Chuyển đổi Dữ liệu – Lãnh đạo Tư tưởng

mm

Khi chúng ta có nhiều loại dữ liệu, tốc độ và khối lượng hơn, việc sử dụng phân tích dự đoán và mô hình hóa để dự đoán tăng trưởng và xác định các lĩnh vực cơ hội và cải tiến trở nên khả thi hơn. Tuy nhiên, để có được giá trị lớn nhất từ các công cụ báo cáo, học máy (ML) và trí tuệ nhân tạo (AI), một tổ chức cần truy cập dữ liệu từ nhiều nguồn và đảm bảo rằng dữ liệu đó có chất lượng cao và đáng tin cậy. Đây thường là rào cản lớn nhất để chuyển đổi dữ liệu lớn thành chiến lược kinh doanh.

Các chuyên gia dữ liệu dành rất nhiều thời gian để thu thập và xác thực dữ liệu để chuẩn bị cho việc sử dụng, vì vậy họ có rất ít thời gian để tập trung vào mục đích chính của mình: phân tích dữ liệu và suy luận giá trị kinh doanh từ nó. Không có gì ngạc nhiên khi 76 phần trăm các nhà khoa học dữ liệu cho rằng việc chuẩn bị dữ liệu là phần ít thú vị nhất trong công việc của họ. Hơn nữa, các nỗ lực chuẩn bị dữ liệu hiện tại như dữ liệu wrangling và ETL truyền thống đòi hỏi sự cố gắng thủ công từ các chuyên gia CNTT và không đủ để xử lý quy mô và phức tạp của dữ liệu lớn.

Các công ty muốn tận dụng sức mạnh của AI cần phải phá vỡ những quá trình thủ công và tốn thời gian này, điều đó làm tăng nguy cơ có kết quả “rác vào, rác ra”. Thay vào đó, họ cần các quy trình chuyển đổi dữ liệu có thể trích xuất dữ liệu thô từ nhiều nguồn và định dạng khác nhau, kết hợp và chuẩn hóa nó, và thêm giá trị với logic kinh doanh và chỉ số để làm cho nó sẵn sàng cho phân tích. Với chuyển đổi dữ liệu phức tạp, họ có thể chắc chắn rằng các mô hình AI/ML dựa trên dữ liệu sạch và chính xác, mang lại kết quả đáng tin cậy.

Sử dụng sức mạnh của đám mây với ELT

Nơi tốt nhất để chuẩn bị và chuyển đổi dữ liệu ngày nay là một kho dữ liệu đám mây (CDW) như Amazon Redshift, Google BigQuery, Microsoft Azure Synapse hoặc Snowflake. Trong khi các phương pháp truyền thống để xây dựng kho dữ liệu đòi hỏi dữ liệu phải được trích xuất và chuyển đổi trước khi nó có thể được tải, một CDW tận dụng khả năng mở rộng và hiệu suất của đám mây để có tốc độ nhập và chuyển đổi dữ liệu nhanh hơn và làm cho nó có thể trích xuất và tải dữ liệu từ nhiều nguồn dữ liệu khác nhau trước khi chuyển đổi nó bên trong CDW.

Ideally, mô hình ELT ban đầu di chuyển dữ liệu vào một phần của CDW được dành riêng cho dữ liệu giai đoạn thô. Từ đó, CDW có thể sử dụng các tài nguyên tính toán gần như không giới hạn có sẵn cho các công việc tích hợp và ETL để làm sạch, tổng hợp, lọc và kết hợp dữ liệu đã được xếp hàng. Dữ liệu sau đó có thể được chuyển đổi thành một lược đồ khác – dữ liệu vault hoặc Star Schema, ví dụ, tối ưu hóa dữ liệu cho báo cáo và phân tích

Cách tiếp cận ELT cũng cho phép bạn sao chép dữ liệu thô trong CDW để chuẩn bị và chuyển đổi sau này khi và nếu cần. Điều này cho phép bạn sử dụng các công cụ thông minh kinh doanh xác định lược đồ khi đọc và tạo ra các chuyển đổi cụ thể theo yêu cầu, hiệu quả cho phép bạn chuyển đổi cùng một dữ liệu theo nhiều cách khi bạn khám phá ra các cách sử dụng mới cho nó.

Tăng tốc mô hình học máy

Những ví dụ thực tế này cho thấy hai công ty trong các ngành công nghiệp khác nhau đang tận dụng chuyển đổi dữ liệu trong một CDW để thúc đẩy các sáng kiến AI.

Một cơ quan tiếp thị và quảng cáo boutique đã xây dựng một nền tảng quản lý khách hàng độc quyền để giúp khách hàng của họ xác định, hiểu và thúc đẩy khách hàng của họ tốt hơn. Bằng cách chuyển đổi dữ liệu trong một CDW, nền tảng nhanh chóng và dễ dàng tích hợp dữ liệu khách hàng thời gian thực trên các kênh vào một cái nhìn 360 độ về khách hàng, thông báo cho các mô hình AI/ML của nền tảng để làm cho các tương tác của khách hàng trở nên nhất quán, kịp thời và cá nhân hóa hơn.

Một công ty hậu cần toàn cầu thực hiện 100 triệu giao hàng đến 37 triệu khách hàng duy nhất ở 72 quốc gia cần một lượng lớn dữ liệu để cung cấp năng lượng cho hoạt động hàng ngày của mình. Việc áp dụng chuyển đổi dữ liệu trong một CDW đã cho phép công ty triển khai 200 mô hình học máy trong một năm. Những mô hình này tạo ra 500.000 dự đoán mỗi ngày, cải thiện đáng kể hiệu quả và thúc đẩy dịch vụ khách hàng vượt trội, điều này đã giảm 40 phần trăm số lượng cuộc gọi đến trung tâm cuộc gọi.

Thực hành tốt nhất để bắt đầu

Các công ty muốn hỗ trợ các sáng kiến AI/ML của họ với sức mạnh của chuyển đổi dữ liệu trên đám mây cần phải hiểu trường hợp sử dụng và nhu cầu cụ thể của họ. Bắt đầu với những gì bạn muốn làm với dữ liệu của mình – giảm chi phí nhiên liệu bằng cách tối ưu hóa tuyến đường giao hàng, tăng doanh thu bằng cách cung cấp các đề xuất tiếp theo tốt nhất cho các đại lý dịch vụ khách hàng theo thời gian thực, v.v. – cho phép bạn đảo ngược các quy trình của mình để bạn có thể xác định dữ liệu nào sẽ mang lại kết quả liên quan.

Một khi bạn xác định được dữ liệu mà dự án AI/ML của bạn cần để xây dựng các mô hình của nó, bạn cần một giải pháp ELT bản địa đám mây sẽ làm cho dữ liệu của bạn phù hợp để sử dụng. Tìm kiếm một giải pháp:

  • Là trung lập về nhà cung cấp và có thể làm việc với ngăn xếp công nghệ hiện tại của bạn

  • Đủ linh hoạt để mở rộng và thích nghi khi ngăn xếp công nghệ của bạn thay đổi

  • Có thể xử lý các chuyển đổi dữ liệu phức tạp từ nhiều nguồn dữ liệu

  • Cung cấp mô hình định giá theo hình thức trả tiền khi bạn sử dụng, trong đó bạn chỉ trả tiền cho những gì bạn sử dụng

  • Được thiết kế dành riêng cho CDW được chọn của bạn để bạn có thể tận dụng tối đa các tính năng của CDW đó để chạy các công việc nhanh hơn và chuyển đổi dữ liệu một cách liền mạch.

Một giải pháp chuyển đổi dữ liệu đám mây đáp ứng các yếu tố chung của tất cả các CDW có thể cung cấp một trải nghiệm nhất quán, nhưng chỉ có một giải pháp cho phép các tính năng khác biệt mạnh mẽ của CDW được chọn của bạn mới có thể cung cấp hiệu suất cao, giúp tăng tốc thời gian để có được thông tin. Giải pháp phù hợp sẽ cho phép bạn cung cấp năng lượng cho các dự án AI/ML của mình với nhiều dữ liệu sạch và đáng tin cậy hơn từ nhiều nguồn hơn trong thời gian ít hơn – và tạo ra kết quả nhanh hơn, đáng tin cậy hơn, thúc đẩy giá trị kinh doanh và đổi mới chưa từng được nhận ra trước đây.

David Langton là một chuyên gia phần mềm giàu kinh nghiệm với hơn 20 năm kinh nghiệm tạo ra công nghệ và sản phẩm giành giải thưởng. David hiện đang giữ vị trí VP của Sản phẩm tại Matillion, một nhà cung cấp giải pháp chuyển đổi dữ liệu. Trước khi đảm nhiệm vai trò tại Matillion, anh đã làm việc như một nhà quản lý kho dữ liệu và nhà thầu trong ngành tài chính.