Tại Sao Generative-Augmented Retrieval Là Tiền Phong Mới Của Phân Tích Dữ Liệu

Ba trong số bốn người cho biết tổ chức của họ sử dụng trí tuệ nhân tạo. Tuy nhiên, hầu hết hoạt động đó vẫn tập trung vào nội dung không có cấu trúc: tóm tắt các cuộc họp, soạn thảo email hoặc tự động hóa hỗ trợ khách hàng.

Tuy nhiên, điều đáng ngạc nhiên là rất nhiều dữ liệu thực sự thúc đẩy quyết định kinh doanh – báo cáo tài chính, bảng dữ liệu và chỉ số hiệu suất – vẫn còn ít được trí tuệ nhân tạo chạm đến.

Lý do không phải là thiếu tham vọng, mà là thiếu niềm tin. Khi một mô hình tạo ra một câu, điều đó thường có thể được sửa; nhưng khi nó tạo ra một số, đó là một thảm họa. Một giám đốc tài chính không thể ký vào một câu trả lời mà họ không thể xác minh.

Hiện tại, dữ liệu có cấu trúc tồn tại trên hàng chục hệ thống, mỗi hệ thống có quy tắc và mối quan hệ riêng. Việc khiến trí tuệ nhân tạo lý luận chính xác trên sự phức tạp đó là một thách thức khó hơn bất kỳ chương trình trò chuyện nào.

Các doanh nghiệp và đội ngũ của họ – bao gồm cả người dùng không chuyên – cần phải có thể tương tác với dữ liệu của họ một cách đơn giản để giảm thiểu các nút thắt và thu được thông tin chính xác nhanh chóng. Mà không cần phải học SQL.

Một số giải pháp đang xuất hiện – hãy cùng xem một số ví dụ nổi bật, cùng với lợi ích và hạn chế của chúng.

Trí Tuệ Nhân Tạo và Dữ Liệu Cấu Trúc – Một Cầu Nối Quá Xa

Trong hai năm qua, một số nỗ lực đã xuất hiện để kết nối trí tuệ nhân tạo và dữ liệu có cấu trúc.

Nhiều giải pháp đến từ các công ty công nghệ lớn với nguồn lực và dữ liệu đáng kể. Snowflake, ví dụ, đã giới thiệu Cortex Analyst, nhằm cho phép người dùng đặt câu hỏi ngôn ngữ tự nhiên cho Snowflake dữ liệu.

Để cải thiện độ chính xác, Cortex có một cách để cung cấp siêu dữ liệu ngữ nghĩa – nhưng mô hình này bị hạn chế nghiêm trọng. Một mặt, nó phải được xây dựng thủ công, và thậm chí như vậy, nó chỉ có thể hoạt động trên tối đa 10 bảng, không đủ cho một công ty cỡ trung bình. Bất kỳ cao hơn, và niềm tin sẽ bị phá vỡ, vì độ chính xác giảm.

Câu chuyện lặp lại với các nỗ lực của Databricks, đã thực hiện một cách tiếp cận từ văn bản đến SQL với AI/BI Genie. Giải pháp này chỉ có thể được triển khai hiệu quả trên các lĩnh vực nhỏ, mất độ chính xác khi tăng tập dữ liệu.

Microsoft Power BI Copilot thực hiện một cách tiếp cận tạo ra trên bề mặt, nhúng trí tuệ nhân tạo trực tiếp vào bảng điều khiển để mô tả hình ảnh, đề xuất biện pháp và soạn thảo báo cáo. Nó tăng cường khám phá nhưng không thay đổi cách thức phân tích được lý luận hoặc xác minh. Mỗi phản hồi vẫn phụ thuộc vào phán đoán của mô hình, và khi phán đoán đó thất bại, không có dấu vết kiểm toán hoặc logic quyết định để dựa vào.

Tổng thể, những hệ thống này chỉ ra hướng đúng: triển khai trí tuệ nhân tạo trên dữ liệu doanh nghiệp có cấu trúc. Nhưng chúng cũng chia sẻ một khuyết điểm quan trọng. Chúng phụ thuộc vào mô hình trí tuệ nhân tạo để tạo ra SQL từ ngôn ngữ tự nhiên, và khi SQL đó sai, điều mà xảy ra thường xuyên, người dùng doanh nghiệp sẽ bị kẹt. Một giám đốc điều hành không thể đọc SQL không có cách nào để chẩn đoán hoặc sửa lỗi kết quả. Cuộc trò chuyện dừng lại đột ngột.

Một cách khác để tiếp cận vấn đề là tạo sẵn các cặp câu hỏi và câu trả lời có thể xảy ra. Ada’s GARAGe, trong số những giải pháp khác, theo đuổi phương pháp này. Nó hoạt động tốt trong các lĩnh vực hẹp nơi các câu hỏi có thể dự đoán, nhưng hiệu suất giảm khi độ phức tạp của dữ liệu tăng. Khi bảng và lược đồ nhân lên, việc tạo sẵn nhanh chóng trở nên không thể quản lý.

Một Con Đường Khác: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) đảo ngược cách tiếp cận RAG hiện tại (Retrieval-Augmented Generation nguồn thông tin liên quan và kết hợp nó vào một mô hình ngôn ngữ lớn để tăng độ chính xác).

Thay vì yêu cầu một mô hình ngôn ngữ lớn viết SQL, GAR sử dụng trí tuệ nhân tạo tạo ra để hiểu ý định của câu hỏi người dùng, và sau đó tạo ra các bước lý luận để tạo ra câu trả lời.

Trong GAR, các câu hỏi tương tác trực tiếp với cơ sở tri thức. Chúng được biên dịch chứ không phải tạo ra, cùng một câu hỏi luôn cho ra cùng một câu trả lời. Một chuỗi lý luận trong GAR là một hiện vật vĩnh viễn, có thể xem xét lại, không phải là một cuộc trò chuyện nhất thời, vì vậy toàn bộ chuỗi lý luận có thể được tái tạo.

Điều đó có nghĩa là kết quả chính xác hơn nhiều so với các động cơ trí tuệ nhân tạo tổng quát.

Ở cốt lõi, GAR thực hiện ba việc:

1. Tự động xây dựng một lớp ngữ nghĩa. GAR sử dụng trí tuệ nhân tạo để khám phá các mối quan hệ và định nghĩa kinh doanh trên các hệ thống, thống nhất dữ liệu vào một mô hình duy nhất
2. Dịch ý định kinh doanh thành ngôn ngữ phân tích cấp cao. Ngôn ngữ này nắm bắt câu hỏi ở cấp độ khái niệm kinh doanh (“doanh thu mỗi lần truy cập theo nhà cung cấp cho Q2”) và biên dịch trực tiếp thành SQL.
3. Ghi lại mỗi bước lý luận để kiểm toán. Nguồn gốc của mỗi phản hồi có thể theo dõi.

Tại Sao Điều Này Quan Trọng

Bằng cách giới hạn lý luận trong mô hình tri thức nội bộ của doanh nghiệp, GAR có thể loại bỏ các ảo giác và cung cấp câu trả lời chính xác có thể chứng minh.

Định nghĩa, chỉ số và mẫu câu hỏi tích lũy theo thời gian, khiến cho các câu trả lời trong tương lai được tùy chỉnh nhiều hơn cho người dùng cụ thể.

Yếu tố tin cậy là rất quan trọng đối với người dùng doanh nghiệp, những người phụ thuộc vào dữ liệu có cấu trúc của họ để đưa ra quyết định kinh doanh thông minh. Khi ngày càng nhiều tổ chức triển khai các giải pháp trí tuệ nhân tạo tiên tiến, họ sẽ yêu cầu các khuôn khổ mang rủi ro của ảo giác và lỗi đến gần như không.

Điều đó xảy ra khi truy vấn kết nối trực tiếp đến dữ liệu của bạn, khi trí tuệ nhân tạo có thể làm việc trên các tập dữ liệu lớn mà không bị hỏng, và khi các câu trả lời được cung cấp với tính nhất quán và có thể chứng minh.