Tại Sao Generative-Augmented Retrieval Là Tiền Phong Của Phân Tích Dữ Liệu

Ba trong số bốn người cho biết tổ chức của họ sử dụng trí tuệ nhân tạo. Tuy nhiên, hầu hết hoạt động đó vẫn tập trung vào nội dung không cấu trúc: tóm tắt cuộc họp, soạn thảo email hoặc tự động hóa hỗ trợ khách hàng.

Nhưng điều ironik là, rất nhiều dữ liệu thực sự thúc đẩy quyết định kinh doanh – báo cáo tài chính, bảng kho và KPI – vẫn còn hầu như không bị ảnh hưởng bởi trí tuệ nhân tạo.

Lý do không phải là thiếu tham vọng, mà là thiếu niềm tin. Khi một mô hình tưởng tượng một câu, điều đó thường có thể được sửa; khi nó tưởng tượng một con số, đó là một thảm họa. Một CFO không thể ký vào một câu trả lời mà họ không thể xác minh.

Ngày nay, dữ liệu cấu trúc tồn tại trên hàng chục hệ thống, mỗi hệ thống có quy tắc và mối quan hệ riêng. Việc đưa trí tuệ nhân tạo vào lý luận chính xác trên sự phức tạp đó là một thách thức khó hơn bất kỳ chương trình trò chuyện nào.

Các doanh nghiệp và đội ngũ của họ – bao gồm cả người dùng không kỹ thuật – cần phải có thể tương tác với dữ liệu của họ một cách đơn giản để giảm thiểu các nút thắt và thu được thông tin chính xác và nhanh chóng. Mà không cần phải học SQL.

Một số giải pháp đang xuất hiện – hãy cùng xem một số ví dụ nổi bật, cùng với lợi ích và hạn chế của chúng.

Trí tuệ nhân tạo và dữ liệu cấu trúc – một cây cầu quá xa

Trong hai năm qua, một số nỗ lực đã xuất hiện để bắc cầu giữa trí tuệ nhân tạo và dữ liệu cấu trúc.

Nhiều trong số đó đến từ các công ty công nghệ lớn với nguồn lực và dữ liệu đáng kể. Snowflake, ví dụ, đã giới thiệu một với Cortex Analyst, nhằm cho phép người dùng đặt câu hỏi ngôn ngữ tự nhiên đối với kho dữ liệu Snowflake.

Để cải thiện độ chính xác, Cortex có một cách để cung cấp siêu dữ liệu ngữ nghĩa – nhưng mô hình này bị giới hạn nặng. Một mặt, nó phải được xây dựng thủ công, và ngay cả như vậy, nó chỉ có thể hoạt động trên tối đa 10 bảng, không đủ thậm chí cho một công ty cỡ trung. Bất kỳ cao hơn, và niềm tin sẽ bị phá vỡ, vì độ chính xác giảm.

Câu chuyện lặp lại với các nỗ lực của Databricks, đã thực hiện một cách tiếp cận từ văn bản đến SQL với AI/BI Genie. Giải pháp này chỉ có thể được triển khai hiệu quả trên các lĩnh vực nhỏ, mất độ chính xác với các tập dữ liệu tăng.

Microsoft Power BI Copilot thực hiện một cách tiếp cận tạo sinh bề mặt, nhúng trí tuệ nhân tạo trực tiếp vào bảng điều khiển để mô tả hình ảnh, đề xuất biện pháp và soạn thảo báo cáo. Nó nâng cao khả năng khám phá nhưng không thay đổi cách phân tích được lý luận hoặc xác minh. Mỗi phản hồi vẫn phụ thuộc vào phán đoán của mô hình, và khi phán đoán đó thất bại, không có dấu vết kiểm toán hoặc logic quyết định để dựa vào.

Tổng thể, các hệ thống này chỉ ra hướng đúng: triển khai trí tuệ nhân tạo trên dữ liệu doanh nghiệp cấu trúc. Nhưng chúng cũng chia sẻ một khiếm khuyết quan trọng. Chúng phụ thuộc vào mô hình trí tuệ nhân tạo để tạo SQL từ ngôn ngữ tự nhiên, và khi SQL đó sai, điều mà xảy ra thường xuyên, người dùng kinh doanh sẽ bị kẹt. Một giám đốc điều hành không thể đọc SQL không có cách nào để chẩn đoán hoặc sửa lỗi kết quả. Cuộc trò chuyện dừng lại đột ngột.

Một cách khác để tiếp cận vấn đề là tiền chỉ mục các cặp câu hỏi và câu trả lời có khả năng. Ada’s GARAGe, trong số những người khác, theo đuổi phương pháp này. Nó hoạt động tốt trong các lĩnh vực hẹp nơi các câu hỏi có thể dự đoán, nhưng hiệu suất giảm khi độ phức tạp của dữ liệu tăng. Một khi các bảng và lược đồ nhân lên, tiền chỉ mục nhanh chóng trở nên không thể quản lý.

Con Đường Khác: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) đảo ngược cách tiếp cận RAG hiện tại (Retrieval-Augmented Generation nguồn thông tin liên quan và kết hợp nó vào một mô hình ngôn ngữ lớn để tăng độ chính xác).

Thay vì yêu cầu một mô hình ngôn ngữ lớn viết SQL, GAR sử dụng trí tuệ nhân tạo tạo sinh để hiểu ý định của truy vấn người dùng, và sau đó tạo ra các bước lý luận để tạo ra câu trả lời.

Trong GAR, các truy vấn tương tác trực tiếp với cơ sở tri thức. Chúng được biên dịch chứ không phải tạo ra, cùng một câu hỏi luôn cho ra cùng một câu trả lời. Một chuỗi lý luận trong GAR là một hiện vật vĩnh cửu, có thể xem xét lại, không phải là một cuộc trò chuyện nhất thời, vì vậy toàn bộ chuỗi lý luận có thể được tái tạo.

Điều đó có nghĩa là kết quả chính xác hơn gấp nhiều lần so với các động cơ tạo sinh tổng quát.

Ở cốt lõi, GAR thực hiện ba việc:

1. Tự động xây dựng một lớp ngữ nghĩa. GAR sử dụng trí tuệ nhân tạo để khám phá các mối quan hệ và định nghĩa kinh doanh trên các hệ thống, thống nhất dữ liệu vào một mô hình duy nhất
2. Dịch ý định kinh doanh thành ngôn ngữ phân tích cấp cao. Ngôn ngữ này nắm bắt truy vấn ở cấp độ khái niệm kinh doanh (“doanh thu trên mỗi lần truy cập bởi nhà cung cấp cho Q2”) và biên dịch trực tiếp thành SQL.
3. Đăng nhập từng bước lý luận để kiểm toán. Nguồn gốc của mỗi phản hồi có thể theo dõi.

Tại Sao Điều Này Quan Trọng

Bằng cách giới hạn lý luận trong mô hình tri thức nội bộ của doanh nghiệp, GAR có thể loại bỏ các ảo giác và cung cấp các câu trả lời được chứng minh là chính xác.

Các định nghĩa, chỉ số và mẫu truy vấn tích lũy theo thời gian, khiến cho các câu trả lời trong tương lai được tùy chỉnh nhiều hơn cho người dùng cụ thể.

Yếu tố niềm tin là rất quan trọng đối với người dùng kinh doanh phụ thuộc vào dữ liệu cấu trúc của họ để đưa ra quyết định kinh doanh sáng suốt. Khi càng nhiều tổ chức triển khai các giải pháp trí tuệ nhân tạo tiên tiến, họ sẽ đòi hỏi các khuôn khổ mang lại rủi ro của ảo giác và lỗi gần như bằng không.

Điều đó xảy ra khi truy vấn kết nối trực tiếp với dữ liệu của bạn, khi trí tuệ nhân tạo có thể làm việc trên các tập dữ liệu lớn mà không bị hỏng, và khi các câu trả lời được cung cấp với sự nhất quán và có thể chứng minh.