Mengapa Generative-Augmented Retrieval Adalah Batas Berikutnya dari Analitik Data

Tiga dari empat orang mengatakan bahwa organisasi mereka menggunakan AI. Namun, sebagian besar kegiatan tersebut masih berfokus pada konten tidak terstruktur: meringkas pertemuan, menyusun email, atau mengotomatisasi dukungan pelanggan.

Namun, ironisnya, sebagian besar data yang benar-benar mengarahkan keputusan bisnis – laporan keuangan, tabel gudang, dan KPI – masih belum disentuh oleh AI.

Alasannya bukanlah kurangnya ambisi, tetapi kurangnya kepercayaan. Ketika model mengalami halusinasi kalimat, itu sering dapat diperbaiki; ketika model mengalami halusinasi angka, itu dapat berakibat fatal. Seorang CFO tidak dapat menandatangani jawaban yang tidak dapat diverifikasi.

Hari ini, data terstruktur hidup di seluruh sistem, masing-masing dengan aturan dan hubungan sendiri. Menghubungkan AI untuk berpikir secara benar di seluruh kompleksitas ini adalah tantangan yang lebih sulit daripada chatbot.

Bisnis dan tim mereka – termasuk pengguna non-teknis – perlu dapat berinteraksi dengan data mereka dengan cara yang sederhana untuk mengurangi bottleneck dan memperoleh wawasan yang akurat dan cepat. Tanpa harus belajar SQL.

Beberapa solusi mulai muncul – mari kita lihat beberapa contoh yang menonjol, dengan manfaat dan kelemahan mereka.

AI dan Data Terstruktur – Jembatan yang Terlalu Jauh

Selama dua tahun terakhir, beberapa upaya telah muncul untuk menghubungkan wawasan AI dan data terstruktur.

Banyak upaya ini berasal dari raksasa teknologi dengan sumber daya dan data yang signifikan. Snowflake, misalnya, memperkenalkan Cortex Analyst, yang mencoba memungkinkan pengguna untuk mengajukan pertanyaan bahasa alami terhadap gudang data Snowflake.

Untuk meningkatkan akurasi, Cortex memiliki cara untuk menyediakan metadata semantik – tetapi model ini sangat terbatas. Pertama, harus dibangun secara manual, dan bahkan kemudian, hanya dapat beroperasi pada maksimal 10 tabel, tidak cukup bahkan untuk perusahaan berukuran sedang. Lebih tinggi, dan kepercayaan akan putus, karena akurasi menurun.

Cerita ini berulang dengan upaya oleh Databricks, yang mengambil pendekatan teks-ke-SQL dengan AI/BI Genie. Solusi ini hanya dapat diterapkan secara efektif pada domain kecil, kehilangan akurasi dengan meningkatnya dataset.

Microsoft Power BI Copilot mengambil pendekatan generatif permukaan, memasukkan AI langsung ke dalam dashboard untuk menjelaskan visual, menyarankan ukuran, dan menyusun laporan. Ini meningkatkan eksplorasi tetapi tidak mengubah cara analitik diperhitungkan atau diverifikasi. Setiap respons masih bergantung pada penilaian model, dan ketika penilaian itu gagal, tidak ada jejak audit atau logika deterministik untuk kembali.

Secara kolektif, sistem ini menunjuk ke arah yang benar: menghubungkan AI pada data perusahaan terstruktur. Tetapi mereka juga berbagi kelemahan kritis. Mereka bergantung pada model AI untuk menghasilkan SQL dari bahasa alami, dan ketika SQL itu salah, yang sering terjadi, pengguna bisnis terjebak. Seorang eksekutif yang tidak dapat membaca SQL tidak memiliki cara untuk mendiagnosis atau memperbaiki hasilnya. Percakapan berhenti dingin.

Cara lain untuk mendekati masalah ini adalah dengan pra-mengindeks pasangan pertanyaan-jawaban yang mungkin. GARAGe Ada, antara lain, mengikuti metode ini. Ini bekerja dengan baik dalam domain yang sempit di mana pertanyaan dapat diprediksi, tetapi kinerja menurun seiring dengan pertumbuhan kompleksitas data. Ketika tabel dan skema berkembang, pra-mengindeks dengan cepat menjadi tidak dapat diatur.

Jalur yang Berbeda: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) membalikkan pendekatan RAG saat ini (Retrieval-Augmented Generation sumber informasi yang relevan dan menggabungkannya ke dalam LLM untuk meningkatkan akurasi).

Sebagai gantinya, GAR menggunakan AI generatif untuk memahami niat pengguna, dan kemudian membuat langkah-langkah penalaran untuk menghasilkan jawaban.

Di GAR, pertanyaan berinteraksi langsung dengan basis pengetahuan. Mereka dikompilasi bukan dihasilkan, pertanyaan yang sama selalu menghasilkan jawaban yang sama. Rantai penalaran di GAR adalah artefak yang permanen dan dapat ditinjau, bukan percakapan sementara, sehingga seluruh rantai penalaran dapat direproduksi.

Itu berarti hasilnya jauh lebih akurat daripada dengan mesin genAI yang umum.

Pada intinya, GAR melakukan tiga hal:

1. Membangun lapisan semantik secara otomatis. GAR menggunakan AI untuk menemukan hubungan dan definisi bisnis di seluruh sistem, mempersatukan data ke dalam model tunggal
2. Menerjemahkan niat bisnis ke dalam bahasa analitik tingkat tinggi. Bahasa ini menangkap pertanyaan pada tingkat konsep bisnis (“pendapatan per kunjungan oleh penyedia untuk Q2”) dan dikompilasi langsung ke SQL.
3. Mencatat setiap langkah penalaran untuk keamanan. Asal setiap respons dapat dilacak.

Mengapa Ini Penting

Dengan membatasi penalaran pada model pengetahuan internal bisnis, GAR dapat menghilangkan halusinasi dan memberikan jawaban yang dapat dibuktikan dengan benar.

Definisi, metrik, dan pola pertanyaan berkembang seiring waktu, membuat jawaban di masa depan lebih disesuaikan dengan pengguna tertentu.

Unsur kepercayaan sangat penting bagi pengguna bisnis yang bergantung pada data terstruktur mereka untuk membuat keputusan bisnis yang tepat. Ketika lebih banyak organisasi menerapkan solusi AI yang canggih, mereka akan menuntut kerangka kerja yang membawa risiko halusinasi dan kesalahan hampir nol.

Itu terjadi ketika pertanyaan terhubung langsung ke data, ketika AI dapat bekerja pada dataset besar tanpa putus, dan ketika jawaban disediakan dengan konsistensi dan dapat dibuktikan.