De ce Generative-Augmented Retrieval este frontiera următoare a analizei de date

Trei din patru persoane spun că organizațiile lor utilizează AI. Încă, cea mai mare parte a acestei activități se concentrează pe conținutul nestructurat: rezumarea ședințelor, redactarea e-mailurilor sau automatizarea suportului clienților.

Dar, în mod ironic, o parte atât de mare a datelor care, de fapt, conduc deciziile de afaceri – rapoartele financiare, tabelele de depozit și indicatorii de performanță (KPI) – rămân în mare măsură neatinse de AI.

Motivul nu este lipsa de ambiție, ci lipsa de încredere. Când un model “halucinează” o propoziție, aceasta poate fi adesea corectată; când “halucinează” un număr, este catastrofal. Un CFO nu poate semna un răspuns pe care nu îl poate verifica.

Astăzi, datele structurate trăiesc în zeci de sisteme, fiecare cu propriile reguli și relații. A face ca AI să raționeze corect în această complexitate este o provocare mai dificilă decât orice chatbot.

Afacerile și echipele lor – inclusiv utilizatorii non-tehnici – trebuie să poată interacționa cu datele lor într-un mod simplu pentru a reduce blocajele și a obține insight-uri rapide și precise. Fără a fi nevoie să învețe SQL.

Unele soluții emerg. Să aruncăm o privire asupra unor exemple proeminente, cu beneficiile și limitările lor.

AI și date structurate – un pod prea lung

De-a lungul ultimilor doi ani, au apărut mai multe eforturi pentru a conecta insight-urile AI și datele structurate.

Multe provin de la gigantii tehnologiei, cu resurse și date semnificative. Snowflake, de exemplu, a introdus Cortex Analyst, care încearcă să permită utilizatorilor să pună întrebări în limbaj natural împotriva depozitului de date Snowflake.

Pentru a îmbunătăți acuratețea, Cortex are o modalitate de a furniza metadate semantice – dar modelul este puternic limitat. În primul rând, trebuie să fie construit manual, și chiar și așa, poate opera numai pe maximum 10 tabele, ceea ce nu este suficient nici măcar pentru o companie de dimensiuni medii. Orice mai mult, și încrederea se rupe, deoarece acuratețea scade.

Povestea se repetă cu încercările de la Databricks, care a adoptat o abordare text-to-SQL cu AI/BI Genie. Această soluție poate fi implementată eficient numai pe domenii mici, pierzând acuratețea cu seturi de date mai mari.

Microsoft Power BI Copilot adoptă o abordare generativă de suprafață, integrând AI direct în tablouri de bord pentru a descrie vizualizări, a sugera măsuri și a redacta rapoarte. Îmbunătățește explorarea, dar nu schimbă modul în care se raționează sau se verifică analizele. Fiecare răspuns depinde în continuare de judecata modelului, și atunci când această judecată eșuează, nu există nicio urmă de audit sau logică deterministă pe care să se poată baza.

În mod colectiv, aceste sisteme indică direcția corectă: implementarea AI pe date structurate de întreprindere. Dar ele împărtășesc și o eroare critică. Ele depind de modelul AI pentru a genera SQL din limbaj natural, și atunci când SQL-ul este greșit, ceea ce se întâmplă adesea, utilizatorul de afaceri este blocat. Un executiv care nu poate citi SQL nu are nicio modalitate de a diagnostica sau corecta rezultatul. Conversația se oprește brusc.

O altă modalitate de abordare a problemei este să se pre-indexeze perechi de întrebări și răspunsuri probabile. GARAGe al lui Ada, printre altele, urmează această metodă. Funcționează bine în domenii înguste în care întrebările sunt previzibile, dar performanța scade pe măsură ce crește complexitatea datelor. Odată ce tabelele și schemele se multiplică, pre-indexarea devine rapid de necontrolat.

O cale diferită: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) inversează abordarea curentă RAG (Retrieval-Augmented Generation surse relevante de informații și le incorporează într-un LLM pentru acuratețe crescută).

În loc să ceară unui LLM să scrie SQL, GAR utilizează AI generativă pentru a înțelege intenția întrebării utilizatorului și apoi creează pașii de raționament pentru a genera răspunsul.

În GAR, interogările interacționează direct cu baza de cunoștințe. Ele sunt compilate, nu generate, aceeași întrebare dă întotdeauna același răspuns. O lanț de raționament în GAR este un artifact permanent și verificabil, nu o conversație tranzitorie, astfel încât întreaga lanț de raționament poate fi reprodusă.

Acest lucru înseamnă că rezultatele sunt exponențial mai precise decât cele obținute cu motoarele genAI generalizate.

La nivelul său fundamental, GAR face trei lucruri:

1. Construire automată a unui strat semantic. GAR utilizează AI pentru a descoperi relații și definiții de afaceri în traversul sistemelor, unificând datele într-un singur model
2. Traduce intenția de afaceri într-un limbaj analitic de nivel înalt. Acest limbaj capturează întrebarea la nivelul conceptului de afaceri (“venituri pe vizită, pe furnizor, pentru trimestrul 2”) și se compilează direct în SQL.
3. Înregistrează fiecare pas de raționament pentru auditabilitate. Originea fiecărui răspuns este traseabilă.

De ce contează

Prin limitarea raționamentului la modelul de cunoaștere intern al afacerii, GAR poate elimina “halucinațiile” și furnizează răspunsuri care sunt corecte și verificabile.

Definițiile, metricile și modelele de întrebări se compun în timp, făcând ca răspunsurile viitoare să fie personalizate și mai specializate pentru utilizatorul specific.

Elementul de încredere este crucial pentru utilizatorii de afaceri care se bazează pe datele structurate pentru a lua decizii de afaceri informate. Pe măsură ce tot mai multe organizații implementează soluții AI avansate, ele vor cere cadre care să aducă riscul de “halucinație” și eroare aproape de zero.

Acest lucru se întâmplă atunci când interogarea se conectează direct la datele dvs., atunci când AI poate lucra cu seturi de date mari fără a se rupe, și atunci când răspunsurile sunt furnizate cu consecvență și verificabilitate.