Perché il Retrieval Generativo-Potenziato è la Prossima Frontiera dell’Analisi dei Dati

Tre persone su quattro affermano che le loro organizzazioni utilizzano l’AI. Eppure, la maggior parte di queste attività si concentra ancora su contenuti non strutturati: riassumere riunioni, redigere email o automatizzare il supporto clienti.

Ma ironicamente, gran parte dei dati che guidano effettivamente le decisioni aziendali – rapporti finanziari, tabelle di magazzino e KPI – rimane in gran parte inutilizzata dall’AI.

Il motivo non è la mancanza di ambizione, ma la mancanza di fiducia. Quando un modello immagina una frase, ciò può spesso essere corretto; quando immagina un numero, è catastrofico. Un CFO non può approvare una risposta che non può verificare.

Oggi, i dati strutturati vivono in decine di sistemi, ognuno con le proprie regole e relazioni. Ottenere che l’AI ragioni correttamente su questa complessità è una sfida più difficile di qualsiasi chatbot.

Le aziende e i loro team – compresi gli utenti non tecnici – devono essere in grado di interagire con i loro dati in modo semplice per ridurre gli intoppi e ottenere risposte rapide e accurate. Senza dover imparare SQL.

Alcune soluzioni stanno emergendo – analizziamo alcuni esempi prominenti, con i loro vantaggi e svantaggi.

AI e dati strutturati – un ponte troppo lontano

Negli ultimi due anni, sono emerse diverse iniziative per collegare le informazioni dell’AI ai dati strutturati.

Molte di queste provengono da giganti tecnologici con risorse e dati significativi. Snowflake, ad esempio, ha introdotto il Cortex Analyst, che tenta di consentire agli utenti di porre domande in linguaggio naturale contro il data warehouse di Snowflake.

Per migliorare l’accuratezza, Cortex ha un modo per fornire metadati semantici – ma il modello è fortemente limitato. In primo luogo, deve essere costruito manualmente e, anche così, può operare solo su un massimo di 10 tabelle, che non è sufficiente nemmeno per una società di medie dimensioni. Oltre a questo, la fiducia si rompe, poiché l’accuratezza declina.

La storia si ripete con i tentativi di Databricks, che ha adottato un approccio testo-SQL con AI/BI Genie. Questa soluzione può essere distribuita efficacemente solo su domini piccoli, perdendo accuratezza con l’aumento dei set di dati.

Microsoft Power BI Copilot adotta un approccio generativo di superficie, incorporando l’AI direttamente all’interno dei dashboard per descrivere visualizzazioni, suggerire misure e redigere rapporti. Migliora l’esplorazione, ma non cambia il modo in cui le analisi sono ragionate o verificate. Ogni risposta dipende ancora dal giudizio del modello e, quando quel giudizio fallisce, non c’è una traccia di audit o logica deterministica a cui fare riferimento.

Collettivamente, questi sistemi puntano nella direzione giusta: distribuire l’AI sui dati aziendali strutturati. Tuttavia, condividono un difetto critico. Dipendono dal modello AI per generare SQL dal linguaggio naturale e, quando quel SQL è errato, il che accade spesso, l’utente aziendale è bloccato. Un dirigente che non può leggere SQL non ha modo di diagnosticare o correggere il risultato. La conversazione si ferma.

Un altro modo per affrontare il problema è pre-indicizzare le coppie di domande e risposte probabili. Ada’s GARAGe, tra gli altri, segue questo metodo. Funziona bene in domini ristretti dove le domande sono prevedibili, ma le prestazioni calano quando la complessità dei dati aumenta. Una volta che le tabelle e gli schemi si moltiplicano, l’indicizzazione pregressa diventa rapidamente ingestibile.

Un Percorso Diverso: Retrieval Generativo-Potenziato

Il Retrieval Generativo-Potenziato (GAR) capovolge l’approccio RAG attuale (Retrieval-Augmented Generation fonti informazioni rilevanti e le incorpora in un LLM per aumentare l’accuratezza).

Invece di chiedere a un LLM di scrivere SQL, GAR utilizza l’AI generativa per comprendere l’intento della query dell’utente e quindi crea i passaggi di ragionamento per generare la risposta.

In GAR, le query interagiscono direttamente con la base di conoscenza. Sono compilate e non generate, quindi la stessa domanda produce sempre la stessa risposta. Una catena di ragionamento in GAR è un artefatto permanente e verificabile, non un chat transitorio, quindi l’intera catena di ragionamento può essere riprodotta.

Ciò significa che i risultati sono esponenzialmente più precisi rispetto ai motori genAI generici.

Al suo nucleo, GAR fa tre cose:

1. Costruisce automaticamente uno strato semantico. GAR utilizza l’AI per scoprire relazioni e definizioni aziendali attraverso i sistemi, unificando i dati in un unico modello
2. Traduce l’intento aziendale in linguaggio analitico di alto livello. Questo linguaggio cattura la query a livello di concetto aziendale (“ricavi per visita per fornitore per Q2”) e si compila direttamente in SQL.
3. Registra ogni passaggio di ragionamento per l’auditabilità. L’origine di ogni risposta è tracciabile.

Perché Ciò È Importante

Limitando la ragionamento ai propri modelli di conoscenza interna, GAR può eliminare le allucinazioni e fornire risposte che sono corrette in modo dimostrabile.

Le definizioni, le metriche e i modelli di query si accumulano nel tempo, rendendo le risposte future ulteriormente personalizzate per il proprio utente.

L’elemento di fiducia è cruciale per gli utenti aziendali che dipendono dai propri dati strutturati per prendere decisioni aziendali informate. Man mano che più organizzazioni implementano soluzioni AI avanzate, richiederanno framework che riducano il rischio di allucinazioni e errori quasi a zero.

Ciò accade quando la query si collega direttamente ai propri dati, quando l’AI può lavorare su grandi set di dati senza rompersi e quando le risposte sono fornite con coerenza e dimostrabilità.