Waarom Generative-Augmented Retrieval de Volgende Frontier is van Data-Analyse

Drie van de vier mensen zeggen dat hun organisaties AI gebruiken. Toch draait de meeste activiteit nog steeds om ongestructureerde inhoud: het samenvatten van vergaderingen, het opstellen van e-mails of het automatiseren van klantenservice.

Maar ironisch genoeg blijft zo veel van de gegevens die daadwerkelijk bedrijfsbeslissingen beïnvloeden – financiële rapporten, magazijntabellen en KPI’s – grotendeels onaangetast door AI.

De reden is niet het gebrek aan ambitie, maar het gebrek aan vertrouwen. Wanneer een model een zin hallucineert, kan dat vaak worden gefixeerd; wanneer het een nummer hallucineert, is het catastrofaal. Een CFO kan niet tekenen voor een antwoord dat hij niet kan verifiëren.

Vandaag de dag leven gestructureerde gegevens over tientallen systemen, elk met hun eigen regels en relaties. Het krijgen van AI om correct te redeneren over die complexiteit is een moeilijkere uitdaging dan elke chatbot.

Bedrijven en hun teams – inclusief niet-technische gebruikers – moeten in staat zijn om eenvoudig met hun gegevens te communiceren om knelpunten te verminderen en snelle, nauwkeurige inzichten te verkrijgen. Zonder SQL te hoeven leren.

Er zijn enkele oplossingen in ontwikkeling – laten we eens kijken naar enkele prominente voorbeelden, met hun voordelen en nadelen.

AI en gestructureerde gegevens – een brug te ver

In de afgelopen twee jaar zijn er verschillende pogingen gedaan om AI-inzichten en gestructureerde gegevens te verbinden.

Veel hiervan komen van technologiebedrijven met aanzienlijke middelen en gegevens. Snowflake introduceerde bijvoorbeeld de Cortex Analyst, die gebruikers in staat stelt om natuurlijke taalvragen te stellen tegen Snowflake-datawarehouse.

Om de nauwkeurigheid te verbeteren, heeft Cortex een manier om semantische metadata te bieden – maar het model is zwaar beperkt. Ten eerste moet het handmatig worden gebouwd, en zelfs dan kan het alleen werken met maximaal 10 tabellen, wat niet genoeg is voor een middelgroot bedrijf. Als het hoger is, breekt het vertrouwen, omdat de nauwkeurigheid afneemt.

Hetzelfde verhaal herhaalt zich met pogingen van Databricks, die een text-to-SQL-benadering nam met AI/BI Genie. Deze oplossing kan alleen effectief worden geïmplementeerd op kleine domeinen, waarbij de nauwkeurigheid afneemt met toenemende datasets.

Microsoft Power BI Copilot neemt een oppervlakkige generatieve benadering, waarbij AI rechtstreeks in dashboards wordt geïntegreerd om visuals te beschrijven, maatregelen voor te stellen en rapporten op te stellen. Het verbetert de exploratie, maar verandert niet hoe analytics worden geredeneerd of geverifieerd. Elk antwoord is nog steeds afhankelijk van het oordeel van het model, en wanneer dat oordeel faalt, is er geen audittrail of deterministische logica om op terug te vallen.

Collectief wijzen deze systemen in de juiste richting: het inzetten van AI op gestructureerde ondernemingsgegevens. Maar ze delen ook een kritieke fout. Ze zijn afhankelijk van het AI-model om SQL te genereren uit natuurlijke taal, en wanneer die SQL onjuist is, wat vaak gebeurt, zit de zakelijke gebruiker vast. Een directeur die geen SQL kan lezen, heeft geen manier om het resultaat te diagnosticeren of te corrigeren. Het gesprek stopt abrupt.

Een andere manier om het probleem aan te pakken is om waarschijnlijke vraag-antwoordparen vooraf te indexeren. Ada’s GARAGe, onder andere, volgt deze methode. Het werkt goed in smalle domeinen waar vragen voorspelbaar zijn, maar de prestaties dalen als de gegevenscomplexiteit toeneemt. Zodra tabellen en schema’s zich vermenigvuldigen, wordt vooraf indexeren snel onbeheersbaar.

Een Andere Weg: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) keert de huidige RAG-benadering om (Retrieval-Augmented Generation haalt relevante informatie op en incorporeert deze in een LLM voor verbeterde nauwkeurigheid).

In GAR gebruikt generatieve AI om de intentie van de gebruikersvraag te begrijpen en vervolgens de redeneringsstappen te creëren om het antwoord te genereren.

In GAR communiceren vragen rechtstreeks met de kennisbank. Ze worden samengesteld in plaats van gegenereerd, dezelfde vraag levert altijd hetzelfde antwoord op. Een redeneringsketen in GAR is een permanent, herzienbaar artefact, geen tijdelijk gesprek, dus de hele keten van redenering kan worden gereproduceerd.

Daardoor zijn de resultaten exponentieel nauwkeuriger dan met gegeneraliseerde genAI-motoren.

In zijn kern doet GAR drie dingen:

1. Automatisch bouwt het een semantische laag. GAR gebruikt AI om relaties en bedrijfsdefinities over systemen heen te ontsluiten en gegevens te verenigen in één model
2. Vertaalt bedrijfsintentie in hoogwaardige analytische taal. Deze taal vat de vraag op het niveau van het bedrijfsconcept (“omzet per bezoek per aanbieder voor Q2”) en compileert rechtstreeks naar SQL.
3. Logt elke redeneringsstap voor auditeerbaarheid. De oorsprong van elk antwoord is traceerbaar.

Waarom Dit Ertoe Doet

Door de redenering te beperken tot het interne kennismodel van het bedrijf, kan GAR hallucinaties elimineren en antwoorden leveren die provable correct zijn.

Definities, metrieken en vraagpatronen accumuleren in de loop van de tijd, waardoor toekomstige antwoorden verder worden aangepast aan de specifieke gebruiker.

Het element van vertrouwen is cruciaal voor zakelijke gebruikers die afhankelijk zijn van hun gestructureerde gegevens om geïnformeerde zakelijke beslissingen te nemen. Naarmate meer en meer organisaties geavanceerde AI-oplossingen implementeren, zullen ze frameworks eisen die het risico van hallucinaties en fouten tot bijna nul brengen.

Dat gebeurt wanneer query’s rechtstreeks verbonden zijn met uw gegevens, wanneer AI kan werken met grote datasets zonder te breken, en wanneer antwoorden worden geleverd met consistentie en provableerbaarheid.