Dlaczego Generative-Augmented Retrieval to następny frontier analityki danych

Trzy na cztery osoby twierdzą, że ich organizacje wykorzystują sztuczną inteligencję. Jednak większość tej aktywności nadal koncentruje się na nieustrukturyzowanym contenucie: podsumowywaniu spotkań, redagowaniu e-maili lub automatyzowaniu obsługi klienta.

Ale ironicznie, wiele danych, które naprawdę napędza decyzje biznesowe – raporty finansowe, tabele magazynowe i KPI – pozostaje w dużej mierze niezmienione przez sztuczną inteligencję.

Przyczyną nie jest brak ambicji, ale brak zaufania. Kiedy model hallucynuje zdanie, można to często naprawić; kiedy hallucynuje liczbę, jest to katastrofalne. Dyrektor finansowy nie może zaakceptować odpowiedzi, której nie może zweryfikować.

Dziś strukturyzowane dane żyją w setkach systemów, każdy z własnymi zasadami i relacjami. Uzyskanie, aby sztuczna inteligencja rozumiała poprawnie tę złożoność, jest trudniejszym wyzwaniem niż jakikolwiek chatbot.

Przedsiębiorstwa i ich zespoły – w tym użytkownicy nietechniczni – muszą być w stanie wchodzić w interakcje ze swoimi danymi w prosty sposób, aby zmniejszyć wąskie gardła i uzyskać szybkie, dokładne spostrzeżenia. Bez konieczności nauki języka SQL.

Niektóre rozwiązania pojawiają się – przyjrzyjmy się kilku prominentnym przykładom, z ich korzyściami i wadami.

Sztuczna inteligencja i strukturyzowane dane – most zbyt daleki

W ciągu ostatnich dwóch lat pojawiło się kilka prób połączenia spostrzeżeń sztucznej inteligencji i strukturyzowanych danych.

Wiele z nich pochodzi od gigantów technologicznych z znaczącymi zasobami i danymi. Snowflake, na przykład, wprowadził Cortex Analyst, który próbuje pozwolić użytkownikom zadawać pytania w języku naturalnym przeciwko magazynowi danych Snowflake.

Aby poprawić dokładność, Cortex ma sposób dostarczania semantycznych metadanych – ale model jest silnie ograniczony. Po pierwsze, musi być zbudowany ręcznie, a nawet wtedy może działać tylko na maksymalnie 10 tabelach, co jest niewystarczające nawet dla średniej wielkości firmy. Im więcej, tym zaufanie się łamie, a dokładność maleje.

Historia powtarza się w przypadku prób Databricks, które przyjęły podejście text-to-SQL z AI/BI Genie. To rozwiązanie może być wdrożone skutecznie tylko w małych domenach, tracąc dokładność wraz ze wzrostem zbiorów danych.

Microsoft Power BI Copilot przyjmuje podejście generatywne na powierzchni, osadzając sztuczną inteligencję bezpośrednio w dashboardach, aby opisać wizualizacje, sugerować miary i redagować raporty. Ulepsza eksplorację, ale nie zmienia, w jaki sposób są rozumiane i weryfikowane analizy. Każda odpowiedź nadal zależy od osądu modelu, a kiedy ten osąd zawodzi, nie ma śladu audytowego ani deterministycznej logiki, na którą można by się oprzeć.

Wszystkie te systemy wskazują w dobrym kierunku: wdrożenie sztucznej inteligencji na strukturyzowanych danych przedsiębiorstwa. Ale wszystkie te systemy mają również wspólną wadę. Zależą one od modelu sztucznej inteligencji, aby wygenerować język SQL z języka naturalnego, a kiedy ten SQL jest błędny, co się często zdarza, użytkownik biznesowy zostaje zablokowany. Osoba, która nie potrafi czytać języka SQL, nie ma sposobu, aby zdiagnozować lub skorygować wynik. Rozmowa zostaje przerwana.

Inny sposób podejścia do problemu to pre-indeksowanie prawdopodobnych par pytań i odpowiedzi. GARAGe Ady, między innymi, stosuje tę metodę. Działa dobrze w wąskich domenach, gdzie pytania są przewidywalne, ale wydajność maleje wraz ze wzrostem złożoności danych. Gdy tabele i schematy się mnożą, pre-indeksowanie szybko staje się niezarządzalne.

Inny ścieżka: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) odwraca obecne podejście RAG (Retrieval-Augmented Generation sources relevant information and incorporates it into an LLM for increased accuracy).

Zamiast prosić LLM o napisanie języka SQL, GAR wykorzystuje sztuczną inteligencję generatywną, aby zrozumieć intencję zapytania użytkownika, a następnie tworzy kroki rozumowania, aby wygenerować odpowiedź.

W GAR zapytania wchodzą w interakcje bezpośrednio z bazą wiedzy. Są skompilowane, a nie wygenerowane, tak że to samo pytanie zawsze daje tę samą odpowiedź. Łańcuch rozumowania w GAR jest trwałym, przeglądalnym artefaktem, a nie przejściową rozmową, więc cały łańcuch rozumowania może być odtworzony.

To oznacza, że wyniki są wykładniczo bardziej dokładne niż w przypadku silników genAI.

W swojej istocie GAR robi trzy rzeczy:

1. Automatycznie buduje warstwę semantyczną. GAR wykorzystuje sztuczną inteligencję, aby odkryć relacje i definicje biznesowe w systemach, ujednolicając dane w jednym modelu
2. Tłumaczy intencję biznesową na język analityczny wysokiego poziomu. Ten język ujmuje zapytanie na poziomie koncepcji biznesowych („przychód na wizytę według dostawcy dla Q2”) i kompiluje bezpośrednio do języka SQL.
3. Zapisuje każdy krok rozumowania do audytu. Pochodzenie każdej odpowiedzi jest śledzone.

Dlaczego to ma znaczenie

Ograniczając rozumowanie do wewnętrznego modelu wiedzy biznesu, GAR może wyeliminować hallucynacje i dostarczać odpowiedzi, które są słuszne.

Definicje, metryki i wzorce zapytań kumulują się w czasie, sprawiając, że przyszłe odpowiedzi są bardziej dostosowane do konkretnego użytkownika.

Element zaufania jest kluczowy dla użytkowników biznesowych, którzy polegają na swoich strukturyzowanych danych, aby podejmować poinformowane decyzje biznesowe. Im więcej organizacji wdraża zaawansowane rozwiązania sztucznej inteligencji, tym bardziej będą one wymagać ram, które sprowadzą ryzyko hallucynacji i błędu do poziomu bliskiego zeru.

To następuje, gdy zapytania łączą się bezpośrednio z danymi, gdy sztuczna inteligencja może pracować na dużych zbiorach danych bez awarii, a odpowiedzi są dostarczane z konsekwencją i słusznością.