Líderes de pensamento

Por que a Recuperação-Aumentada por Geração é a Próxima Fronteira da Análise de Dados

mm
Adicione Unite.AI às suas fontes preferidas no Google

Três em cada quatro pessoas dizem que suas organizações usam IA. No entanto, a maior parte dessa atividade ainda se concentra em conteúdo não estruturado: resumindo reuniões, redigindo e-mails ou automatizando suporte ao cliente.

Ironicamente, grande parte dos dados que realmente impulsionam as decisões comerciais – relatórios financeiros, tabelas de armazém e KPIs – permanece largamente intocada pela IA.

A razão não é falta de ambição, mas falta de confiança. Quando um modelo alucina uma frase, isso pode ser corrigido; quando alucina um número, é catastrófico. Um CFO não pode assinar uma resposta que não possa verificar.

Hoje, os dados estruturados vivem em dezenas de sistemas, cada um com suas próprias regras e relacionamentos. Fazer com que a IA raciocine corretamente sobre essa complexidade é um desafio mais difícil do que qualquer chatbot.

Empresas e suas equipes – incluindo usuários não técnicos – precisam ser capazes de interagir com seus dados de forma simples para reduzir gargalos e obter insights rápidos e precisos. Sem precisar aprender SQL.

Algumas soluções estão surgindo – vamos dar uma olhada em alguns exemplos proeminentes, com seus benefícios e seus contratempos.

IA e dados estruturados – uma ponte longe demais

Nos últimos dois anos, vários esforços surgiram para conectar insights de IA e dados estruturados.

Muitos vêm de gigantes da tecnologia com recursos e dados significativos. A Snowflake, por exemplo, introduziu o Cortex Analyst, que tenta permitir que os usuários façam perguntas em linguagem natural contra o armazém de dados da Snowflake.

Para melhorar a precisão, o Cortex tem uma maneira de fornecer metadados semânticos – mas o modelo é fortemente limitado. Por um lado, ele precisa ser construído manualmente, e mesmo assim, só pode operar em um máximo de 10 tabelas, o que não é suficiente nem para uma empresa de tamanho médio. Qualquer coisa acima disso e a confiança se quebra, pois a precisão diminui.

A história se repete com as tentativas da Databricks, que adotou uma abordagem de texto-para-SQL com o AI/BI Genie. Essa solução só pode ser implantada com eficácia em domínios pequenos, perdendo precisão com conjuntos de dados aumentados.

O Microsoft Power BI Copilot adota uma abordagem gerativa de superfície, incorporando IA diretamente dentro dos dashboards para descrever visualizações, sugerir medidas e redigir relatórios. Ele melhora a exploração, mas não muda como as análises são raciocinadas ou verificadas. Cada resposta ainda depende do julgamento do modelo, e quando esse julgamento falha, não há trilha de auditoria ou lógica determinística para recorrer.

Coletivamente, esses sistemas apontam na direção certa: implantar IA em dados estruturados de empresas. Mas eles também compartilham uma falha crítica. Eles dependem do modelo de IA para gerar SQL a partir de linguagem natural, e quando esse SQL está errado, o que acontece com frequência, o usuário comercial fica preso. Um executivo que não pode ler SQL não tem como diagnosticar ou corrigir o resultado. A conversa para.

Outra forma de abordar o problema é pré-indexar pares de perguntas e respostas prováveis. O GARAGe da Ada, entre outros, segue esse método. Ele funciona bem em domínios estreitos onde as perguntas são previsíveis, mas o desempenho cai à medida que a complexidade dos dados cresce. Uma vez que as tabelas e esquemas se multiplicam, o pré-indexamento rapidamente se torna inadministrável.

Um Caminho Diferente: Recuperação-Aumentada por Geração

A Recuperação-Aumentada por Geração (GAR) vira a abordagem atual de cabeça para baixo (Geração-Aumentada por Recuperação fontes informações relevantes e as incorpora em um LLM para aumentar a precisão).

Ao invés de pedir a um LLM que escreva SQL, a GAR usa IA gerativa para entender a intenção da consulta do usuário e, em seguida, cria as etapas de raciocínio para gerar a resposta.

Na GAR, as consultas interagem diretamente com a base de conhecimento. Elas são compiladas e não geradas, a mesma pergunta sempre produz a mesma resposta. Uma cadeia de raciocínio na GAR é um artefato permanente e revisável, e não um bate-papo transitório, então toda a cadeia de raciocínio pode ser reproduzida.

Isso significa que os resultados são exponencialmente mais precisos do que com motores de IA genérica.

Em seu núcleo, a GAR faz três coisas:

  1. Constrói automaticamente uma camada semântica. A GAR usa IA para descobrir relacionamentos e definições de negócios em sistemas, unificando os dados em um único modelo
  2. Traduz a intenção comercial em linguagem analítica de alto nível. Essa linguagem captura a consulta no nível de conceito de negócios (“receita por visita por provedor para o Q2”) e compila diretamente em SQL.
  3. Registra cada etapa de raciocínio para auditoria. A origem de cada resposta é rastreável.

Por Que Isso Importa

Ao restringir o raciocínio ao modelo de conhecimento interno da empresa, a GAR pode eliminar alucinações e fornecer respostas que são provavelmente corretas.

Definições, métricas e padrões de consulta se acumulam ao longo do tempo, tornando as respostas futuras mais personalizadas para o usuário específico.

O elemento de confiança é crucial para os usuários comerciais que dependem de seus dados estruturados para tomar decisões de negócios informadas. À medida que mais e mais organizações implementam soluções de IA avançadas, elas exigirão estruturas que tragam o risco de alucinação e erro para quase zero.

Isso acontece quando a consulta se conecta diretamente aos seus dados, quando a IA pode trabalhar em grandes conjuntos de dados sem quebrar, e quando as respostas são fornecidas com consistência e comprovabilidade.

Rob Giardina é Co-Fundador e CEO da Claritype, uma empresa que desenvolve sistemas de IA que trazem explicabilidade e auditoria para análises de dados empresariais. Ele anteriormente serviu como Engenheiro de Implantação Avançada na Palantir Technologies.