Por qué la Recuperación Generativa-Aumentada es la Nueva Frontera de la Analítica de Datos

Tres de cada cuatro personas dicen que sus organizaciones utilizan la inteligencia artificial. Sin embargo, la mayoría de esa actividad aún se centra en contenido no estructurado: resumir reuniones, redactar correos electrónicos o automatizar el soporte al cliente.

Pero irónicamente, gran parte de los datos que realmente impulsan las decisiones comerciales – informes financieros, tablas de almacén y KPI – permanecen en gran medida sin ser tocados por la inteligencia artificial.

La razón no es la falta de ambición, sino la falta de confianza. Cuando un modelo imagina una oración, a menudo se puede corregir; cuando imagina un número, es catastrófico. Un director financiero no puede aprobar una respuesta que no pueda verificar.

Hoy en día, los datos estructurados viven en decenas de sistemas, cada uno con sus propias reglas y relaciones. Hacer que la inteligencia artificial razona correctamente a través de esa complejidad es un desafío más difícil que cualquier chatbot.

Las empresas y sus equipos – incluidos los usuarios no técnicos – necesitan poder interactuar con sus datos de una manera sencilla para reducir cuellos de botella y obtener insights rápidos y precisos. Sin tener que aprender SQL.

Algunas soluciones están surgiendo – veamos algunos ejemplos prominentes, con sus beneficios y sus inconvenientes.

Inteligencia artificial y datos estructurados – un puente demasiado lejano

En los últimos dos años, varios esfuerzos han surgido para conectar los insights de la inteligencia artificial y los datos estructurados.

Muchos provienen de gigantes tecnológicos con recursos y datos significativos. Snowflake, por ejemplo, introdujo el Cortex Analyst, que intenta permitir a los usuarios hacer preguntas en lenguaje natural contra el almacén de datos de Snowflake.

Para mejorar la precisión, Cortex tiene una forma de proporcionar metadatos semánticos – pero el modelo está muy limitado. Por un lado, tiene que ser construido manualmente, y incluso así, solo puede operar en un máximo de 10 tablas, lo que no es suficiente ni siquiera para una empresa de tamaño mediano. Cualquier cosa más allá de eso, y la confianza se rompe, ya que la precisión disminuye.

La historia se repite con los intentos de Databricks, que adoptó un enfoque de texto a SQL con AI/BI Genie. Esta solución solo se puede implementar de manera efectiva en dominios pequeños, perdiendo precisión con conjuntos de datos más grandes.

Microsoft Power BI Copilot adopta un enfoque generativo de superficie, incrustando la inteligencia artificial directamente en los paneles para describir visualizaciones, sugerir medidas y redactar informes. Mejora la exploración, pero no cambia la forma en que se razonan o verifican los análisis. Cada respuesta aún depende del juicio del modelo, y cuando ese juicio falla, no hay una pista de auditoría ni una lógica determinista a la que recurrir.

En conjunto, estos sistemas apuntan en la dirección correcta: desplegar la inteligencia artificial en los datos estructurados de la empresa. Pero también comparten un error crítico. Dependen del modelo de inteligencia artificial para generar SQL a partir del lenguaje natural, y cuando ese SQL es incorrecto, lo que sucede con frecuencia, el usuario comercial se queda atascado. Un ejecutivo que no puede leer SQL no tiene forma de diagnosticar o corregir el resultado. La conversación se detiene en seco.

Otra forma de abordar el problema es pre-indexar pares de preguntas y respuestas probables. El GARAGe de Ada, entre otros, sigue este método. Funciona bien en dominios estrechos donde las preguntas son predecibles, pero el rendimiento disminuye a medida que crece la complejidad de los datos. Una vez que las tablas y los esquemas se multiplican, el pre-indexado se vuelve inmanejable.

Un camino diferente: Recuperación Generativa-Aumentada

La Recuperación Generativa-Aumentada (GAR) da la vuelta a la aproximación actual de RAG (Recuperación-Aumentada de Generación, que busca información relevante y la incorpora a un modelo de lenguaje grande para aumentar la precisión).

En lugar de pedirle a un modelo de lenguaje que escriba SQL, la GAR utiliza la inteligencia artificial generativa para comprender la intención de la consulta del usuario y luego crea los pasos de razonamiento para generar la respuesta.

En la GAR, las consultas interactúan directamente con la base de conocimientos. Se compilan en lugar de generarse, la misma pregunta siempre produce la misma respuesta. Una cadena de razonamiento en la GAR es un artefacto permanente y revisable, no un chat transitorio, por lo que se puede reproducir toda la cadena de razonamiento.

Eso significa que los resultados son exponencialmente más precisos que con los motores de inteligencia artificial generalizados.

En su núcleo, la GAR hace tres cosas:

1. Construye automáticamente una capa semántica. La GAR utiliza la inteligencia artificial para descubrir relaciones y definiciones comerciales a través de los sistemas, unificando los datos en un solo modelo
2. Traduce la intención comercial en lenguaje analítico de alto nivel. Este lenguaje captura la consulta a nivel de concepto comercial (“ingresos por visita por proveedor para el segundo trimestre”) y se compila directamente en SQL.
3. Registra cada paso de razonamiento para la auditoría. El origen de cada respuesta es rastreable.

Por qué esto importa

Al limitar el razonamiento al modelo de conocimiento interno de la empresa, la GAR puede eliminar las alucinaciones y proporcionar respuestas que son provablemente correctas.

Las definiciones, las métricas y los patrones de consulta se acumulan con el tiempo, lo que hace que las respuestas futuras estén más personalizadas para su usuario específico.

El elemento de confianza es crucial para los usuarios comerciales que dependen de sus datos estructurados para tomar decisiones informadas. A medida que más y más organizaciones implementan soluciones de inteligencia artificial avanzadas, exigirán marcos que reduzcan el riesgo de alucinaciones y errores a casi cero.

Eso sucede cuando la consulta se conecta directamente a sus datos, cuando la inteligencia artificial puede trabajar en grandes conjuntos de datos sin romperse y cuando las respuestas se proporcionan con consistencia y probabilidad.