¿Son los RAGs la solución a las alucinaciones de la IA?

La IA, por diseño, tiene “una mente propia”. Una desventaja de esto es que los modelos de IA generativos ocasionalmente fabricarán información en un fenómeno llamado “alucinaciones de la IA”, uno de los primeros ejemplos de los cuales llegó a la luz cuando un juez de Nueva York reprendió a abogados por utilizar un borrador legal escrito por ChatGPT que hacía referencia a casos judiciales inexistentes. Más recientemente, ha habido incidentes de motores de búsqueda generados por IA que les dicen a los usuarios que consuman rocas para beneficios para la salud, o que utilicen pegamento no tóxico pegamento para ayudar a que el queso se adhiera a la pizza.

A medida que GenAI se vuelve cada vez más ubicuo, es importante que los adoptantes reconozcan que las alucinaciones son, por ahora, un aspecto inevitable de las soluciones de GenAI. Construidas sobre grandes modelos de lenguaje (LLM), estas soluciones a menudo están informadas por vastas cantidades de fuentes dispares que probablemente contengan al menos alguna información inexacta o desactualizada – estas respuestas fabricadas constituyen entre el 3% y el 10% de las respuestas generadas por chatbots de IA a las solicitudes de los usuarios. A la luz de la naturaleza “caja negra” de la IA – en la que, como humanos, tenemos una dificultad extraordinaria para examinar exactamente cómo la IA genera sus resultados, – estas alucinaciones pueden ser casi imposibles para que los desarrolladores las rastreen y entiendan.

Inevitables o no, las alucinaciones de la IA son frustrantes en el mejor de los casos, peligrosas y poco éticas en el peor de los casos.

En múltiples sectores, incluidos la atención médica, las finanzas y la seguridad pública, las ramificaciones de las alucinaciones incluyen todo, desde la difusión de información errónea y la compromisión de datos sensibles hasta errores potencialmente mortales. Si las alucinaciones continúan sin control, se comprometerán el bienestar de los usuarios y la confianza de la sociedad en los sistemas de IA.

Como tal, es imperativo que los custodios de esta poderosa tecnología reconozcan y aborden los riesgos de las alucinaciones de la IA para garantizar la credibilidad de las salidas generadas por LLM.

RAGs como punto de partida para solucionar las alucinaciones

Un método que ha surgido para mitigar las alucinaciones es la generación mejorada por recuperación, o RAG. Esta solución mejora la confiabilidad de LLM a través de la integración de almacenes externos de información – extrayendo información relevante de una base de datos de confianza elegida según la naturaleza de la consulta – para garantizar respuestas más confiables a consultas específicas.

Algunos expertos de la industria han planteado que RAG solo puede solucionar las alucinaciones. Pero las bases de datos integradas con RAG aún pueden incluir datos desactualizados, lo que podría generar información falsa o engañosa. En ciertos casos, la integración de datos externos a través de RAG puede incluso aumentar la probabilidad de alucinaciones en los grandes modelos de lenguaje: si un modelo de IA se basa desproporcionadamente en una base de datos desactualizada que percibe como completamente actualizada, el alcance de las alucinaciones puede volverse aún más grave.

Guardrails de IA – Cubriendo las brechas de RAG

Como puede ver, RAGs tienen un gran potencial para mitigar las alucinaciones de la IA. Sin embargo, las industrias y empresas que se vuelvan hacia estas soluciones también deben entender sus limitaciones inherentes. De hecho, cuando se utilizan en conjunto con RAG, existen metodologías complementarias que deben utilizarse al abordar las alucinaciones de LLM.

Por ejemplo, las empresas pueden emplear guardrails de IA en tiempo real para garantizar la seguridad de las respuestas de LLM y mitigar las alucinaciones de la IA. Los guardrails actúan como una red que examina todas las salidas de LLM para contenido fabricado, profano o fuera de tema antes de que llegue a los usuarios. Este enfoque de middleware proactivo garantiza la confiabilidad y la relevancia de la recuperación en los sistemas RAG, lo que en última instancia aumenta la confianza entre los usuarios y garantiza interacciones seguras que se alinean con la marca de la empresa.

Alternativamente, existe el enfoque de “ingeniería de prompts”, que requiere que el ingeniero cambie el prompt maestro de backend. Al agregar restricciones preestablecidas a prompts aceptables – en otras palabras, monitoreando no solo dónde LLM está obteniendo la información, sino también cómo los usuarios están pidiendo respuestas – los prompts diseñados pueden guiar a LLM hacia resultados más confiables. La principal desventaja de este enfoque es que este tipo de ingeniería de prompts puede ser una tarea increíblemente tediosa para los programadores, que a menudo ya están estirados en cuanto a tiempo y recursos.

El enfoque de “ajuste fino” implica entrenar a LLM en conjuntos de datos especializados para refinar el rendimiento y mitigar el riesgo de alucinaciones. Este método entrena a LLM especializados en tareas para extraer de dominios específicos y de confianza, mejorando la precisión y la confiabilidad de la salida.

También es importante considerar el impacto de la longitud de la entrada en el rendimiento de razonamiento de LLM – de hecho, muchos usuarios tienden a pensar que cuanto más extensa y llena de parámetros sea su prompt, más precisas serán las salidas. Sin embargo, un estudio reciente reveló que la precisión de las salidas de LLM en realidad disminuye a medida que aumenta la longitud de la entrada. En consecuencia, aumentar la cantidad de pautas asignadas a cualquier prompt determinado no garantiza la confiabilidad consistente en la generación de aplicaciones de IA generativa confiables.

Este fenómeno, conocido como sobrecarga de prompts, destaca los riesgos inherentes de los diseños de prompts excesivamente complejos – cuanto más ampliamente se formula un prompt, más puertas se abren a información inexacta y alucinaciones a medida que LLM se esfuerza por cumplir con cada parámetro.

La ingeniería de prompts requiere actualizaciones y ajustes constantes y todavía lucha por prevenir alucinaciones o respuestas sin sentido de manera efectiva. Los guardrails, por otro lado, no crearán un riesgo adicional de salidas fabricadas, lo que los convierte en una opción atractiva para proteger la IA. A diferencia de la ingeniería de prompts, los guardrails ofrecen una solución integral en tiempo real que garantiza que la IA generativa solo cree salidas dentro de límites preestablecidos.

Si bien no es una solución por sí sola, la retroalimentación del usuario también puede ayudar a mitigar las alucinaciones con acciones como votos a favor y en contra que ayudan a refinar los modelos, mejorar la precisión de la salida y reducir el riesgo de alucinaciones.

Por sí solas, las soluciones RAG requieren una experimentación extensa para lograr resultados precisos. Pero cuando se combinan con ajuste fino, ingeniería de prompts y guardrails, pueden ofrecer soluciones más dirigidas y eficientes para abordar las alucinaciones. Explorar estas estrategias complementarias continuará mejorando la mitigación de alucinaciones en LLM, lo que ayudará en el desarrollo de modelos más confiables y dignos de confianza en diversas aplicaciones.

RAGs no son la solución a las alucinaciones de la IA

Las soluciones RAG agregan un valor inmenso a LLM al enriquecerlos con conocimiento externo. Pero con tanto aún desconocido sobre la IA generativa, las alucinaciones siguen siendo un desafío inherente. La clave para combatirlas no radica en tratar de eliminarlas, sino en mitigar su influencia con una combinación de guardrails estratégicos, procesos de verificación y prompts ajustados.

Cuanto más podamos confiar en lo que nos dice GenAI, más efectiva y eficientemente podremos aprovechar su poderoso potencial.