¿Son los RAG la solución a las alucinaciones de la IA?

La IA, por diseño, tiene “mente propia”. Una desventaja de esto es que los modelos de IA generativa ocasionalmente fabrican información en un fenómeno llamado "alucinaciones de IA", uno de cuyos primeros ejemplos saltó a la luz cuando un juez de Nueva York reprendido abogados por utilizar un escrito legal escrito por ChatGPT que hacía referencia a casos judiciales inexistentes. Más recientemente, ha habido incidentes en los que motores de búsqueda generados por IA les dicen a los usuarios que consumir rocas para obtener beneficios para la salud o utilizar productos no tóxicos. pegamento para ayudar a que el queso se adhiera a la pizza.

A medida que la GenAI se vuelve cada vez más omnipresente, es importante que quienes la adoptan reconozcan que las alucinaciones son, a partir de ahora, una inevitable aspecto de las soluciones GenAI. Estas soluciones, basadas en grandes modelos de lenguaje (LLM), a menudo se basan en grandes cantidades de fuentes dispares que probablemente contengan al menos cierta información inexacta u obsoleta; estas respuestas fabricadas constituyen entre 3% y 10% de respuestas generadas por chatbot de IA a las indicaciones de los usuarios. A la luz de la IA “cuadro negro"La naturaleza, en la que, como humanos, tenemos extraordinarias dificultades para examinar exactamente cómo la IA genera sus resultados", puede ser casi imposible para los desarrolladores rastrear y comprender estas alucinaciones.

Inevitables o no, las alucinaciones de la IA son frustrantes en el mejor de los casos, peligrosas y poco éticas en el peor.

En múltiples sectores, incluidos el de la salud, las finanzas y la seguridad pública, las ramificaciones de las alucinaciones incluyen desde la difusión de información errónea y el compromiso de datos confidenciales hasta percances que ponen en peligro la vida. Si las alucinaciones siguen sin controlarse, el bienestar de los usuarios y la confianza de la sociedad en los sistemas de IA se verán comprometidos.

Como tal, es imperativo que los administradores de esta poderosa tecnología reconozcan y aborden los riesgos de las alucinaciones de la IA para garantizar la credibilidad de los resultados generados por el LLM.

Los RAG como punto de partida para resolver las alucinaciones

Un método que ha pasado a primer plano para mitigar las alucinaciones es generación de recuperación aumentada, o TRAPO. Esta solución mejora la confiabilidad de LLM mediante la integración de almacenes de información externos (extrayendo información relevante de una base de datos confiable elegida según la naturaleza de la consulta) para garantizar respuestas más confiables a consultas específicas.

alguna industria expertos han postulado que RAG por sí solo puede resolver las alucinaciones. Pero las bases de datos integradas en RAG aún pueden incluir datos obsoletos, lo que podría generar información falsa o engañosa. En ciertos casos, la integración de datos externos a través de RAG puede incluso aumentar la probabilidad de que se produzcan alucinaciones en modelos lingüísticos de gran tamaño: si un modelo de IA depende desproporcionadamente de una base de datos obsoleta que percibe Al estar totalmente actualizado, el alcance de las alucinaciones puede llegar a ser aún más grave.

Barandillas de IA: cerrando las brechas de RAG

Como puede ver, los RAG son prometedores para mitigar las alucinaciones de la IA. Sin embargo, las industrias y empresas que recurran a estas soluciones también deben comprender sus limitaciones inherentes. De hecho, cuando se utilizan junto con los RAG, existen metodologías complementarias que deben utilizarse al abordar las alucinaciones LLM.

Por ejemplo, las empresas pueden emplear IA en tiempo real barandillas para asegurar respuestas de LLM y mitigar las alucinaciones de IA. Guardrails actúa como una red que examina todos los resultados de LLM en busca de contenido fabricado, profano o fuera de tema antes de que llegue a los usuarios. Este enfoque proactivo de middleware garantiza la confiabilidad y relevancia de la recuperación en los sistemas RAG, lo que en última instancia aumenta la confianza entre los usuarios y garantiza interacciones seguras que se alinean con la marca de una empresa.

Alternativamente, existe el enfoque de “ingeniería rápida”, que requiere que el ingeniero cambie el mensaje maestro de backend. Al agregar restricciones predeterminadas a las indicaciones aceptables (en otras palabras, monitorear no solo dónde obtiene información el LLM sino también cómo los usuarios le piden respuestas), las indicaciones diseñadas pueden guiar a los LLM hacia resultados más confiables. La principal desventaja de este enfoque es que este tipo de ingeniería rápida puede ser una tarea que requiere mucho tiempo para los programadores, quienes a menudo ya tienen poco tiempo y recursos.

El enfoque de "ajuste fino" implica capacitar a los LLM en conjuntos de datos especializados para refinar el rendimiento y mitigar el riesgo de alucinaciones. Este método capacita a los LLM especializados en tareas para que extraigan de dominios específicos y confiables, mejorando la precisión y confiabilidad en la producción.

También es importante considerar el impacto de la longitud de la entrada en el rendimiento del razonamiento de los LLM; de hecho, muchos usuarios tienden a pensar que cuanto más extensa y llena de parámetros sea su mensaje, más precisos serán los resultados. Sin embargo, uno estudio reciente reveló que la precisión de los resultados del LLM en realidad disminuye a medida que aumenta la longitud de entrada. En consecuencia, aumentar el número de pautas asignadas a cualquier mensaje determinado no garantiza una confiabilidad constante en la generación de aplicaciones de IA generativa confiables.

Este fenómeno, conocido como sobrecarga de indicaciones, resalta los riesgos inherentes de diseños de indicaciones demasiado complejos: cuanto más ampliamente se redacta una indicación, más puertas se abren a información inexacta y alucinaciones a medida que el LLM se esfuerza por cumplir con todos los parámetros.

Ingeniería rápida requiere actualizaciones y ajustes constantes y todavía lucha por prevenir alucinaciones o respuestas sin sentido de manera efectiva. Las barreras de seguridad, por otro lado, no crearán riesgos adicionales de resultados fabricados, lo que las convierte en una opción atractiva para proteger la IA. A diferencia de la ingeniería rápida, las barreras de seguridad ofrecen una solución integral en tiempo real que garantiza que la IA generativa solo creará resultados dentro de límites predefinidos.

Si bien no es una solución por sí sola, los comentarios de los usuarios también pueden ayudar a mitigar las alucinaciones con acciones como votos positivos y negativos que ayudan a refinar los modelos, mejorar la precisión de la salida y reducir el riesgo de alucinaciones.

Por sí solas, las soluciones RAG requieren una amplia experimentación para lograr resultados precisos. Pero cuando se combinan con ajustes, ingeniería rápida y barreras de seguridad, pueden ofrecer soluciones más específicas y eficientes para abordar las alucinaciones. La exploración de estas estrategias complementarias continuará mejorando la mitigación de las alucinaciones en los LLM, lo que ayudará al desarrollo de modelos más fiables y dignos de confianza en diversas aplicaciones.

Los RAG no son la solución a las alucinaciones de la IA

Las soluciones RAG agregan un valor inmenso a los LLM al enriquecerlos con conocimiento externo. Pero como aún se desconoce tanto sobre la IA generativa, las alucinaciones siguen siendo un desafío inherente. La clave para combatirlos no reside en tratar de eliminarlos, sino más bien en aliviar su influencia con una combinación de barreras estratégicas, procesos de investigación e indicaciones afinadas.

Cuanto más podamos confiar en lo que nos dice GenAI, más efectiva y eficientemente podremos aprovechar su poderoso potencial.