Creciente preocupación por las alucinaciones y los sesgos de la IA: el informe de Aporia para 2024 destaca la necesidad urgente de estándares industriales

A informe reciente de Aporia, líder en el sector de plataformas de control de IA, ha sacado a la luz algunos hallazgos sorprendentes en el ámbito de la inteligencia artificial y el aprendizaje automático (AI y ML). Titulada “Informe AI y ML 2024: Evolución de modelos y soluciones”, la encuesta realizada por Aporia apunta a una tendencia creciente de alucinaciones y sesgos dentro de la IA generativa y los grandes modelos de lenguaje (LLM), lo que señala un desafío crucial para una industria que avanza rápidamente hacia madurez.

alucinaciones de IA referirse a casos donde generativo modelos generativos de IA producir resultados que son incorrectos, sin sentido o desconectados de la realidad. Estas alucinaciones pueden variar desde imprecisiones menores hasta errores importantes, incluida la generación de contenido sesgado o potencialmente dañino.

Las consecuencias de las alucinaciones de la IA pueden ser significativas, especialmente porque estos modelos están cada vez más integrados en diversos aspectos de los negocios y la sociedad. Por ejemplo, la inexactitud en la información generada por la IA puede generar información errónea, mientras que el contenido sesgado puede perpetuar estereotipos o prácticas desleales. En aplicaciones delicadas como la atención médica, las finanzas o el asesoramiento legal, estos errores podrían tener implicaciones graves y afectar las decisiones y los resultados.

Los hallazgos de la encuesta enfatizan la necesidad de un seguimiento y observación atentos de los modelos de producción.

La encuesta de Aporia incluyó respuestas de 1,000 profesionales del aprendizaje automático con sede en América del Norte y el Reino Unido. Estas personas trabajan en empresas que van desde 500 a 7,000 empleados, en sectores como finanzas, atención médica, viajes, seguros, software y comercio minorista. Los hallazgos subrayan tanto los desafíos como las oportunidades que enfrentan los líderes de producción de ML, arrojando luz sobre el papel vital de la optimización de la IA para la eficiencia y la creación de valor.

Ideas clave del informe incluye:

1. Prevalencia de desafíos operativos: Un abrumador 93 % de los ingenieros de aprendizaje automático informan que encuentran problemas con los modelos de producción, ya sea diaria o semanalmente. Esta importante estadística subraya la necesidad crítica de contar con herramientas efectivas de monitoreo y control para garantizar operaciones fluidas.
2. Incidencia de alucinaciones de IA: Un preocupante 89% de los ingenieros que trabajan con modelos de lenguaje grandes e IA generativa informan haber experimentado alucinaciones en estos modelos. Estas alucinaciones se manifiestan como errores fácticos, sesgos o contenidos que podrían resultar perjudiciales.
3. Centrarse en la mitigación del sesgo: A pesar de los obstáculos para detectar datos sesgados y la falta de herramientas de monitoreo suficientes, un notable 83% de los encuestados enfatiza la importancia de monitorear los sesgos en los proyectos de IA.
4. Importancia de la observabilidad en tiempo real: Un sustancial 88% de los profesionales del aprendizaje automático cree que la observabilidad en tiempo real es esencial para identificar problemas en los modelos de producción, una capacidad que no está presente en todas las empresas debido a la falta de herramientas de monitoreo automatizadas.
5. Inversión de recursos en el desarrollo: El informe revela que, en promedio, las empresas invierten alrededor de cuatro meses en desarrollar herramientas y paneles de control para monitorear la producción, lo que resalta posibles preocupaciones con respecto a la eficiencia y rentabilidad de tales inversiones.

"Nuestro informe muestra un claro consenso entre la industria: los productos de inteligencia artificial se están implementando a un ritmo rápido y habrá consecuencias si estos modelos de aprendizaje automático no se monitorean". afirmó Liran Hason, director ejecutivo de Aporia. “Los ingenieros que están detrás de estas herramientas han hablado: hay problemas con la tecnología y se pueden solucionar. Pero se necesitan herramientas de observabilidad correctas para garantizar que tanto las empresas como los consumidores reciban el mejor producto posible, libre de alucinaciones y prejuicios”.

Aporía, comprometido con mejorar la efectividad de los productos de IA impulsados ​​por el aprendizaje automático, ha estado abordando los desafíos de MLOps y abogando por prácticas responsables de IA. El enfoque centrado en el cliente de la empresa y la integración de los comentarios de los usuarios han llevado al desarrollo de herramientas y funciones sólidas para mejorar la experiencia del usuario, respaldar la expansión de los modelos de producción y ayudar a eliminar las alucinaciones.

El informe completo de Aporia ofrece una mirada en profundidad a estos hallazgos y sus implicaciones para la industria de la IA. Para explorar más, visite Informe de la encuesta de Aporia.