Limpiando nuestros datos desordenados: cómo la IA está cambiando las reglas del juego

Nos estamos ahogando en datos. Cada plataforma, reloj inteligente y teléfono inteligente fragmenta nuestras vidas en fragmentos cuantificables, pero la mayor parte sigue siendo incoherente e inutilizable. 

Las empresas lo saben, y por eso el gigante tecnológico Meta será invertido El verano pasado gastó 14 mil millones de dólares para adquirir una participación del 49% en la startup de etiquetado de datos Scale AI, una decisión calculada y estratégica para asegurar datos de entrenamiento de alta calidad para sus modelos de IA.

La fiabilidad de los grandes modelos lingüísticos depende completamente de la calidad de los datos que se les suministran; en resumen, "basura entra, basura sale". Sin embargo, hoy en día, el verdadero reto al que se enfrentan las empresas es convertir una avalancha de información sin procesar en datos procesables. 

La solución puede estar escondida a simple vista: la propia IA puede ayudar generando estrategias para evitar la tediosa tarea de etiquetar conjuntos de datos masivos o revisar interminables hojas de cálculo, convirtiendo el caos en inteligencia humana utilizable. 

Cuando los datos se vuelven confusos: los costos ocultos para las empresas

Según Una investigación de Gartner A partir de 2020, la mala calidad de los datos le cuesta a las organizaciones al menos USD 12.9 millones al año, lo que afecta la productividad y conduce a decisiones mal informadas e informes inexactos. 

Las consecuencias de la falta de datos son aún más evidentes en sectores como la salud. Historias clínicas incompletas, detalles de facturación y datos incoherentes entre sistemas pueden provocar diagnósticos erróneos, errores de tratamiento y una asignación ineficiente de recursos. A largo plazo, esto incrementa los costos y erosiona la confianza en estos sistemas.

Mientras tanto, en logística, la falta de coincidencia de datos entre proveedores y distribuidores puede provocar retrasos o escasez de inventario. Una dirección de entrega incorrecta o un registro de existencias desactualizado pueden tener un efecto dominó en toda la cadena de suministro, provocando incumplimientos de plazos y clientes insatisfechos. 

“Al poder anticipar o comprender lo que podría suceder [a lo largo de la ruta], basándose en datos pasados ​​combinados, realmente se pueden reducir estas ineficiencias”. Asparuh Koev, CEO de una empresa de inteligencia artificial logística Transmetricas, notado mientras conversaba con Unir IA.

En términos más prácticos, los datos desordenados son costosos. La regla 1-10-100 lo ilustra: cuesta $1 verificar los datos al ingresarlos, $10 limpiarlos posteriormente y $100 si no se hace nada.

Lo que las plataformas impulsadas por IA aportan

A medida que las empresas lidian con cantidades crecientes de datos erróneos, recurren a la IA para encontrar soluciones. Las plataformas emergentes basadas en IA automatizan el proceso de limpieza de datos, garantizando la rentabilidad y mejorando la precisión.

Roberto Giardina, founder of Claridad, una de esas plataformas, explicó el proceso de IA: 

“Converge datos en un formato común: parte del proceso es convertir cada dato a un formato canónico que se adapte al negocio”. 

Sin embargo, la IA de Claritype va más allá de la simple estandarización. La reparación supervisada de la plataforma permite a las organizaciones superar las barreras del sistema en busca de respuestas a sus preguntas más urgentes, eliminando así los silos. 

“Los sistemas que antes se mantenían separados contienen cada uno una parte de la respuesta a preguntas que abarcan todo el negocio”, dijo Giardina. Unir IA. 

Si un proveedor clave se ve afectado por un retraso en el envío, por ejemplo, solo conectando a los proveedores con los pedidos y el historial de los clientes puede una empresa determinar cuáles de sus principales clientes deben ser notificados primero sobre el retraso.

“Nuestro objetivo final es extender este pensamiento interconectado para unificar cada fragmento de datos de la empresa, de modo que podamos hacer que cada pregunta sea fácil e inmediata de responder”, afirmó Giardina. 

Este tipo de pensamiento interconectado es representativo del cambio de mentalidad más amplio que se está produciendo en las empresas hoy en día, a medida que hacen la transición de ad hoc De la limpieza de datos a la gobernanza sistemática de datos. En lugar de tratar la calidad de los datos como una solución puntual, las organizaciones están desarrollando procesos estructurados para garantizar la consistencia y la fiabilidad en todos sus sistemas.

La gobernanza de datos se considera ahora un proceso empresarial valioso, no solo una tarea de TI. Al integrar la gestión de datos en sus estrategias generales, las empresas pueden tomar mejores decisiones y obtener información más significativa de sus datos.

Cómo la IA limpia los datos y los desafíos que enfrenta

Depender excesivamente de la IA puede ser peligroso. Para Giardina, «las preocupantes conversiones automatizadas de datos son aquellas que van más allá de la estandarización y se convierten en conjeturas». 

Por ejemplo, algunas abreviaturas podrían malinterpretarse fácilmente. Por ejemplo, «International Business Machines, Inc.» o «IBM» normalmente se convertirían en «IBM», pero si la conversión se automatizara y «IB» se convirtiera accidentalmente en «IBM», esto podría causar problemas importantes para ambas empresas.

La falta de datos y la inexactitud de los mismos son dos de los problemas más comunes, y confiar únicamente en la IA para completar las lagunas según el contexto puede ser contraproducente. Como señala Giardina, «cuando los efectos son significativos, necesitamos que un humano apruebe cada suposición». 

Equilibrando la automatización con el conocimiento humano

Los datos desordenados ponen de manifiesto profundas deficiencias en la gestión de la información por parte de las organizaciones. Para avanzar y mejorar la toma de decisiones, las empresas deben dejar de considerar los datos como una cuestión puramente técnica y adoptar modelos de gobernanza que combinen la experiencia humana, la conciencia ética y una visión estratégica a largo plazo. 

Unos datos más limpios generan una IA más eficaz, lo que a su vez contribuye a mejorar la calidad de los datos. Este ciclo de refuerzo mutuo es prometedor, pero nos recuerda que la automatización por sí sola no resolverá nuestro problema de datos desordenados. Este potencial solo se puede materializar combinando la precisión algorítmica con el criterio humano y la conciencia de los sesgos que puede introducir, garantizando así la transparencia y una mayor confianza en los sistemas que construimos.

Alex Sandoval, director ejecutivo de una empresa de inteligencia artificial para la fabricación, Allie AITambién destacó cómo los copilotos de IA generativa no funcionan solo con algoritmos, sino que dependen de la fluidez humana en la lógica de la fábrica. 

Las implementaciones más exitosas de la actualidad no se limitan a alimentar los modelos con grandes cantidades de datos de controladores lógicos programables (PLC), notas de operador y protocolos de cumplimiento. Dependen de un nuevo tipo de trabajador de primera línea: alguien capaz de conectar el comportamiento de las máquinas con la intuición digital, concluyó.