Limpiando Nuestros Datos Desordenados: Cómo el IA Está Cambiando el Juego

Estamos ahogados en datos. Cada plataforma, smartwatch y smartphone fragmenta nuestras vidas en fragmentos cuantificables, pero la mayoría de ellos permanecen incoherentes y no utilizables. 

Las empresas saben esto, por lo que el gigante tecnológico Meta invirtió $14 mil millones de USD el verano pasado para adquirir una participación del 49% en la startup de etiquetado de datos Scale AI, lo que supone una movida calculada y estratégica para asegurar datos de entrenamiento de alta calidad para sus modelos de IA.

La confiabilidad de los grandes modelos de lenguaje depende enteramente de la calidad de los datos que se les proporcionan – en resumen, “basura dentro, basura fuera”. Hoy en día, sin embargo, el verdadero desafío que enfrentan las empresas es convertir una inundación de información cruda en datos utilizables. 

La solución puede estar escondida a la vista: el propio IA puede ayudar generando estrategias para evitar la tediosa tarea de etiquetar grandes conjuntos de datos o buscar en interminables hojas de cálculo, convirtiendo el caos en inteligencia humana utilizable. 

Cuando los datos se vuelven desordenados: Los costos ocultos para las empresas

Según investigaciones de Gartner de 2020, la mala calidad de los datos cuesta a las organizaciones al menos $12.9 mil millones de USD al año, afectando la productividad y llevando a decisiones mal informadas y a informes inexactos. 

Las consecuencias de los datos desordenados son aún más evidentes en sectores como la atención médica. Los registros de salud incompletos, los detalles de facturación y los datos no coincidentes entre sistemas pueden llevar a mal diagnósticos, errores de tratamiento y una asignación ineficiente de recursos. A largo plazo, esto aumenta los costos y erosiona la confianza en estos sistemas.

Mientras tanto, en logística, los datos no coincidentes entre proveedores y distribuidores pueden resultar en retrasos o faltas de inventario. Una dirección de entrega incorrecta o un registro de stock obsoleto puede tener un efecto dominó en toda la cadena de suministro, lo que lleva a plazos perdidos y clientes insatisfechos. 

“Al poder anticipar o entender lo que podría suceder [en la ruta] – basado en datos combinados y pasados – realmente se pueden reducir estas ineficiencias”, Asparuh Koev, CEO de la empresa de IA de logística Transmetrics, señaló mientras conversaba con Unite AI.

En términos más prácticos, los datos desordenados son costosos. La regla 1-10-100 ilustra esto: cuesta $1 verificar los datos mientras se ingresan, $10 limpiarlos después, y $100 si no se hace nada.

Qué aportan las plataformas impulsadas por IA

A medida que las empresas luchan con cantidades crecientes de datos sucios, están recurriendo a la IA para soluciones. Las plataformas emergentes impulsadas por IA ahora automatizan el proceso de limpieza de datos, asegurando la rentabilidad y mejorando la precisión.

Robert Giardina, fundador de Claritype, una de estas plataformas, explicó el proceso de la IA: 

“Converge los datos en un formato común: parte del proceso es convertir cada dato en un formato canónico que se adapte al negocio.” 

La IA de Claritype va más allá de la simple estandarización, sin embargo. La reparación supervisada de la plataforma permite a las organizaciones cruzar los límites del sistema en busca de respuestas a sus preguntas más urgentes, rompiendo silos. 

“Los sistemas que antes se mantenían separados cada uno contienen una parte de la respuesta a preguntas que abarcan todo el negocio”, Giardina le dijo a Unite AI. 

Si un proveedor clave se ve afectado por un retraso en el envío, por ejemplo, solo conectando a los proveedores con los pedidos y el historial del cliente puede una empresa determinar qué clientes principales deben ser notificados primero sobre el retraso.

“Nuestro objetivo final es extender este pensamiento interconectado para unificar cada fragmento de datos en la empresa para que podamos hacer que cada pregunta sea fácil y rápida de responder”, dijo Giardina. 

Este tipo de pensamiento interconectado es representativo del cambio más amplio de mentalidad que ocurre en las empresas hoy en día, a medida que transitan de la limpieza de datos ad hoc a la gobernanza de datos sistemática. En lugar de tratar la calidad de los datos como una solución de una sola vez, las organizaciones están desarrollando procesos estructurados para asegurar la coherencia y la confiabilidad en todos sus sistemas.

La gobernanza de datos ahora se considera un proceso de negocio valioso, no solo una tarea de TI. Al integrar la gestión de datos en sus estrategias generales, las empresas pueden tomar mejores decisiones y obtener insights más significativos de sus datos.

Cómo la IA limpia los datos y los desafíos que enfrenta

Confiar demasiado en la IA puede ser peligroso. Para Giardina, “las conversiones de datos automatizadas que preocupan son aquellas que van más allá de la estandarización y entran en el terreno de las conjeturas”. 

Por ejemplo, algún abreviado podría ser fácilmente malinterpretado. “International Business Machines, Inc.” o “I.B.M.”, por ejemplo, normalmente se convertirían en “IBM”, pero si la conversión fuera automatizada y “I.B.” se convirtiera accidentalmente en “IBM”, podría causar problemas significativos para ambas empresas.

Los datos perdidos y los datos inexactos son dos de los problemas más comunes, y confiar únicamente en la IA para llenar los vacíos según el contexto puede fácilmente backfire. Como Giardina señala, “cuando los efectos son de cualquier manera significativos, necesitamos a un humano para aprobar cada conjetura”. 

Equilibrar la automatización con la perspicacia humana

Los datos desordenados resaltan las profundas fallas en la forma en que las organizaciones manejan la información. Para avanzar y mejorar la toma de decisiones, las empresas deben dejar de ver los datos como un problema puramente técnico y moverse hacia modelos de gobernanza que combinen la experiencia humana, la conciencia ética y una visión estratégica a largo plazo. 

Los datos más limpios crean un IA más efectivo, lo que a su vez ayuda a mejorar la calidad de los datos; este ciclo mutuamente reforzado es prometedor, pero sirve como recordatorio de que la automatización sola no solucionará nuestro problema de datos desordenados. Este potencial solo se puede realizar emparejando la precisión algorítmica con el juicio humano y la conciencia de los sesgos que puede introducir, asegurando la transparencia y más confianza en los sistemas que construimos.

Alex Sandoval, CEO de la empresa de IA de inteligencia de fabricación Allie AI, también enfatizó cómo los copilotos de IA generativos no funcionan solo con algoritmos, sino que confían en la fluidez humana en la lógica de la fábrica. 

“Hoy en día, las implementaciones más exitosas no se trata solo de alimentar a los modelos con vastos datos de controladores lógicos programables (PLC), notas de operadores y protocolos de cumplimiento. Dependen de un nuevo tipo de trabajador de primera línea: uno que pueda traducir entre el comportamiento de la máquina y la intuición digital”, concluyó.