Limpiando nuestros datos desordenados: Cómo el AI está cambiando el juego

Estamos ahogados en datos. Cada plataforma, smartwatch y smartphone fragmenta nuestras vidas en fragmentos cuantificables, pero la mayoría de ellos permanecen incoherentes e inutilizables.

Las empresas saben esto, por lo que el gigante tecnológico Meta invirtió $14 mil millones de dólares estadounidenses el verano pasado para adquirir una participación del 49% en la empresa de etiquetado de datos Scale AI, lo que supone una movida calculada y estratégica para asegurar datos de entrenamiento de alta calidad para sus modelos de AI.

La confiabilidad de los grandes modelos de lenguaje depende enteramente de la calidad de los datos que se les proporcionan – en resumen, “basura dentro, basura fuera”. Hoy en día, sin embargo, el verdadero desafío que enfrentan las empresas es convertir una inundación de información cruda en datos accionables.

La solución puede estar escondida a simple vista: el propio AI puede ayudar generando estrategias para evitar la tediosa tarea de etiquetar conjuntos de datos masivos o revisar interminables hojas de cálculo, convirtiendo el caos en inteligencia humana usable.

Cuando los datos se vuelven desordenados: Los costos ocultos para las empresas

Según una investigación de Gartner de 2020, la mala calidad de los datos cuesta a las organizaciones al menos $12.9 mil millones de dólares estadounidenses al año, afectando la productividad y llevando a decisiones mal informadas y reportes inexactos.

Las consecuencias de los datos desordenados son aún más evidentes en sectores como la atención médica. Los registros de salud incompletos, los detalles de facturación y los datos no coincidentes entre sistemas pueden llevar a diagnósticos incorrectos, errores de tratamiento y una asignación ineficiente de recursos. A largo plazo, esto aumenta los costos y erosiona la confianza en estos sistemas.

Mientras tanto, en la logística, los datos no coincidentes entre los proveedores y los distribuidores pueden resultar en retrasos o escasez de inventario. Una dirección de entrega incorrecta o un registro de stock desactualizado puede tener un efecto de onda en toda la cadena de suministro, lo que lleva a plazos perdidos y clientes insatisfechos.

“Al poder anticipar o entender lo que podría suceder [en la ruta] – basado en datos combinados y pasados – realmente se pueden reducir estas ineficiencias”, Asparuh Koev, CEO de la empresa de logística AI Transmetrics, señaló mientras conversaba con Unite AI.

En términos más prácticos, los datos desordenados son costosos. La regla del 1-10-100 ilustra esto: cuesta $1 verificar los datos al ingresarlos, $10 limpiarlos después, y $100 si no se hace nada.

Qué aportan las plataformas impulsadas por AI a la mesa

A medida que las empresas luchan con cantidades crecientes de datos sucios, están recurriendo a la AI para soluciones. Las plataformas impulsadas por AI emergentes ahora automatizan el proceso de limpieza de datos, asegurando la eficiencia en costos y mejorando la precisión.

Robert Giardina, fundador de Claritype, una de estas plataformas, explicó el proceso de la AI:

“Converge los datos en un formato común: parte del proceso es convertir cada dato en un formato canónico que se adapte al negocio.”

La AI de Claritype va más allá de la simple estandarización, sin embargo. La reparación supervisada de la plataforma permite a las organizaciones cruzar las fronteras de los sistemas en busca de respuestas a sus preguntas más urgentes, rompiendo los silos.

“Los sistemas que anteriormente se mantuvieron separados cada uno contienen una parte de la respuesta a las preguntas que abarcan todo el negocio”, Giardina le dijo a Unite AI.

Si un proveedor clave se ve afectado por un retraso en la entrega, por ejemplo, solo conectando a los proveedores con los pedidos y la historia del cliente puede una empresa determinar qué clientes principales deben ser notificados primero sobre el retraso.

“Nuestro objetivo final es extender este pensamiento interconectado para unificar cada fragmento de datos en la empresa, para que podamos hacer que cada pregunta sea fácil y inmediata de responder”, dijo Giardina.

Este tipo de pensamiento interconectado es representativo del cambio más amplio de mentalidad que ocurre en las empresas hoy en día, a medida que transitan de la limpieza de datos ad hoc a la gobernanza de datos sistemática. En lugar de tratar la calidad de los datos como una solución de una sola vez, las organizaciones están desarrollando procesos estructurados para garantizar la coherencia y la confiabilidad en todos sus sistemas.

La gobernanza de datos ahora se considera un proceso de negocio valioso, no solo una tarea de TI. Al integrar la gestión de datos en sus estrategias generales, las empresas pueden tomar mejores decisiones y obtener perspectivas más significativas de sus datos.

Cómo la AI limpia los datos y los desafíos que enfrenta

Confiar demasiado en la AI puede ser peligroso. Para Giardina, “las conversiones de datos automatizadas preocupantes son aquellas que van más allá de la estandarización y entran en el terreno de las conjeturas”.

Por ejemplo, algunos abreviaturas podrían ser fácilmente malinterpretados. “International Business Machines, Inc.” o “I.B.M.”, por ejemplo, normalmente se convertirían en “IBM”, pero si la conversión fuera automatizada y “I.B.” se convirtiera accidentalmente en “IBM”, podría causar problemas significativos para ambas empresas.

Los datos faltantes y los datos inexactos son dos de los problemas más comunes, y confiar únicamente en la AI para llenar los vacíos según el contexto puede fácilmente backfire. Como Giardina señala, “cuando los efectos son de cualquier manera significativos, necesitamos que un ser humano apruebe cada conjetura”.

Equilibrar la automatización con la perspicacia humana

Los datos desordenados resaltan las profundas fallas en la forma en que las organizaciones manejan la información. Para avanzar y mejorar la toma de decisiones, las empresas deben dejar de ver los datos como un tema puramente técnico y moverse hacia modelos de gobernanza que combinen la experiencia humana, la conciencia ética y una visión estratégica a largo plazo.

Los datos más limpios crean una AI más efectiva, que a su vez ayuda a mejorar la calidad de los datos; este ciclo de refuerzo mutuo es prometedor, pero sirve como recordatorio de que la automatización sola no resolverá nuestro problema de datos desordenados. Este potencial solo se puede realizar emparejando la precisión algorítmica con el juicio humano y la conciencia de los sesgos que puede introducir, asegurando la transparencia y más confianza en los sistemas que construimos.

Alex Sandoval, CEO de la empresa de inteligencia de fabricación AI Allie AI, también enfatizó cómo los copilotos de AI generativos no funcionan solo con algoritmos, sino que dependen de la fluidez humana en la lógica de la fábrica.

“Hoy en día, los despliegues más exitosos no se trata solo de alimentar a los modelos con vastos datos de controladores lógicos programables (PLC), notas de operadores y protocolos de cumplimiento. Dependen de un nuevo tipo de trabajador de primera línea: aquel que puede traducir entre el comportamiento de la máquina y la intuición digital”, concluyó.