Los equipos de datos están muertos, ¡larga vida a los equipos de datos!

Sí, el título es provocativo y sensacionalista, pero como director de tecnología con muchos años de experiencia en datos, he presenciado una transformación que justifica el drama. El equipo de datos tradicional – el equipo de oficina que procesa informes y paneles de control – está efectivamente muerto. En su lugar, surge un nuevo tipo de equipo de datos: un equipo impulsado por la inteligencia artificial (IA) y centrado en productos, con un impacto directo en los ingresos. Ya no son un centro de costos, sino un grupo que genera ganancias.

El viaje desde la inteligencia empresarial hasta el aprendizaje automático

No hace mucho tiempo, los equipos de datos eran sinónimos de inteligencia empresarial (BI). Éramos los historiadores de los datos de la empresa, viviendo en SQL y hojas de cálculo, encargados de responder a “¿Qué sucedió el último trimestre?” Cuando surgieron las tecnologías de big data como Hadoop y el término “científico de datos” se convirtió en el nuevo trabajo sexy, los equipos de datos evolucionaron. A mediados de la década de 2010, estábamos haciendo más que informes; nos aventuramos en visualización de datos y análisis interactivos, produciendo paneles dinámicos para cada departamento. El trabajo consistía en manejar datos, mezclar conjuntos de datos de fuentes y formas dispares, y tratar de comprender el conocimiento del dominio.

Luego, a finales de la década de 2010, llegó la era del aprendizaje automático. Los equipos de datos comenzaron a contratar científicos de datos para construir modelos predictivos y descubrir conocimientos en vastos conjuntos de datos. Pasamos de describir el pasado a predecir el futuro: modelos de abandono, motores de recomendación, previsiones de demanda – llámelo como quieras. Pero incluso entonces, nuestros resultados eran presentaciones y conocimientos, no productos en vivo. Funcionábamos como una oficina de servicios interna, asesorando a la empresa a través del análisis. En otras palabras, éramos centros de costos – valiosos, sí, pero un paso alejado del producto y los ingresos principales.

En los mejores casos, los equipos de aprendizaje automático se dispersaron en unidades separadas o se integraron en grupos de productos, para que sus modelos y inferencias pudieran estar completamente integrados en plataformas. La gran división llevó a numerosos proyectos fallidos, inversiones hundidas y oportunidades perdidas.

GenAI: De función de soporte a centro de ganancias

Luego llegó GenAI y todo cambió. El lanzamiento de poderosos modelos de lenguaje grande, como la familia GPT y variantes de código abierto como Llama, cambió el panorama virtualmente de la noche a la mañana. De repente, los equipos de datos no solo estaban analizando la empresa, sino que se convirtieron en parte integral de la construcción de productos y experiencias de IA. Cuando se integra con éxito un LLM en una aplicación orientada al cliente o en un flujo de trabajo interno, ya no solo se informa a la empresa; se impulsa. Un sistema GenAI bien implementado puede automatizar el soporte al cliente, generar contenido de marketing, personalizar experiencias de usuario o incluso proporcionar los datos necesarios para informar y entrenar sistemas de IA emergentes. Estas capacidades afectan directamente los flujos de ingresos. En efecto, el producto de trabajo del equipo de datos ha pasado de diapositivas de PowerPoint a aplicaciones en vivo impulsadas por IA.

Los equipos GenAI comenzaron con grupos de innovación, entregando pruebas de concepto que generaban “factor de asombro”. Y pronto, todos eran ingenieros de IA, extendiendo la IT sombra en organizaciones.

Los equipos de datos pronto se encontraron enfrentando una nueva pregunta: “¿Cuándo se convertirán en un centro de ganancias?” Cuando los ingenieros de IA comenzaron a crear herramientas increíbles, estaba claro que era hora de fusionar dos equipos: aquellos que controlaban los datos y aquellos que construían las aplicaciones.

Considera una empresa minorista que despliega un chatbot GenAI para manejar consultas de ventas, o un banco que lanza un asesor de inversiones personalizado impulsado por IA. Estos no son proyectos de IT tradicionales – son productos digitales que crean valor para el cliente y generan ingresos. Sin embargo, al mismo tiempo, para crear estos sistemas a escala, los equipos de ingeniería de IA necesitan poder acceder y operacionalizar los datos que los equipos tradicionales han preparado.

Los ejecutivos lo han notado. Las expectativas de los equipos de datos son muy altas ahora, con consejos de administración y CEOs que nos piden entregar el próximo vector de crecimiento impulsado por IA. Hemos pasado de ser analistas detrás de escena a innovadores de primera línea. Es una posición emocionante en la que estar, pero viene con una presión intensa para entregar resultados a escala.

De la exploración al producto – Una puerta de un solo sentido

El cambio de análisis exploratorio a IA centrada en productos es profundo e irreversible. ¿Por qué irreversible? Porque el impacto de GenAI en los negocios está demostrando ser demasiado grande para relegarlo de nuevo a un juguete de I+D. Según una reciente encuesta global, 96% de los líderes de TI han integrado IA en sus procesos principales – un aumento con respecto al 88% de solo un año antes. En otras palabras, casi todas las empresas han pasado de experimentar con IA a integrarla en flujos de trabajo críticos. Una vez que se cruza ese umbral donde la IA está entregando valor en producción, no hay vuelta atrás.

Este nuevo enfoque de IA cambia el ritmo y la mentalidad de los equipos de datos. En el pasado, teníamos el lujo de proyectos de descubrimiento a largo plazo y análisis de fin abierto. Hoy en día, si estamos construyendo una característica de IA, necesita estar lista para la producción, ser compatible y confiable – como cualquier producto orientado al cliente. Hemos entrado en lo que algunos llaman la “Edad Autónoma” de la ciencia de datos. La pregunta que guía nuestro trabajo ya no es “¿Qué conocimientos podemos descubrir?” sino “¿Qué sistema inteligente podemos construir que actúe sobre los conocimientos en tiempo real?”

Los sistemas GenAI no solo responden preguntas; comienzan a tomar decisiones. Es una puerta de un solo sentido: después de experimentar este tipo de autonomía y impacto, las empresas no se conformarán con informes estáticos y toma de decisiones manual. Ahora más que nunca, los equipos de datos necesitan ser orientados a partes interesadas y productos.

La dura verdad: Por qué la mayoría de las iniciativas GenAI fallan

En medio de todo el entusiasmo, hay una realidad sobria: la mayoría de las iniciativas GenAI fallan. Resulta que desplegar GenAI con éxito es extremadamente desafiante. Un reciente estudio de MIT encontró que un asombroso 95% de los proyectos piloto de GenAI de empresa nunca entregan un ROI medible. Solo alrededor del 5% de los pilotos de IA logran ganancias rápidas de ingresos o un impacto comercial significativo. Esto no se debe a la falta de potencial – se debe a la complejidad de hacer IA de la manera correcta.

Al profundizar en las causas del fracaso, la investigación de MIT pinta un cuadro claro. Muchos proyectos tropiezan debido a “hype sobre trabajo duro” – los equipos persiguen casos de uso de demostración llamativos en lugar de invertir en los fundamentos aburridos de integración, validación y monitoreo. Otros fallan debido al síndrome clásico de “basura dentro, basura fuera” – la mala calidad de los datos y las tuberías de datos siloadas condenan el proyecto antes de que la IA pueda hacer su trabajo. A menudo, no es el modelo de IA el que está defectuoso, es el entorno que lo rodea. Como lo expresan los investigadores, GenAI no falla en el laboratorio; falla en la empresa cuando choca con objetivos vagos, datos de mala calidad y la inercia organizacional. En la práctica, la mayoría de los pilotos de IA se estancan en la etapa de prueba de concepto y nunca se gradúan en una implementación de producción completa.

Esta verificación de la realidad es una lección valiosa. Nos dice que aunque los equipos de datos ahora están en el centro de atención, la mayoría están luchando por cumplir con las expectativas elevadas. Para que GenAI tenga éxito a escala, debemos superar una barra significativamente más alta de la que tuvimos en los días de la vieja BI.

Más allá de las sugerencias inteligentes: Los datos, la gobernanza y la infraestructura importan

¿Qué separa al 5% de los proyectos de IA que prosperan del 95% que tropiezan? En mi experiencia (y como lo confirma la investigación), los ganadores se centran en capacidades fundamentales – datos, gobernanza y infraestructura. GenAI no es magia; se basa en datos. Sin tuberías de datos de alta calidad, bien gobernadas, que alimenten sus modelos, incluso la mejor IA producirá resultados erráticos. Summit Partners lo expresó bien en un análisis reciente: “el éxito de cualquier sistema o proceso que utilice IA depende de la calidad, la estructura y la accesibilidad de los datos que lo alimentan”.

En términos prácticos, esto significa que las organizaciones deben redoblar esfuerzos en la arquitectura de datos y la gobernanza a medida que adoptan GenAI. ¿Tiene almacenes de datos unificados y accesibles que su IA pueda utilizar (y me refiero a todos los almacenes de datos, incluidos centros de datos, hiperscalers y sistemas SaaS de terceros, entre otros)? ¿Está ese dato limpio, curado y compatible con las regulaciones? ¿Hay una clara línea de datos y auditoría (para que pueda confiar en las salidas de IA y saber cómo se produjeron)? Estas preguntas ahora están en el centro.

GenAI está obligando a las empresas a ordenar finalmente su casa de datos

La gobernanza también ha adquirido una nueva importancia. Cuando un modelo de IA puede potencialmente generar una respuesta incorrecta (o ofensiva), una gobernanza robusta no es opcional – es obligatoria. Los controles como la versión, las comprobaciones de sesgo, la revisión humana en el bucle y las estrictas medidas de seguridad alrededor de las entradas de datos sensibles son esenciales. Sin una gobernanza adecuada, capacitación y objetivos claramente definidos, incluso una herramienta de IA sólida luchará por ganar tracción en los negocios.

Y no olvidemos la infraestructura. Desplegar GenAI a escala requiere una importante potencia de cálculo y una ingeniería rigurosa. Los modelos necesitan ser servidos en tiempo real, a través de posiblemente millones de consultas con baja latencia. A menudo necesitan GPU o hardware especializado, así como un monitoreo, retención y gestión de ciclo de vida continuos. En resumen, se necesita una infraestructura de IA industrial que sea segura, escalable y resistente. Aquí es donde entra el concepto de IA privada como el marco que une la infraestructura con los datos y la gobernanza. La IA privada se refiere al desarrollo de IA dentro de un entorno controlado y seguro, garantizando la seguridad y el cumplimiento de los datos.

El fondo es que el éxito de GenAI depende de la armonía de tres pilares: datos, gobernanza y infraestructura. Sin uno, se arriesga a unirse al 95% de los proyectos que nunca escalan más allá de la etapa de demostración.

Por qué los ingenieros de IA no pueden hacerlo solos

Dadas estas necesidades, está claro que simplemente contratar a unos pocos ingenieros de IA talentosos no es una bala de plata. Hemos aprendido esta lección en los últimos años en la industria de los datos. En los primeros días del auge de la ciencia de datos, las empresas intentaron encontrar “unicornios” científicos de datos que pudieran hacerlo todo – construir modelos, escribir código, manejar datos y despliegue. Ese mito ha sido desacreditado desde entonces. Como dijo un veterano científico de datos, “un modelo en una libreta no hace nada para el negocio”. Necesitas incrustar ese modelo en una aplicación o proceso para que cree valor. Y hacer eso requiere un esfuerzo en equipo que abarca múltiples habilidades.

En la década de 2010, vimos a los equipos de datos diversificarse en roles distintos: los ingenieros de datos comenzaron a construir tuberías de datos robustas, los ingenieros de aprendizaje automático se centraron en la producción de modelos, los ingenieros de análisis gestionaron la capa de análisis, y así sucesivamente.

Hoy en día, GenAI eleva la barra aún más. Sí, necesitas especialistas en IA (ingenieros de sugerencias, afinadores de LLM, etc.), pero esos especialistas chocarán con un muro si no tienen tuberías de datos maduras, marcos de gobernanza y plataformas seguras para trabajar. Un ingeniero de IA puede prototipar un gran modelo de lenguaje en un entorno de prueba, pero convertir eso en un producto utilizado por miles o millones requiere colaboración con equipos de seguridad, oficiales de cumplimiento, arquitectos de datos, ingenieros de confiabilidad del sitio y más.

La IA es un deporte en equipo. Es tentador pensar que puedes dejar caer un modelo de estado del arte en tu negocio y de repente tener una empresa impulsada por IA. Las empresas que tienen éxito con la IA son aquellas que han construido equipos multifuncionales, o “fábricas de IA”, que reúnen todas estas piezas. Sus equipos de datos han evolucionado efectivamente en equipos de productos de IA de pilas completas, combinando datos, modelado, ingeniería y experiencia en operaciones. Están construyendo y desplegando sus herramientas de una manera impulsada por datos y productos, con la generación de valor incorporada en cada KPI.

La próxima generación de equipos de datos

Así que, ¿qué depara el futuro para el nuevo “equipo de datos”? Aquí hay un vistazo a lo que está por venir para estos equipos en los próximos años:

• Menos ETL/ELT manual: El tedioso trabajo de manipulación de datos disminuirá. Con tuberías de datos más automatizadas y la integración asistida por IA, los equipos no pasarán la mitad de su tiempo limpiando y moviendo datos. El trabajo de preparación de datos será cada vez más manejado por sistemas inteligentes, permitiendo a los humanos centrarse en el diseño y el control de calidad de nivel superior.
• Menos paneles: La era de ajustar filtros de panel de forma interminable está desapareciendo. La IA permitirá una consulta de lenguaje natural y una entrega de conocimientos dinámicos. En lugar de paneles preconstruidos para cada pregunta, los usuarios obtendrán respuestas conversacionales de la IA (con datos de origen adjuntos). Los equipos de datos pasarán menos tiempo desarrollando informes estáticos y más tiempo entrenando a la IA para generar conocimientos al vuelo.
• Más desarrollo de productos nativos de IA: Los equipos de datos estarán en el corazón de la innovación de productos. Ya sea que estén desarrollando una nueva característica de IA orientada al cliente o una herramienta de IA interna que optimice las operaciones, estos equipos actuarán como equipos de productos. Emplearán prácticas de desarrollo de software, prototipado rápido, pruebas A/B y diseño de experiencia del usuario – no solo análisis de datos. Cada equipo de datos se convertirá, en efecto, en un equipo de productos de IA que entrega valor comercial directo.
• Agentes autónomos en ascenso: En un futuro no muy lejano, los equipos de datos desplegarán agentes de IA autónomos para manejar decisiones y tareas rutinarias. En lugar de simplemente predecir resultados, estos agentes estarán autorizados para tomar ciertas acciones (con supervisión). Imagina un agente de operaciones de IA que pueda detectar una anomalía y abrir automáticamente un ticket de remediación, o un agente de ventas de IA que ajuste los precios de comercio electrónico en tiempo real. Los equipos de datos serán responsables de construir y gestionar estos agentes, empujando los límites de lo que la automatización puede lograr.

A la luz de estos cambios, uno podría decir con razón “los equipos de datos como los conocíamos están muertos”. Los fanáticos de las hojas de cálculo y los fontaneros de paneles han dado paso a algo nuevo: equipos de IA de primera generación que son fluidos en datos, código y estrategia empresarial. Pero lejos de ser un elogio fúnebre, esto es una celebración. La nueva generación de equipos de datos está apenas comenzando, y son más valiosos que nunca

Así que recuerda, el ingeniero de datos está muerto, ¡larga vida al ingeniero de datos! Los equipos de datos como los conocíamos se han ido, pero ¡larga vida a los nuevos equipos de datos – que puedan reinar en este mundo impulsado por IA con conocimiento, responsabilidad y audacia!