Steven Hillion, Vicepresidente Senior de Datos y IA en Astronomer – Serie de Entrevistas

Steven Hillion es el Vicepresidente Senior de Datos y IA en Astronomer, donde aprovecha su extensa formación académica en investigación matemática y más de 15 años de experiencia en el desarrollo de plataformas de aprendizaje automático en Silicon Valley. En Astronomer, lidera la creación de características de Apache Airflow diseñadas específicamente para equipos de ML y IA, y supervisa el equipo interno de ciencia de datos. Bajo su liderazgo, Astronomer ha avanzado en su plataforma de orquestación de datos moderna, mejorando significativamente sus capacidades de canalización de datos para admitir una amplia variedad de fuentes de datos y tareas a través del aprendizaje automático.

¿Puede compartir algo sobre su trayectoria en ciencia de datos y IA, y cómo ha moldeado su enfoque para liderar equipos de ingeniería y análisis?

Tuve una formación en matemáticas puras en Berkeley antes de mudarme al otro lado de la bahía a Silicon Valley y trabajar como ingeniero en una serie de startups exitosas. Me alegró dejar atrás la política y la burocracia de la academia, pero encontré que, después de unos años, extrañaba las matemáticas. Así que me cambié a desarrollar plataformas para aprendizaje automático y análisis, y eso es básicamente lo que he hecho desde entonces.

Mi formación en matemáticas puras ha resultado en una preferencia por lo que los científicos de datos llaman “parsimonia” — la herramienta adecuada para el trabajo, y nada más. Debido a que los matemáticos tienden a favorecer soluciones elegantes sobre máquinas complejas, siempre he intentado enfatizar la simplicidad al aplicar aprendizaje automático a problemas empresariales. El aprendizaje profundo es excelente para algunas aplicaciones — los modelos de lenguaje grande son brillantes para resumir documentos, por ejemplo — pero a veces un modelo de regresión simple es más adecuado y más fácil de explicar.

Ha sido fascinante ver el papel cambiante del científico de datos y el ingeniero de software en estos últimos veinte años desde que el aprendizaje automático se volvió común. Haber usado ambos sombreros, soy muy consciente de la importancia del ciclo de vida de desarrollo de software (especialmente la automatización y las pruebas) aplicado a proyectos de aprendizaje automático.

¿Cuáles son los mayores desafíos al mover, procesar y analizar datos no estructurados para IA y modelos de lenguaje grande (LLM)?

En el mundo de la IA generativa, sus datos son su activo más valioso. Los modelos están cada vez más estandarizados, así que su diferenciación es todo ese conocimiento institucional difícil de ganar capturado en sus conjuntos de datos propietarios y curados.

Entregar los datos adecuados en el momento adecuado coloca demandas altas en sus canales de datos — y esto se aplica a los datos no estructurados tanto como a los estructurados, o quizás más. A menudo está ingiriendo datos de muchas fuentes diferentes, en muchos formatos diferentes. Necesita acceso a una variedad de métodos para desempacar los datos y prepararlos para su uso en inferencia de modelo o entrenamiento de modelo. También necesita entender la procedencia de los datos y dónde terminan para “mostrar su trabajo”.

Si solo lo hace de vez en cuando para entrenar un modelo, está bien. No necesariamente necesita operacionalizarlo. Si está usando el modelo diariamente, para comprender la opinión del cliente de los foros en línea, o para resumir y enrutar facturas, entonces comienza a parecerse a cualquier otro canal de datos operacional, lo que significa que necesita pensar en confiabilidad y reproducibilidad. O si está afinando el modelo regularmente, entonces necesita preocuparse por monitorear la precisión y el costo.

La buena noticia es que los ingenieros de datos han desarrollado una gran plataforma, Airflow, para gestionar canales de datos, que ya se ha aplicado con éxito a la gestión de la implementación de modelos y el monitoreo por parte de algunos de los equipos de ML más sofisticados del mundo. Así que los modelos pueden ser nuevos, pero la orquestación no lo es.

¿Puede elaborar sobre el uso de datos sintéticos para afinar modelos más pequeños para la precisión? ¿Cómo se compara con el entrenamiento de modelos más grandes?

Es una técnica poderosa. Puede pensar en los mejores modelos de lenguaje grande como si encapsularan lo que han aprendido sobre el mundo, y pueden pasar eso a modelos más pequeños generando datos sintéticos. Los LLM encapsulan vastas cantidades de conocimiento aprendidas de entrenamientos extensos en conjuntos de datos diversos. Estos modelos pueden generar datos sintéticos que capturan los patrones, estructuras e información que han aprendido. Estos datos sintéticos se pueden usar para entrenar modelos más pequeños, transfiriendo efectivamente algo del conocimiento de los modelos más grandes a los más pequeños. Este proceso a menudo se conoce como “destilación de conocimiento” y ayuda a crear modelos eficientes y más pequeños que aún realizan bien tareas específicas. Y con datos sintéticos, entonces puede evitar problemas de privacidad y llenar los vacíos en los datos de entrenamiento que son pequeños o incompletos.

Esto puede ser útil para entrenar un modelo de IA generativa más específico del dominio, y puede ser incluso más efectivo que entrenar un “modelo más grande”, con un mayor nivel de control.

Los científicos de datos han estado generando datos sintéticos durante un tiempo, y la imputación ha existido desde que existen conjuntos de datos desordenados. Pero siempre tuvo que ser muy cuidadoso para no introducir sesgos o hacer suposiciones incorrectas sobre la distribución de los datos. Ahora que sintetizar datos es mucho más fácil y poderoso, tiene que ser aún más cuidadoso. Los errores pueden magnificarse.

Una falta de diversidad en los datos generados puede llevar a “colapso de modelo”. El modelo piensa que lo está haciendo bien, pero eso es porque no ha visto la imagen completa. Y, más en general, una falta de diversidad en los datos de entrenamiento es algo que los equipos de datos siempre deben buscar.

En un nivel básico, ya sea que esté usando datos sintéticos o datos orgánicos, la procedencia y la calidad son fundamentales para entrenar o afinar cualquier modelo. Como sabemos, los modelos son tan buenos como los datos en los que se entrenan. Mientras que los datos sintéticos pueden ser una herramienta excelente para ayudar a representar un conjunto de datos sensibles sin exponerlo o para llenar los vacíos que podrían estar ausentes en un conjunto de datos representativo, debe tener un registro que muestre de dónde vino el dato y poder demostrar su nivel de calidad.

¿Cuáles son algunas técnicas innovadoras que su equipo en Astronomer está implementando para mejorar la eficiencia y la confiabilidad de los canales de datos?

¡Muchas! La infraestructura de Airflow completamente administrada por Astro y el hipervisor de Astro admiten escalado dinámico y monitoreo proactivo a través de métricas de salud avanzadas. Esto garantiza que los recursos se utilicen de manera eficiente y que los sistemas sean confiables en cualquier escala. Astro proporciona alertas de datos robustas con notificaciones personalizables que se pueden enviar a través de varios canales como Slack y PagerDuty. Esto garantiza una intervención oportuna antes de que los problemas escalen.

Las pruebas de validación de datos, las pruebas unitarias y las comprobaciones de calidad de datos desempeñan un papel vital para garantizar la confiabilidad, precisión y eficiencia de los canales de datos y, en última instancia, los datos que alimentan su negocio. Estas comprobaciones garantizan que, mientras construye rápidamente canales de datos para cumplir con sus plazos, está activamente capturando errores, mejorando los tiempos de desarrollo y reduciendo los errores imprevistos en segundo plano. En Astronomer, hemos construido herramientas como Astro CLI para ayudar a comprobar la funcionalidad del código o identificar problemas de integración dentro de su canal de datos.

¿Cómo ve la evolución de la gobernanza de la IA generativa, y qué medidas se deben tomar para apoyar la creación de más herramientas?

La gobernanza es imperativa si las aplicaciones de la IA generativa van a tener éxito. Se trata de transparencia y reproducibilidad. ¿Sabe cómo obtuvo este resultado, y de dónde, y por quién? Airflow por sí solo ya le da una forma de ver qué están haciendo los canales de datos individuales. Su interfaz de usuario fue una de las razones de su adopción rápida al principio, y en Astronomer hemos aumentado eso con visibilidad a través de equipos y despliegues. También proporcionamos a nuestros clientes paneles de informes que ofrecen información integral sobre el uso de la plataforma, el rendimiento y la atribución de costos para la toma de decisiones informadas. Además, la API de Astro permite a los equipos implementar, automatizar y administrar sus canales de Airflow de forma programática, mitigando los riesgos asociados con los procesos manuales y garantizando operaciones sin problemas a gran escala al administrar múltiples entornos de Airflow. Las capacidades de procedencia están integradas en la plataforma.

Estos son todos pasos hacia ayudar a gestionar la gobernanza de los datos, y creo que las empresas de todos los tamaños están reconociendo la importancia de la gobernanza de los datos para garantizar la confianza en las aplicaciones de IA. Este reconocimiento y conciencia impulsarán en gran medida la demanda de herramientas de gobernanza de datos, y anticipo que la creación de más de estas herramientas se acelerará a medida que la IA generativa se propague. Pero necesitan ser parte de la pila de orquestación más grande, por lo que los vemos como fundamentales para la forma en que construimos nuestra plataforma.

¿Puede proporcionar ejemplos de cómo las soluciones de Astronomer han mejorado la eficiencia operativa y la productividad para los clientes?

Los procesos de IA generativa involucran tareas complejas y exigentes en términos de recursos que necesitan ser optimizadas y ejecutadas repetidamente. Astro, la plataforma de Airflow administrada por Astronomer, proporciona un marco en el centro de la pila de aplicaciones de IA emergente para ayudar a simplificar estas tareas y mejorar la capacidad de innovar rápidamente.

Al orquestar tareas de IA generativa, las empresas pueden garantizar que los recursos computacionales se utilicen de manera eficiente y que los flujos de trabajo se optimicen y ajusten en tiempo real. Esto es particularmente importante en entornos donde los modelos generativos deben actualizarse o volver a entrenarse con frecuencia en función de nuevos datos.

Al aprovechar la gestión de flujos de trabajo de Airflow y las capacidades de implementación y escalado de Astronomer, los equipos pueden pasar menos tiempo administrando la infraestructura y centrar su atención en la transformación de datos y el desarrollo de modelos, lo que acelera la implementación de aplicaciones de IA generativa y mejora el rendimiento.

De esta manera, la plataforma Astro de Astronomer ha ayudado a los clientes a mejorar la eficiencia operativa de la IA generativa en una amplia variedad de casos de uso. Para nombrar algunos, los casos de uso incluyen el descubrimiento de productos de comercio electrónico, el análisis de riesgo de abandono del cliente, la automatización del soporte, la clasificación y resumen de documentos legales, la obtención de información de productos a partir de reseñas de clientes y la provisión dinámica de clústeres para la generación de imágenes de productos.

¿Cuál es el papel de Astronomer en la mejora del rendimiento y la escalabilidad de las aplicaciones de IA y ML?

La escalabilidad es un desafío importante para las empresas que aprovechan la IA generativa en 2024. Cuando se pasa de un prototipo a la producción, los usuarios esperan que sus aplicaciones de IA generativa sean confiables y de alto rendimiento, y que los resultados que producen sean confiables. Esto debe hacerse de manera rentable y las empresas de todos los tamaños deben poder aprovechar su potencial. Con este fin, al usar Astronomer, las tareas se pueden escalar horizontalmente para procesar dinámicamente grandes cantidades de fuentes de datos. Astro puede escalar despliegues y los clústeres que los alojan de forma elástica, y la ejecución de tareas basada en cola con tipos de máquina dedicados proporciona una mayor confiabilidad y un uso eficiente de los recursos de cómputo. Para ayudar con la parte de eficiencia de costos del rompecabezas, Astro ofrece funciones de escalado a cero y hibernación, que ayudan a controlar los costos en espiral y reducir los gastos en la nube. También proporcionamos transparencia completa sobre el costo de la plataforma. Mi propio equipo de datos genera informes sobre el consumo que hacemos disponibles diariamente para nuestros clientes.

¿Cuáles son algunas tendencias futuras en IA y ciencia de datos que le emocionan, y cómo se está preparando Astronomer para ellas?

La IA explicativa es un área de desarrollo enormemente importante y fascinante. Poder mirar dentro de las entrañas de modelos muy grandes es casi inquietante. Y también estoy interesado en ver cómo la comunidad lucha con el impacto ambiental del entrenamiento y ajuste de modelos. En Astronomer, seguimos actualizando nuestro Registro con todas las últimas integraciones, para que los equipos de datos y ML puedan conectarse a los mejores servicios de modelo y las plataformas de cómputo más eficientes sin esfuerzo alguno.

¿Cómo vislumbra la integración de herramientas de IA avanzadas como los LLM con sistemas de gestión de datos tradicionales en los próximos años?

Hemos visto a Databricks y Snowflake anunciar recientemente cómo incorporan tanto el uso como el desarrollo de LLM dentro de sus plataformas respectivas. Otras DBMS y plataformas de ML harán lo mismo. Es genial ver que los ingenieros de datos tienen acceso tan fácil a métodos tan poderosos, directamente desde la línea de comandos o la consulta SQL.

Estoy particularmente interesado en cómo las bases de datos relacionales incorporan el aprendizaje automático. Siempre estoy esperando a que los métodos de aprendizaje automático se incorporen al estándar SQL, pero por alguna razón, las dos disciplinas nunca han hecho clic. Quizás esta vez será diferente.

Estoy muy emocionado sobre el futuro de los modelos de lenguaje grande para ayudar el trabajo del ingeniero de datos. Para empezar, los LLM han sido particularmente exitosos con la generación de código, aunque los primeros esfuerzos por suministrar a los científicos de datos sugerencias impulsadas por IA han sido mixtos: Hex es genial, por ejemplo, mientras que Snowflake es insulso hasta ahora. Pero hay un enorme potencial para cambiar la naturaleza del trabajo para los equipos de datos, mucho más que para los desarrolladores. ¿Por qué? Para los ingenieros de software, el prompt es un nombre de función o la documentación, pero para los ingenieros de datos, también hay datos. Hay tanto contexto con el que los modelos pueden trabajar para hacer sugerencias útiles y precisas.

¿Qué consejo le daría a los científicos de datos y ingenieros de IA aspirantes que buscan tener un impacto en la industria?

Aprenda haciendo. Es increíblemente fácil construir aplicaciones estos días, y aumentarlas con inteligencia artificial. Así que construya algo genial y envíelo a un amigo de un amigo que trabaje en una empresa que admire. O envíelo a mí, y prometo que lo miraré.

El truco es encontrar algo que le apasione y encontrar una buena fuente de datos relacionados. Un amigo mío hizo un análisis fascinante de temporadas de béisbol anómalas que se remontan al siglo XIX y descubrió historias que merecen tener una película hecha sobre ellas. Y algunos de los ingenieros de Astronomer se reunieron un fin de semana para construir una plataforma para canales de datos de auto-sanación. No puedo imaginar siquiera intentar hacer algo así hace unos años, pero con solo unos días de esfuerzo, ganamos el hackathon de Cohere y construimos la base de una función importante en nuestra plataforma.

Gracias por la gran entrevista, los lectores que deseen aprender más deben visitar Astronomer.