Christian Stano, Field CTO de Anyscale — Serie de entrevistas

Christian Stano, Field CTO en Anyscale, ha construido una carrera en la intersección de la infraestructura de inteligencia artificial a gran escala, plataformas de aprendizaje automático y computación distribuida. Antes de unirse a Anyscale, lideró la división de plataformas de IA y aprendizaje automático en Attentive, donde escaló la infraestructura que respaldaba la personalización para más de quinientos millones de suscriptores y ayudó a impulsar la adopción de sistemas de computación unificados basados en Ray que mejoraron la velocidad de desarrollo mientras reducían los costos operativos. Al comienzo de su carrera, trabajó en ciberseguridad, arquitectura en la nube y iniciativas de inteligencia artificial en el sector público en organizaciones como Coalfire y Deloitte, donde contribuyó a una de las primeras plataformas de aprendizaje automático del Departamento de Defensa de los EE. UU. Su experiencia abarca ingeniería de plataforma de inteligencia artificial, MLOps, infraestructura nativa en la nube, apoyo a los desarrolladores y expansión organizativa, lo que le da una profunda experiencia en ayudar a las empresas a poner la inteligencia artificial en producción a gran escala.

Anyscale es la empresa detrás de Ray, el marco de computación distribuida de código abierto ampliamente utilizado para escalar cargas de trabajo de inteligencia artificial y Python en clústeres de CPU y GPU. Fundada por los creadores originales de Ray en el RISELab de la Universidad de California en Berkeley, la empresa se centra en simplificar la implementación, la orquestación y la administración de infraestructuras de inteligencia artificial a gran escala para el entrenamiento, la inferencia, el procesamiento de datos y las cargas de trabajo de agentes de inteligencia artificial. Su plataforma permite a las organizaciones ejecutar sistemas de inteligencia artificial distribuidos en entornos en la nube y locales, mientras proporciona observabilidad, gobernanza y optimizaciones de rendimiento diseñadas para aplicaciones de inteligencia artificial modernas. Ray se ha convertido en una capa fundamental en la pila de infraestructura emergente de inteligencia artificial, ayudando a los desarrolladores a escalar cargas de trabajo desde una sola máquina hasta miles de nodos con mínimos cambios en el código Python existente.

Ha trabajado en ciberseguridad, plataformas de aprendizaje automático en el sector público y sistemas de personalización a escala masiva. ¿Qué patrones ha visto consistentemente cuando las organizaciones intentan pasar de pilotos de inteligencia artificial a producción?

En los distintos sectores, tres patrones aparecen rutinariamente. Primero, los equipos no tienen un camino fiable y bien establecido desde el desarrollo hasta la producción. Pueden construir un modelo en un entorno notebook, pero no hay una forma estandarizada de ejecutarlo en producción. Cada implementación requiere una solución específica, y cada fallo es una sorpresa. Segundo, la infraestructura no puede escalar con las necesidades. El sistema que funcionaba en un piloto se derrumba cuando se le alimenta con volúmenes de datos reales o tráfico real. Tercero, los equipos vuelan a ciegas. Carecen de la observabilidad para saber cómo están funcionando realmente sus sistemas, dónde están a punto de fallar y cuándo intervenir.

Lo que conecta los tres es el mismo desafío de fondo — los equipos no tienen una comprensión sólida de cómo ampliar la capacidad distribuyendo el trabajo entre más máquinas. Intentan resolver todo al mismo tiempo en lugar de planificar deliberadamente la secuencia. Pienso en ello como tres fases: hacer que funcione, hacerlo bien, hacerlo rápido. No son hitos que se superan una sola vez, sino fases que se repiten. Estás constantemente priorizando entre lo que está roto en este momento y lo que se romperá a continuación. Los equipos que tienen éxito saben en qué fase están y evitan avanzar antes de consolidar la base.

En Anyscale, vemos a equipos que llegan en cada etapa. Algunos todavía están tratando de hacer que funcione — necesitan un camino confiable desde el desarrollo hasta la producción. Otros lo tienen, pero se ahogan en la complejidad operativa y necesitan hacerlo bien. Y muchos vienen a nosotros porque han construido algo que funciona, pero no pueden empujarlo a la escala que la empresa exige. Una capa de computación unificada ayuda en cada fase, pero el punto de entrada depende de cuál sea el problema más urgente.

En Attentive, ayudó a escalar sistemas de inteligencia artificial que respaldaban a cientos de millones de usuarios. ¿Cuáles fueron los mayores cuellos de botella arquitectónicos u organizacionales que tuvo que superar para alcanzar ese nivel de escala?

El mayor cuello de botella fue la curva en forma de S de la complejidad de la infraestructura. A medida que ampliábamos nuestros modelos para incorporar más datos y servir a más clientes, llegamos a un punto de inflexión de cómputo donde incluso los nodos más grandes con escalado vertical generaban errores por falta de memoria, y el escalado horizontal sencillo no funcionaba. Nuestra capacidad de cómputo no podía seguir el ritmo de la escala de nuestros datos.

La respuesta natural fue agregar más herramientas para sortear los límites. Era mi forma habitual de trabajar, basada en experiencias anteriores. Cada herramienta resolvía un problema concreto, pero agregaba complejidad operativa. Nuestra canalización de aprendizaje automático corría el riesgo de convertirse en una amalgama de integraciones, y cada nuevo caso de uso significaba más trabajo de conexión, más modos de fallo, mayores costos y más sobrecarga para el equipo de la plataforma.

Lo que finalmente nos permitió ampliar la escala fue unificar el procesamiento de datos, el entrenamiento, la inferencia y la puesta a disposición de modelos en Ray y Anyscale. El impacto fue inmediato: costos de infraestructura mucho más bajos, ciclos de entrenamiento significativamente más rápidos incluso con volúmenes de datos crecientes y capacidad para ampliar los modelos a grupos de clientes varios órdenes de magnitud mayores.

¿Qué motivó su decisión de unirse a Anyscale en esta etapa, y cómo ve la influencia del papel de Field CTO en la adopción de inteligencia artificial empresarial?

Mi experiencia al llevar Anyscale a Attentive cambió fundamentalmente mi enfoque para construir plataformas de aprendizaje automático. Antes, una parte significativa de los costos de ingeniería de la plataforma correspondía a conectar sistemas fragmentados. Con Anyscale, pudimos eliminar mucha de esa sobrecarga y centrarnos en la experiencia del desarrollador, la confiabilidad y el rendimiento. Ese cambio tuvo un impacto enorme en la productividad del equipo y los resultados del sistema. Unirme a Anyscale fue una oportunidad de trabajar en ese problema a tiempo completo y ayudar a otras organizaciones a atravesar la misma transición. Como Field CTO, mi rol es básicamente tomar esas lecciones prácticas y convertirlas en patrones repetibles que nuestros clientes puedan aplicar a medida que escalan la inteligencia artificial.

Muchas empresas aún están atascadas en la “fase de piloto” de la inteligencia artificial. Desde su perspectiva, ¿qué específicamente se rompe cuando las empresas intentan escalar estos experimentos iniciales en sistemas de producción?

Cuando las empresas pasan de experimentos de inteligencia artificial a producción, el problema rara vez se limita al modelo: suelen fallar el sistema y las operaciones que lo rodean. En algunos casos, los equipos alcanzan pronto los límites de la infraestructura y no pueden entrenar ni poner modelos a disposición de los usuarios a la escala deseada. Por ello, deben limitar el número de clientes o casos de uso atendidos por el modelo. Con más frecuencia, los problemas surgen en producción a través de situaciones excepcionales imprevistas o cambios en los datos. Uno de los puntos de fallo más comunes es la memoria: a medida que el tamaño, la distribución o la modalidad de los datos cambian, los trabajos se quedan sin memoria y fallan. Estos problemas son difíciles de prever, y la recuperación automática tras ellos resulta aún más difícil. La realidad es que el fallo es inevitable en la inteligencia artificial en producción. El objetivo no es evitarlo por completo, sino detectarlo rápidamente, entenderlo y construir sistemas capaces de recuperarse por sí mismos para resolverlo antes de que impacte en el negocio.

Ray, el marco de computación distribuida creado por el equipo detrás de Anyscale, está ganando tracción como base para cargas de trabajo de inteligencia artificial. ¿Por qué la ejecución distribuida se está convirtiendo en una capa tan crítica en la infraestructura de inteligencia artificial moderna?

La ejecución distribuida y la gestión de cargas de trabajo se han convertido en un requisito básico para las canalizaciones de inteligencia artificial. Las cargas de trabajo de inteligencia artificial modernas son inherentemente paralelas y consumen muchos recursos. El entrenamiento, la inferencia y el procesamiento de datos todos requieren coordinar grandes cantidades de tareas a través de CPU y GPU, a menudo de forma dinámica. En el entorno informático actual, la complejidad de gestionar estas cargas de trabajo a través de recursos escasos es una enorme carga operativa. Los sistemas tradicionales no fueron diseñados para este nivel de complejidad o escala. Marcos como Ray son esenciales porque permiten a los equipos escalar cargas de trabajo de forma transparente desde una sola máquina hasta miles de nodos al automatizar la coordinación subyacente. Este cambio refleja un movimiento más amplio hacia el cómputo nativo de inteligencia artificial, donde la infraestructura está diseñada específicamente para los patrones de las cargas de trabajo de inteligencia artificial en lugar de adaptarse de paradigmas anteriores.

A medida que más empresas adoptan Ray a través de la plataforma de Anyscale, ¿qué diferencias ve entre las organizaciones que adoptan un enfoque unificado como estándar y aquellas que conectan herramientas separadas?

La diferencia entre plataformas unificadas y herramientas fragmentadas en última instancia se reduce a enfoque y eficiencia. Cuando los equipos confían en múltiples sistemas desconectados, pasan una cantidad significativa de tiempo conectando esos sistemas, gestionando inconsistencias y respondiendo a fallos en diferentes entornos. Esto crea una sobrecarga operativa y ralentiza la experimentación. En contraste, un enfoque unificado permite a los equipos concentrar sus esfuerzos en mejorar un solo sistema, lo que conduce a una mayor confiabilidad, un rendimiento más fuerte y una experiencia del desarrollador más fluida. También simplifica las guardias de respuesta a incidentes y los procesos de depuración porque los patrones son consistentes y más fáciles de entender. El resultado no es solo la eficiencia técnica, sino la claridad organizacional.

Basándose en su experiencia en la construcción de plataformas de aprendizaje automático de extremo a extremo, ¿qué tan importante es la experiencia del desarrollador (DevEx) en la aceleración de la adopción de inteligencia artificial en los equipos?

La experiencia del desarrollador es una de las áreas de mayor influencia para acelerar la adopción de inteligencia artificial. Cuando los equipos de plataforma invierten en hacer que los sistemas sean más fáciles de usar a través de flujos de trabajo estandarizados, plantillas y una reducción de la fricción de la infraestructura, amplifican la productividad de cada ingeniero en la organización. Esto es especialmente importante en inteligencia artificial, donde el ritmo de cambio es extremadamente rápido y los equipos necesitan iterar rápidamente para mantenerse competitivos. Las mejoras en la experiencia del desarrollador se traducen directamente en una experimentación más rápida, un menor tiempo hasta la producción y, en última instancia, un mayor impacto comercial. Las herramientas de programación con inteligencia artificial amplifican estos fundamentos de DevEx. En muchos sentidos, es la forma más escalable de aumentar la velocidad en toda la organización.

La eficiencia de costos se está convirtiendo en una preocupación importante a medida que las cargas de trabajo de inteligencia artificial se escalan. ¿Cuáles son algunas de las formas más pasadas por alto para que las empresas reduzcan los costos de infraestructura sin sacrificar el rendimiento?

A medida que las cargas de trabajo de inteligencia artificial se escalan, la gestión de costos se vuelve más importante y más compleja. Uno de los desafíos más pasados por alto es cómo los costos pueden dispararse rápidamente debido a las ineficiencias, especialmente con la infraestructura basada en GPU. Los clústeres grandes pueden iniciar miles de nodos, y si los recursos no se gestionan o apagan correctamente, los costos se acumulan rápidamente. Esto crea una forma de expansión descontrolada de recursos propia de la inteligencia artificial, donde el uso de recursos informáticos crece más rápido de lo que los equipos pueden rastrear o controlar. Abordar esto requiere una combinación de una sólida gobernanza, visibilidad y automatización, como el escalado automático, la terminación automática y la gestión de recursos centralizada. A gran escala, la eficiencia de costos no es solo una preocupación operativa, es una parte fundamental del diseño del sistema.

Ha trabajado en todo, desde repositorios de características para modelos (feature stores) hasta sistemas de inferencia en tiempo real. ¿Cómo cree que está evolucionando el equilibrio entre las cargas de trabajo de inteligencia artificial por lotes y en tiempo real?

El equilibrio entre las cargas de trabajo de inteligencia artificial por lotes y en tiempo real no ha cambiado fundamentalmente — sigue siendo una cuestión de requisitos comerciales. El procesamiento por lotes es generalmente más económico y más fácil de operar, lo que lo hace adecuado para muchos casos de uso. Los sistemas en tiempo real son esenciales cuando la latencia impacta directamente la experiencia del usuario o el resultado comercial, como en aplicaciones de chat o detección de fraude. Ambos enfoques seguirán coexistiendo, y la clave para las organizaciones es construir plataformas que puedan respaldar cada uno de manera efectiva. La decisión final se reduce a compromisos entre costo, latencia y confiabilidad.

Mirando hacia adelante, ¿cómo será una plataforma madura de inteligencia artificial empresarial dentro de 2–3 años — y cómo encajan herramientas como Ray y plataformas como Anyscale en ese futuro?

En los próximos años, las plataformas de inteligencia artificial empresarial maduras se definirán por varias características clave. Dependerán de una infraestructura unificada que respalde todo el ciclo de vida de la inteligencia artificial, desde el procesamiento de datos hasta el entrenamiento y la inferencia, en lugar de una colección de herramientas desconectadas. Tendrán una operación continua sólida tras el despliegue, con observabilidad automatizada por agentes, confiabilidad y depuración rápida. La gestión de costos será predecible y controlada, lo que permitirá a las organizaciones escalar de manera sostenible. Y quizás lo más importante, permitirán una alta velocidad de desarrollo, haciendo que sea fácil para los equipos pasar de la idea a la producción rápidamente. Plataformas como Ray y Anyscale juegan un papel central en este futuro al proporcionar la base diseñada específicamente para la inteligencia artificial que hace posible este nivel de escala y eficiencia.

Gracias por esta interesante entrevista. Los lectores que deseen saber más pueden visitar Anyscale.