Conectar infraestructura y equipos de productos: Lecciones aprendidas de la construcción de plataformas de GenAI

No hay duda al respecto: Inteligencia Artificial Generativa, o GenAI, es el tema del día, y lo ha sido durante los últimos dos años. Ya sea que el objetivo sea automatizar procesos, generar nuevos diseños de productos, crear contenido o cualquier otra característica en diferentes dominios, ahora es el momento para que las organizaciones comiencen a hacer el trabajo que más importa y pongan en marcha sus estrategias de GenAI.

El éxito de GenAI, que abarca cargas de trabajo desde la investigación hasta el entrenamiento y, finalmente, la inferencia, depende de una coordinación estrecha en torno a la implementación, la observabilidad, la gestión de costos, la telemetría y los objetivos de latencia de la infraestructura y los servicios subyacentes. Estos ayudan a impulsar un nivel de eficiencia alcanzable para la carga de trabajo de IA, garantizando un equilibrio efectivo entre cálculo y comunicación, asegurando que las GPU siempre tengan los datos necesarios.

El desafío es que a menudo hay una brecha estructural: la ingeniería de infraestructura se centra en la pila de cómputo y despliegue, mientras que los equipos de software y productos se concentran en la creación de aplicaciones orientadas al usuario que llevan GenAI al mundo real. Cuando estos grupos no están completamente alineados, a menudo resulta en retrasos en la entrega, problemas de rendimiento y problemas de usabilidad.

Entonces, ¿cómo se ve esta brecha en el mundo real, y qué estrategias pueden utilizar las organizaciones para alinear los equipos de infraestructura y productos para el éxito de GenAI?

Los problemas con la falta de alineación

Cuando los equipos de infraestructura y productos no están alineados, los síntomas a menudo son obvios, pero no siempre se abordan con suficiente rapidez. Una característica de los equipos fuera de sincronización es la falta de coincidencia en las suposiciones sobre las expectativas de latencia o las capacidades del modelo. Por ejemplo, los equipos de ingeniería de infraestructura pueden planificar características o implementaciones que asumen niveles de rendimiento que el diseño de infraestructura real no coincide. Esto conduce a retrasos en la reorganización, cambios de alcance y retrasos en la entrega.

La falta de alineación también puede llevar a un mal rendimiento debido a la implementación en infraestructuras no optimizadas, lo que se manifiesta en variaciones de latencia y problemas de escalabilidad que afectan el rendimiento de los trabajos de entrenamiento o inferencia distribuidos a gran escala. Los riesgos de seguridad y cumplimiento posteriores también son características de la falta de alineación del equipo, ya que la falta de colaboración temprana entre los dos equipos significa que los requisitos de privacidad y cumplimiento de datos pueden pasarse por alto.

Y, finalmente, la falta de alineación del equipo conduce a una mala experiencia del usuario, lo que lleva a los equipos de ingeniería de infraestructura a recurrir a soluciones cuando las restricciones no están claras, ralentizando los ciclos de iteración y aumentando la deuda técnica. Por supuesto, la falta de alineación entre los equipos de productos y infraestructura puede ser costosa en cualquier proyecto de software, pero con GenAI en particular, las apuestas son mucho más altas: ineficiencias operativas aumentadas, erosión de la ventaja competitiva y riesgos de seguridad, entre otros.

Puente hacia el éxito

El éxito de GenAI depende no solo de tener una infraestructura robusta, sino también de crear un marco táctico que vincule los procesos de infraestructura y productos. Tomemos, por ejemplo, la idea de API de autoservicio internas para la provisión de GPU. Para los equipos de infraestructura, estas API estandarizan el acceso, reducen la carga de tickets y garantizan el cumplimiento; para los equipos de productos, proporcionan un acceso rápido y predecible a la computación sin esperar en una cola. El resultado es que ambos grupos trabajan con el mismo “contrato” de API, eliminando cuellos de botella y aclarando expectativas.

Los paneles de uso en tiempo real desempeñan un papel similar. Proporcionan a los ingenieros de infraestructura visibilidad en la carga del sistema y la eficiencia, mientras que muestran a los equipos de productos cómo sus cargas de trabajo se traducen en consumo real. Como ambos lados ven los mismos datos, las discusiones sobre el rendimiento o los cuellos de botella se vuelven más colaborativas y menos adversarias: hay una sola fuente de verdad.

Autoescalado es otro mecanismo unificador. Alivia a los ingenieros de infraestructura de la lucha constante mientras garantiza que los desarrolladores de productos no alcancen techos de rendimiento durante los picos de carga de trabajo. Lo que de otra manera podría ser una lucha entre estabilidad y agilidad se convierte en una estrategia conjunta: la escala se gestiona automáticamente, alineada con la resiliencia operativa y los objetivos de rendimiento de productos.

Finalmente, las perspectivas de costos agregan una dimensión financiera a esta visión compartida. Los equipos de infraestructura pueden optimizar las asignaciones y justificar la planificación de capacidad, mientras que los equipos de productos ganan una comprensión de cómo sus elecciones arquitectónicas o de modelo afectan el gasto. Esta transparencia fomenta la responsabilidad compartida, convirtiendo la eficiencia en una responsabilidad colectiva en lugar de una preocupación oculta.

Pero la alineación requiere más que herramientas compartidas: también requiere una visión compartida. Es aquí donde entran en juego las hojas de ruta conjuntas: cada equipo debe no solo comprender los objetivos generales, sino también los pasos necesarios para lograrlos. Para la infraestructura, esto significa mirar más allá de sus raíces técnicas profundas en hardware y software para involucrarse con cómo los desarrolladores y los usuarios finales experimentan realmente el sistema. Para los equipos de productos, requiere un respeto por las restricciones como la latencia, el costo y la eficiencia del modelo, apreciando las realidades operativas que hacen que la innovación sea sostenible.

Finalmente, ninguna asociación puede durar sin un compromiso mutuo con la seguridad y el cumplimiento. Ya sea que se apliquen marcos como SOC2, HIPAA, ISO u otros, los requisitos específicos varían según la base de clientes y el sector vertical: pero la responsabilidad es compartida. Tanto los equipos de infraestructura como los de productos deben internalizar estas obligaciones, reconociendo que el cumplimiento no es un ejercicio de marcado de casillas, sino una base de confianza con los usuarios.

Tomados en conjunto, estas prácticas y mentalidades entretejen la infraestructura y los productos en una unidad cohesiva, con lenguaje compartido, visibilidad compartida y responsabilidad compartida por el progreso, la resiliencia y la confiabilidad.

Equipos conocedores

Tener a las personas adecuadas es tan importante como tener los sistemas adecuados. Idealmente, los equipos deberían incluir miembros que ya conozcan GenAI o que provengan de entornos de computación de alto rendimiento y centros de datos de hipercala. Lo que realmente importa es la experiencia práctica y las lecciones que solo se obtienen al construir y apoyar plataformas de GPU como servicio. Eso significa comprender cómo las GPU se comunican entre sí, cómo se comportan las corridas de entrenamiento estrechamente acopladas, y cómo son sensibles a la latencia, la sincronización y la entrega de datos.

A medida que los modelos siguen creciendo y las implementaciones se escalan, los equipos también deben retroceder y pensar en el viaje del cliente completo. Comienza con la investigación y experimentación tempranas, se mueve hacia el entrenamiento a gran escala, luego el ajuste fino y, finalmente, la inferencia. Cada una de esas fases se ve un poco diferente, y las necesidades cambian en el camino. La naturaleza iterativa del desarrollo del modelo nos enseña constantemente qué tipo de infraestructura, flujos de trabajo y capacidades se requieren para mantener un centro de datos de GenAI apto para su propósito.

Con demasiada frecuencia, los equipos de infraestructura y productos operan en sus propias burbujas. Para cualquier empresa que se tome en serio la escalada de GenAI a la producción, eso tiene que cambiar. El éxito depende de derribar esas silos y crear una propiedad compartida de la plataforma. Con las personas adecuadas, una visión clara y un marco práctico, ambos lados pueden alinearse en la misma guía de juego: una que les ayuda a moverse más rápido, mantenerse responsables y, en última instancia, entregar implementaciones de GenAI exitosas.