Ugur Tigli, Director Técnico de MinIO – Serie de Entrevistas

Ugur Tigli es el Director Técnico de MinIO, el líder en almacenamiento de objetos de alto rendimiento para IA. Como Director Técnico, Ugur ayuda a los clientes a diseñar y desplegar infraestructuras de datos empresariales de grado de escalabilidad y arquitectura nativa en la nube utilizando MinIO.

¿Puede describir su trayectoria para convertirse en el Director Técnico de MinIO, y cómo sus experiencias han influido en su enfoque hacia la IA y la infraestructura de datos?

Comencé mi carrera en ingeniería de infraestructura en Merrill Lynch como administrador de respaldo y restauración. Continué asumiendo diferentes desafíos y puestos técnicos. Me uní al Bank of America (BAC ) a través de la adquisición de Merrill Lynch, donde fui vicepresidente de Ingeniería de Almacenamiento. Sin embargo, mi función se expandió para incluir ingeniería de computación y centros de datos.

Como parte de mi trabajo, también trabajé con varias firmas de capital de riesgo (VC) y sus empresas de cartera para traer la última y mejor tecnología. Durante una de mis reuniones con General Catalyst, me presentaron la idea y las personas detrás de MinIO. Me gustó porque de cómo abordaban la infraestructura de datos — difirió de todos los demás en el mercado. La empresa se dio cuenta de la importancia del almacén de objetos y los estándares de API que las aplicaciones estaban empezando a utilizar. Durante esos años, pudieron predecir el futuro de la computación y la IA antes que nadie más o incluso antes de que se llamara lo que es hoy en día. Quería ser parte de ejecutar esa visión y construir algo verdaderamente único. MinIO ahora es el almacén de objetos más ampliamente desplegado en el planeta.

El impacto de mis funciones anteriores y experiencia en cómo abordo nuevas tecnologías, específicamente IA y infraestructura de datos, también es simplemente una acumulación de los muchos proyectos en los que he participado a lo largo de los años apoyando a equipos de aplicaciones en una empresa de servicios financieros muy exigente.

Desde los días de ancho de banda de red limitado, que llevaron a la tecnología Hadoop siendo la tecnología más nueva hace 15 años, hasta varias tecnologías de medios de datos desde Disco Duro (HDD) a Disco de Estado Sólido (SSD), muchas de estas cambios tecnológicos han dado forma a mi visión actual del ecosistema de IA y la infraestructura de datos.

MinIO es reconocido por sus capacidades de almacenamiento de objetos de alto rendimiento. ¿Cómo MinIO atiende específicamente las necesidades de las empresas impulsadas por IA hoy en día?

Cuando AB y Garima conceptualizaron MinIO, su primera prioridad fue pensar en un enunciado de problema — sabían que los datos seguirían creciendo y las tecnologías de almacenamiento existentes eran incompatibles con ese crecimiento. El rápido surgimiento de la IA ha hecho que sus visiones premonitorias del mercado sean una realidad. Desde entonces, el almacenamiento de objetos se ha convertido en fundamental para la infraestructura de IA (todos los LLM principales como OpenAI y Anthropic están construidos sobre almacenes de objetos), y el centro de datos moderno se basa en una fundación de almacén de objetos.

MinIO lanzó recientemente una nueva plataforma de almacenamiento de objetos con características empresariales clave para apoyar a las organizaciones en sus iniciativas de IA: el Almacén de Objetos Empresarial MinIO. Está diseñado para los desafíos de rendimiento y escalabilidad introducidos por las cargas de trabajo de IA masivas y permite a los clientes abordar los desafíos asociados con miles de millones de objetos de manera más sencilla, así como cientos de miles de operaciones criptográficas por nodo por segundo. Tiene seis nuevas características comerciales que apuntan a los desafíos operativos y técnicos clave que enfrentan las cargas de trabajo de IA: Catálogo (esto resuelve el problema de búsqueda de espacio de nombres y metadatos de almacenamiento de objetos), Firewall (diseñado específicamente para los datos), Sistema de Gestión de Claves (resuelve el problema de lidiar con miles de millones de claves criptográficas), Cache (funciona como un servicio de caché), Observabilidad (permite a los administradores ver todos los componentes del sistema en cada instancia) y, finalmente, la Consola Empresarial (sirve como una única ventana para todas las instancias de MinIO de la organización).

Manejar la IA a escala está volviéndose cada vez más crucial. ¿Puede elaborar sobre por qué es el caso y cómo MinIO facilita estos requisitos para las empresas modernas?

Casi todo lo que las organizaciones construyen ahora está en almacenamiento de objetos, lo que solo acelerará a medida que aquellos que ejecutan infraestructura con un dispositivo lleguen a un límite en la era de lagos de datos modernos y IA. Las organizaciones están buscando nuevas infraestructuras para gestionar todos los datos que entran en su sistema y luego construir aplicaciones centradas en datos sobre ellos – esto requiere una escalabilidad y flexibilidad extraordinarias que solo el almacenamiento de objetos puede soportar. Es ahí donde entra MinIO y por qué la empresa siempre ha estado a la vanguardia de la competencia porque está diseñada para lo que la IA necesita – almacenar volúmenes masivos de datos estructurados y no estructurados y proporcionar rendimiento a escala.

Algo similar a las necesidades de aprendizaje automático (ML) en generaciones anteriores de IA, los datos y los lagos de datos modernos han sido fundamentales para el éxito de cualquier IA “predictiva”. Sin embargo, con el avance de la IA “generativa”, este paisaje se ha expandido para incluir muchos otros componentes, como datos de IA Ops y pipelines de documentos, modelos fundamentales y bases de datos vectoriales.

Todos estos componentes adicionales utilizan almacenamiento de objetos, y la mayoría de ellos se integran directamente con MinIO. Por ejemplo, Milvus, una base de datos vectorial, utiliza MinIO, y muchos motores de consulta modernos se integran con MinIO a través de API de S3.

La deuda técnica de IA es una preocupación creciente para muchas organizaciones. ¿Qué estrategias emplea MinIO para ayudar a los clientes a evitar este problema, especialmente en términos de utilizar las GPU de manera más eficiente?

Una cadena es tan fuerte como su eslabón más débil – y su infraestructura de IA/ML es solo tan rápida como su componente más lento. Si entrena modelos de aprendizaje automático con GPU, su eslabón débil puede ser su solución de almacenamiento. El resultado es lo que llamo el “Problema de la GPU con hambre”. El problema de la GPU con hambre ocurre cuando su solución de red o almacenamiento no puede servir datos de entrenamiento a su lógica de entrenamiento lo suficientemente rápido como para utilizar completamente sus GPU, dejando valiosa potencia de cómputo en la mesa. Algo que las organizaciones pueden hacer para aprovechar al máximo sus GPU es entender primero los signos de una mala arquitectura de datos y cómo puede resultar directamente en el subuso de la tecnología de IA. Para evitar la deuda técnica, las empresas deben cambiar la forma en que ven (y almacenan) los datos.

Las organizaciones pueden configurar una solución de almacenamiento que esté en el mismo centro de datos que su infraestructura de cómputo. Idealmente, esto sería en el mismo clúster que su cómputo. Debido a que MinIO es una solución de almacenamiento definida por software, es capaz del rendimiento necesario para alimentar a las GPU hambrientas – una prueba de rendimiento reciente logró 325 GiB/s en GET y 165 GiB/s en PUT con solo 32 nodos de SSD NVMe estándar.

¿Cómo sus experiencias en la creación de infraestructuras de datos de alto rendimiento para instituciones financieras globales informan su trabajo en MinIO, especialmente al diseñar soluciones para necesidades industriales diversas?

Ayudé a construir la primera nube privada para el Bank of America y esta iniciativa ahorró miles de millones de dólares al proporcionar características y funcionalidades disponibles en nubes públicas internamente a un costo más bajo. No solo esta iniciativa importante, sino muchas otras requisitos de aplicación diversos en los que he trabajado en BofA Merrill Lynch han dado forma a mi trabajo en MinIO en lo que respecta a diseñar soluciones para nuestros clientes hoy en día.

Por ejemplo, aprenderlo de la manera incorrecta o “difícil” trabajó con el equipo que construyó clústeres Hadoop que solo usaban los componentes de almacenamiento de datos del servidor mientras mantenían los CPUs del servidor subutilizados o casi inactivos. Ejemplos simples o aprendizajes como este me permitieron usar soluciones de datos y cómputo desagregadas en la infraestructura de datos moderna de hoy mientras ayudaba a nuestros clientes y socios, que son soluciones técnicas y de menor costo usando las tecnologías de red de alta banda ancha y los almacenes de objetos de alto rendimiento como MinIO y cualquier motor de consulta o procesamiento.

La nube híbrida presenta desafíos y complejidades únicos. ¿Puede discutir estos en detalle y explicar cómo el modelo de “estallido” de MinIO hacia la nube ayuda a controlar los costos de la nube de manera efectiva?

Ir a la nube múltiple no debería llevar a un aumento de los presupuestos de TI y a la incapacidad de alcanzar los hitos —debería ayudar a gestionar los costos y acelerar la hoja de ruta de una organización. Algo a considerar es la repatriación de la nube — la realidad es que trasladar operaciones desde la nube a la infraestructura local puede llevar a ahorros de costos sustanciales, dependiendo del caso, y siempre debe considerar la nube como un modelo operativo, no como un destino. Por ejemplo, las organizaciones crean instancias de GPU pero luego pasan tiempo preprocesando datos para que quepan en la GPU. Esto desperdicia tiempo y dinero precioso – las organizaciones necesitan optimizar mejor eligiendo tecnologías nativas en la nube y, más importante aún, tecnologías portátiles en la nube que puedan desbloquear el poder de la nube múltiple sin costos significativos. Usar los principios del modelo operativo de nube en primer lugar y adherirse a ese marco proporciona la agilidad para adaptarse a los requisitos operativos cambiantes.

Las soluciones nativas de Kubernetes son fundamentales para la infraestructura moderna. ¿Cómo la integración de MinIO con Kubernetes mejora su escalabilidad y flexibilidad para la infraestructura de datos de IA?

MinIO es nativo de Kubernetes por diseño y compatible con S3 desde su inicio. Los desarrolladores pueden desplegar rápidamente almacenamiento de objetos persistente para todas sus aplicaciones nativas en la nube. La combinación de MinIO y Kubernetes proporciona una plataforma poderosa que permite a las aplicaciones escalar en cualquier infraestructura de nube múltiple e híbrida y aún así ser gestionada y protegida centralmente, evitando el bloqueo de la nube pública.

Con Kubernetes como su motor, MinIO puede ejecutarse en cualquier lugar donde Kubernetes se ejecute – lo que, en el mundo moderno, cloud-nativo/IA, es esencialmente en todas partes.

¿Qué desarrollos o mejoras futuras pueden esperar los usuarios de MinIO en el contexto de la infraestructura de datos de IA?

Nuestras recientes asociaciones y lanzamientos de productos son un signo para el mercado de que no nos estamos deteniendo en ningún momento, y seguiremos empujando donde tenga sentido para nuestros clientes. Por ejemplo, recientemente nos asociamos con Carahsoft para hacer que el portafolio de almacenamiento de objetos definido por software de MinIO esté disponible para los sectores de Gobierno, Defensa, Inteligencia y Educación. Esto permite a las organizaciones del Sector Público construir cualquier infraestructura de datos a escala, desde lagos de datos modernos extensos hasta soluciones de almacenamiento de datos específicas de la misión en el borde autónomo. Juntos, estamos trayendo estas soluciones únicas y de vanguardia a los clientes del Sector Público, capacitándolos para abordar los desafíos de la infraestructura de datos de manera fácil y eficiente. Esta asociación llega en un momento en que hay un impulso creciente para permitir que el sector público esté listo para la IA, con los requisitos recientes de la OMB que establecen que todas las agencias federales necesitan un Oficial de IA Jefe (entre otras cosas). En general, la asociación ayuda a fortalecer la postura de IA de la industria y proporciona a las organizaciones del sector público las herramientas valiosas necesarias para tener éxito.

Además, MinIO está muy bien posicionado para el futuro. La infraestructura de datos de IA todavía está en su infancia. Muchas áreas de ella serán más aparentes en los próximos dos años. Por ejemplo, la mayoría de las empresas querrán usar sus datos y documentos propietarios con modelos fundamentales y Generación de Recuperación Mejorada (RAG). Una mayor integración a este patrón de implementación será fácil para MinIO, ya que todas estas opciones arquitectónicas y patrones de implementación tienen una cosa en común – todos esos datos ya están almacenados en MinIO.

Finalmente, para los líderes tecnológicos que buscan construir o mejorar su infraestructura de datos para IA, ¿qué consejo ofrecería basado en su experiencia y conocimientos en MinIO?

Para hacer que cualquier iniciativa de IA sea exitosa, hay tres elementos clave a los que debe adherirse: tener los datos adecuados, la infraestructura adecuada y las aplicaciones adecuadas. Realmente comienza con entender qué necesita – no salga y compre GPU costosas solo porque tiene miedo de perderse el barco de la IA. Creo firmemente que las estrategias de IA empresarial fallarán en 2024 si las organizaciones se enfocan solo en los modelos en sí y no en los datos. Pensar en el modelo hacia abajo versus hacia arriba es un error crítico – debe comenzar con los datos. Construya una infraestructura de datos adecuada. Luego, piense en sus modelos. A medida que las organizaciones se mueven hacia una arquitectura de IA en primer lugar, es imperativo que su infraestructura de datos permita que sus datos se ejecuten – no los limite.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar MinIO.