Ugur Tigli, director técnico de MinIO - Serie de entrevistas

Ugur Tigli es el director técnico de MinIO, líder en almacenamiento de objetos de alto rendimiento para AI. Como CTO, Ugur ayuda a los clientes a diseñar e implementar una infraestructura de datos de nivel empresarial escalable, nativa de la nube y basada en API utilizando MinIO.

¿Puede describir su viaje para convertirse en el CTO de MinIO y cómo sus experiencias han dado forma a su enfoque para AI e infraestructura de datos?

Comencé mi carrera en ingeniería de infraestructura en Merrill Lynch como administrador de respaldo y restauración. Continué asumiendo diferentes desafíos y varios puestos técnicos. Me uní a Bank of America mediante la adquisición de Merrill Lynch, donde fui vicepresidente de Ingeniería de Almacenamiento. Aún así, mi función se amplió para incluir ingeniería informática y de centros de datos.

Como parte de mi trabajo, también trabajé con varias empresas de capital de riesgo (VC) y sus empresas de cartera para ofrecer la última y mejor tecnología. Durante una de mis reuniones con General Catalyst, me presentaron la idea y las personas detrás de MinIO. Me atrajo por la forma en que abordaron la infraestructura de datos: se diferenciaba de todos los demás en el mercado. La empresa se dio cuenta de la importancia del almacén de objetos y de las API estándar con las que comenzaban las aplicaciones. Durante esos años, pudieron predecir el futuro de la informática y AI antes que nadie o incluso antes de que se llamara como hoy. Quería ser parte de la ejecución de esa visión y construir algo verdaderamente único. MinIO es ahora el almacén de objetos más implementado del planeta.

El impacto de mis roles y experiencia anteriores en cómo abordo las nuevas tecnologías, específicamente AI e infraestructura de datos, también es simplemente una acumulación de los muchos proyectos en los que he estado involucrado a lo largo de mis años de apoyo a equipos de aplicaciones en una empresa de servicios financieros altamente exigente.

Desde los días de ancho de banda de red limitado, que llevaron a que la tecnología Hadoop fuera la tecnología más nueva hace 15 años, hasta diversas tecnologías de medios de datos, desde unidades de disco duro (HDD) hasta unidades de estado sólido (SSD), muchos de estos cambios tecnológicos dieron forma a mi visión actual. del AI ecosistema e infraestructura de datos.

MinIO es reconocido por sus capacidades de almacenamiento de objetos de alto rendimiento. ¿Cómo atiende MinIO específicamente a las necesidades de AI-¿Empresas impulsadas hoy?

Cuando AB y Garima conceptualizaron MinIO, su primera prioridad fue pensar en el planteamiento del problema: sabían que los datos seguirían creciendo y que las tecnologías de almacenamiento existentes eran incompatibles con ese crecimiento. La rápida aparición de AI ha hecho realidad sus visiones proféticas del mercado. Desde entonces, el almacenamiento de objetos se ha convertido en fundamental para AI infraestructura (todos los principales LLM como OpenAI y Anthropic están construidos sobre almacenes de objetos), y el centro de datos moderno está construido sobre una base de almacén de objetos.

MinIO lanzó recientemente una nueva plataforma de almacenamiento de objetos con características críticas de nivel empresarial para ayudar a las organizaciones en sus AI iniciativas: MinIO Enterprise Object Store. Está diseñado para los desafíos de rendimiento y escala introducidos por enormes AI cargas de trabajo y permite a los clientes abordar los desafíos asociados con miles de millones de objetos más fácilmente, así como cientos de miles de operaciones criptográficas por nodo por segundo. Tiene seis nuevas características comerciales que apuntan a los desafíos operativos y técnicos clave que enfrentan AI cargas de trabajo: Catálogo (esto resuelve el problema del espacio de nombres de almacenamiento de objetos y búsqueda de metadatos), Firewall (diseñado específicamente para los datos), Sistema de administración de claves (resuelve el problema de manejar miles de millones de claves criptográficas), Caché (opera como un servicio de almacenamiento en caché ), Observabilidad (permite a los administradores ver todos los componentes del sistema en cada instancia) y, por último, Enterprise Console (sirve como un panel único para todas las instancias de MinIO de la organización).

Manejo AI a escala es cada vez más crucial. ¿Podría explicarnos por qué ocurre esto y cómo MinIO facilita estos requisitos para las empresas modernas?

Casi todo lo que construyen las organizaciones ahora se basa en el almacenamiento de objetos, lo que solo se acelerará a medida que quienes ejecutan la infraestructura con un dispositivo se topen con un muro en la era de los lagos de datos modernos y AI. Las organizaciones están buscando nuevas infraestructuras para administrar todos los datos que ingresan a su sistema y luego construir aplicaciones centradas en datos sobre ellas; esto requiere una escala y flexibilidad extraordinarias que solo el almacenamiento de objetos puede soportar. Ahí es donde entra MinIO y por qué la empresa siempre ha estado muy por delante de la competencia porque está diseñada para lo que AI necesidades: almacenar volúmenes masivos de datos estructurados y no estructurados y proporcionar rendimiento a escala.

Similar a las necesidades de aprendizaje automático (ML) en generaciones anteriores de AI, los datos y los lagos de datos modernos han sido fundamentales para el éxito de cualquier estrategia "predictiva". AI. Sin embargo, con el avance de la tecnología “generativa” AI, este panorama se ha ampliado para incluir muchos otros componentes, como AI Canalizaciones de datos y documentos de operaciones, modelos fundamentales y bases de datos vectoriales.

Todos estos componentes adicionales utilizan almacenamiento de objetos y la mayoría de ellos se integran directamente con MinIO. Por ejemplo, Milvus, una base de datos vectorial, utiliza MinIO y muchos motores de consulta modernos se integran con MinIO a través de las API de S3.

AI La deuda técnica es una preocupación creciente para muchas organizaciones. ¿Qué estrategias emplea MinIO para ayudar a los clientes a evitar este problema, especialmente en términos de utilizar las GPU de manera más eficiente?

Una cadena es tan fuerte como su eslabón más débil, y su AILa infraestructura /ML es tan rápida como su componente más lento. Si entrena modelos de aprendizaje automático con GPU, su eslabón débil puede ser su solución de almacenamiento. El resultado es lo que yo llamo el "problema de la GPU hambrienta". El problema de la GPU hambrienta ocurre cuando su red o solución de almacenamiento no puede entregar datos de entrenamiento a su lógica de entrenamiento lo suficientemente rápido como para utilizar completamente sus GPU, lo que deja una valiosa potencia informática sobre la mesa. Algo que las organizaciones pueden hacer para aprovechar al máximo sus GPU es, primero, comprender los signos de una arquitectura de datos deficiente y cómo esto puede resultar directamente en la infrautilización de AI tecnología. Para evitar la deuda técnica, las empresas deben cambiar la forma en que ven (y almacenan) los datos.

Las organizaciones pueden configurar una solución de almacenamiento que se encuentre en el mismo centro de datos que su infraestructura informática. Lo ideal sería que estuviera en el mismo clúster que su proceso. Debido a que MinIO es una solución de almacenamiento definida por software, es capaz de ofrecer el rendimiento necesario para alimentar a las GPU hambrientas: una reciente punto de referencia logró 325 GiB/s en GET y 165 GiB/s en PUT con solo 32 nodos de SSD NVMe disponibles en el mercado.

Tiene una amplia experiencia en la creación de infraestructuras de datos de alto rendimiento para instituciones financieras globales. ¿Cómo influyen estas experiencias en su trabajo en MinIO, especialmente en la arquitectura de soluciones para diversas necesidades de la industria?

Ayudé a construir la primera nube privada para Bank of America y esa iniciativa ahorró miles de millones de dólares al proporcionar características y funcionalidades disponibles internamente en nubes públicas a un costo menor. No solo esta importante iniciativa, sino muchos otros requisitos de aplicaciones diversas en los que he trabajado en BofA Merrill Lynch, han dado forma a mi trabajo en MinIO en lo que se refiere a la arquitectura de soluciones para nuestros clientes actuales.

Por ejemplo, aprenderlo de manera incorrecta o “difícil” funcionó con el equipo que creó los clústeres de Hadoop que solo usaban los componentes de almacenamiento de datos del servidor mientras mantenían las CPU del servidor infrautilizadas o casi inactivas. Ejemplos simples o aprendizajes como este me permitieron usar datos desagregados y soluciones informáticas en la infraestructura de datos moderna de hoy, mientras ayudaba a nuestros clientes y socios, que son soluciones técnicamente mejores y de menor costo que utilizan las tecnologías de red de alto ancho de banda y almacenes de objetos de alto rendimiento actuales como MinIO. y cualquier motor de consulta o procesamiento.

 La nube híbrida presenta desafíos y complejidades únicos. ¿Podría analizarlos en detalle y explicar cómo la “irrupción” híbrida de MinIO en el modelo de nube ayuda a controlar los costos de la nube de manera efectiva?

La transición a la multinube no debería conducir a un aumento vertiginoso de los presupuestos de TI ni a la incapacidad de alcanzar hitos; debería ayudar a gestionar los costos y acelerar la hoja de ruta de una organización. Algo a considerar es la repatriación de la nube: la realidad es que trasladar las operaciones de la nube a la infraestructura local puede generar ahorros sustanciales de costos, según el caso, y siempre se debe considerar la nube como un modelo operativo, no como un destino. Por ejemplo, las organizaciones activan instancias de GPU pero luego dedican tiempo a preprocesar datos para adaptarlos a la GPU. Esto desperdicia tiempo y dinero valiosos: las organizaciones necesitan optimizar mejor eligiendo tecnologías nativas de la nube y, lo que es más importante, portátiles en la nube que puedan desbloquear el poder de la multinube sin costos significativos. Utilizar los principios del modelo operativo que da prioridad a la nube y adherirse a ese marco proporciona la agilidad para adaptarse a los requisitos operativos cambiantes.

Las soluciones nativas de Kubernetes son fundamentales para la infraestructura moderna. ¿Cómo mejora la integración de MinIO con Kubernetes su escalabilidad y flexibilidad para AI infraestructura de datos?

MinIO es nativo de Kubernetes por diseño y compatible con S3 desde el principio. Los desarrolladores pueden implementar rápidamente almacenamiento de objetos persistentes para todas sus aplicaciones nativas de la nube. La combinación de MinIO y Kubernetes proporciona una plataforma poderosa que permite que las aplicaciones escale a través de cualquier infraestructura de nube híbrida y de múltiples nubes y aún así se administre y proteja de manera centralizada, evitando el bloqueo de la nube pública.

Con Kubernetes como motor, MinIO puede ejecutarse en cualquier lugar donde lo haga Kubernetes, lo cual, en el entorno moderno, nativo de la nube/AI mundo, está esencialmente en todas partes.

De cara al futuro, ¿cuáles son los futuros desarrollos o mejoras que los usuarios pueden esperar de MinIO en el contexto de AI infraestructura de datos?

Nuestras recientes asociaciones y lanzamientos de productos son una señal para el mercado de que no nos vamos a desacelerar en el corto plazo y que continuaremos avanzando hacia donde tenga sentido para nuestros clientes. Por ejemplo, recientemente nos asociamos con Carahsoft para poner la cartera de almacenamiento de objetos definidos por software de MinIO a disposición de los sectores de Gobierno, Defensa, Inteligencia y Educación. Esto permite a las organizaciones del sector público construir infraestructuras de datos de cualquier escala, desde amplios lagos de datos modernos hasta soluciones de almacenamiento de datos para misiones específicas en el borde autónomo. Juntos, ofrecemos estas soluciones únicas y de vanguardia a los clientes del sector público, permitiéndoles abordar los desafíos de la infraestructura de datos de manera fácil y eficiente. Esta asociación llega en un momento en que hay un mayor impulso para permitir que el sector público sea AI-listo, con los requisitos recientes de la OMB que establecen que todas las agencias federales necesitan un Jefe AI Oficial (entre otras cosas). En general, la asociación ayuda a fortalecer la industria AI postura y brinda al sector público las valiosas herramientas necesarias para tener éxito.

Además, MinIO está muy bien posicionado para el futuro. AI La infraestructura de datos está todavía en su infancia. Muchas áreas serán más evidentes en los próximos años. Por ejemplo, la mayoría de las empresas querrán utilizar sus datos y documentos propietarios con modelos fundamentales y generación aumentada de recuperación (RAG). Una mayor integración a este patrón de implementación será fácil para MinIO debido al hecho de que todas estas opciones arquitectónicas y patrones de implementación tienen una cosa en común: todos esos datos ya están almacenados en MinIO.

Finalmente, para los líderes tecnológicos que buscan construir o mejorar su infraestructura de datos para AI, ¿Qué consejo ofrecerías en función de tu experiencia y conocimientos en MinIO?

Para poder realizar cualquier AI Para que la iniciativa tenga éxito, hay tres elementos clave que debe cumplir: tener los datos correctos, la infraestructura adecuada y las aplicaciones adecuadas. Realmente comienza con comprender lo que necesita: no salga a comprar GPU costosas solo porque tiene miedo de perderse la oportunidad. AI bote. Creo firmemente que la empresa AI Las estrategias fracasarán en 2024 si las organizaciones se centran solo en los modelos mismos y no en los datos. Pensar en el modelo hacia abajo versus los datos hacia arriba es un error crítico: hay que comenzar con los datos. Construir una infraestructura de datos adecuada. Luego, piensa en tus modelos. A medida que las organizaciones avanzan hacia una AI-Primera arquitectura, es imperativo que su infraestructura de datos habilite sus datos, no los limite.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar MinIO.