entrevistes
Ugur Tigli, director tècnic de MinIO – Sèrie d'entrevistes
Ugur Tigli és el director tècnic de MinIO, el líder en emmagatzematge d'objectes d'alt rendiment per a AI. Com a CTO, Ugur ajuda els clients a dissenyar i desplegar una infraestructura de dades de nivell empresarial escalable, nativa del núvol i basada en API mitjançant MinIO.
Pots descriure el teu viatge per convertir-te en el CTO de MinIO i com les teves experiències han modelat el teu enfocament AI i infraestructura de dades?
Vaig començar la meva carrera en enginyeria d'infraestructures a Merrill Lynch com a administrador de còpies de seguretat i restauració. Vaig continuar assumint diferents reptes i diferents posicions tècniques. Em vaig incorporar a Bank of America mitjançant l'adquisició de Merrill Lynch, on vaig ser vicepresident d'Enginyeria d'emmagatzematge. Tot i així, el meu paper es va ampliar per incloure l'enginyeria informàtica i del centre de dades.
Com a part de la meva feina, també vaig treballar amb diverses empreses de capital risc (VC) i les seves companyies de cartera per aportar la tecnologia més recent i millor. Durant una de les meves reunions amb General Catalyst, em van presentar la idea i les persones darrere de MinIO. Em va atreure per com s'apropaven a la infraestructura de dades: era diferent de la resta del mercat. L'empresa es va adonar de la importància del magatzem d'objectes i de les API estàndard amb les quals començaven les aplicacions. Durant aquells anys, podien predir el futur de la informàtica i AI abans que ningú o fins i tot abans que es digués com és avui. Volia formar part de l'execució d'aquesta visió i de la construcció d'una cosa realment única. MinIO és ara la botiga d'objectes més àmpliament desplegada del planeta.
L'impacte dels meus rols i experiència anteriors en com m'apropo a les noves tecnologies, concretament AI i infraestructura de dades, també és simplement una acumulació dels molts projectes en què he participat durant els meus anys de suport als equips d'aplicacions d'una empresa de serveis financers molt exigent.
Des dels dies d'amplada de banda de xarxa limitada, que van fer que la tecnologia Hadoop fos la tecnologia més nova fa 15 anys, fins a diverses tecnologies de suport de dades, des de la unitat de disc dur (HDD) fins a la unitat d'estat sòlid (SSD), molts d'aquests canvis tecnològics van donar forma a la meva visió actual. del AI ecosistema i infraestructura de dades.
MinIO és reconegut per les seves capacitats d'emmagatzematge d'objectes d'alt rendiment. Com atén MinIO específicament a les necessitats de AI-Empreses impulsades avui?
Quan AB i Garima estaven conceptualitzant MinIO, la seva primera prioritat era pensar en una declaració de problema: sabien que les dades seguirien creixent i les tecnologies d'emmagatzematge existents eren incompatibles amb aquest creixement. La ràpida aparició de AI ha fet realitat les seves visions previsibles del mercat. Des de llavors, l'emmagatzematge d'objectes s'ha convertit en fonamental AI infraestructura (tots els principals LLM com OpenAI i Anthropic estan construïts sobre magatzems d'objectes) i el centre de dades modern es basa en una base de magatzem d'objectes.
MinIO ha llançat recentment una nova plataforma d'emmagatzematge d'objectes amb funcions crítiques de nivell empresarial per donar suport a les organitzacions AI iniciatives: MinIO Enterprise Object Store. Està dissenyat per als reptes de rendiment i escala introduïts per massive AI càrregues de treball i permet als clients abordar els reptes associats amb milers de milions d'objectes amb més facilitat, així com centenars de milers d'operacions criptogràfiques per node per segon. Té sis noves característiques comercials que s'orienten als principals reptes tècnics i operatius als quals s'enfronten AI càrregues de treball: catàleg (això resol el problema de l'espai de noms d'emmagatzematge d'objectes i la cerca de metadades), tallafoc (creat per a les dades), sistema de gestió de claus (resol el problema de tractar milers de milions de claus criptogràfiques), memòria cau (funciona com a servei de memòria cau. ), Observabilitat (permet als administradors veure tots els components del sistema a cada instància) i, finalment, Enterprise Console (servix com un únic panell de vidre per a totes les instàncies de MinIO de l'organització).
Maneig AI a escala és cada cop més crucial. Podríeu explicar per què és així i com MinIO facilita aquests requisits per a les empreses modernes?
Gairebé tot el que construeixen les organitzacions ara es basa en l'emmagatzematge d'objectes, que només s'accelerarà a mesura que aquells que executen la infraestructura amb un aparell toquin un mur a l'era dels llacs de dades moderns i AI. Les organitzacions estan buscant noves infraestructures per gestionar totes les dades que arriben al seu sistema i després crear aplicacions centrades en les dades a sobre; això requereix una escala i una flexibilitat extraordinàries que només l'emmagatzematge d'objectes pot suportar. Aquí és on entra MinIO i per què l'empresa sempre s'ha avançat quilòmetres per davant de la competència perquè està dissenyada per al que AI necessitats: emmagatzemar volums massius de dades estructurades i no estructurades i proporcionar rendiment a escala.
Similar a les necessitats d'aprenentatge automàtic (ML) en generacions anteriors de AI, les dades i els llacs de dades moderns han estat fonamentals per a l'èxit de qualsevol "predictiu" AI. Tanmateix, amb l'avenç del "generatiu" AI, aquest paisatge s'ha ampliat per incloure molts altres components, com ara AI Conduccions de dades i documents d'operacions, models bàsics i bases de dades vectorials.
Tots aquests components addicionals utilitzen l'emmagatzematge d'objectes i la majoria d'ells s'integren directament amb MinIO. Per exemple, Milvus, una base de dades vectorial, utilitza MinIO i molts motors de consultes moderns s'integren amb MinIO mitjançant API S3.
AI el deute tècnic és una preocupació creixent per a moltes organitzacions. Quines estratègies utilitza MinIO per ajudar els clients a evitar aquest problema, especialment pel que fa a l'ús de les GPU de manera més eficient?
Una cadena és tan forta com la seva baula més feble, i la teva AILa infraestructura /ML només és tan ràpida com el vostre component més lent. Si entrenes models d'aprenentatge automàtic amb GPU, el teu enllaç feble pot ser la teva solució d'emmagatzematge. El resultat és el que jo anomeno el "problema de la GPU de fam". El problema Starving GPU es produeix quan la vostra xarxa o solució d'emmagatzematge no pot servir les dades d'entrenament a la vostra lògica d'entrenament amb prou rapidesa com per utilitzar plenament les vostres GPU, deixant una valuosa potència de càlcul sobre la taula. Una cosa que les organitzacions poden fer per aprofitar plenament les seves GPU és primer entendre els signes d'una arquitectura de dades deficient i com pot provocar directament la infrautilització de AI tecnologia. Per evitar el deute tècnic, les empreses han de canviar la manera com veuen (i emmagatzemen) les dades.
Les organitzacions poden configurar una solució d'emmagatzematge al mateix centre de dades que la seva infraestructura informàtica. L'ideal seria que estigui al mateix clúster que el vostre ordinador. Com que MinIO és una solució d'emmagatzematge definida per programari, és capaç d'aconseguir el rendiment necessari per alimentar les GPU famolencs, una recent punt de referència va aconseguir 325 GiB/s en GET i 165 GiB/s en PUT amb només 32 nodes de SSD NVMe disponibles.
Teniu una àmplia experiència en la creació d'infraestructures de dades d'alt rendiment per a institucions financeres globals. Com aquestes experiències informen el vostre treball a MinIO, especialment en l'arquitectura de solucions per a les diverses necessitats del sector?
Vaig ajudar a construir el primer núvol privat per al Bank of America i aquesta iniciativa va estalviar milers de milions de dòlars proporcionant característiques i funcionalitats disponibles internament als núvols públics a un cost més baix. No només aquesta gran iniciativa, sinó molts altres requisits d'aplicació en els quals he treballat a BofA Merrill Lynch, ha donat forma al meu treball a MinIO pel que fa a les solucions d'arquitectura per als nostres clients d'avui.
Per exemple, aprendre-ho de manera incorrecta o "dura" va funcionar amb l'equip que va crear clústers Hadoop que només utilitzaven els components d'emmagatzematge de dades del servidor mentre mantenien les CPU del servidor infrautilitzades o gairebé inactius. Exemples senzills o aprenentatges com aquest em van permetre utilitzar dades desagregades i solucions de càlcul a la moderna infraestructura de dades d'avui, alhora que ajudo els nostres clients i socis, que són solucions tècnicament millors i de menor cost que utilitzen les tecnologies de xarxa d'ample de banda d'avui i magatzems d'objectes d'alt rendiment com MinIO. i qualsevol motor de consulta o processament.
El núvol híbrid presenta reptes i complexitats únics. Podries parlar-ne detalladament i explicar com l'"explosió" híbrida de MinIO al model de núvol ajuda a controlar els costos del núvol de manera eficaç?
L'ús del multinúvol no hauria de comportar un augment dels pressupostos de TI i la impossibilitat d'assolir fites; hauria d'ajudar a gestionar els costos i accelerar el full de ruta d'una organització. Una cosa a tenir en compte és la repatriació al núvol: la realitat és que el canvi de les operacions del núvol a la infraestructura local pot comportar un estalvi de costos substancial, segons els casos, i sempre hauríeu de mirar el núvol com un model operatiu, no com una destinació. Per exemple, les organitzacions fan girar les instàncies de la GPU, però després dediquen temps a preprocessar les dades per tal d'adaptar-les a la GPU. Això malgasta temps i diners valuosos: les organitzacions han d'optimitzar millor escollint tecnologies natives del núvol i, el que és més important, tecnologies portàtils al núvol que poden desbloquejar la potència del multinúvol sense costos significatius. L'ús dels principis del model operatiu del núvol i l'adhesió a aquest marc proporciona l'agilitat per adaptar-se als requisits operatius canviants.
Les solucions natives de Kubernetes són fonamentals per a la infraestructura moderna. Com la integració de MinIO amb Kubernetes millora la seva escalabilitat i flexibilitat AI infraestructura de dades?
MinIO és natiu de Kubernetes per disseny i compatible amb S3 des del principi. Els desenvolupadors poden desplegar ràpidament l'emmagatzematge d'objectes persistents per a totes les seves aplicacions natives del núvol. La combinació de MinIO i Kubernetes proporciona una plataforma potent que permet que les aplicacions s'escallin a qualsevol infraestructura de núvols híbrids i multinúvols i que es puguin gestionar i protegir de manera centralitzada, evitant el bloqueig del núvol públic.
Amb Kubernetes com a motor, MinIO és capaç d'executar-se a qualsevol lloc on ho faci Kubernetes, que, en la versió moderna, nativa del núvol/AI món, és essencialment a tot arreu.
De cara al futur, quins són els futurs desenvolupaments o millores que els usuaris poden esperar de MinIO en el context de AI infraestructura de dades?
Les nostres associacions recents i els llançaments de productes són un senyal per al mercat que no estem alentint-nos aviat i que continuarem avançant on tingui sentit per als nostres clients. Per exemple, recentment ens vam associar amb Carahsoft per posar la cartera d'emmagatzematge d'objectes definits per programari de MinIO a disposició dels sectors del govern, la defensa, la intel·ligència i l'educació. Això permet a les organitzacions del sector públic construir qualsevol infraestructura de dades a escala diversa, que va des d'extensos datalaks moderns fins a solucions d'emmagatzematge de dades específiques de la missió a la vora autònoma. Junts, estem aportant aquestes solucions úniques i d'avantguarda als clients del sector públic, donant-los poder per abordar els reptes de la infraestructura de dades de manera fàcil i eficient. Aquesta associació arriba en un moment en què hi ha una major empenta per permetre que el sector públic ho sigui AI-preparat, amb els requisits recents de l'OMB que indiquen que totes les agències federals necessiten un cap AI Oficial (entre altres coses). En general, l'associació ajuda a enfortir la indústria AI postura i ofereix al sector públic les valuoses eines necessàries per tenir èxit.
A més, MinIO està molt ben posicionat per al futur. AI la infraestructura de dades encara està en la seva infància. Moltes àrees d'això seran més evidents en els propers dos anys. Per exemple, la majoria de les empreses voldran utilitzar les seves dades i documents propietaris amb models fonamentals i la generació augmentada per la recuperació (RAG). Una integració addicional amb aquest patró de desplegament serà fàcil per a MinIO pel fet que totes aquestes opcions arquitectòniques i patrons de desplegament tenen una cosa en comú: totes aquestes dades ja estan emmagatzemades a MinIO.
Finalment, per als líders tecnològics que busquen construir o millorar la seva infraestructura de dades AI, quins consells oferiries en funció de la teva experiència i coneixements a MinIO?
Per fer-ne qualsevol AI iniciativa reeixida, hi ha tres elements clau als quals heu de respectar: tenir les dades adequades, la infraestructura adequada i les aplicacions adequades. Realment comença per entendre el que necessites: no surtis a comprar GPU cares només perquè tinguis por de perdre't el AI vaixell. Crec fermament en aquesta empresa AI les estratègies fracassaran el 2024 si les organitzacions se centren només en els models mateixos i no en les dades. Pensar en el model a la baixa i en augmentar les dades és un error crític: heu de començar amb les dades. Construir una infraestructura de dades adequada. Aleshores, pensa en els teus models. A mesura que les organitzacions avancen cap a un AI-Primer l'arquitectura, és imprescindible que la vostra infraestructura de dades permeti les vostres dades, no les limita.
Gràcies per la gran entrevista, els lectors que vulguin aprendre més haurien de visitar MinIO.
