Ugur Tigli, Director Tehnic la MinIO – Seria de interviuri

Ugur Tigli este Director Tehnic la MinIO, lider în stocare de obiecte de înaltă performanță pentru AI. Ca Director Tehnic, Ugur ajută clienții să proiecteze și să implementeze infrastructuri de date enterprise de nivel înalt, bazate pe API, native cloud și scalabile, utilizând MinIO.

Puteți descrie drumul dvs. către poziția de Director Tehnic la MinIO și cum experiențele dvs. au influențat abordarea dvs. față de AI și infrastructura de date?

Am început cariera mea în inginerie de infrastructură la Merrill Lynch, ca administrator de backup și restaurare. Am continuat să iau diverse provocări și poziții tehnice. Am fost vicepreședinte al departamentului de inginerie de stocare la Bank of America (BAC ), unde am fost responsabil și de ingineria calculatoarelor și a centrelor de date.

Ca parte a jobului meu, am lucrat și cu diverse firme de capital de risc (VC) și cu companiile lor, pentru a aduce tehnologia cea mai recentă și mai bună. Într-una dintre întâlnirile mele cu General Catalyst, am fost introdus în ideea și oamenii din spatele MinIO. M-a atras pentru că abordarea lor față de infrastructura de date era diferită de a celorlalți de pe piață. Compania a realizat importanța depozitului de obiecte și a standardelor API pe care aplicațiile le utilizează. În acei ani, au putut prezice viitorul calculatoarelor și al AI, înainte ca acestea să fie cunoscute astăzi. Am vrut să fac parte din echipa care executa acea viziune și să construim ceva cu adevărat unic. MinIO este acum cel mai utilizat depozit de obiecte de pe planetă.

Impactul experiențelor mele anterioare asupra modului în care abordez noile tehnologii, în special AI și infrastructura de date, este pur și simplu o acumulare a proiectelor în care am fost implicat de-a lungul anilor, susținând echipele de aplicații într-o firmă financiară foarte solicitantă.

De la zilele cu lățime de bandă limitată, care au condus la tehnologia Hadoop, cea mai recentă tehnologie acum 15 ani, la diverse tehnologii de stocare a datelor, de la Hard Disk Drive (HDD) la Solid State Drive (SSD), multe dintre aceste schimbări tehnologice mi-au modelat viziunea asupra ecosistemului AI și a infrastructurii de date.

MinIO este recunoscut pentru capacitățile sale de stocare de obiecte de înaltă performanță. Cum MinIO răspunde nevoilor întreprinderilor conduse de AI astăzi?

Când AB și Garima au conceptualizat MinIO, prima lor prioritate a fost să gândească la o problemă – știau că datele vor continua să crească și tehnologiile de stocare existente nu erau compatibile cu acea creștere. Apariția rapidă a AI a făcut ca viziunile lor prevăzătoare asupra pieței să devină realitate. De atunci, stocarea de obiecte a devenit fundamentală pentru infrastructura AI (toate LLM-urile majore, cum ar fi OpenAI și Anthropic, sunt construite pe depozite de obiecte), iar centrul de date modern este construit pe o bază de depozit de obiecte.

MinIO a lansat recent o nouă platformă de stocare de obiecte cu caracteristici comerciale esențiale pentru a sprijini organizațiile în inițiativele lor AI: MinIO Enterprise Object Store. Acesta este proiectat pentru provocările de performanță și scalabilitate introduse de sarcinile masive AI și permite clienților să abordeze mai ușor provocările asociate cu miliarde de obiecte, precum și sute de mii de operații criptografice pe nod pe secundă. Are șase caracteristici comerciale noi care vizează provocările operaționale și tehnice cheie cu care se confruntă sarcinile AI: Catalog (rezolvă problema namespace-ului și căutării de metadate a stocării de obiecte), Firewall (conceput special pentru date), Sistem de gestionare a cheilor (rezolvă problema gestionării miliardelor de chei criptografice), Cache (funcționează ca un serviciu de caching), Observabilitate (permite administratorilor să vizualizeze toate componentele sistemului de-a lungul fiecărui exemplu) și, în cele din urmă, Consola Enterprise (servește ca o singură fereastră pentru toate instanțele MinIO ale organizației).

Manipularea AI la scară devine din ce în ce mai crucială. Puteți explica de ce este acesta cazul și cum MinIO facilitează aceste cerințe pentru infrastructura de date modernă?

Aproape tot ceea ce organizațiile construiesc acum este pe stocare de obiecte, ceea ce se va accelera și mai mult pe măsură ce cei care rulează infrastructura cu un aparat ating un zid în era lacurilor de date moderne și a AI. Organizațiile examinează noi infrastructuri pentru a gestiona toate datele care intră în sistemul lor și, ulterior, construiesc aplicații centrate pe date deasupra acestuia – ceea ce necesită o scalabilitate și flexibilitate extraordinară pe care numai stocarea de obiecte o poate susține. Acolo intervine MinIO și de ce compania a fost întotdeauna cu mult înaintea concurenței, deoarece este proiectată pentru ceea ce are nevoie AI – stocarea unor volume masive de date structurate și nestructurate și oferirea de performanță la scară.

Similar cu nevoile de învățare automată (ML) din generațiile anterioare de AI, datele și lacurile de date moderne au fost esențiale pentru succesul oricărui AI “predictiv”. Cu toate acestea, odată cu avansarea AI “generativ”, acest peisaj s-a extins pentru a include multe alte componente, cum ar fi datele de operare AI, conductele de documente și modelele fondatoare, precum și bazele de date vectoriale.

Toate aceste componente suplimentare utilizează stocarea de obiecte, iar majoritatea dintre ele se integrează direct cu MinIO. De exemplu, Milvus, o bază de date vectorială, utilizează MinIO, iar multe motoare de interogare moderne se integrează cu MinIO prin API-urile S3.

AI datoriile tehnice sunt o preocupare în creștere pentru multe organizații. Care sunt strategiile pe care MinIO le utilizează pentru a ajuta clienții să evite această problemă, în special în ceea ce privește utilizarea mai eficientă a GPU-urilor?

O lanț este la fel de puternică ca și cel mai slab punct – și infrastructura dvs. AI/ML nu este mai rapidă decât componenta sa cea mai lentă. Dacă antrenați modele de învățare automată cu GPU-uri, punctul slab poate fi soluția dvs. de stocare. Rezultatul este ceea ce numesc “Problema GPU înfometat”. Problema GPU înfometat apare atunci când soluția dvs. de rețea sau stocare nu poate furniza date de antrenament logicii de antrenament suficient de rapid pentru a utiliza pe deplin GPU-urile, lăsând putere de calcul valoroasă pe masă. Ceva pe care organizațiile îl pot face pentru a-și valorifica pe deplin GPU-urile este să înțeleagă semnele unei arhitecturi de date proaste și cum poate duce direct la subutilizarea tehnologiei AI. Pentru a evita datoriile tehnice, companiile trebuie să-și schimbe modul în care văd (și stochează) datele.

Organizațiile pot configura o soluție de stocare care se află în același centru de date ca și infrastructura de calcul. Ideal, ar trebui să fie în același cluster cu calculatorul dvs. Deoarece MinIO este o soluție de stocare definită prin software, este capabilă de performanța necesară pentru a alimenta GPU-urile flămânde – un benchmark recent a atins 325 GiB/s la GET și 165 GiB/s la PUT, cu doar 32 de noduri de SSD NVMe standard.

Aveți o experiență bogată în crearea unor infrastructuri de date de înaltă performanță pentru instituții financiare globale. Cum vă informează aceste experiențe munca dvs. la MinIO, în special în ceea ce privește proiectarea soluțiilor pentru nevoi industriale diverse?

Am ajutat la construirea primului nor privat pentru Bank of America și acea inițiativă a economisit miliarde de dolari, oferind funcționalități și caracteristici disponibile în norul public intern la un cost mai mic. Nu doar această inițiativă majoră, ci și multe alte cerințe de aplicații diverse cu care am lucrat la BofA Merrill Lynch, au modelat munca mea la MinIO în ceea ce privește proiectarea soluțiilor pentru clienții noștri de astăzi.

De exemplu, învățarea “greșită” sau “greoaie” a lucrat cu echipa care a construit clusterul Hadoop, care a utilizat doar componentele de stocare a datelor de pe server, în timp ce ținea CPU-urile subutilizate sau aproape inerte. Exemple simple sau învățăminte precum acestea mi-au permis să utilizez soluții de date și calcul separate în infrastructura de date modernă de astăzi, ajutându-i pe clienții și partenerii noștri, care sunt soluții tehnice mai bune și mai ieftine, utilizând tehnologiile de rețea de înaltă bandă și depozitele de obiecte de înaltă performanță, cum ar fi MinIO și orice motor de interogare sau procesare.

Prezentarea hibridă a norului prezintă provocări și complexități unice. Puteți discuta despre acestea în detaliu și explica cum modelul “explozie” hibrid al MinIO către nor ajută la controlul eficient al costurilor norului?

Trecerea la multicloud nu ar trebui să ducă la bugete IT umflate și la incapacitatea de a atinge obiectivele – ar trebui să ajute la gestionarea costurilor și să accelereze drumul unei organizații. Ceva de luat în considerare este repatrierea norului – realitatea este că mutarea operațiunilor din nor în infrastructura locală poate duce la economii substanțiale de costuri, în funcție de caz, și ar trebui să se uite mereu la nor ca la un model de operare, nu la o destinație. De exemplu, organizațiile pornească instanțe GPU, dar apoi petrec timpul prelucrând date pentru a le face să se potrivească în GPU. Acest lucru irosește timp și bani prețioși – organizațiile trebuie să optimizeze mai bine, alegând tehnologii native cloud și, mai important, portabile cloud, care pot debloca puterea multicloud fără costuri semnificative. Utilizarea principiilor modelului de operare cloud-first și respectarea acestui cadru oferă agilitatea de a se adapta la cerințele operaționale în schimbare.

Soluțiile native Kubernetes sunt esențiale pentru infrastructura modernă. Cum integrarea MinIO cu Kubernetes îmbunătățește scalabilitatea și flexibilitatea sa pentru infrastructura de date AI?

MinIO este nativ Kubernetes prin design și compatibil S3 din momentul conceperii. Dezvoltatorii pot distribui rapid stocarea de obiecte persistente pentru toate aplicațiile native cloud. Combinația dintre MinIO și Kubernetes oferă o platformă puternică care permite aplicațiilor să se extindă pe orice infrastructură multicloud și hibridă și să fie gestionate și securizate central, evitând blocarea în norul public.

Cu Kubernetes ca motor, MinIO poate rula oriunde rulează Kubernetes – ceea ce, în lumea cloud-native/AI modernă, este practic peste tot.

Privind spre viitor, ce dezvoltări sau îmbunătățiri pot aștepta utilizatorii de la MinIO în contextul infrastructurii de date AI?

Parteneriatele și lansările noastre de produse recente sunt un semn pentru piață că nu ne oprim niciodată. De exemplu, am parteneriat recent cu Carahsoft pentru a face portofoliul de stocare de obiecte definit prin software MinIO disponibil pentru sectoarele guvernamentale, apărării, inteligenței și educației. Acest lucru permite organizațiilor din sectorul public să construiască orice infrastructură de date la scară, de la lacuri de date moderne extinse la soluții de stocare de date specifice misiunii la marginea autonomă. Împreună, aducem aceste soluții unice și de ultimă generație clienților din sectorul public, permițându-le să abordeze cu ușurință și eficiență provocările infrastructurii de date. Acest parteneriat vine într-un moment în care există o presiune crescută pentru a permite sectorului public să fie pregătit pentru AI, cu cerințele recente OMB care stipulează că toate agențiile federale trebuie să aibă un ofițer șef AI (printre altele). În general, parteneriatul ajută la consolidarea posturii AI a industriei și oferă sectorului public uneltele valoroase necesare pentru a reuși.

În plus, MinIO este foarte bine poziționat pentru viitor. Infrastructura de date AI este încă în stadiul de început. Multe domenii ale acesteia vor fi mai evidente în următorii ani. De exemplu, majoritatea întreprinderilor vor dori să utilizeze datele și documentele lor proprii cu modelele fondatoare și Generarea Augmentată de Recuperare (RAG). O integrare suplimentară în acest model de implementare va fi ușoară pentru MinIO, deoarece toate aceste alegeri arhitecturale și modele de implementare au un lucru în comun – toate datele sunt deja stocate pe MinIO.

În cele din urmă, pentru liderii tehnici care doresc să construiască sau să îmbunătățească infrastructura de date pentru AI, ce sfaturi ați oferi pe baza experienței și insight-urilor dvs. de la MinIO?

Pentru a face orice inițiativă AI să reușească, există trei elemente cheie la care trebuie să vă conformați: aveți datele potrivite, infrastructura potrivită și aplicațiile potrivite. Într-adevăr, începe cu înțelegerea a ceea ce aveți nevoie – nu mergeți și cumpărați GPU-uri scumpe doar pentru că vă temeți că veți rata barca AI. Cred cu tărie că strategiile de AI ale întreprinderilor vor eșua în 2024 dacă se concentrează doar asupra modelelor însele și nu asupra datelor. Gândirea “model jos” versus “date sus” este o greșeală critică – trebuie să începeți cu datele. Construiți o infrastructură de date adecvată. Apoi, gândiți-vă la modelele dvs. Pe măsură ce organizațiile se îndreaptă către o arhitectură AI-primară, este imperativ ca infrastructura dvs. de date să permită datelor dvs. – nu să le restricționeze.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre MinIO.