Ugur Tigli, teknisk chef på MinIO – Intervju-serie

Ugur Tigli är teknisk chef på MinIO, ledande inom högpresterande objektlagring för AI. Som teknisk chef hjälper Ugur kunder att utforma och distribuera API-drivna, molnbaserade och skalbara företagsklassiga datainfrastrukturer med MinIO.

Kan du beskriva din resa till att bli teknisk chef på MinIO, och hur dina erfarenheter har format din syn på AI och datainfrastruktur?

Jag började min karriär inom infrastrukturingenjörskap på Merrill Lynch som administratör för säkerhetskopiering och återställning. Jag fortsatte att ta på mig olika utmaningar och tekniska roller. Jag gick med i Bank of America (BAC ) genom förvärvet av Merrill Lynch, där jag var vicepresident för lagringsingenjörskap. Min roll utvidgades dock till att omfatta datorenings- och datacenteringenjörskap.

Som en del av mitt jobb arbetade jag också med olika riskkapitalbolag och deras portföljbolag för att ta med de senaste och bästa teknikerna. Under ett av mina möten med General Catalyst presenterades idén och människorna bakom MinIO för mig. Det tilltalade mig på grund av hur de angrep datainfrastrukturproblematiken — det skilde sig från alla andra på marknaden. Företaget insåg vikten av objektlagring och standard-API:er som applikationer började med. Under dessa år kunde de förutse framtiden för datorkraft och AI innan någon annan eller till och med innan det kallades för vad det är idag. Jag ville vara en del av att genomföra den visionen och bygga något riktigt unikt. MinIO är nu den mest omfattande objektlagringen på planeten.

Inverkan av mina tidigare roller och erfarenheter på hur jag närmar mig nya tekniker, särskilt AI och datainfrastruktur, är också bara en ansamling av de många projekten jag har varit involverad i genom mina år av att stödja applikationsgrupper i ett högt krävande finansiellt tjänsteföretag.

Från de begränsade nätverksbandbreddsdagarna, som ledde till Hadoop-teknik som den senaste tekniken för 15 år sedan, till olika datamediatekniker från hårddisk (HDD) till fast tillståndsskiva (SSD), har många av dessa tekniska förändringar format min nuvarande syn på AI-ekosystemet och datainfrastruktur.

MinIO är erkänt för sin högpresterande objektlagring. Hur tillfredsställer MinIO specifikt de behov som AI-drivna företag har idag?

När AB och Garima konceptualiserade MinIO var deras första prioritet att tänka på ett problem — de visste att data skulle fortsätta att växa och att befintliga lagringstekniker var oförenliga med den tillväxten. Den snabba uppkomsten av AI har gjort deras vidsynta åsikter om marknaden till verklighet. Sedan dess har objektlagring blivit grundläggande för AI-infrastruktur (alla stora LLM:er som OpenAI och Anthropic är alla byggda på objektlagring), och den moderna datacentralen byggs på en objektlagringsgrund.

MinIO lanserade nyligen en ny objektlagringsplattform med kritiska företagsklassiga funktioner för att stödja organisationer i deras AI-initiativ: MinIO Enterprise Object Store. Den är utformad för prestanda- och skalutmaningar som introduceras av massiva AI-arbetsbelastningar och möjliggör för kunder att hantera utmaningarna som är förknippade med miljarder objekt mer lätt, samt hundratusentals kryptografiska operationer per nod per sekund. Den har sex nya kommersiella funktioner som riktar sig till nyckeloperativa och tekniska utmaningar som AI-arbetsbelastningar står inför: Katalog (detta löser problemet med objektlagringsnamnområde och metadata-sökning), Brandvägg (syftar specifikt på data), Nyckelhanteringssystem (löser problemet med att hantera miljarder kryptografiska nycklar), Cache (fungerar som en cachetjänst), Observabilitet (tillåter administratörer att visa alla systemkomponenter över alla instanser) och sist men inte minst Enterprise-konsol (fungerar som en enda glasruta för alla organisationens instanser av MinIO).

Hantering av AI i stor skala blir alltmer avgörande. Kan du förklara varför detta är fallet och hur MinIO tillgodoser dessa krav för moderna företag?

Nästan allt som organisationer bygger är nu på objektlagring, vilket kommer att påskyndas alltmer i takt med att de som kör infrastruktur med en apparat når en vägg i den moderna eran av datainsjöar och AI. Organisationer ser på nya infrastrukturer för att hantera all data som kommer in i deras system och sedan bygga datacentrerade applikationer ovanpå det – detta kräver enastående skala och flexibilitet som endast objektlagring kan stödja. Där kommer MinIO in och varför företaget alltid har stått milsvidda före konkurrensen, eftersom det är utformat för vad AI behöver – lagring av massiva volymer strukturerad och ostrukturerad data och tillhandahållande av prestanda i skala.

Liknande maskinlärningsbehov (ML) i tidigare generationer av AI har data och moderna datainsjöar varit avgörande för framgången för alla “prediktiva” AI. Men med framstegen inom “generativ” AI har detta landskap utvidgats till att omfatta många andra komponenter, såsom AI-operationsdata och dokumentpipeliner, grundläggande modeller och vektordatabaser.

Alla dessa ytterligare komponenter använder objektlagring, och de flesta av dem integrerar direkt med MinIO. Till exempel använder Milvus, en vektordatabas, MinIO, och många moderna frågemotorer integrerar med MinIO via S3-API:er.

AI-teknisk skuld är ett växande problem för många organisationer. Vilka strategier använder MinIO för att hjälpa kunder att undvika detta problem, särskilt i fråga om att använda GPU:er mer effektivt?

En kedja är så stark som dess svagaste länk – och din AI/ML-infrastruktur är bara så snabb som din långsammaste komponent. Om du tränar maskinlärningsmodeller med GPU:er kan din svagaste länk vara din lagringslösning. Resultatet är vad jag kallar “GPU:s svältproblemet”. Problemet uppstår när din nätverks- eller lagringslösning inte kan servera träningsdata till din träningslogik tillräckligt snabbt för att fullt utnyttja dina GPU:er, vilket lämnar värdefull beräkningskraft på bordet. En sak som organisationer kan göra för att fullt utnyttja sina GPU:er är att först förstå tecknen på en dålig dataarkitektur och hur den direkt kan leda till underutnyttjande av AI-teknik. För att undvika teknisk skuld måste företag ändra hur de ser på (och lagrar) data.

Organisationer kan konfigurera en lagringslösning som är i samma datacenter som deras beräkningsinfrastruktur. Idealt sett skulle detta vara i samma kluster som din beräkning. Eftersom MinIO är en programvarudefinierad lagringslösning är den kapabel till den prestanda som behövs för att mata hungriga GPU:er – en nylig benchmark uppnådde 325 GiB/s på GET och 165 GiB/s på PUT med bara 32 noder av standard NVMe-SSD.

Har du en rik bakgrund inom att skapa högpresterande datainfrastrukturer för globala finansiella institutioner. Hur informerar dessa erfarenheter ditt arbete på MinIO, särskilt när det gäller att utforma lösningar för olika branschbehov?

Jag hjälpte till att bygga den första privata molnet för Bank of America och den initiativet sparade miljarder dollar genom att tillhandahålla funktioner och funktionalitet som finns i offentliga moln internt till en lägre kostnad. Inte bara detta stora initiativ, utan många andra olika applikationskrav som jag har arbetat med på BofA Merrill Lynch har format mitt arbete på MinIO när det gäller att utforma lösningar för våra kunder idag.

Till exempel lärde jag mig det på fel sätt eller “hårt sätt” att arbeta med teamet som byggde Hadoop-kluster som endast använde datalagringskomponenterna på servern medan server-CPU:erna var underutnyttjade eller nästan inaktiva. Enkla exempel eller lärdomar som dessa tillät mig att använda avgränsade data och beräkningslösningar i den moderna datainfrastrukturen idag, samtidigt som jag hjälper våra kunder och partners, vilka är tekniskt bättre och lägre kostnadsalternativ med hjälp av dagens höghastighetsnätverkstekniker och högpresterande objektlagring som MinIO och alla fråge- eller bearbetningsmotorer.

Hybridmolnet presenterar unika utmaningar och komplexiteter. Kan du diskutera dessa i detalj och förklara hur MinIO:s hybrid-“burst”-molnmodell hjälper till att kontrollera molnkostnader effektivt?

Att gå multicloud bör inte leda till svällande IT-budgetar och oförmåga att nå milstolpar — det bör hjälpa till att hantera kostnader och påskynda en organisations vägkarta. En sak att överväga är molnrepatriering — verkligheten är att att flytta operationer från molnet till lokal infrastruktur kan leda till betydande kostnadsbesparingar, beroende på fallet, och du bör alltid se på molnet som en driftsmodell, inte en destination. Till exempel startar organisationer GPU-instanser men sedan tillbringar de tid med att förbearbeta data för att få det att passa in i GPU:n. Detta slösar bort dyrbar tid och pengar — organisationer behöver optimera bättre genom att välja molnbaserade och, viktigare, molnportabla tekniker som kan låsa upp multiclouds kraft utan betydande kostnader. Att använda moln-först driftsmodellsprinciper och följa den ramen ger agility att anpassa sig till förändrade operativa krav.

Kubernetes-nativa lösningar är avgörande för modern infrastruktur. Hur förbättrar MinIO:s integration med Kubernetes dess skalbarhet och flexibilitet för AI-datainfrastruktur?

MinIO är Kubernetes-nativt från början och S3-kompatibelt från början. Utvecklare kan snabbt distribuera beständig objektlagring för alla molnbaserade applikationer. Kombinationen av MinIO och Kubernetes tillhandahåller en kraftfull plattform som tillåter applikationer att skalas över alla multi-cloud- och hybridmolninfrastrukturer och fortfarande vara centralt hanterade och säkrade, undviker offentlig moln-låsning.

Med Kubernetes som motor kan MinIO köras var som helst Kubernetes gör — vilket i den moderna, molnbaserade/AI-världen i princip är överallt.

Om vi ser framåt, vad är de framtida utvecklingarna eller förbättringarna som användare kan förvänta sig av MinIO i sammanhanget AI-datainfrastruktur?

Våra nyliga partnerskap och produktlanseringar är ett tecken på marknaden att vi inte kommer att sakta ner någon gång snart, och vi kommer att fortsätta driva där det är meningsfullt för våra kunder. Till exempel har vi nyligen samarbetat med Carahsoft för att göra MinIO:s programvarudefinierade objektlagringsportfölj tillgänglig för regerings-, försvars-, underrättelse- och utbildningssektorerna. Detta möjliggör för offentliga organisationer att bygga vilken som helst skala datainfrastruktur, från omfattande moderna datainsjöar till uppdragsspecifika datalagringslösningar på den autonoma kanten. Tillsammans tar vi med dessa banbrytande, unika lösningar till offentliga kunder, vilket ger dem möjlighet att hantera datainfrastrukturutmaningar enkelt och effektivt. Detta partnerskap kommer vid en tidpunkt då det finns en ökad strävan att möjliggöra för den offentliga sektorn att vara AI-klar, med de nyliga OMB-kraven som anger att alla federala byråer behöver en chefs AI-officer (bland annat). Sammantaget stärker partnerskapet branschens AI-hållning och ger den offentliga sektorn de värdefulla verktyg som behövs för att lyckas.

Dessutom är MinIO mycket väl positionerat för framtiden. AI-datainfrastruktur är fortfarande i sin linda. Många områden av den kommer att bli mer uppenbara under de närmaste åren. Till exempel kommer de flesta företag att vilja använda sin egen data och dokument med grundläggande modeller och Retrieval Augmented Generation (RAG). Ytterligare integration till den här distributionsmodellen kommer att vara lätt för MinIO, eftersom alla dessa arkitekturval och distributionsmönster har en sak gemensamt – all data är redan lagrad på MinIO.

Till sist, för tekniska ledare som vill bygga eller förbättra sin datainfrastruktur för AI, vad råd skulle du ge baserat på din erfarenhet och insikter på MinIO?

För att göra något AI-initiativ framgångsrikt finns det tre nyckelelement som du måste hålla fast vid: ha rätt data, rätt infrastruktur och rätt applikationer. Det börjar verkligen med att förstå vad du behöver — gå inte ut och köp dyra GPU:er bara för att du är rädd att du kommer att missa AI-båten. Jag tror starkt att företags AI-strategier kommer att misslyckas 2024 om organisationer fokuserar enbart på modellerna själva och inte på data. Att tänka modell nedåt istället för data uppåt är ett kritiskt misstag — du måste börja med data. Bygg en ordentlig datainfrastruktur. Tänk sedan på dina modeller. När organisationer går mot en AI-först arkitektur är det avgörande att din datainfrastruktur möjliggör din data — inte begränsar den.

Tack för det underbara samtalet, läsare som vill lära sig mer bör besöka MinIO.