Ugur Tigli, Chief Technical Officer bij MinIO – Interviewserie

Ugur Tigli is de Chief Technical Officer bij MiniIO, de leider in hoogwaardige objectopslag voor AI. Als CTO helpt Ugur klanten bij het ontwerpen en implementeren van API-gestuurde, cloud-native en schaalbare data-infrastructuur op bedrijfsniveau met behulp van MinIO.

Kunt u uw reis beschrijven om de CTO van MinIO te worden, en hoe uw ervaringen uw aanpak hebben gevormd? AI en data-infrastructuur?

Ik begon mijn carrière in infrastructuurtechniek bij Merrill Lynch als back-up- en herstelbeheerder. Ik bleef verschillende uitdagingen en verschillende technische functies aannemen. Ik kwam bij Bank of America terecht via de overname van Merrill Lynch, waar ik vice-president van Storage Engineering was. Toch breidde mijn rol zich uit naar computer- en datacentertechniek.

Als onderdeel van mijn werk heb ik ook samengewerkt met verschillende durfkapitaalbedrijven (VC's) en hun portefeuillebedrijven om de nieuwste en beste technologie te brengen. Tijdens een van mijn ontmoetingen met General Catalyst maakte ik kennis met het idee en de mensen achter MinIO. Het sprak mij aan vanwege de manier waarop zij de data-infrastructuur benaderden; het verschilde van alle anderen op de markt. Het bedrijf besefte het belang van de objectstore en de standaard API's waarmee applicaties aan de slag gingen. Gedurende die jaren konden ze de toekomst van computers voorspellen AI vóór iemand anders of zelfs voordat het werd genoemd zoals het nu is. Ik wilde deel uitmaken van de uitvoering van die visie en iets werkelijk unieks bouwen. MinIO is nu de meest breed inzetbare objectopslag ter wereld.

De impact van mijn vorige rollen en ervaring op de manier waarop ik nieuwe technologieën in het bijzonder benader AI en data-infrastructuur, is ook eenvoudigweg een opeenstapeling van de vele projecten waarbij ik betrokken ben geweest tijdens de jaren dat ik applicatieteams ondersteunde bij een zeer veeleisende financiële dienstverlener.

Van de dagen met beperkte netwerkbandbreedte, die ertoe leidden dat Hadoop-technologie 15 jaar geleden de nieuwste technologie was, tot verschillende datamediatechnologieën, van harde schijf (HDD) tot Solid State Drive (SSD), veel van deze technologische veranderingen hebben mijn huidige visie gevormd. van de AI ecosysteem en data-infrastructuur.

MinIO staat bekend om zijn krachtige objectopslagmogelijkheden. Hoe speelt MinIO specifiek in op de behoeften van AI-gedreven ondernemingen vandaag de dag?

Toen AB en Garima MinIO conceptualiseerden, was hun eerste prioriteit het nadenken over een probleemstelling: ze wisten dat de datagroei zou blijven groeien en dat bestaande opslagtechnologieën niet compatibel waren met die groei. De snelle opkomst van AI hebben hun vooruitziende blik op de markt werkelijkheid gemaakt. Sindsdien is objectopslag de basis geworden AI infrastructuur (alle grote LLM's zoals OpenAI en Anthropic zijn allemaal gebouwd op objectstores), en het moderne datacenter is gebouwd op een objectstore-fundament.

MinIO heeft onlangs een nieuw objectopslagplatform gelanceerd met essentiële functies op ondernemingsniveau om organisaties te ondersteunen bij hun AI initiatieven: de MinIO Enterprise Object Store. Het is ontworpen voor de prestatie- en schaaluitdagingen die door Massive worden geïntroduceerd AI werklasten en stelt klanten in staat de uitdagingen die gepaard gaan met miljarden objecten gemakkelijker aan te pakken, evenals honderdduizenden cryptografische bewerkingen per knooppunt per seconde. Het heeft zes nieuwe commerciële functies die gericht zijn op de belangrijkste operationele en technische uitdagingen waarmee we te maken krijgen AI werklasten: Catalogus (dit lost het probleem op van objectopslagnaamruimte en zoeken naar metagegevens), Firewall (speciaal gebouwd voor de gegevens), Sleutelbeheersysteem (lost het probleem op van het omgaan met miljarden cryptografische sleutels), Cache (werkt als een caching-service ), Waarneembaarheid (stelt beheerders in staat alle systeemcomponenten in elk exemplaar te bekijken), en ten slotte de Enterprise Console (dient als één venster voor alle exemplaren van MinIO in de organisatie).

Behandeling AI op grote schaal wordt steeds belangrijker. Kunt u uitleggen waarom dit het geval is en hoe MinIO deze vereisten voor moderne ondernemingen faciliteert?

Bijna alles wat organisaties bouwen is nu gebaseerd op objectopslag, wat alleen maar zal versnellen naarmate degenen die infrastructuur met een apparaat beheren tegen een muur botsen in het tijdperk van moderne datameren en AI. Organisaties kijken naar nieuwe infrastructuren om alle gegevens die in hun systeem binnenkomen te beheren en er vervolgens datacentrische applicaties bovenop te bouwen. Dit vereist buitengewone schaalgrootte en flexibiliteit die alleen objectopslag kan ondersteunen. Dat is waar MinIO in beeld komt en waarom het bedrijf de concurrentie altijd mijlen voor is geweest, omdat het waarvoor is ontworpen AI behoeften – het opslaan van enorme hoeveelheden gestructureerde en ongestructureerde gegevens en het leveren van prestaties op schaal.

Vergelijkbaar met de behoeften op het gebied van machine learning (ML) in eerdere generaties AIzijn data en moderne datameren van cruciaal belang geweest voor het succes van elke ‘voorspellende’ strategie. AI. Maar met de opkomst van ‘generatieve’ AI, is dit landschap uitgebreid met vele andere componenten, zoals AI Operationele gegevens- en documentpijplijnen, fundamentele modellen en vectordatabases.

Al deze extra componenten maken gebruik van objectopslag en de meeste integreren rechtstreeks met MinIO. Milvus, een vectordatabase, gebruikt bijvoorbeeld MinIO, en veel moderne query-engines integreren met MinIO via S3 API's.

AI Technische schulden zijn voor veel organisaties een groeiende zorg. Welke strategieën gebruikt MinIO om klanten te helpen dit probleem te vermijden, vooral als het gaat om het efficiënter gebruiken van GPU's?

Een ketting is zo sterk als de zwakste schakel – en die van jou AI/ML-infrastructuur is slechts zo snel als uw langzaamste component. Als u machine learning-modellen traint met GPU's, kan uw zwakke schakel uw opslagoplossing zijn. Het resultaat is wat ik het ‘Verhongerende GPU-probleem’ noem. Het Starving GPU-probleem treedt op wanneer uw netwerk- of opslagoplossing de trainingsgegevens niet snel genoeg aan uw trainingslogica kan leveren om uw GPU's volledig te benutten, waardoor er waardevolle rekenkracht overblijft. Iets dat organisaties kunnen doen om hun GPU’s volledig te benutten, is eerst de tekenen van een slechte data-architectuur begrijpen en hoe dit direct kan resulteren in onderbenutting van data-architectuur. AI technologie. Om technische schulden te voorkomen, moeten bedrijven de manier waarop zij gegevens bekijken (en opslaan) veranderen.

Organisaties kunnen een opslagoplossing opzetten die zich in hetzelfde datacenter bevindt als hun computerinfrastructuur. Idealiter zou dit zich in hetzelfde cluster bevinden als uw computer. Omdat MinIO een softwaregedefinieerde opslagoplossing is, is het in staat de prestaties te leveren die nodig zijn om hongerige GPU's te voeden – een recente benchmark- behaalde 325 GiB/s op GET's en 165 GiB/s op PUT's met slechts 32 knooppunten kant-en-klare NVMe SSD's.

Je hebt een rijke achtergrond in het creëren van hoogwaardige data-infrastructuren voor mondiale financiële instellingen. Hoe beïnvloeden deze ervaringen uw werk bij MinIO, vooral bij het ontwerpen van oplossingen voor diverse industriële behoeften?

Ik heb geholpen bij het bouwen van de eerste private cloud voor Bank of America en dat initiatief heeft miljarden dollars bespaard door functies en functionaliteit aan te bieden die intern beschikbaar zijn in publieke clouds tegen lagere kosten. Niet alleen dit grote initiatief, maar ook vele andere uiteenlopende toepassingsvereisten waaraan ik bij BofA heb gewerkt. Merrill Lynch heeft mijn werk bij MinIO gevormd als het gaat om het ontwerpen van oplossingen voor onze klanten van vandaag.

Het leren ervan op de verkeerde of ‘harde’ manier werkte bijvoorbeeld samen met het team dat Hadoop-clusters bouwde die alleen de gegevensopslagcomponenten van de server gebruikten, terwijl de CPU’s van de server onderbenut of bijna inactief bleven. Door eenvoudige voorbeelden of lessen als deze kon ik gedesaggregeerde data- en computeroplossingen gebruiken in de moderne data-infrastructuur van vandaag, terwijl ik onze klanten en partners hielp, wat technisch betere en goedkopere oplossingen zijn die gebruik maken van de huidige netwerktechnologieën met hoge bandbreedte en hoogwaardige objectstores zoals MinIO en elke query- of verwerkingsengine.

 De hybride cloud brengt unieke uitdagingen en complexiteiten met zich mee. Kunt u deze in detail bespreken en uitleggen hoe MinIO's hybride 'burst' naar de cloud-model helpt de cloudkosten effectief te beheersen?

De overstap naar multicloud mag niet leiden tot torenhoge IT-budgetten en het onvermogen om mijlpalen te bereiken. Het moet helpen de kosten te beheersen en de routekaart van een organisatie te versnellen. Iets om over na te denken is de repatriëring van de cloud. De realiteit is dat het verschuiven van activiteiten van de cloud naar de infrastructuur op locatie kan leiden tot aanzienlijke kostenbesparingen, afhankelijk van het geval. Je moet de cloud altijd zien als een operationeel model en niet als een bestemming. Organisaties maken bijvoorbeeld GPU-instanties, maar besteden vervolgens tijd aan het voorbewerken van gegevens om deze in de GPU te passen. Dit verspilt kostbare tijd en geld – organisaties moeten beter optimaliseren door te kiezen voor cloud-native en, nog belangrijker, cloud-draagbare technologieën die de kracht van multicloud kunnen ontsluiten zonder noemenswaardige kosten. Het gebruik van de cloud-first-principes van het operationele model en het naleven van dat raamwerk biedt de flexibiliteit om zich aan te passen aan veranderende operationele vereisten.

Kubernetes-native oplossingen zijn cruciaal voor de moderne infrastructuur. Hoe verbetert de integratie van MinIO met Kubernetes de schaalbaarheid en flexibiliteit voor AI data-infrastructuur?

MinIO is Kubernetes-native qua ontwerp en S3-compatibel vanaf het begin. Ontwikkelaars kunnen snel persistente objectopslag implementeren voor al hun cloud-native applicaties. De combinatie van MinIO en Kubernetes biedt een krachtig platform waarmee applicaties kunnen worden geschaald over elke multi-cloud- en hybride cloudinfrastructuur en toch centraal kunnen worden beheerd en beveiligd, waardoor lock-in in de publieke cloud wordt vermeden.

Met Kubernetes als motor kan MinIO overal draaien waar Kubernetes dat doet – wat in de moderne, cloud-native/AI wereld, is in wezen overal.

Wat zijn de toekomstige ontwikkelingen of verbeteringen die gebruikers in de toekomst van MinIO kunnen verwachten? AI data-infrastructuur?

Onze recente partnerschappen en productlanceringen zijn een teken voor de markt dat we niet snel gaan vertragen, en dat we zullen blijven pushen waar dat zinvol is voor onze klanten. We zijn bijvoorbeeld onlangs een partnerschap aangegaan met Carahsoft om het softwaregedefinieerde objectopslagportfolio van MinIO beschikbaar te maken voor de sectoren overheid, defensie, inlichtingen en onderwijs. Dit stelt organisaties in de publieke sector in staat data-infrastructuur op uiteenlopende schaal te bouwen, variërend van uitgebreide moderne datalakes tot missiespecifieke dataopslagoplossingen aan de autonome rand. Samen brengen we deze geavanceerde, unieke oplossingen naar klanten in de publieke sector, waardoor ze de uitdagingen op het gebied van de data-infrastructuur eenvoudig en efficiënt kunnen aanpakken. Dit partnerschap komt op een moment dat er steeds meer druk bestaat om de publieke sector in staat te stellen dat te doen AI-klaar, met de recente OMB-vereisten waarin staat dat alle federale agentschappen een chef nodig hebben AI Officier (onder andere). Over het geheel genomen helpt het partnerschap de sector te versterken AI houding en geeft de publieke sector de waardevolle instrumenten die nodig zijn om te slagen.

Bovendien is MinIO zeer goed gepositioneerd voor de toekomst. AI De data-infrastructuur staat nog in de kinderschoenen. Veel gebieden ervan zullen de komende jaren duidelijker worden. De meeste ondernemingen zullen bijvoorbeeld hun bedrijfseigen gegevens en documenten willen gebruiken met fundamentele modellen en Retrieval Augmented Generation (RAG). Verdere integratie in dit implementatiepatroon zal voor MinIO gemakkelijk zijn, omdat al deze architecturale keuzes en implementatiepatronen één ding gemeen hebben: al die gegevens zijn al opgeslagen op MinIO.

Tot slot, voor technologieleiders die hun data-infrastructuur willen bouwen of verbeteren AI, welk advies zou u geven op basis van uw ervaring en inzichten bij MinIO?

Om er iets van te maken AI initiatief succesvol is, zijn er drie belangrijke elementen waaraan u zich moet houden: het beschikken over de juiste gegevens, de juiste infrastructuur en de juiste applicaties. Het begint echt met begrijpen wat je nodig hebt. Koop geen dure GPU's alleen maar omdat je bang bent dat je de voordelen misloopt. AI boot. Ik geloof heilig in die onderneming AI Strategieën zullen in 2024 mislukken als organisaties zich alleen op de modellen zelf richten en niet op data. Het model naar beneden denken versus de data omhoog is een cruciale fout: je moet beginnen met de data. Bouw een goede data-infrastructuur. Denk vervolgens na over uw modellen. Naarmate organisaties evolueren naar een AI-eerste architectuur: het is absoluut noodzakelijk dat uw data-infrastructuur uw data mogelijk maakt – en niet beperkt.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken MiniIO.