Opslag selecteren voor ondersteuning van AI/ML-initiatieven

Door Candida Valois, Field CTO, Americas, Scality

De adoptie van ML en AI neemt snel toe, wat niet verrassend is, gezien de bedrijfsinzichten en de transformatie van de industrie die de vele use cases beloven. PwC voorspelt dat AI tegen 2030 bijna 16 biljoen dollar aan de mondiale economie kan bijdragen. Dat vertaalt zich in een toename van 26% van het BBP voor lokale economieën.

Deze technologieën vereisen enorme hoeveelheden ongestructureerde gegevens om te functioneren, en die gegevens komen vaak in de vorm van video’s, afbeeldingen, tekst en spraak. Workloads van dit type vereisen een nieuwe benadering van gegevensopslag; de oude methoden zijn niet voldoende. Met de komst van dergelijke workloads hebben toepassingen snellere toegang tot enorme hoeveelheden gegevens nodig – gegevens die overal worden gegenereerd: in de cloud, op de randen en on-premises. Deze intensieve workloads vereisen lage latentie, de mogelijkheid om verschillende soorten en groottes van payloads te ondersteunen en de mogelijkheid om lineair te schalen.

Wat nodig is, is een frisse benadering van gegevenslevering, een die toepassingscentrisch is in plaats van locatie- of technologiecentrisch. Met de grootschalige adoptie van AI/ML en analytics hebben enterprise IT-leiders een significante verschuiving nodig in de manier waarop ze over gegevensbeheer en -opslag denken.

Omgaan met alle bestandsgroottes

In termen van AI/ML-workloads en gegevensopslag hebben organisaties een oplossing nodig die verschillende soorten workloads kan verwerken, zowel kleine als grote bestanden. In sommige gevallen moet u mogelijk te maken krijgen met slechts enkele tientallen terabytes, terwijl in andere gevallen sprake is van veel petabytes. Niet alle oplossingen zijn bedoeld voor enorme bestanden, net zoals niet alle oplossingen kleine bestanden aankunnen. De truc is om er een te vinden die zowel het een als het ander op een flexibele manier aankan.

Schaalbaarheid is essentieel

Om nauwkeurigheid en snelheid te garanderen, hebben organisaties enorme gegevenssets nodig, omdat dat is wat AI/ML-algoritmen nodig hebben om de onderliggende modellen goed te trainen. Organisaties willen groeien in termen van capaciteit en prestaties, maar worden vaak gehinderd door traditionele oplossingen voor gegevensopslag. Wanneer ze proberen lineair te schalen, kunnen ze dat niet. AI/ML-workloads vereisen een oplossing voor gegevensopslag die oneindig kan schalen naarmate de gegevens groeien.

Een paar honderd terabytes is het maximum voor standaard bestands- en blockopslagoplossingen; daarna kunnen ze niet meer schalen. Objectopslag kan echter onbeperkt, elastisch en naadloos schalen op basis van de vraag. En wat belangrijk is aan objectopslag in vergelijking met traditionele opslag, is dat het een volledig platte ruimte is waarin geen beperkingen zijn. Gebruikers zullen de beperkingen die ze bij traditionele opslag tegenkomen, niet tegenkomen.

Voldoen aan prestatie-eisen

Capaciteitsvergroting is belangrijk, maar dat is niet genoeg. Organisaties hebben ook de mogelijkheid nodig om lineair te schalen in termen van prestaties. Helaas leidt het schalen van de capaciteit bij veel traditionele opslagoplossingen tot een verslechtering van de prestaties. Wanneer een organisatie lineair moet schalen in termen van capaciteit, neemt de prestatie af of blijft deze gelijk.

Het standaardopslagparadigma bestaat uit bestanden die zijn georganiseerd in een hiërarchie, met directories en subdirectories. Deze architectuur werkt heel goed wanneer de gegevenscapaciteit klein is, maar naarmate de capaciteit groeit, lijdt de prestatie op een gegeven moment onder systeembottlenecks en beperkingen met bestandszoektabellen. Objectopslag biedt echter een onbeperkte platte naamruimte, zodat u door eenvoudigweg extra knooppunten toe te voegen, kunt schalen tot petabytes en daarbuiten. Daarom kunt u schalen voor prestaties terwijl u schaalt voor capaciteit.

Opslag die AI/ML-projecten kan ondersteunen

Organisaties moeten een nieuwe manier van denken over opslag adopteren nu AI en ML in populariteit toenemen. Deze nieuwe benadering moet hen in staat stellen om hun AI/ML-initiatieven op de juiste manier op te zetten, uit te voeren en te schalen. AI/ML-training is een duidelijke behoefte, dus is enkele van de enterprise-grade objectopslagsoftware die vandaag beschikbaar is, ontwikkeld om die behoefte te vervullen. Organisaties kunnen hun initiatieven op kleine schaal beginnen, beginnend met één server, en vervolgens opschalen naar capaciteit en prestaties. Deze projecten hebben ook cruciaal prestaties nodig voor hun analytics-toepassingen, en snelle objectopslag levert die. Bovendien biedt objectopslag complete gegevenslevenscyclusbeheer over meerdere clouds en biedt het flexibiliteit van de rand tot de core.

Organisaties moeten gegevens efficiënt verwerken, en objectopslag doet dit door toepassingen gemakkelijk toegang te geven tot gegevens on-premises, zelfs in meerdere clouds. De lage latentie, schaalbaarheid en flexibiliteit van objectopslag maken het een sterke bondgenoot voor AI/ML-initiatieven.