Möjliggör verkliga AI-distributioner i stor skala

Av Brad King, field CTO, Scality

Verktygen för AI/ML och stora mängder data har en gemensam tråd – de behöver data, och de behöver mycket av det. Konventionell visdom säger att ju mer, desto bättre. Analytiker förutspår att den globala dataskapelsen kommer att växa till mer än 180 zettabytes år 2025 – och 2020 nådde mängden skapad och replikerad data en ny topp på 64,2 zettabytes.

Den här datan är extremt värdefull – ofta oumbärlig och ibland representerar den en engångshändelse eller en händelse som bara inträffar en gång i livet. Denna data måste lagras säkert och säkert; och medan det uppskattas att bara en liten procent av den nyskapade datan sparas, fortsätter efterfrågan på lagringskapacitet att växa. Faktum är att den installerade basen av lagringskapacitet förväntas växa med en årlig tillväxttakt på 19,2% mellan 2020 och 2025, enligt forskare på Statista.

Med mer data som skapas – särskilt av dessa AI/ML-arbetsbelastningar – behöver organisationer mer lagring, men inte alla lagringslösningar kan hantera dessa intensiva och massiva arbetsbelastningar. Vad som behövs är ett nytt tillvägagångssätt för lagring. Låt oss titta på hur organisationer övervinner dessa utmaningar genom tre användningsfall.

Resebranschen

Medan många av oss just börjar vänja oss vid att resa igen efter mer än ett år av låsningar, försöker resebranschen att återgå till tiden före pandemin på ett stort sätt. Och detta gör datans betydelse – särskilt den relevanta tillämpningen och användningen av denna data – ännu viktigare.

Tänk på vad du kunde göra med kunskapen om var de flesta av världens flygresenärer ska resa nästa gång eller vart de ska imorgon. För en resebyrå, till exempel, skulle det vara enormt.

Men dessa reseorganisationer hanterar så mycket data att det är en överväldigande uppgift att sortera igenom den för att ta reda på vad som är meningsfullt. Cirka en petabyte data genereras varje dag, och en del av datan är dubblett av webbplatser som Kayak. Denna data är tidskänslig, och reseföretagen behöver snabbt upptäcka vilken data som är meningsfull. De behöver ett verktyg för att kunna hantera denna nivå av skala mer effektivt.

Bilindustrin

Ett annat exempel kommer från bilindustrin, som utan tvekan är ett av de mest omtalade användningsfallen. Branschen har arbetat hårt i lång tid med hjälpmedel som lane minders, kollisionsundvikande och liknande. Alla dessa sensorer genererar stora mängder data. Och, naturligtvis, utvecklar de självkörande algoritmer.

Vad branschen behöver är ett bättre sätt att göra sig av med den lagrade datan så att de kan använda den för att analysera incidenter där något gick fel, kurera sensorutdata som ett testfall, testa algoritmer mot sensordata och mer. De behöver QA-testning för att undvika regressioner, och de behöver dokumentera fall som misslyckas.

Digital patologi

Ett annat intressant användningsfall för AI/ML som också kämpar med datamängden och behovet av att göra bättre användning av data är digital patologi. Liksom de andra exemplen behöver de verkligen förmågan att göra bättre användning av denna data så att de kan göra saker som automatiskt upptäcka patologier i vävnadsprover, utföra fjärrdiagnostik och så vidare.

Men lagringen idag begränsar användningen. Bilder med användbar upplösning är för stora för att lagras ekonomiskt. Men snabb objektlagring kommer att möjliggöra nya förmågor – som bildbanker som kan användas som en nyckelresurs för utbildning och användningen av rymdfyllande kurvor för att namnge och hämta multiresolutionsbilder i ett objektlagringsutrymme. Det möjliggör också utvidgbar och flexibel metadata-märkning, vilket gör det lättare att söka och göra sig av med denna information.

AI-arbetsbelastningar kräver ett nytt tillvägagångssätt

Som vi har sett i de tre fallen ovan är det kritiskt att kunna samla in och orkestrera stora mängder data relaterade till AI/ML-arbetsbelastningar. Datamängder når ofta multi-petabyte-skala, med prestandakrav som kan mätta hela infrastrukturen. När man hanterar sådana storskaliga tränings- och testdatamängder är det avgörande att övervinna lagringsbottleneck (latens- och/eller genomsnittsproblem) och kapacitetsbegränsningar/hinder.
AI/ML/DL-arbetsbelastningar kräver en lagringsarkitektur som kan hålla datan flytande genom pipelinen, med både utmärkt råprestanda och kapacitetsskalbarhet. Lagringsinfrastrukturen måste hålla jämna steg med alltmer krävande krav i alla skeden av AI/ML/DL-pipelinen. Lösningen är en lagringsinfrastruktur som är speciellt utformad för hastighet och obegränsad skala.

Att utvinna värde

Det går inte en vecka utan att det kommer historier om AI:s och ML:s potential att förändra affärsprocesser och vardagsliv. Det finns många användningsfall som tydligt visar fördelarna med att använda dessa teknologier. Verkligheten för AI i företaget idag är dock en av överväldigande stora datamängder och lagringslösningar som inte kan hantera dessa massiva arbetsbelastningar. Innovationer inom bilar, hälsovård och många andra branscher kan inte fortsätta förrän lagringsproblemet är löst. Snabb objektlagring övervinner utmaningen med att behålla stora datamängder så att organisationer kan utvinna värdet från dessa data för att driva sina företag framåt.