Valg av lagring for å støtte AI/ML-initiativer

Av Candida Valois, Field CTO, Americas, Scality

Adopsjonen av ML og AI øker raskt, noe som ikke er overraskende, gitt de forretningsmessige innsiktene og bransjeomvendelsene som disse teknologiene kan bringe. PwC forutser at AI kan bidra med nesten 16 billioner dollar til den globale økonomien innen 2030. Dette tilsvarer en økning på 26% i BNP for lokale økonomier.

Disse teknologiene krever store mengder ustukturert data for å fungere, og denne dataen kommer ofte i form av videoer, bilder, tekst og tale. Slike arbeidsbyrder krever en ny tilnærming til data lagring; de gamle metodene er ikke tilstrekkelige. Med introduksjonen av slike arbeidsbyrder, trenger applikasjonene raskere tilgang til store mengder data – data som skapes overalt: i skyen, på kantene og på lokal maskin. Disse intense arbeidsbyrdene krever lav latency, evnen til å støtte forskjellige typer og størrelser på nyttelast, og evnen til å skala lineært.

Hva som trengs, er en fersk tilnærming til datalevering, en som er applikasjons-sentrert snarere enn lokalitet- eller teknologi-sentrert. Med den store adopsjonen av AI/ML og analytikk, trenger IT-ledere i bedrifter en betydelig endring i måten de tenker om datahåndtering og lagring på.

Behandling av alle filstørrelser

Når det gjelder AI/ML-arbeidsbyrder og data lagring, trenger organisasjonene en løsning som kan håndtere forskjellige typer arbeidsbyrder, både små og store filer. I noen tilfeller kan du måtte håndtere bare noen titalls terabyte, mens i andre tilfeller er det mange petabyte. Ikke alle løsninger er ment for enorme filer, likeledes kan ikke alle håndtere svært små filer. Trikset er å finne en løsning som kan håndtere begge på en fleksibel måte.

Skalbarhet er essensiell

For å sikre nøyaktighet og hastighet, trenger organisasjonene massive datamengder fordi det er det AI/ML-algoritmene trenger for å korrekt trene underliggende modeller. Organisasjoner ønsker å vokse i kapasitet og ytelse, men blir ofte hindret av tradisjonelle lagringsløsninger. Når de prøver å skala lineært, klarer de det ikke. AI/ML-arbeidsbyrder krever en lagringsløsning som kan skala uendelig når dataen vokser.

Noen hundre terabyte maksimerer standard fil- og blokk-lagringsløsninger; etter det kan de ikke skala. Objektlagring kan skala ubegrenset, elastisk og sømløst basert på etterspørsel. Og hva som er viktig med objektlagring i forhold til tradisjonell lagring, er at det er et fullstendig flatt rom hvor det ikke finnes begrensninger. Brukere vil ikke møte begrensningene de ville finne med tradisjonell lagring.

Møte ytelseskrav

Kapasitets-skala er viktig, men det er ikke nok. Organisasjoner trenger også evnen til å skala lineært i forhold til ytelse. Dessverre, med mange tradisjonelle lagringsløsninger, kommer kapasitets-skala på bekostning av ytelse. Så, når en organisasjon trenger å skala lineært i forhold til kapasitet, tenderer ytelsen å plate ut eller synke.

Den standard lagringsparadigmen består av filer organisert i en hierarki, med kataloger og underkataloger. Denne arkitekturen fungerer ganske bra når datakapasiteten er liten, men når kapasiteten vokser, lider ytelsen ved en bestemt punkt på grunn av systemflaskehalser og begrensninger med filoppslagstabeller. Imidlertid tilbyr objektlagring en ubegrenset flat navnerom, så ved å bare legge til flere noder, kan du skala til petabyte og utover. Av denne grunn kan du skala for ytelse samtidig som du skaler for kapasitet.

Lagring som kan støtte AI/ML-prosjekter

Organisasjoner må adoptere en ny måte å se på lagring på når AI og ML øker i popularitet. Denne nye tilnærmingen må gi dem mulighet til å etablere, kjøre og skala sine AI/ML-initiativer på riktig måte. AI/ML-trening er et klart behov, så noen av de bedriftsgraderte objektlagringsprogramvarene som er tilgjengelige i dag, er bygget for å møte dette behovet. Bedrifter kan starte sine initiativer på en liten skala, starte med én server, og så skala ut etter behov for både kapasitet og ytelse. Disse prosjektene trenger også ytelse for sine analytics-applikasjoner, og rask objektlagring leverer det. I tillegg tilbyr objektlagring fullstendig data-livssyklus-håndtering på tvers av multiple skyer og muliggjør fleksibilitet fra kanten til kjernen.

Bedrifter trenger å prosessere data effektivt, og objektlagring gjør dette ved å la applikasjonene enkelt aksessere data på lokal maskin, selv i multiple skyer. Dens lave latency, skalbarhet og fleksibilitet gjør objektlagring til en sterk alliert for AI/ML-initiativer.