Omogućivanje implementacije umjetne inteligencije u stvarnom svijetu

Od Brada Kinga, terenskog tehničkog direktora, Scality

Alati AI/ML-a i big data imaju zajedničku nit – potrebni su im podaci, i to puno. Konvencionalna mudrost kaže što više, to bolje. Analitičari predviđaju da će stvaranje globalnih podataka narasti na više od 180 zetabajta do 2025 – a 2020. godine količina stvorenih i repliciranih podataka dosegla je novi maksimum od 64.2 zetabajta.

Ti su podaci izuzetno vrijedni – često nezamjenjivi i ponekad predstavljaju jednokratne događaje ili događaje koji se događaju jednom u životu. Ovi podaci moraju biti pohranjeni sigurno i pouzdano; i dok se procjenjuje da se samo mali postotak ovih novostvorenih podataka zadržava, potražnja za kapacitetom pohrane i dalje raste. Zapravo, predviđa se da će instalirana baza skladišnih kapaciteta rasti ukupnom godišnjom stopom rasta od 19.2% između 2020. i 2025., prema istraživačima na Statista.

Uz sve više podataka koji se stvaraju – osobito ovim AI/ML radnim opterećenjima – organizacijama treba više prostora za pohranu, ali ne mogu sva rješenja za pohranu podnijeti ova intenzivna i golema opterećenja. Ono što je potrebno je novi pristup skladištenju. Pogledajmo kako organizacije svladavaju te izazove kroz prizmu tri slučaja upotrebe.

Putnička industrija

Dok se mnogi od nas tek navikavaju ponovno putovati nakon više od godinu dana karantina, turistička industrija želi se vratiti u vrijeme prije pandemije na veliki način. Zbog toga je važnost podataka – konkretno, relevantna primjena i upotreba tih podataka – još važnija.

Zamislite što biste mogli učiniti sa znanjem o tome kamo će većina svjetskih zrakoplovnih putnika putovati sljedeće ili kamo će ići sutra. Za turističku agenciju, na primjer, to bi bilo ogromno.

Ali ove turističke organizacije barataju s toliko podataka da je razvrstavanje po njima kako bi se otkrilo što ima smisla nevjerojatna mogućnost. Otprilike petabajt podataka generira se svaki dan, a neke od podataka dupliciraju stranice poput Kayaka. Ovi su podaci vremenski osjetljivi, a turističke tvrtke moraju brzo otkriti koji su podaci značajni. Potreban im je alat kako bi mogli učinkovitije upravljati ovom razinom razmjera.

Automobilska industrija

Još jedan primjer dolazi iz automobilske industrije, koja je zasigurno jedan od slučajeva korištenja o kojima se najviše govori. Industrija je dugo radila s alatima za pomoć kao što su upozoravanje na prometne trake, izbjegavanje sudara i slično. Svi ti senzori donose velike količine podataka. I, naravno, razvijaju, testiraju i provjeravaju algoritme za samostalnu vožnju.

Ono što industriji treba bolji je način da shvati ove pohranjene podatke kako bi ih mogli koristiti za analizu incidenata u kojima je nešto pošlo po zlu, pripremiti izlaze senzora kao testni slučaj, testirati algoritme u odnosu na podatke senzora i više. Potrebno im je testiranje kvalitete kako bi izbjegli regresije i moraju dokumentirati slučajeve koji nisu uspjeli.

Digitalna patologija

Još jedan zanimljiv slučaj upotrebe AI/ML-a koji se također bori s poplavom podataka i potrebom za boljim korištenjem podataka je digitalna patologija. Baš kao i u drugim primjerima, ono što im stvarno treba jest sposobnost da bolje iskoriste te podatke kako bi mogli raditi stvari poput automatskog otkrivanja patologija u uzorcima tkiva, obavljati daljinsku dijagnostiku i tako dalje.

Ali pohrana danas ograničava upotrebu. Slike korisne razlučivosti prevelike su za ekonomično pohranjivanje. Međutim, brza pohrana objekata omogućit će nove mogućnosti – poput banaka slika koje se mogu koristiti kao ključni resurs za obuku i upotrebe krivulja za popunjavanje prostora za imenovanje/pohranjivanje i dohvaćanje slika u više razlučivosti u pohrani objekata. Također omogućuje proširivo i fleksibilno označavanje metapodataka, što olakšava pretraživanje i razumijevanje ovih informacija.

Radna opterećenja umjetne inteligencije zahtijevaju novi pristup

Kao što smo vidjeli u prethodna tri slučaja, ključno je moći agregirati i orkestrirati ogromne količine podataka povezanih s radnim opterećenjima AI/ML-a. Skupovi podataka često dosežu skalu od više petabajta, sa zahtjevima za performansama koji bi mogli zasititi cijelu infrastrukturu. Kada se radi o takvim skupovima podataka za obuku i testiranje velikih razmjera, prevladavanje uskih grla pohrane (problemi latencije i/ili propusnosti) i ograničenja/prepreke kapaciteta ključni su elementi za uspjeh.

AI/ML/DL radna opterećenja zahtijevaju arhitekturu pohrane koja može održavati protok podataka kroz cjevovod, s izvrsnim sirovim I/O performansama i sposobnošću skaliranja kapaciteta. Infrastruktura za pohranu mora držati korak sa sve zahtjevnijim zahtjevima u svim fazama cjevovoda AI/ML/DL. Rješenje je infrastruktura za pohranu posebno izgrađena za brzinu i neograničenu skalu.

Izvlačenje vrijednosti

Ne prođe tjedan dana bez priča o potencijalu AI i ML-a da promijene poslovne procese i svakodnevicu. Mnogo je slučajeva korištenja koji jasno pokazuju prednosti korištenja ovih tehnologija. Međutim, stvarnost AI-a u današnjem poduzeću sastoji se od nevjerojatno velikih skupova podataka i rješenja za pohranu koja ne mogu upravljati ovim golemim radnim opterećenjem. Inovacije u automobilima, zdravstvu i mnogim drugim industrijama ne mogu napredovati dok se ne riješi problem skladištenja. Brza pohrana objekata prevladava izazov zadržavanja velikih podataka kako bi organizacije mogle izvući vrijednost iz tih podataka kako bi unaprijedile svoje poslovanje.