Reālās pasaules AI izvietošanas iespējošana mērogā

Breds Kings, lauka CTO, Mērogs

AI/ML un lielo datu rīkiem ir kopīgs pavediens – tiem ir vajadzīgi dati, un to vajag ļoti daudz. Tradicionālā gudrība saka, jo vairāk, jo labāk. Analītiķi prognozē, ka globālā datu radīšana pieaugs līdz vairāk nekā 180 zettabaiti līdz 2025. gadam – un 2020. gadā izveidoto un replicēto datu apjoms sasniedza jaunu maksimumu — 64.2 zettabaiti.

Šie dati ir ārkārtīgi vērtīgi – bieži vien neaizstājami un dažkārt atspoguļo vienreizējus vai vienreizējus notikumus. Šie dati ir jāuzglabā droši; un, lai gan tiek lēsts, ka tiek saglabāta tikai neliela daļa no šiem jaunizveidotajiem datiem, pieprasījums pēc krātuves jaudas turpina pieaugt. Faktiski tiek prognozēts, ka no 19.2. līdz 2020. gadam uzstādītā uzglabāšanas jaudas bāze pieaugs ar salikto gada pieauguma tempu 2025% apmērā, liecina pētnieki plkst. Statista.

Tā kā tiek radīts vairāk datu, jo īpaši saistībā ar šīm AI/ML darba slodzēm, organizācijām ir nepieciešams vairāk krātuves, taču ne visi krātuves risinājumi spēj izturēt šīs intensīvās un apjomīgās darba slodzes. Nepieciešama jauna pieeja uzglabāšanai. Apskatīsim, kā organizācijas pārvar šīs problēmas, izmantojot trīs lietošanas gadījumus.

Ceļojumu industrija

Lai gan daudzi no mums tikai pierod pie ceļošanas pēc vairāk nekā gadu ilgas bloķēšanas, ceļojumu nozare vēlas atgriezties pie pirmspandēmijas laika. Un tas padara datu nozīmi, jo īpaši, attiecīgo datu piemērošanu un izmantošanu, vēl svarīgāku.

Iedomājieties, ko jūs varētu darīt, zinot, kur lielākā daļa pasaules aviosabiedrību ceļotāju gatavojas doties tālāk vai kurp viņi dosies rīt. Piemēram, ceļojumu aģentūrai tas būtu milzīgi.

Taču šīs ceļojumu organizācijas nodarbojas ar tik daudz datu, ka to šķirošana, lai noskaidrotu, kas ir jēgpilna, ir milzīga perspektīva. Katru dienu tiek ģenerēts aptuveni petabaits datu, un daži dati tiek dublēti tādās vietnēs kā Kayak. Šie dati ir laika ziņā jutīgi, un ceļojumu uzņēmumiem ātri jāatklāj, kuri dati ir nozīmīgi. Viņiem ir nepieciešams rīks, lai varētu efektīvāk pārvaldīt šo mēroga līmeni.

Automobiļu rūpniecība

Vēl viens piemērs nāk no automobiļu rūpniecības, kas noteikti ir viens no visvairāk apspriestajiem lietošanas gadījumiem. Nozare jau ilgu laiku ir smagi strādājusi ar tādiem palīgrīkiem kā joslu atgādinātāji, sadursmju novēršana un tamlīdzīgi. Visi šie sensori ienes lielu datu daudzumu. Un, protams, viņi izstrādā, testē un pārbauda pašbraukšanas algoritmus.

Nozarei ir nepieciešams labāks veids, kā izprast šos saglabātos datus, lai viņi varētu tos izmantot, lai analizētu incidentus, kad kaut kas nogāja greizi, atlasītu sensoru izvadus kā testa gadījumu, pārbaudītu algoritmus pret sensoru datiem un daudz ko citu. Viņiem ir nepieciešama kvalitātes nodrošināšanas pārbaude, lai izvairītos no regresijas, un viņiem ir jādokumentē gadījumi, kas neizdodas.

Digitālā patoloģija

Vēl viens interesants AI/ML izmantošanas gadījums, kas arī cīnās ar datu plūdiem un nepieciešamību labāk izmantot datus, ir digitālā patoloģija. Tāpat kā citiem piemēriem, viņiem patiešām ir nepieciešama iespēja labāk izmantot šos datus, lai viņi varētu veikt tādas darbības kā, piemēram, automātiski noteikt patoloģijas audu paraugos, veikt attālo diagnostiku un tā tālāk.

Taču krātuve mūsdienās ierobežo izmantošanu. Attēli ar noderīgu izšķirtspēju ir pārāk lieli, lai tos ekonomiski uzglabātu. Tomēr ātra objektu glabāšana nodrošinās jaunas iespējas, piemēram, attēlu bankas, ko var izmantot kā galveno apmācību resursu, un vietu aizpildīšanas līkņu izmantošana, lai nosauktu/saglabātu un izgūtu vairāku izšķirtspēju attēlus objektu veikalā. Tas nodrošina arī paplašināmu un elastīgu metadatu marķēšanu, kas atvieglo šīs informācijas meklēšanu un jēgu.

AI darba slodzei nepieciešama jauna pieeja

Kā mēs redzējām trīs iepriekšminētajos gadījumos, ir ļoti svarīgi, lai būtu iespējams apkopot un koordinēt milzīgus datu apjomus, kas saistīti ar AI/ML darba slodzi. Datu kopas bieži sasniedz vairāku petabaitu mērogu, ar veiktspējas prasībām, kas varētu piesātināt visu infrastruktūru. Strādājot ar šādām liela mēroga apmācību un testēšanas datu kopām, galvenais panākumu elements ir krātuves vājo vietu (latences un/vai caurlaidspējas problēmu) un jaudas ierobežojumu/šķēršļu pārvarēšana.

AI/ML/DL darba slodzēm nepieciešama krātuves arhitektūra, kas var nodrošināt datu plūsmu caur konveijeru, nodrošinot gan izcilu neapstrādātu I/O veiktspēju, gan jaudas mērogošanas iespēju. Glabāšanas infrastruktūrai ir jāatbilst arvien stingrākajām prasībām visos AI/ML/DL cauruļvada posmos. Risinājums ir uzglabāšanas infrastruktūra, kas īpaši izveidota ātrumam un neierobežotam apjomam.

Vērtības iegūšana

Nedēļa nepaiet bez stāstiem par AI un ML potenciālu mainīt biznesa procesus un ikdienas dzīvi. Ir daudzi lietošanas gadījumi, kas skaidri parāda šo tehnoloģiju izmantošanas priekšrocības. Tomēr mūsdienu uzņēmuma AI realitāte ir viena no ārkārtīgi lielajām datu kopām un uzglabāšanas risinājumiem, kas nespēj pārvaldīt šīs milzīgās darba slodzes. Inovācijas automobiļu, veselības aprūpes un daudzās citās nozarēs nevar virzīties uz priekšu, kamēr nav atrisināta uzglabāšanas problēma. Ātra objektu glabāšana pārvar izaicinājumu saglabāt lielus datus, lai organizācijas varētu iegūt vērtību no šiem datiem, lai virzītu savu biznesu uz priekšu.