Activarea implementărilor AI în lumea reală la scară

De Brad King, CTO de teren, Scality

Instrumentele AI/ML și Big Data au un fir comun - au nevoie de date și au nevoie de multe. Înțelepciunea convențională spune cu cât mai multe, cu atât mai bine. Analiștii prevăd că crearea globală de date va crește până la mai mult de 180 zettabytes până în 2025 – iar în 2020, cantitatea de date create și replicate a atins un nou maxim de 64.2 zettabytes.

Aceste date sunt extrem de valoroase – adesea de neînlocuit și uneori reprezintă evenimente unice sau o singură dată în viață. Aceste date trebuie stocate în siguranță și în siguranță; și, deși se estimează că doar un mic procent din aceste date nou create este reținut, cererea de capacitate de stocare continuă să crească. De fapt, se estimează că baza instalată de capacitate de stocare va crește la o rată de creștere anuală compusă de 19.2% între 2020 și 2025, potrivit cercetătorilor de la Statista.

Odată cu crearea mai multor date – în special prin aceste sarcini de lucru AI/ML – organizațiile au nevoie de mai mult spațiu de stocare, dar nu toate soluțiile de stocare pot face față acestor sarcini de lucru intensive și masive. Este nevoie de o nouă abordare a stocării. Să ne uităm la modul în care organizațiile depășesc aceste provocări prin prisma a trei cazuri de utilizare.

Industria turismului

În timp ce mulți dintre noi tocmai se obișnuiesc să călătorească din nou după mai bine de un an de izolare, industria călătoriilor caută să revină la vremurile de dinainte de pandemie într-un mod major. Și acest lucru face importanța datelor – în special, aplicarea și utilizarea relevante a acestor date – și mai importantă.

Imaginați-vă ce ați putea face cu cunoștințele despre unde urmează să călătorească majoritatea călătorilor aeriene din lume sau unde vor merge mâine. Pentru o agenție de turism, de exemplu, asta ar fi uriaș.

Dar aceste organizații de turism au de-a face cu atât de multe date încât să le trimită pentru a afla ce este semnificativ este o perspectivă copleșitoare. Aproximativ un petabyte de date este generat în fiecare zi, iar unele dintre date sunt duplicate de site-uri precum Kayak. Aceste date sunt sensibile la timp, iar companiile de turism trebuie să descopere rapid care date sunt semnificative. Au nevoie de un instrument pentru a putea gestiona mai eficient acest nivel de scară.

Industria auto

Un alt exemplu vine din industria auto, care este cu siguranță unul dintre cele mai discutate cazuri de utilizare. Industria lucrează din greu pentru o lungă perioadă de timp cu instrumente de asistență, cum ar fi dispozitivele de supraveghere a benzilor, evitarea coliziunilor și altele asemenea. Toți acești senzori aduc cantități mari de date. Și, desigur, ei dezvoltă, testează și verifică algoritmi de conducere autonomă.

Ceea ce are nevoie industria este o modalitate mai bună de a înțelege aceste date stocate, astfel încât să le poată utiliza pentru a analiza incidentele în care ceva nu a mers prost, pentru a gestiona ieșirile senzorilor ca caz de testare, a testa algoritmi cu datele senzorului și multe altele. Au nevoie de testare QA pentru a evita regresiile și trebuie să documenteze cazurile care eșuează.

Patologia digitală

Un alt caz de utilizare interesant pentru AI/ML, care se confruntă și cu potopul de date și cu nevoia de a folosi mai bine datele este patologia digitală. La fel ca și celelalte exemple, ceea ce au nevoie cu adevărat este capacitatea de a folosi mai bine aceste date, astfel încât să poată face lucruri precum detectarea automată a patologiilor în probele de țesut, efectuarea de diagnosticare la distanță și așa mai departe.

Dar stocarea de astăzi limitează utilizarea. Imaginile cu rezoluție utilă sunt prea mari pentru a fi stocate în mod economic. Cu toate acestea, stocarea rapidă a obiectelor va permite noi abilități, cum ar fi băncile de imagini care pot fi utilizate ca o resursă cheie de antrenament și utilizarea curbelor de umplere a spațiului pentru a denumi/stoza și a prelua imagini cu rezoluție multiplă într-un depozit de obiecte. De asemenea, permite etichetarea metadatelor extensibilă și flexibilă, ceea ce facilitează căutarea și înțelegerea acestor informații.

Sarcinile de lucru AI necesită o nouă abordare

După cum am văzut în cele trei cazuri de mai sus, este esențial să putem agrega și orchestra cantități mari de date legate de sarcinile de lucru AI/ML. Seturile de date ating adesea o scară de mai mulți petaocteți, cu cerințe de performanță care ar putea satura întreaga infrastructură. Atunci când aveți de-a face cu astfel de seturi de date de testare și instruire la scară largă, depășirea blocajelor de stocare (probleme de latență și/sau debit) și limitările/barierele de capacitate sunt elemente cheie pentru succes.

Sarcinile de lucru AI/ML/DL necesită o arhitectură de stocare care poate menține fluxul de date prin conductă, atât cu performanțe excelente I/O brute, cât și cu capacitate de scalare a capacității. Infrastructura de stocare trebuie să țină pasul cu cerințele din ce în ce mai exigente în toate etapele conductei AI/ML/DL. Soluția este o infrastructură de stocare construită special pentru viteză și scară nelimitată.

Extragerea valorii

Nu trece o săptămână fără povești despre potențialul AI și ML de a schimba procesele de afaceri și viața de zi cu zi. Există multe cazuri de utilizare care demonstrează clar beneficiile utilizării acestor tehnologii. Totuși, realitatea AI în întreprindere de astăzi este una dintre seturile de date și soluțiile de stocare covârșitoare de mari care nu pot gestiona aceste sarcini masive de lucru. Inovațiile în automobile, asistența medicală și multe alte industrii nu pot merge înainte până când problema stocării nu este rezolvată. Stocarea rapidă a obiectelor depășește provocarea de a păstra datele mari, astfel încât organizațiile să poată extrage valoarea din aceste date pentru a-și avansa afacerile.