Activarea implementărilor de inteligență artificială în lumea reală la scară largă

De Brad King, field CTO, Scality

Uneltele de inteligență artificială și învățare automată (AI/ML) și big data au un fir comun – au nevoie de date, și au nevoie de multe. Înțelepciunea convențională spune că cu cât mai mult, cu atât mai bine. Analistii prevăd că crearea de date la nivel global va ajunge la mai mult de 180 de zettabytes până în 2025 – și în 2020, cantitatea de date create și replicate a atins un nou maxim de 64,2 zettabytes.

Aceste date sunt extrem de valoroase – adesea de neînlocuit și uneori reprezentând evenimente unice sau ocazionale. Aceste date trebuie stocate în siguranță și securizat; și, deși se estimează că doar un mic procent din aceste date nou create este păstrat, cererea de capacitate de stocare continuă să crească. De fapt, baza instalată de capacitate de stocare se preconizează a crește cu o rată anuală compusă de 19,2% între 2020 și 2025, conform cercetătorilor de la Statista.

Cu mai multe date create – în special de către aceste sarcini de lucru AI/ML – organizațiile au nevoie de mai multă stocare, dar nu toate soluțiile de stocare pot gestiona aceste sarcini intensive și masive. Ce este necesar este o abordare nouă a stocării. Să aruncăm o privire la modul în care organizațiile depășesc aceste provocări prin prisma a trei studii de caz.

Industria călătoriilor

În timp ce mulți dintre noi ne obișnuim cu călătoriile din nou, după mai mult de un an de carantină, industria călătoriilor își propune să revină la nivelul de dinainte de pandemie într-un mod semnificativ. Și acest lucru face ca importanța datelor – în special, aplicarea și utilizarea relevantă a acestor date – să fie și mai importantă.

Imaginați-vă ce ați putea face cu cunoașterea locurilor în care majoritatea călătorilor aerieni din lume se vor deplasa mâine sau unde se vor deplasa poimâine. Pentru o agenție de călătorii, de exemplu, ar fi ceva enorm.

Dar aceste organizații de călătorii se confruntă cu atât de multe date, încât sortarea lor pentru a determina ce este semnificativ este o perspectivă copleșitoare. O petabyte de date este generată în fiecare zi, iar unele dintre aceste date sunt duplicate de site-uri precum Kayak. Aceste date sunt sensibile la timp, iar companiile de călătorii trebuie să descopere rapid care dintre aceste date sunt semnificative. Ei au nevoie de un instrument care să le permită să gestioneze acest nivel de scară mai eficient.

Industria automobilelor

Un alt exemplu vine din industria automobilelor, care este, fără îndoială, unul dintre cele mai discutate studii de caz. Industria a lucrat mult timp la unelte de asistență, cum ar fi asistenții de ținere a benzii și evitarea coliziunilor. Toate aceste senzori aduc cantități mari de date. Și, desigur, ei dezvoltă, testează și verifică algoritmi de conducere autonomă.

Ceea ce are nevoie industria este o modalitate mai bună de a face sens din aceste date stocate, astfel încât să le poată utiliza pentru a analiza incidentele în care ceva a mers prost, pentru a curăța ieșirile senzorilor ca un caz de test, pentru a testa algoritmi împotriva datelor senzorilor și multe altele. Ei au nevoie de testare QA pentru a evita regresia și au nevoie să documenteze cazurile care eşuează.

Patologia digitală

Un alt studiu de caz interesant pentru AI/ML, care se confruntă și el cu problema delugului de date și a necesității de a face o utilizare mai bună a datelor, este patologia digitală. La fel ca și exemplele anterioare, ceea ce au nevoie cu adevărat este capacitatea de a face o utilizare mai bună a acestor date, astfel încât să poată face lucruri precum detectarea automată a patologiilor în mostre de țesut, efectuarea de diagnostice la distanță și așa mai departe.

Dar stocarea de astăzi limitează utilizarea. Imaginile cu rezoluție utilă sunt prea mari pentru a fi stocate în mod economic. Cu toate acestea, stocarea rapidă a obiectelor va permite noi capacități – precum băncile de imagini care pot fi utilizate ca o resursă de antrenament cheie și utilizarea curbelor care umplu spațiul pentru a numi, stoca și recupera imagini multirezoluționare într-un magazin de obiecte. De asemenea, permite etichetarea metadatelor extensibile și flexibile, ceea ce face mai ușor să căutați și să înțelegeți aceste informații.

Sarcinile de lucru AI necesită o abordare nouă

Așa cum am văzut în cele trei cazuri de mai sus, este critic să puteți agrega și orchestra cantități uriașe de date legate de sarcinile de lucru AI/ML. Seturile de date ajung adesea la scară de multi-petabyte, cu cerințe de performanță care ar putea satura întreaga infrastructură. Când aveți de-a face cu astfel de seturi de date de antrenament și testare la scară largă, depășirea blocajelor de stocare (probleme de latență și/sau de debit) și a limitărilor de capacitate/barierelor sunt elemente cheie pentru succes.

Sarcinile de lucru AI/ML/DL necesită o arhitectură de stocare care să poată menține datele în mișcare prin conductă, cu o performanță brută de I/O excelentă și o capacitate de scalare. Infrastructura de stocare trebuie să țină pasul cu cerințele din ce în ce mai exigente de-a lungul tuturor etapelor conductei AI/ML/DL. Soluția este o infrastructură de stocare special concepută pentru viteză și scară nelimitată.

Extragem valoarea

Nu trece o săptămână fără povești despre potențialul inteligenței artificiale și al învățării automate de a schimba procesele de afaceri și viața de zi cu zi. Există multe studii de caz care demonstrează clar beneficiile utilizării acestor tehnologii. Realitatea inteligenței artificiale în întreprinderile de astăzi este una de seturi de date imense și soluții de stocare care nu pot gestiona aceste sarcini masive. Inovațiile în automobile, sănătate și multe alte industrii nu pot continua până când problema stocării nu este rezolvată. Stocarea rapidă a obiectelor depășește provocarea păstrării datelor mari, astfel încât organizațiile să poată extrage valoarea din aceste date pentru a-și dezvolta afacerile.