Abilitare il deploy di AI nel mondo reale su larga scala

Di Brad King, field CTO, Scality

Gli strumenti di AI/ML e big data hanno un filo conduttore comune – hanno bisogno di dati, e ne hanno bisogno in grande quantità. La saggezza convenzionale dice che più dati si hanno, meglio è. Gli analisti prevedono che la creazione di dati a livello globale crescerà a oltre 180 zettabyte entro il 2025 – e nel 2020, la quantità di dati creata e replicata ha raggiunto un nuovo massimo di 64,2 zettabyte.

Quei dati sono estremamente preziosi – spesso insostituibili e a volte rappresentano eventi unici o che si verificano una volta nella vita. Questi dati devono essere archiviati in modo sicuro e protetto; e mentre si stima che solo una piccola percentuale di questi nuovi dati creati venga conservata, la domanda di capacità di archiviazione continua a crescere. In effetti, la base installata di capacità di archiviazione è prevista crescere a un tasso di crescita annuale composto del 19,2% tra il 2020 e il 2025, secondo i ricercatori di Statista.

Con più dati che vengono creati – in particolare da questi carichi di lavoro AI/ML – le organizzazioni hanno bisogno di più archiviazione, ma non tutte le soluzioni di archiviazione possono gestire questi carichi di lavoro intensivi e massicci. Ciò che è necessario è un nuovo approccio all’archiviazione. Vediamo come le organizzazioni stanno superando queste sfide attraverso la lente di tre casi d’uso.

L’industria dei viaggi

Mentre molti di noi stanno solo iniziando a viaggiare di nuovo dopo più di un anno di lockdown, l’industria dei viaggi sta cercando di tornare ai tempi pre-pandemici in modo significativo. E questo sta rendendo ancora più importante l’importanza dei dati – in particolare, l’applicazione e l’uso rilevante di quei dati.

Immagina cosa potresti fare con la conoscenza di dove la maggior parte dei viaggiatori aerei del mondo andrà a viaggiare il prossimo o dove andranno domani. Per un’agenzia di viaggi, ad esempio, sarebbe enorme.

Ma queste organizzazioni di viaggi stanno gestendo così tanti dati che cercare di capire cosa è significativo è una prospettiva schiacciante. Circa un petabyte di dati viene generato ogni giorno, e alcuni di quei dati sono duplicati da siti come Kayak. Questi dati sono sensibili al tempo, e le aziende di viaggi devono scoprire rapidamente quali dati sono significativi. Hanno bisogno di uno strumento per gestire questo livello di scala in modo più efficace.

L’industria automobilistica

Un altro esempio proviene dall’industria automobilistica, che è certamente uno dei casi d’uso più discussi. L’industria ha lavorato a lungo con strumenti di assistenza come i sistemi di mantenimento della corsia, l’evitamento delle collisioni e simili. Tutti questi sensori stanno portando grandi quantità di dati. E, naturalmente, stanno sviluppando, testando e verificando algoritmi di guida autonoma.

Cosa di cui l’industria ha bisogno è un modo migliore per dare senso a questi dati archiviati in modo che possano utilizzarli per analizzare incidenti in cui qualcosa è andato storto, curare gli output dei sensori come un caso di test, testare algoritmi contro dati dei sensori e altro. Hanno bisogno di test di QA per evitare regressioni, e devono documentare i casi che falliscono.

La patologia digitale

Un altro caso d’uso interessante per AI/ML che sta anche lottando con il diluvio di dati e la necessità di utilizzare meglio i dati è la patologia digitale. Proprio come gli altri esempi, cosa di cui hanno realmente bisogno è la capacità di utilizzare meglio questi dati in modo che possano fare cose come rilevare automaticamente le patologie nei campioni di tessuto, eseguire diagnosi remote e così via.

Ma l’archiviazione odierna sta limitando l’uso. Le immagini con una risoluzione utile sono troppo grandi per essere archiviate in modo economico. Tuttavia, l’archiviazione degli oggetti veloce abiliterà nuove capacità – come banche di immagini che possono essere utilizzate come risorsa di formazione chiave e l’uso di curve di riempimento dello spazio per nominare e recuperare immagini multirisoluzione in un archivio di oggetti. Abilita anche la creazione di metadati flessibili e estensibili, il che rende più facile cercare e dare senso a queste informazioni.

I carichi di lavoro AI richiedono un nuovo approccio

Come abbiamo visto nei tre casi sopra, è fondamentale essere in grado di aggregare e orchestrare grandi quantità di dati relativi ai carichi di lavoro AI/ML. I set di dati spesso raggiungono dimensioni di multi-petabyte, con richieste di prestazioni che potrebbero saturare l’intera infrastruttura. Quando si ha a che fare con set di dati di addestramento e test di tale portata, superare i collo di bottiglia dell’archiviazione (problemi di latenza e/o di throughput) e le limitazioni di capacità sono elementi chiave per il successo.

I carichi di lavoro AI/ML/DL richiedono un’architettura di archiviazione che possa mantenere i dati in movimento attraverso la pipeline, con sia una prestazione grezza eccellente che una capacità di scalabilità. L’infrastruttura di archiviazione deve stare al passo con le richieste sempre più esigenti in tutte le fasi della pipeline AI/ML/DL. La soluzione è un’infrastruttura di archiviazione specificamente costruita per la velocità e la scalabilità illimitata.

Estrarre valore

Non passa una settimana senza storie sul potenziale di AI e ML per cambiare i processi aziendali e la vita quotidiana. Ci sono molti casi d’uso che dimostrano chiaramente i benefici dell’utilizzo di queste tecnologie. La realtà di AI nell’impresa di oggi, tuttavia, è quella di enormi set di dati e soluzioni di archiviazione che non possono gestire questi carichi di lavoro massicci. Le innovazioni in automobili, sanità e molte altre industrie non possono andare avanti fino a quando il problema dell’archiviazione non viene risolto. L’archiviazione degli oggetti veloce supera la sfida di conservare i big data in modo che le organizzazioni possano estrarre il valore da questi dati per far avanzare le loro attività.