Ενεργοποίηση των αναπτυξιακών αναπτύξεων του AI στον πραγματικό κόσμο σε κλίμακα

Từ Brad King, field CTO, Scality

Τα εργαλεία του AI/ML και των μεγάλων δεδομένων έχουν ένα κοινό νήμα – χρειάζονται δεδομένα, και χρειάζονται πολλά. Η συμβατική σοφία λέει ότι όσο περισσότερα, τόσο καλύτερα. Οι αναλυτές προβλέπουν ότι η παγκόσμια δημιουργία δεδομένων θα φτάσει σε περισσότερα από 180 zettabytes μέχρι το 2025 – και το 2020, η ποσότητα των δεδομένων που δημιουργήθηκαν και αναπαράχθηκαν έφτασε σε ένα νέο υψηλό των 64,2 zettabytes.

Αυτά τα δεδομένα είναι εξαιρετικά πολύτιμα – συχνά αντικαταστάσιμα και μερικές φορές αντιπροσωπεύουν μοναδικές ή μια φορά στη ζωή γεγονότα. Αυτά τα δεδομένα χρειάζονται να αποθηκευτούν με ασφάλεια και ασφάλεια· και ενώ υπολογίζεται ότι μόνο ένα μικρό ποσοστό αυτών των νέων δεδομένων διατηρείται, η ζήτηση για αποθηκευτική ικανότητα συνεχίζει να αυξάνεται. Πράγματι, η εγκατεστημένη βάση της αποθηκευτικής ικανότητας προβλέπεται να αυξηθεί με einen συνδυασμένο ετήσιο ρυθμό ανάπτυξης 19,2% μεταξύ 2020 και 2025, σύμφωνα με ερευνητές στο Statista.

Με περισσότερα δεδομένα που δημιουργούνται – ιδιαίτερα από αυτές τις εργασίες AI/ML – οι οργανισμοί χρειάζονται περισσότερη αποθήκευση, αλλά δεν όλες οι λύσεις αποθήκευσης μπορούν να χειριστούν αυτές τις εντατικές και τεράστιες εργασίες. Τι χρειάζεται είναι μια νέα προσέγγιση στην αποθήκευση. Ας δούμε πώς οι οργανισμοί υπερβαίνουν αυτές τις προκλήσεις μέσω του φακού τριών περιπτώσεων.

Η βιομηχανία ταξιδιών

Ενώ πολλοί από εμάς μόλις αρχίζουμε να συνηθίζουμε να ταξιδεύουμε ξανά μετά από περισσότερο από ένα χρόνο κλειδώματος, η βιομηχανία ταξιδιών προσπαθεί να επιστρέψει στις προ-πανδημικές φορές με σημαντικό τρόπο. Και αυτό καθιστά τη σημασία των δεδομένων – ιδιαίτερα, την εφαρμογή και τη χρήση αυτών των δεδομένων – ακόμη πιο σημαντική.

Φανταστείτε τι θα μπορούσατε να κάνετε με τη γνώση του που είναι η πλειοψηφία των αεροπορικών ταξιδιωτών στον κόσμο θα ταξιδέψουν την επόμενη μέρα ή που θα πάνε αύριο. Για ένα ταξιδιωτικό γραφείο, για παράδειγμα, αυτό θα ήταν τεράστιο.

Αλλά αυτές οι ταξιδιωτικές οργανώσεις αντιμετωπίζουν τόσο πολλά δεδομένα που το να ταξινομήσουν για να καταλάβουν τι είναι σημαντικό είναι μια αποθαρρυντική προοπτική. Περίπου ένα petabyte δεδομένων παράγεται κάθε μέρα, και κάποια από αυτά τα δεδομένα είναι διπλωμένα από ιστοσελίδες όπως το Kayak. Αυτά τα δεδομένα είναι χρονικά ευαίσθητα, και οι εταιρείες ταξιδιών χρειάζονται να ανακαλύψουν γρήγορα ποια δεδομένα είναι σημαντικά. Χρειάζονται ένα εργαλείο για να μπορέσουν να διαχειριστούν αυτό το επίπεδο κλίμακας πιο αποτελεσματικά.

Η αυτοκινητοβιομηχανία

Ένα άλλο παράδειγμα έρχεται από την αυτοκινητοβιομηχανία, η οποία είναι σίγουρα ένα από τα πιο συζητημένα περιπτώσεων. Η βιομηχανία έχει εργαστεί σκληρά για πολύ καιρό με εργαλεία βοήθειας όπως οι lane minders, η αποφυγή συγκρούσεων και così. Όλοι αυτοί οι αισθητήρες φέρνουν πολλές ποσότητες δεδομένων. Και, φυσικά, αναπτύσσουν, δοκιμάζουν και επικυρώνουν αλγόριθμους οδήγησης.

Τι χρειάζεται η βιομηχανία είναι ένας καλύτερος τρόπος για να καταλάβουν αυτά τα αποθηκευμένα δεδομένα ώστε να μπορέσουν να τα χρησιμοποιήσουν για να αναλύσουν περιπτώσεις όπου κάτι πήγε λάθος, να επιλέξουν εξόδους αισθητήρων ως δοκιμαστική περίπτωση, να δοκιμάσουν αλγόριθμους ενάντια σε δεδομένα αισθητήρων και άλλα. Χρειάζονται δοκιμές QA για να αποφύγουν τις αναgressions, και χρειάζονται να τεκμηριώσουν περιπτώσεις που αποτυγχάνουν.

Ψηφιακή παθολογία

Ένα άλλο ενδιαφέρον παράδειγμα για το AI/ML που επίσης πλήττεται από την πλημμύρα δεδομένων και την ανάγκη να κάνει καλύτερη χρήση των δεδομένων είναι η ψηφιακή παθολογία. Όπως και τα άλλα παραδείγματα, τι πραγματικά χρειάζονται είναι η ικανότητα να κάνουν καλύτερη χρήση αυτών των δεδομένων ώστε να μπορέσουν να κάνουν πράγματα όπως να ανιχνεύσουν αυτόματα παθολογίες σε δείγματα ιστού, να thựcίσουν απομακρυστικές διαγνώσεις και così.

Αλλά η αποθήκευση σήμερα περιορίζει τη χρήση. Εικόνες με χρήσιμη ανάλυση είναι πολύ μεγάλες για να αποθηκευτούν οικονομικά. Ωστόσο, η ταχεία αποθήκευση αντικειμένων θα ενεργοποιήσει νέες ικανότητες – όπως τράπεζες εικόνων που μπορούν να χρησιμοποιηθούν ως βασικό ресурсο εκπαίδευσης και η χρήση space-filling καμπυλών για να ονομάσουν/αποθηκεύσουν και να ανακτήσουν multiresolution εικόνες σε μια αποθήκη αντικειμένων. Επίσης, επιτρέπει την επεκτάσιμη και ευέλικτη σήμανση μεταδεδομένων, που καθιστά ευκολότερη την αναζήτηση και την κατανόηση αυτής της πληροφορίες.

Οι εργασίες AI απαιτούν μια νέα προσέγγιση

Όπως έχουμε δει στις τρεις περιπτώσεις παραπάνω, είναι κρίσιμο να μπορέσουμε να συλλέξουμε και να ορχηστρώσουμε τεράστιες ποσότητες δεδομένων που σχετίζονται με εργασίες AI/ML. Τα σύνολα δεδομένων συχνά φτάνουν σε κλίμακα multi-petabyte, με απαιτήσεις απόδοσης που θα μπορούσαν να κορυφώσουν ολόκληρη την υποδομή. Όταν αντιμετωπίζουμε τέτοιες μεγάλης κλίμακας εκπαιδευτικά και δοκιμαστικά σύνολα δεδομένων, η υπέρβαση των προβλημάτων αποθήκευσης (ζήτηματα καθυστέρησης και/ή εύρους ζώνης) και των ορίων/εμποδίων είναι κρίσιμα στοιχεία για την επιτυχία.

Οι εργασίες AI/ML/DL απαιτούν μια αρχιτεκτονική αποθήκευσης που μπορεί να διατηρήσει τα δεδομένα να ρέουν μέσω του pipeline, με εξαιρετική сыρά I/O απόδοση και ικανότητα κλιμάκωσης. Η υποδομή αποθήκευσης πρέπει να跟πει τις αυξανόμενες απαιτήσεις σε όλα τα στάδια του pipeline AI/ML/DL. Η λύση είναι μια υποδομή αποθήκευσης που κατασκευάζεται ειδικά για ταχύτητα και ατελείωτη κλίμακα.

Εξαγωγή αξίας

Δεν περνά μια εβδομάδα χωρίς ιστορίες για το δυναμικό του AI και του ML να αλλάξουν τις επιχειρηματικές διαδικασίες και την καθημερινή ζωή. Υπάρχουν πολλά παραδείγματα που δείχνουν明显 τις ωφέλειες της χρήσης αυτών των τεχνολογιών. Η πραγματικότητα του AI στις επιχειρήσεις σήμερα, όμως, είναι μια από τις υπερβολικά μεγάλες συνόλων δεδομένων και λύσεων αποθήκευσης που δεν μπορούν να διαχειριστούν αυτές τις τεράστιες εργασίες. Οι καινοτομίες στα αυτοκίνητα, την υγεία και πολλές άλλες βιομηχανίες δεν μπορούν να προχωρήσουν μέχρι να λυθεί το πρόβλημα της αποθήκευσης. Η ταχεία αποθήκευση αντικειμένων υπερβαίνει την πρόκληση της διατήρησης μεγάλων δεδομένων ώστε οι οργανισμοί να μπορέσουν να εξάγουν την αξία από αυτά τα δεδομένα για να προωθήσουν τις επιχειρήσεις τους.