Ενεργοποίηση αναπτύξεων AI στον πραγματικό κόσμο σε κλίμακα

Từ Brad King, field CTO, Scality

Τα εργαλεία του AI/ML και των μεγάλων δεδομένων έχουν ένα κοινό νήμα – χρειάζονται δεδομένα, και χρειάζονται πολλά. Η συμβατική σοφία λέει ότι όσο περισσότερα, τόσο καλύτερα. Οι αναλυτές προβλέπουν ότι η παγκόσμια δημιουργία δεδομένων θα αυξηθεί σε περισσότερα από 180 zettabytes μέχρι το 2025 – και το 2020, η ποσότητα των δεδομένων που δημιουργήθηκαν και αναπαράχθηκαν έφτασε σε ένα νέο υψηλό των 64,2 zettabytes.

Αυτά τα δεδομένα είναι εξαιρετικάτιμή – συχνά αντικαταστάσιμα και μερικές φορές αντιπροσωπεύουν μοναδικές ή einmalig γεγονότα. Αυτά τα δεδομένα πρέπει να αποθηκευτούν με ασφάλεια και ασφάλεια· και ενώ εκτιμάται ότι μόνο ένα μικρό ποσοστό αυτών των νέων δεδομένων διατηρείται, η ζήτηση για αποθηκευτική ικανότητα συνεχίζει να αυξάνεται. Πράγματι, η εγκατεστημένη βάση αποθηκευτικής ικανότητας προβλέπεται να αυξηθεί με ετήσιο ρυθμό成長 19,2% μεταξύ 2020 και 2025, σύμφωνα με ερευνητές στο Statista.

Με περισσότερα δεδομένα που δημιουργούνται – ιδιαίτερα από αυτές τις AI/ML εργασίες – οι οργανισμοί χρειάζονται περισσότερη αποθηκευτική ικανότητα, αλλά όχι όλες οι αποθηκευτικές λύσεις μπορούν να χειριστούν αυτές τις εντατικές και τεράστιες εργασίες. Τι χρειάζεται είναι μια νέα προσέγγιση στην αποθήκευση. Ας δούμε πώς οι οργανισμοί υπερβαίνουν αυτές τις προκλήσεις μέσω του πρίσματος τριών περιπτώσεων.

Η βιομηχανία ταξιδιών

Ενώ πολλοί από εμάς μόλις αρχίζουμε να ταξιδεύουμε ξανά μετά από περισσότερο από ένα χρόνο lockdown, η βιομηχανία ταξιδιών προσπαθεί να επιστρέψει στις προ-πανδημικές φορές με einen μεγάλο τρόπο. Και αυτό κάνει τη σημασία των δεδομένων – συγκεκριμένα, την εφαρμογή και τη χρήση αυτών των δεδομένων – ακόμη πιο σημαντική.

Φανταστείτε τι θα μπορούσατε να κάνετε με τη γνώση του που είναι το μεγαλύτερο μέρος των ταξιδιωτών του αεροπλάνου που θα ταξιδέψουν την επόμενη μέρα. Για ένα ταξιδιωτικό γραφείο, για παράδειγμα, αυτό θα ήταν τεράστιο.

Αλλά αυτές οι ταξιδιωτικές οργανώσεις αντιμετωπίζουν τόσο πολλά δεδομένα που το να ταξινομήσουν για να βρουν τι είναι σημαντικό είναι μια αποθαρρυντική προοπτική. Περίπου ένα petabyte δεδομένων παράγεται κάθε μέρα, και κάποια από αυτά τα δεδομένα είναι διπλωμένα από ιστοσελίδες όπως το Kayak. Αυτά τα δεδομένα είναι χρονικά ευαίσθητα, και οι εταιρείες ταξιδιών χρειάζονται να ανακαλύψουν γρήγορα ποια δεδομένα είναι σημαντικά. Χρειάζονται ένα εργαλείο για να μπορέσουν να διαχειριστούν αυτό το επίπεδο κλίμακας πιο αποτελεσματικά.

Η αυτοκινητοβιομηχανία

Ένα άλλο παράδειγμα έρχεται από την αυτοκινητοβιομηχανία, η οποία είναι σίγουρα μια από τις πιο συζητημένες περιπτώσεις. Η βιομηχανία έχει εργαστεί για πολύ καιρό με εργαλεία βοήθειας όπως lane minders, collision avoidance και άλλα. Όλα αυτά τα αισθητήρια φέρνουν πολλές ποσότητες δεδομένων. Και, φυσικά, αναπτύσσουν, δοκιμάζουν και επικυρώνουν αλγόριθμους οδήγησης.

Ψηφιακή παθολογία

Μια άλλη ενδιαφέρουσα περίπτωση για AI/ML που επίσης πλήττεται από την πλεονάζουσα δεδομένων και την ανάγκη για καλύτερη χρήση των δεδομένων είναι η ψηφιακή παθολογία. Όπως και οι άλλες περιπτώσεις, τι πραγματικά χρειάζονται είναι η ικανότητα να κάνουν καλύτερη χρήση αυτών των δεδομένων για να μπορέσουν να κάνουν πράγματα όπως να ανιχνεύουν αυτόματα παθολογίες σε δείγματα ιστών, να εκτελούν απομακρυσμένες διαγνώσεις και così weiter.

Αλλά η αποθήκευση σήμερα περιορίζει τη χρήση. Οι εικόνες με χρήσιμη ανάλυση είναι πολύ μεγάλες για να αποθηκευτούν οικονομικά. Ωστόσο, η ταχεία αποθήκευση αντικειμένων θα ενεργοποιήσει νέες ικανότητες – όπως τράπεζες εικόνων που μπορούν να χρησιμοποιηθούν ως βασικό πόρο εκπαίδευσης και η χρήση space-filling καμπυλών για να ονομάσουν και να ανακτήσουν εικόνες με πολλαπλή ανάλυση σε μια αποθήκη αντικειμένων. Επίσης, επιτρέπει την επεκτάσιμη και ευέλικτη σήμανση μεταδεδομένων, η οποία κάνει ευκολότερη την αναζήτηση και την κατανόηση αυτής της πληροφορίας.

Οι εργασίες AI απαιτούν μια νέα προσέγγιση

Όπως έχουμε δει στις τρεις περιπτώσεις παραπάνω, είναι κρίσιμο να能够 να συλλέξουμε και να ορχηστρώσουμε τεράστιες ποσότητες δεδομένων που σχετίζονται με εργασίες AI/ML. Τα σύνολα δεδομένων συχνά φτάνουν σε κλίμακα multi-petabyte, με απαιτήσεις απόδοσης που θα μπορούσαν να κορυφώσουν ολόκληρη την υποδομή. Όταν αντιμετωπίζουμε τέτοιες μεγάλης κλίμακας εκπαιδευτικές και δοκιμαστικές σειρές δεδομένων, η υπερνίκηση των προβλημάτων αποθήκευσης (ζητήματα καθυστέρησης και/ή εύρους) και των ορίων ικανότητας/εμποδίων είναι κρίσιμα στοιχεία για την επιτυχία.

Οι εργασίες AI/ML/DL απαιτούν μια αρχιτεκτονική αποθήκευσης που μπορεί να διατηρήσει τα δεδομένα να ρέουν μέσω του pipeline, με εξαιρετική сырая απόδοση I/O και ικανότητα κλιμάκωσης. Η υποδομή αποθήκευσης πρέπει να κρατάει το ρυθμό με τις αυξανόμενες απαιτήσεις σε όλα τα στάδια του pipeline AI/ML/DL. Η λύση είναι μια υποδομή αποθήκευσης που έχει κατασκευαστεί ειδικά για ταχύτητα και απεριόριστη κλίμακα.

Εξαγωγή αξίας

Δεν περνάει μια εβδομάδα χωρίς ιστορίες για το δυναμικό του AI και του ML να αλλάξουν τις επιχειρηματικές διαδικασίες και την καθημερινή ζωή. Υπάρχουν πολλές περιπτώσεις που δείχνουν σαφώς τα οφέλη της χρήσης αυτών των τεχνολογιών. Η πραγματικότητα του AI στις επιχειρήσεις σήμερα, ωστόσο, είναι μια από τις υπερβολικά μεγάλες σειρές δεδομένων και λύσεων αποθήκευσης που δεν μπορούν να διαχειριστούν αυτές τις τεράστιες εργασίες. Οι καινοτομίες στα αυτοκίνητα, την υγεία και πολλές άλλες βιομηχανίες δεν μπορούν να προχωρήσουν μέχρι να επιλυθεί το ζήτημα της αποθήκευσης. Η ταχεία αποθήκευση αντικειμένων υπερβαίνει την πρόκληση της διατήρησης μεγάλων δεδομένων για να μπορέσουν οι οργανισμοί να εξαγάγουν την αξία από αυτά τα δεδομένα για να προωθήσουν τις επιχειρήσεις τους.