Τι είναι το Big Data;

Τι είναι το Big Data;

“Big Data” είναι ένας από τους συχνά χρησιμοποιούμενους όρους της εποχής μας, αλλά τι σημαίνει πραγματικά;

Εδώ είναι μια γρήγορη και απλή ορισμός του big data. Big data είναι δεδομένα που είναι πολύ μεγάλα και複잡α για να χειριστούν από παραδοσιακές μεθόδους επεξεργασίας και αποθήκευσης δεδομένων. Αν και αυτό είναι ένας γρήγορος ορισμός που μπορείτε να χρησιμοποιήσετε ως εύρημα, θα ήταν χρήσιμο να έχετε μια πιο sâuμένη και πλήρη κατανόηση του big data. Ας δούμε μερικές από τις έννοιες που υποκρύπτουν το big data, όπως η αποθήκευση, η δομή και η επεξεργασία.

Πόσο Μεγάλο είναι το Big Data;

Δεν είναι τόσο απλό όσο να λέμε “όλα τα δεδομένα πάνω από το μέγεθος ‘X’ είναι big data”, το περιβάλλον στο οποίο τα δεδομένα χειρίζονται είναι ένα εξαιρετικά σημαντικό παράγοντα στο καθορίζοντας τι προκαλεί big data. Το μέγεθος που τα δεδομένα πρέπει να είναι, για να θεωρηθούν big data, εξαρτάται από το контекστό, ή την εργασία που τα δεδομένα χρησιμοποιούνται. Δύο συνόλα δεδομένων με πολύ διαφορετικά μεγέθη μπορούν να θεωρηθούν “big data” σε διαφορετικούς контекστούς.

Για να είμαστε πιο συγκεκριμένοι, αν προσπαθήσετε να στείλετε ένα αρχείο 200 megabyte ως επισύναψη email, δεν θα μπορέσετε να το κάνετε. Σε αυτό το контекστό, το αρχείο 200 megabyte θα μπορούσε να θεωρηθεί big data. Αντίθετα, η αντιγραφή ενός αρχείου 200 megabyte σε άλλη συσκευή μέσα στο ίδιο LAN μπορεί να μην πάρει καθόλου χρόνο, και σε αυτό το konteksto, δεν θα θεωρηθεί big data.

Ωστόσο, ας υποθέσουμε ότι 15 terabyte βίντεο πρέπει να προεπεξεργαστούν για χρήση σε εφαρμογές επεξεργασίας οράματος. Σε αυτή την περίπτωση, τα αρχεία βίντεο καταλαμβάνουν τόσο πολύ χώρο που ακόμη και ένας ισχυρός υπολογιστής θα χρειαζόταν πολύ χρόνο για να τα επεξεργαστεί όλα, και έτσι η επεξεργασία θα κατανεμόταν συνήθως σε πολλαπλούς υπολογιστές που συνδέονται μεταξύ τους για να μειώσουν τον χρόνο επεξεργασίας. Αυτά τα 15 terabyte δεδομένων βίντεο θα θεωρούνταν σίγουρα big data.

Τύποι Δομών Big Data

Το big data έρχεται σε τρεις διαφορετικές κατηγορίες δομής: μη δομημένα δεδομένα, ημι-δομημένα και δομημένα δεδομένα.

Μη δομημένα δεδομένα είναι δεδομένα που δεν έχουν καθορισμένη δομή, που σημαίνει ότι τα δεδομένα είναι ουσιαστικά ένα μεγάλο πλήθος. Παραδείγματα μη δομημένων δεδομένων θα ήταν μια βάση δεδομένων γεμάτη με μη επισημασμένες εικόνες.

Ημι-δομημένα δεδομένα είναι δεδομένα που δεν έχουν επίσημη δομή, αλλά υπάρχουν μέσα σε μια χαλαρή δομή. Για παράδειγμα, δεδομένα email θα μπορούσαν να θεωρηθούν ημι-δομημένα δεδομένα, επειδή θα μπορούσατε να αναφερθείτε στα δεδομένα που περιέχονται σε 개별ικά email, αλλά δεν έχουν καθοριστεί επίσημες δομές δεδομένων.

Δομημένα δεδομένα είναι δεδομένα που έχουν καθορισμένη δομή, με σημεία δεδομένων κατηγοριοποιημένα από διαφορετικά χαρακτηριστικά. Ένα παράδειγμα δομημένων δεδομένων θα ήταν ένα excel αρχείο που περιέχει πληροφορίες επικοινωνίας όπως ονόματα, email, τηλέφωνα και ιστοσελίδες.

Αν θέλετε να διαβάσετε περισσότερα για τις διαφορές σε αυτούς τους τύπους δεδομένων, ελέγξτε τον σύνδεσμο εδώ.

Μέτρησης Για την Αξιολόγηση του Big Data

Το big data μπορεί να αναλυθεί με βάση τρεις διαφορετικές μετρήσεις: όγκος, ταχύτητα και ποικιλία.

Όγκος αναφέρεται στο μέγεθος των δεδομένων. Το μέσο μέγεθος των συνόλων δεδομένων αυξάνεται συνεχώς. Για παράδειγμα, ο μεγαλύτερος σκληρός δίσκος το 2006 ήταν ένας σκληρός δίσκος 750 GB. Αντίθετα, το Facebook (META ) θεωρείται ότι παράγει πάνω από 500 terabyte δεδομένων σε μια μέρα και ο μεγαλύτερος σκληρός δίσκος που είναι διαθέσιμος σήμερα είναι ένας σκληρός δίσκος 16 terabyte. Τι ποσοστούν ως big data σε μια εποχή μπορεί να μην είναι big data σε μια άλλη. Περισσότερα δεδομένα παράγονται σήμερα επειδή περισσότερα και περισσότερα αντικείμενα γύρω μας είναι εξοπλισμένα με αισθητήρες, κάμερες, μικρόφωνα και άλλα συσκευές συλλογής δεδομένων.

Ταχύτητα αναφέρεται σε πόσο γρήγορα κινείται τα δεδομένα, ή με άλλα λόγια, πόσα δεδομένα παράγονται μέσα σε ένα δεδομένο χρονικό διάστημα. Οι ροές των κοινωνικών μέσων παράγουν εκατοντάδες χιλιάδες αναρτήσεις και σχόλια κάθε λεπτό, ενώ η δική σας thư箱 θα έχει πιθανότατα πολύ λιγότερη δραστηριότητα. Οι ροές big data είναι ροές που συχνά χειρίζονται εκατοντάδες χιλιάδες ή εκατομμύρια συμβάντα σε σχεδόν πραγματικό χρόνο. Παραδείγματα αυτών των ροών δεδομένων είναι πλατφόρμες online gaming και αλγόριθμοι υψηλής συχνότητας μετοχών.

Ποικιλία αναφέρεται στα διαφορετικά είδη δεδομένων που περιέχονται στο σύνολο δεδομένων. Δεδομένα μπορούν να αποτελούνται από πολλά διαφορετικά формάτ, όπως ήχος, βίντεο, κείμενο, φωτογραφίες ή σειριακά νούμερα. Γενικά, οι παραδοσιακές βάσεις δεδομένων είναι διαμορφωμένες για να χειρίζονται ένα ή δύο είδη δεδομένων. Για να το πούμε με άλλα λόγια, οι παραδοσιακές βάσεις δεδομένων είναι διαμορφωμένες για να κρατούν δεδομένα που είναι αρκετά ομοιόμορφα και έχουν μια σταθερή, προβλέψιμη δομή. Όσο οι εφαρμογές γίνονται πιο ποικίλες, γεμάτες με διαφορετικά χαρακτηριστικά και χρησιμοποιούνται από περισσότερους ανθρώπους, οι βάσεις δεδομένων έχουν πρέπει να εξελιχθούν για να αποθηκεύουν περισσότερα είδη δεδομένων. Οι μη δομημένες βάσεις δεδομένων είναι ιδανικές για την αποθήκευση big data, επειδή μπορούν να κρατούν πολλαπλά είδη δεδομένων που δεν σχετίζονται μεταξύ τους.

Μέθοδοι Χειρισμού του Big Data

Υπάρχουν πολλά διαφορετικά πλαίσια και εργαλεία που έχουν σχεδιαστεί για να διευκολύνουν την ανάλυση του big data. Οι πισίνες big data πρέπει να αναλυθούν για να εξαχθούν σημαντικά πρότυπα από τα δεδομένα, μια εργασία που μπορεί να αποδειχθεί πολύ δύσκολη με παραδοσιακά εργαλεία ανάλυσης δεδομένων. Σε απάντηση στην ανάγκη για εργαλεία για την ανάλυση μεγάλων όγκων δεδομένων, πολλές εταιρείες έχουν δημιουργήσει εργαλεία ανάλυσης big data. Τα εργαλεία ανάλυσης big data περιλαμβάνουν συστήματα όπως ZOHO Analytics, Cloudera και Microsoft (MSFT ) BI.