Was ist Big Data?

Was ist Big Data?

„Big Data“ ist eines der häufig verwendeten Buzzwords unserer aktuellen Ära, aber was bedeutet es wirklich?

Hier ist eine schnelle, einfache Definition von Big Data. Big Data sind Daten, die zu groß und komplex sind, um von herkömmlichen Datenverarbeitungs- und Speichermethoden gehandhabt zu werden. Während das eine schnelle Definition ist, die Sie als Heuristik verwenden können, wäre es hilfreich, ein tieferes, umfassenderes Verständnis von Big Data zu haben. Lassen Sie uns einige der Konzepte betrachten, die Big Data zugrunde liegen, wie Speicherung, Struktur und Verarbeitung.

Wie groß ist Big Data?

Es ist nicht so einfach, wie wenn man sagt: „Jede Datenmenge über die Größe ‘X‘ ist Big Data“, die Umgebung, in der die Daten gehandhabt werden, ist ein extrem wichtiger Faktor bei der Bestimmung dessen, was als Big Data qualifiziert. Die Größe, die Daten haben müssen, um als Big Data zu gelten, hängt von dem Kontext oder der Aufgabe ab, für die die Daten verwendet werden. Zwei Datensätze von sehr unterschiedlichen Größen können in verschiedenen Kontexten als „Big Data“ betrachtet werden.

Um konkreter zu sein, wenn Sie versuchen, eine 200-Megabyte-Datei als E-Mail-Anhang zu senden, können Sie dies nicht tun. In diesem Kontext kann die 200-Megabyte-Datei als Big Data betrachtet werden. Im Gegensatz dazu kann das Kopieren einer 200-Megabyte-Datei auf ein anderes Gerät innerhalb desselben LAN keine Zeit in Anspruch nehmen, und in diesem Kontext würde es nicht als Big Data angesehen werden.

Allerdings nehmen wir an, dass 15 Terabyte an Video für die Verwendung in der Ausbildung von Computer-Vision-Anwendungen vorverarbeitet werden müssen. In diesem Fall nehmen die Video-Dateien so viel Speicherplatz ein, dass sogar ein leistungsstarker Computer viel Zeit benötigen würde, um sie alle zu verarbeiten, und die Verarbeitung würde normalerweise auf mehrere Computer verteilt, die miteinander verbunden sind, um die Verarbeitungszeit zu verkürzen. Diese 15 Terabyte an Video-Daten würden definitiv als Big Data qualifizieren.

Arten von Big-Data-Strukturen

Big Data kommt in drei verschiedenen Kategorien von Strukturen vor: unstrukturierte Daten, semistructurierte Daten und strukturierte Daten.

Unstrukturierte Daten sind Daten, die keine definierbare Struktur besitzen, was bedeutet, dass die Daten im Wesentlichen nur in einem großen Pool sind. Beispiele für unstrukturierte Daten wären eine Datenbank voller unbeschrifteter Bilder.

Semistructurierte Daten sind Daten, die keine formale Struktur haben, aber innerhalb einer lockeren Struktur existieren. Zum Beispiel könnten E-Mail-Daten als semistructurierte Daten gelten, da Sie auf die in den einzelnen E-Mails enthaltenen Daten verweisen könnten, aber formale Datenmuster sind nicht etabliert.

Strukturierte Daten sind Daten, die eine formale Struktur haben, wobei die Datenpunkte nach verschiedenen Merkmalen kategorisiert sind. Ein Beispiel für strukturierte Daten ist eine Excel-Tabelle, die Kontaktinformationen wie Namen, E-Mails, Telefonnummern und Websites enthält.

Wenn Sie mehr über die Unterschiede zwischen diesen Datentypen lesen möchten, können Sie den Link hier überprüfen.

Metriken zur Bewertung von Big Data

Big Data kann in Bezug auf drei verschiedene Metriken analysiert werden: Volumen, Geschwindigkeit und Vielfalt.

Das Volumen bezieht sich auf die Größe der Daten. Die durchschnittliche Größe der Datensätze ist oft zunehmend. Zum Beispiel war die größte Festplatte im Jahr 2006 eine 750-GB-Festplatte. Im Gegensatz dazu wird angenommen, dass Facebook (META ) über 500 Terabyte an Daten pro Tag generiert, und die größte verfügbare Festplatte für Verbraucher heute ist eine 16-Terabyte-Festplatte. Was in einer Ära als Big Data qualifiziert, muss in einer anderen nicht unbedingt Big Data sein. Heute werden mehr Daten generiert, weil immer mehr der uns umgebenden Objekte mit Sensoren, Kameras, Mikrofonen und anderen Datenerfassungsgeräten ausgestattet sind.

Die Geschwindigkeit bezieht sich auf die Geschwindigkeit, mit der die Daten bewegt werden, oder anders ausgedrückt, wie viel Daten in einem bestimmten Zeitraum generiert werden. Social-Media-Streams generieren Hunderttausende von Posts und Kommentaren pro Minute, während Ihr eigener E-Mail-Posteingang wahrscheinlich viel weniger Aktivität aufweisen wird. Big-Data-Streams sind Streams, die oft Hunderttausende oder Millionen von Ereignissen in Echtzeit oder nahezu Echtzeit verarbeiten. Beispiele für diese Daten-Streams sind Online-Gaming-Plattformen und Hochfrequenz-Handelsalgorithmen.

Die Vielfalt bezieht sich auf die verschiedenen Arten von Daten, die in der Datensammlung enthalten sind. Daten können aus vielen verschiedenen Formaten bestehen, wie Audio, Video, Text, Fotos oder Seriennummern. Im Allgemeinen sind traditionelle Datenbanken so strukturiert, dass sie nur eine oder zwei Arten von Daten verarbeiten können. Mit anderen Worten sind traditionelle Datenbanken so strukturiert, dass sie Daten enthalten, die ziemlich homogen und von konsistenter, vorhersehbarer Struktur sind. Da Anwendungen vielfältiger werden, mehr Funktionen haben und von mehr Menschen verwendet werden, mussten Datenbanken sich anpassen, um mehr Arten von Daten zu speichern. Unstrukturierte Datenbanken sind ideal für die Speicherung von Big Data, da sie mehrere nicht miteinander verwandte Datentypen enthalten können.

Methoden zur Handhabung von Big Data

Es gibt eine Vielzahl von Plattformen und Tools, die zur Analyse von Big Data entwickelt wurden. Big-Data-Pools müssen analysiert werden, um sinnvolle Muster aus den Daten zu extrahieren, eine Aufgabe, die sich mit herkömmlichen Datenanalyse-Tools als sehr herausfordernd erweisen kann. Als Reaktion auf die Notwendigkeit von Tools zur Analyse großer Datenmengen haben verschiedene Unternehmen Big-Data-Analyse-Tools entwickelt. Big-Data-Analyse-Tools umfassen Systeme wie ZOHO Analytics, Cloudera und Microsoft (MSFT ) BI.