什么是大数据？

什么是大数据？

“大数据”是我们当前时代常用的流行词汇之一，但它真正的含义是什么？

这里有一个关于大数据的快速、简单的定义。 大数据 是指由于规模太大、太复杂而无法使用传统的数据处理和存储方法的数据。虽然这是一个快速的定义，可以用作启发式方法，但更深入、更全面地理解大数据将会很有帮助。让我们来看看一些与大数据相关的概念，如存储、结构和处理。

大数据有多大？

这并不像说“任何大于‘X’大小的数据都是大数据”那么简单，数据被处理的环境是一个极其重要的因素，用于 确定什么是大数据。要被认为是大数据，数据需要达到的规模取决于上下文或数据被使用的任务。两个大小差异很大的数据集可以在不同的上下文中被认为是“大数据”。

更具体地说，如果你尝试将一个200兆字节的文件作为电子邮件附件发送，你将无法做到。在这种情况下，200兆字节的文件可以被认为是大数据。相比之下，在同一个局域网内将一个200兆字节的文件复制到另一个设备上可能不会花费任何时间，在这种情况下，它不会被认为是大数据。

但是，让我们假设需要预处理15太字节的视频用于训练计算机视觉应用程序。在这种情况下，视频文件占用的空间如此庞大，即使是强大的计算机也需要很长时间来处理它们，因此处理通常会分布在多台计算机上，以减少处理时间。这些15太字节的视频数据绝对可以被认为是大数据。

大数据结构类型

大数据分为三种结构类型：无结构数据、半结构数据和结构数据。

无结构数据是指没有明确定义的结构的数据，这意味着数据基本上只是一个大池。在这种情况下，无结构数据的例子将是一个充满未标记图像的数据库。

半结构数据是指没有正式结构的数据，但存在于一个松散的结构中。例如，电子邮件数据可以算作半结构数据，因为你可以引用个别电子邮件中的数据，但尚未建立正式的数据模式。

结构数据是指具有正式结构的数据，数据点根据不同的特征进行分类。结构数据的一个例子是包含联系人信息（如姓名、电子邮件、电话号码和网站）的Excel电子表格。

如果您想了解更多关于这些数据类型的区别，请查看此链接。

评估大数据的指标

大数据可以根据三个不同的指标进行分析：体积、速度和多样性。

体积是指数据的大小。平均而言，数据集的大小正在不断增加。例如，2006年最大的硬盘是750 GB硬盘。相比之下，Facebook每天会产生超过500太字节的数据，而今天可用的最大的消费者硬盘是16太字节硬盘。在一个时代中被认为是大数据的东西在另一个时代中可能不是大数据。由于周围的物体越来越多地配备了传感器、摄像头、麦克风和其他数据采集设备，因此今天会产生更多的数据。

速度是指数据移动的速度，或者说，在一定时间内生成了多少数据。社交媒体流每分钟会产生数十万条帖子和评论，而您的电子邮件收件箱可能会有更少的活动。处理数十万或数百万个事件的数据流通常是近实时处理的。这些数据流的例子包括在线游戏平台和高频股票交易算法。

多样性是指数据集中的不同数据类型。数据可以由多种格式组成，如音频、视频、文本、照片或序列号。一般来说，传统数据库是为处理一种或几种数据类型而设计的。换句话说，传统数据库是为存储同质且结构可预测的数据而设计的。随着应用程序变得更加多样化，具有更多功能，并被更多人使用，数据库不得不演变以存储更多类型的数据。无结构数据库非常适合存储大数据，因为它们可以存储不相关的多种数据类型。

处理大数据的方法

有许多不同的平台和工具被设计用来促进大数据的分析。需要分析大数据池以从数据中提取有意义的模式，这是一项可能对传统数据分析工具来说具有挑战性的任务。为了应对分析大量数据的需求，许多公司已经创建了大数据分析工具。这些大数据分析工具包括ZOHO Analytics、Cloudera和Microsoft BI等系统。