大数据的定义与特征解析：从3V到新型处理方式

hwyzw

    1.1什么是大数据1.1.1大数据的定义和特征

    什么是大数据？目前有许多定义和理解该行业的方法。

    大数据的基本定义

    的分析师Doug Laney在2001年提出了第一个大数据的3V定义。 3V表示（大数据量表），（快速数据流和动态数据系统）和（各种数据类型）。 2012年，加德纳（）将此定义修改为“大数据是一个大型，高速和/或可变信息资产，需要新的处理方式，以使更强大的决策能力，见解和最佳处理。”

    大数据在其报告“大数据：for and as”中的定义是，大数据是指具有超出常规级别的大小的数据库。工具获取，存储，管理和分析功能的数据集合。但这也强调，这并不意味着必须将其值超过结核病的数据集必须视为大数据。

    大数据企业战略副总裁Shaun认为，过去的大多数信息都是手工编写的交易信息（），但现在是机器记录的交易信息；此外，人们与事物和企业之间也有交互式信息（），例如人们在互联网上点击网页和链接的记录；最后，观察信息会自动由机器（）自动生成和积累，例如由智能家居产品记录的室温更改数据等。因此，肖恩·康纳里（Sean ）将大数据定义为由交易信息，交互信息和观察结果组成的一种数据信息。

   

    著名的摄影师兼出版商里克·史莫兰（Rick ）在他的书《大数据的人类面孔：大数据》的书中定义了大数据：一个过程，可以帮助地球建立神经系统，在这种过程中，我们（人类）无非是之一传感器。

    大数据的5V功能

    为了充分理解大数据，除了各种定义外，我们还必须了解大数据的特征。在加德纳（）给出了大数据的3V特征之后，行业内部人士依次提出了更多基于此的“ vs”，例如（真实性），（可验证性），价值（数据是有价值的），（可视化）等等）等等。价值是最广泛认可的，这是IDC（国际数据公司）给出的大数据4V功能。大数据的功能描述中还包括（数据真实性），形成了5V功能。

    本书将分析来自五个方面的大数据的特征：数量（），多样性（），speed（），value（value）和真实性（）。

    数量（）：此功能描述了聚集在一起进行分析的大量数据。那么，大数据时代的数据量表有多大？让我们看一下一组计算数据。全球数据以每年40％的速度增长。截至2011年4月，国会图书馆是美国最大的数据存储，具有235TB（1TB =）的数据。 2010年，超过7EB（1EB = 10亿GB），相当于美国国会图书馆存储的数据的30,000倍；全球消费者在个人计算机上存储超过6EB的数据；在美国的17个主要行业类别中，有15个行业的数据存储能力比国会图书馆多。

    多样性（）：数据表是多种多样的，可以分类为结构化，半结构化和非结构化数据。与过去可以用数据或统一结构表示的结构化数据相比，有越来越多的半结构化和非结构化数据，包括网络日志，音频，视频，图片，地理位置信息等数据处理功能提出了更高的要求。

    speed（）：此功能描述了大数据的高速流及其动态数据系统，这表现为数据量的增长率。今天的数据量大约每20个月加倍。同时，系统必须能够快速处理此数据，并且及时性很高。例如，搜索引擎要求用户查询几分钟前的新闻，个性化的建议算法必须尽可能多地完成建议。这是将大数据分析与传统数据挖掘区分开的独特功能之一。

   

    价值：此功能包含两个含义。一方面，它是指大数据的低值密度。即使我们有很多数据，它只是很小的一部分，它真正可以使其价值产生。以监视视频为例，一个不间断的视频为1小时，关键视频数据可能只能持续1到2秒。另一方面，它是指隐藏在大数据后面的巨大价值。例如，美国社交网站有10亿用户。在网站分析这些用户信息之后，广告客户可以根据结果准确地放置广告。对于广告商而言，10亿用户的数据价值数十亿美元。

    真实性（）：采取措施确保其对虚拟网络环境中如此大量数据的真实性和客观性迫切需要大数据技术和业务的发展。同时，真正恢复事物的真实本质并通过大数据分析预测事物的发展法律也是大数据应用程序的未来发展趋势之一。

    大数据的交叉特征

    大数据是一个广泛的概念，上面的定义和功能都无法全面总结大数据的特征。因此，本书使用“大混乱有多快，多久了？称为“大数据交叉”功能。

    一个“大”：数据量很大，对应于4V描述中的“”。到目前为止，人类生产的所有印刷材料的数据量均为200pb（1pb =），而历史上所有人类使用的所有单词的数据量约为5EB（1EB =）。