大数据起源于自然杂志，其4V特征包括价值高、体量大等

hwyzw

    1。起源

    起源于2008年9月，《美国自然》杂志提出了“大数据”的概念

    2011年2月1日，通过社会调查，《美国科学》杂志首次分析了大数据对人们生活的影响

    2011年5月，麦肯锡研究所分发了报告。大数据是指超过常规数据库工具采集，存储，管理和分析功能的数据集。

    特征

    4V功能（值，，）

    价值：高价值。

    ：大容量。 （每年八月的数据加倍，每年产生的数据量增加到44万亿英镑）

    ：快速。 （数据生成，存储，分析，处理远远超过了人们的想象力）

    ：有很多类型。

    大数据来源

    由主题

    （1）企业（关系数据库，数据仓库）

    （2）人（浏览信息，聊天，电子商务...）

    （3）机器（服务器生成日志，视频监视数据）

    行业数据源

    （1）三家主要公司代表

    （2）电信，金融，保险，电源，石化系统

    （3）公共安全，医疗，运输领域

    （4）气象，地理，政府事务和其他领域

    （5）制造业和其他行业

    3。以数据存储的形式进行划分

    （1）结构

    （2）非结构化

    二。大数据技术支持

    大数据使用方案

   

    环境，教育，医疗保健，农业，智慧城市，零售，金融行业。

    大数据处理方法的数据收集

    数据获取，数据导入，IoT设备会自动捕获

    预处理

    数据清除，数据集成，数据转换，数据调节。

    转换：过度聚合，数据前缀，标准化等。将数据转换为适合数据挖掘的形式。

    周期：找到取决于发现目标，减少数据规模并最大化数据量的数据的有用特征。

    统计和分析

    统计和分析主要使用分布式数据库或分布式计算簇通常分析和分类存储在其中的大量数据以满足最常见的分析需求。在这些领域，不同的框架，不同的框架和方法。

    ：大数据的核心，主要组件包括：（处理）和HDFS（存储）和纱线（集群资源管理和调度）；

    HBase：常见数据库； Spark：真实 - 时间数据处理框架； SQOOP：数据导入和导出；水槽：日志收集工具

    Hive：数据仓库，必须有SQL基础，您可以进行离线数据分析，将复杂的代码转换为简单的SQL语句。

    而且可以处理的数据更丰富，并且还有更多的停靠工具。这是整个大数据学习中非常重要的一部分。

    Scala语言主要用于开发Spark代码，调用Spark相关的API方法，以及Spark SQL和Spark的开发。它主要连接KAFKA以供数据消耗，然后处理流数据。结果，它可以存储在本地数据库或大数据平台下。

    在大数据的统计和分析过程中，主要挑战是所涉及的数据数量太大，其系统资源，尤其是I/O，将具有很大的职业。

    数据挖掘

    大数据的起源是什么？

    它是一组开源软件平台。

    计算机群集可用于根据用户的自定义业务逻辑分发大量数据。

    我们通常说的是指更广泛的概念生态系统。

    生态系统

    3。技术简介

   

    （1）：这是一个基于网络的工具，可支持集群的供应，管理和监视。

    大多数组件都得到了支持，包括HDF，Hive，Pig，Hbase，Sqoop。

    （2）HDFS：分布式文件系统（文件），称为HDFS。

    HDFS具有高耐受性的特征，旨在在低成本硬件上部署；它提供了高吞吐量（高）以访问应用程序数据，适用于这些大数据集（大数据集）应用程序。

    HDFS放松了（放松）POSIX的要求，该要求可以以流的形式访问（）文件系统中的数据。大数据技术的第一个要求是首先保存数据。 HDFS（）的设计是存储大量可以在数千台机器上存储的数据，但是对于用户来说，它是文件系统而不是许多文件系统。例如，如果要获取/HDFS/TMP/AAA的数据，尽管您使用的是路径，则发现文件的数据可能存储在许多不同的计算机上。作为用户，您不需要知道数据存储的位置，就像您不在乎磁盘扇区上的单个计算机上的文件一样。这些数据由HDFS存储。

    --------------------------------

    II容错性是指最大程度地减少系统中某些因素或选择不稳定系统选择系统的可能性。 POSIX代表移植操作系统接口（unix（缩写为posix））

    Yarn：Yarn（但是，另一个资源协调员）是一位新的资源经理。它是一个通用资源管理系统，为上层应用程序提供统一的资源管理和派遣。统一的管理和数据共享带来了巨大的好处。

    ：分布式离线计算

    Hive：使用了一段时间后，程序员发现的程序太麻烦了，无法编写。我希望封装一种完成程序的简单方法，以便有猪和蜂巢。

    猪被描述为类似于脚本，而Hive是SQL。他们将自动将脚本或SQL转换为程序，然后将其扔到计算引擎以计算和处理它。有了Hive，人们发现SQL的优势太大了。一个很容易编写。一或两条线的SQL可能是数十行。即使非计算机背景用户可以快速学习，第二个很容易开始。第三个很容易编写和更改。您可以一目了然地了解且易于维护。因此，自Hive出现以来，它已发展成为大数据仓库的核心技术。使用Hive一段时间后，后代发现Hive的运行太慢。因此，有针对SQL，Drill等人优化的技术。这些技术牺牲了系统的通用性和稳定性，以提高SQL的效率，并最终不流行。

    SQOP：SQOOP（SKUP）是一种开源工具，主要用于（Hive）和传统数据库之间的数据传输（MySQL，...）。在数据中引入的HDF中，HDFS数据也可以引入关系数据库。

    Storm：如果您想更快地计算速度，例如视频网站的热门列表，则需要在一分钟内延迟更新，并且上述任何手段都无法胜任。因此开发了（流）计算模型。风暴是最受欢迎的流计算平台。流程处理的想法是在数据进入系统时进行处理，并且基本上没有延迟。缺点是它不是灵活的。它必须提前直到需要统计数据的数据为止。因此，这是一件好事，但是仍然不可能替换上述系统。

    HBASE：这是一个分布式存储系统，可构建分布式和列。 KV对中的存储数据和访问操作的优化可以根据密钥快速获取绑定数据。例如，从几个P数据中找到ID号只需要几秒钟。

    此外，还有一些需要自定义的组件。例如，这是机器学习和推荐引擎。 Nutch是一种搜索引擎，一种集群管理工具，SQOOP是数据库之间的介绍和导出工具。

    ____

    i要容忍是指可以减少系统中某些因素或选择对系统不稳定的概率。 POSIX代表移植操作系统接口（unix（缩写为posix））