大数据时代:从流程核心到数据核心的计算模式转变与云计算的融合
1. 数据的核心原理从“流程”核心转向“数据”核心
大数据时代,计算模式也发生了变化,从“流程”核心转向“数据”核心。系统的分布式计算框架已经是一个以“数据”为核心的范式。非结构化数据和分析需求将改变IT系统的升级方式:从简单的增量到架构的改变。大数据下的新思维——计算模型的变革。
例如:IBM将采用以数据为中心的设计,目的是减少超级计算机之间交换大量数据的需要。大数据下,云计算找到了破茧而出的机会,在存储和计算上都体现了以数据为核心的理念。大数据与云计算的关系:云计算为大数据提供了强大的工具和方法,大数据为云计算提供了有价值的场所。大数据比云计算更实用,能够有效利用已经大量建设的云计算资源并最终加以利用。
科学进步越来越多地由数据驱动。海量数据给数据分析带来了机遇,也带来了新的挑战。大数据往往是通过多种技术和方法综合多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战,我们需要新的统计思路和计算方法。
2、数据价值原理
https://img1.baidu.com/it/u=3107791227,3614689911&fm=253&fmt=JPEG&app=138&f=PNG?w=607&h=335
从函数即值转向数据即值
大数据真正有趣的地方在于数据变得在线,这正是互联网的特点。对于非互联网时代的产品来说,功能一定是它的价值。对于今天的互联网产品来说,数据一定是它的价值。
例如:大数据的真正价值在于创造和填补无数尚未实现的空白。有些人将数据与含有能源的煤矿进行比较。煤按性质分为焦煤、无烟煤、肥煤、贫煤。露天煤矿和深山煤矿的开采成本不同。同样,大数据不在于“大”,而在于“有用”。价值内容和挖矿成本比数量更重要。无论大数据的核心价值是否是预测,基于大数据的决策模型都为许多企业带来了利润和声誉。
3、全样本原则
https://img2.baidu.com/it/u=1787341269,3107428850&fm=253&fmt=JPEG&app=138&f=JPEG?w=517&h=500
从采样转变为需要完整的数据样本
需要所有数据样本而不是抽样。你不知道的比你知道的更重要,但如果现在有足够的数据,它会让人们看到并感受到其中的模式。数据如此之大、如此丰富,让人们感觉自己有足够的能力来把握未来,并对不确定的状态做出判断,从而做出自己的决定。这些东西对我们来说听起来很原始,但实际上它们背后的思维和我们今天谈论的大数据非常相似。
例如:在大数据时代,商家和信息收集者都比我们自己更知道你可能想做什么。目前的数据还没有被真正挖掘。如果被开采,可以通过信用卡消费记录成功预测未来五年的情况。统计学中最基本的概念之一是只能通过所有样本才能找到模式。为什么我们可以找到行为模式?更深层次的概念是人是一样的。如果一个人是例外,他可能很有个性,但是当人群样本足够大时,你会发现每个人都是一模一样的。的。
页:
[1]