大数据
大数据的概念
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。
网络上每一笔搜索，网站上每一笔交易、每一笔输入都是数据，通过计算机做筛选、整理、分析，所得出的结果可不仅仅只得到简单、客观的结论，更能用于帮助企业经营决策，搜集起来的数据还可以被规划，引导开发更大的消费力量。
大数据与传统数据的区别？
银行做数据业务做了十多年，那么大数据和传统数据的仓库有哪些差异？实际上就是体和个体的差异。互联网数据完全瞄向个体，数据结构也是精准于个体，而传统的数据面向经营指标、面向体。
宏观意义上来看，假如小明去了一百次书店，以前要回答的问题是他第一百零一次买不买书，即业绩和经营指标的问题；而现在，互联网关心的是什么？最关心的是他第一百零一次买什么书，需要将什么样的内容推荐给他。这不是一个概率问题，而是一个模糊的程度问题。
要量化这个程度，我们一定要基于个体，而不是基于体的共性描述。传统定义上，更多关注的是一类人，用同一类规则制订套餐给他们；而在互联网时代，要把每个人都精准刻画出来，进行精准匹配。有电商说他们要做到一百万用户要有一百万个商店，特别是在移动的小屏幕上，三次点击以后就会损失一个客户。所以差异化绝对不可能是对体共性的描述，而完全是对个体差异的刻画。
关于大数据的深度分析，很重要内容就是个性化的信息推荐。个性化的信息推荐不仅仅是基于用户的相似性这么简单的东西，还有大量比较深入的复杂模型。比如说，就用户看资讯而言，我们怎么样去判断一个用户点开一条八卦资讯后，是继续深挖八卦到死，还是转而浏览另外一个新闻。同样，有的用户登陆淘宝只是逛逛而已，有些用户则是很明确地想要买一些东西，这就需要对用户的意图进
行预测，这里面涉及到一些比较难的机器学习技术。
我们现在生活的是信息化的世界，未来会走向个性化。在这一点上有一个例子，耐克制作了一款鞋子，在这个鞋子里装上了传感器，然后穿上这个鞋子的人，你一天大概走多少路，而且你走路的状态比如着力点等相关情况的数据都会通过传感器传到耐克公司，耐克公司就会根据这些数据来给你量身定做鞋子。这样，未来的销售模式将会是个性化的。
大数据的典型特征（3V）
“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以管理”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。
大数据的特征，可以用三个V开头的关键词来描述。
（1）Volume（容量）
看到大数据这个词，大多数人的第一印象恐怕就是Volume，也就是数据量吧。从刚才我们讲到的大数据的定义来看，也就是指用现有技术无法管理的数据量，从现状来看，基本上是指从几十TB到几PB这样的数量级。当然，随着技术的进步，这个数值也会不断变化。例如，在5年以后，也许只有几EB数量级的数据量才能够称得上是大数据了。
截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。
（2）Variety（多样性）
除了传统的销售、库存等数据，现在企业所采集和分析的数据还包括像网站日志数据、呼叫中心通话记
录、Twitter和Facebook等社交媒体中的文本数据、智能手机中内置的GPS（全球定位系统）所产生的位置信息、时刻生成的传感器数据，甚至还有图片和视频，数据的种类和几年前相比已经有了大幅度的增加。
其中，近年来爆发式增长的一些数据，如互联网上的文本数据、位置信息、传感器数据、视频等，用企业中主流的关系型数据库是很难存储的，它们都属于非结构化数据。当然，在这些种类的数据中，也有一些是过去就一直存在并保存下来的。
然而，和过去不同的是，这些大数据并非只是存储起来就够了，还需要对其进行分析，并从中获得有用的信息。以美国企业为代表的众多企业正在致力于这方面的研究。
监控摄像机的视频数据正是其中之一。近年来，超市、便利店等零售企业几乎都配备了监控摄像机，目的是为了防止盗窃和帮助抓捕盗窃嫌犯，但最近也出现了使用监控摄像机的视频数据来分析顾客购买行为的案例。
例如，美国大型折扣店Family Dollar Stores，以及高级文具制造商万宝龙（Montblanc），都开始尝试利用监控摄像头对顾客在店内的行为进行分析。以万宝龙为例，它们过去都是凭经验和直觉来决定商品陈列的布局，但通过分析监控摄像机的数据，将最想卖出去的商品移动到最容易吸引顾客目光的位置，使得销售额提高了20%。
此外，美国移动运营商T-Mobile也在其全美1000家店中安装了带视频分析功能的监控摄像机，可以统计来店人数，还可以追踪顾客在店内的行动路线、在展台前停留的时间，甚至是试用了哪一款手机、试用了多长时间等，对顾客在店内的购买行为进行分析。
（3）Velocity（速度）
数据产生和更新的频率，也是衡量大数据的一个重要特征。例如，整个日本的便利店在24小时内产生的POS（Point Of Sales）数据，电商网站中由用户访问所产生的网站点击流数据，高峰时高达每秒7000条的Twitter推文，日本全国公路上安装的交通堵塞探测传感器和路面状况传感器（可检测结冰、积雪等路面状态）等，每天都在产生着庞大的数据。
广义的大数据
生活中数据库系统的实际例子刚才我们讲解了大数据的定义，即"用现有的一般技术难以管理的大量数据的集合"，并且用三个V对大数据的特征进行了描述。但是，仅凭这个定义还无法解释当前大数据的火爆局面，因为这个定义的着眼点仅仅在于数据的性质上。
这个定义我们把它视为狭义上的定义，而我们需要在广义层面上为大数据下一个定义：
这个狭义的定义所说的具备3V特征的数据就相当于是宾语，那么我们还需要主语和谓语。谓语就是“存
储、分析、处理”这些数据，（而用什么方法来进行分析处理，是机器学习还是统计分析或者其它什么，这些可以看做是方式状语），主语那就是谁，谁来处理这些数据。这个谁就是指的“数据科学家”目前在欧美是十分紧俏的，他们通过分析这些数据获得实用意义和观点
这就是大数据的广义定义，它是一个综合性的概念。
大数据应用案例
穿孔卡片与美国人口普查
美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。而法律规定必须在十年内完成，即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。
后来，美国人口普查局就和当时的美国发明家赫尔曼-霍尔瑞斯（HermanHollerith）签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。
经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查。这简直就是一个奇迹，当时在这个项目上霍尔瑞斯并没赚多少钱，后来他成立了一个公司，向其他国家卖他的产品，老了以后他把公司卖给
了他的一个主管，成了成立IBM
的三家公司之一。
但是，将穿孔卡片作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这还是非常麻烦的。70万家企业联网“直报”统计数据
我们知道国家统计局每年都要编写的《中国统计年鉴》。
和美国一样，以前我们国家统计数据，是层层上报，人工统计，比如，国家进行人口普查，是县级——市级——省级——国家这样层层上报人口数据，这样得到的数据往往滞后，很不准确。
从2012年2月18日开始，全国70万家"三上"企业和房地产开发经营企业在统一的数据采集和处理平台上，通过互联网直接向国家数据中心或国家认定的省级数据中心报送统计数据。这样就保证了数据的准确性，及时性。
2013年11月19日下午，阿里巴巴、百度、中国联通等11家涉足大数据的领军企业代表与国家统计局签署关于大数据的战略合作协议，共同探讨和推进大数据在政府统计中的应用。
战略合作内容，主要是共同研究探讨建立大数据应用的统计标准，包括指标定义、口径、范围、分类等；
确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤，包括数据采集、处理、分析、挖掘、发布等。在此基础上，合作双方将建立战略合作关系。
政府统计部门收集的数据来源更广更多，有各个部门的行政记录，有电商企业的数据，有包括搜索记录、社交记录和媒体等互联网数据。
电子政务：通过政府信息化，大数据能够提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力，节约决策的成本。以财政部门为例，基于云计算、大数据技术，财政部门可以按需掌握各个部门的数据，并对数据进行分析，做出的决策可以更准确、更高效。另外，也可以依据数据推动财政创新，使财政工作更有效率、更加开放、更加透明。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。