⼤数据概述
什么是⼤数据？
⼤数据（big data）是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。　------百度百科
⼀，⼤数据时代：
1）第⼀次信息化浪潮使计算机开始普及，第⼆次信息化浪潮⼈类全⾯进⼊互联⽹时代，第三次信息化浪潮解决了信息爆炸问题，⼤数据时代来。2）存储设备容量不断增加，cpu处理能⼒⼤幅度提升，⽹络带宽不断增加为⼤数据时代提供技术⽀持。
3）数据产⽣⽅式从1.运营式阶段>2.⽤户原创内容阶段>3.感知式阶段的变⾰促成了⼤数据时代的到来。
4）⼤数据发展阶段：
  1.萌芽阶段：20世纪90年代⾄21世纪初，随着数据挖掘理论和数据库技术的逐步成熟，⼀批商业智能⼯具和知识管理技术开始被应⽤，如数据仓库、专家系统、知识管理系统等
  2.成熟阶段：21世纪前10年，web2.0应⽤发展，⾮结构化数据⼤量产⽣，传统处理⽅法难以应对，带动了⼤数据技术的快速突破，⼤数据解决⽅案逐渐⾛向成熟，形成了并⾏计算与分布式系统两⼤核⼼技术，⾕歌的GFS和MapReduce等⼤数据技术受到追捧，Hadoop平台开始⼤⾏其道。
  3.⼤规模应⽤期：2010年以后，⼤数据应⽤渗透各⾏业，数据驱动决策，信息社会智能化程度⼤幅度提⾼
⼆，⼤数据概念：“4个V”
1）数据量⼤(volume)
2）数据类型繁多（variety）
3）处理速度快（velocity）
4）价值密度低（value）
三，⼤数据影响：
1）⼤数据对科学研究的影响：
1.实验科学>
2.理论科学>
3.计算科学>
4.数据密集型科学
2）⼤数据对思维⽅式的影响：
  1.全样⽽⾮抽样
  2.效率⽽⾮精确
  3.相关⽽⾮因果
3）⼤数据对社会发展的影响：
  1.⼤数据决策成为⼀种新的决策⽅式
  2.⼤数据应⽤促进信息技术与各⾏业的深度融合
  3.⼤数据开发推动新技术和新应⽤的不断涌现
四，⼤数据的应⽤：
  ⼤数据⽆处不在，包括⾦融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各⾏各业都已经融⼊了⼤数据的印记
五，⼤数据关键技术：
技术层
⾯
功能
数据采集与预处理利⽤ETL⼯具将分布的、异构数据源中的数据，如关系数据，平⾯数据⽂件等，抽取到临时中间层后进⾏清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利⽤⽇志采集⼯具（如Flume、kafka等）把实时采集的数据作为流计算系统的输⼊，进⾏实时处理分析　
大数据etl工具有哪些
数据存储和管理利⽤分布式⽂件系统、数据仓库、关系数据库、nosql数据库、云数据库等，实现对结构化、半结构化和⾮结构化和⾮结构化海量数据的存储和管理
数据处理与分利⽤分布式并⾏编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进⾏可视化呈现，帮助⼈们更好地理解数据、分析数据
析
数据安
全和隐
私保护
在从⼤数据中挖掘潜在的巨⼤商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个⼈隐私和数据安全六，⼤数据计算模式：
⼤数据计算
模式
解决问题代表产品
批处理计算针对⼤规模数据的批量处理MapReduce、Spark等
流计算针对流数据的实时计算Storm、S4、Flume、Streams、Puma、DStream、SuperMario、银河流数据处理平台等
图计算针对⼤规模图结构数据的处
理
Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算⼤规模数据的存储管理和查
询分析
Dremel、Hive、Cassandra、Impala等
七，⼤数据产业：
  ⼤数据产业是指⼀切与⽀撑⼤数据组织管理和价值发现相关的企业经济活动的集合。
  ⼤数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应⽤层。
⼋，⼤数据与云计算、物联⽹：
⼀）云计算：
1）云计算概念：云计算实现了通过⽹络提供可伸缩的、廉价的分布式计算能⼒，⽤户只需要在具备⽹络接⼊条件的地⽅，就可以随时随地地获得所需的各种IT资源
2）元计算的关键技术：虚拟化、分布式存储、分布式计算、多租户等。
3）云计算数据中⼼：是⼀整套复杂的设施，包括⼑⽚服务器、宽带⽹络连接、环境控制设备、监控设备⼀级耕种安全装置等。数据中⼼是云计算的重要载体，为云计算提供计算、存储、宽带等各种硬件资源，为各种平台和应⽤提供运⾏⽀撑环境。
4）云计算的应⽤：在电⼦政务、医疗、卫⽣、教育、企业等领域的应⽤不断深化，对提⾼政府服务⽔平促进产业转型升级和培育发展新兴产业等都起到了关键作⽤。
5）云计算产业：云计算产业为战略新兴产业，近些年来得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决⽅案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）终端设备、云安全、云计算交付/咨询/认证等。
⼆）物联⽹：
1）物联⽹概念：
  是物物相连的互联⽹，是互联⽹的延伸，它利⽤菊部⽹络或互联⽹等通信技术把传感器、控制器、机器、⼈员和物等通过新的⽅式连在⼀起，形成⼈与物、物与物相连，实现信息化和远程管理控制。
  从结构上，物联⽹可分为四层：感知层，⽹络层、处理层、应⽤层。
2）物联⽹关键技术：
  识别和感知技术、⽹络通信技术、数据挖掘与融合技术、
3）物联⽹的应⽤：
  已经⼴泛应⽤于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电⽹、智慧农业、智能⼯业等领域，对国民经济与社会发展起到了重要的推动作⽤。
4）物联⽹产业：
  完整的物联⽹产业链主要包括核⼼感应提供商、感知层末端设备提供商、⽹络提供商、软件与⾏业解
决⽅案、系统集成商、运营及服务提供商等环节。
三）⼤数据与云计算、物联⽹的关系：
1）⼤数据、云计算和物联⽹的区别：
  ⼤数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于⽣产和⽣活；
  云计算本质上旨在整合和优化各种IT资源，并通过⽹络以服务的⽅式廉价地提供给⽤户；
  物联⽹的发展⽬标是实现物物相连，应⽤创新是物联⽹发展的核⼼。
2）⼤数据、云计算与物联⽹的联系：
  整体上看，三者相辅相成；
  ⼤数据根植于云计算，⼤数据分析的很多技术都来⾃于云计算，云计算的分布式数据存储和管理系统提供了海量数据的存储和管理能⼒，分布式并⾏处理框架MapReduce提供了海量数据分析能⼒
  ⼤数据为云计算提供了“⽤武之地”，使云计算能发挥出价值
  物联⽹的传感器源源不断产⽣的⼤量数据，构成了⼤数据的重要数据来源，同时物联⽹需要借助于云计算和⼤数据技术，实现物联⽹⼤数据
的存储、分析和处理。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。