大数据分析理论和技术（全文）
大数据分析理论和技术（全文）
胡经国
本文作者的话：
本全文由已在百度文库发表的本文3篇连载文档汇集而成。特此说明。
一、大数据分析基本方法
从所周知，对于大数据最重要的是现实大数据分析。只有通过数据分析，才能获取有价值的信息。越来越多的应用涉及到大数据，而且又都显示了大数据不断增长的复杂性。所以在大数据领域，大数据分析方法就显得尤为重要。可以说，大数据分析方法是确保数据分析最终信息或结果是否具有价值的决定性因素。那么，大数据分析方法有哪些呢？下面简要介绍大数据分析的五个基本方法。
1、数据挖掘算法
大数据分析的理论核心就是数据挖掘算法（Data Mining Algorithms）。各种数据挖掘的算法基于不同的数据类型和格式，才能更加科学地呈现出数据本身具备的特点。也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能够深入数据内部，挖掘出公认的价值。另外一个方面，也正是因为有这些数据挖掘的算法才能更快速地处理大数据。如果一个算法要花上好几年才能得出结论，那么大数据的价值也就无从说起了。
数据可视化是给人看的，而数据挖掘则是给机器看的。集、分割、孤立点分析，还有其他的算法，让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
2、预测性分析
大数据分析最重要的应用领域之一就是预测性分析（Predictive Analytic ）。从大数据中挖掘出特点，通过科学地建立模型，之后通过模型带入新的数据，从而预测未来的数据。
数据挖掘可以让分析员更好地理解数据；而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。因此，具备预测性分析能力（Predictive Analytic Capabilities）对于预测性分析十分重要。
3、数据质量和数据管理
大数据分析离不开数据质量和数据管理（Data Quality and Master Data Management）。高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
通过标准化的流程和工具对数据进行处理，可以保证一个预先定义好的高质量的分析结果。
4、可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户。但是，他们二者对于大数据分析最基本的要求就是可视化分析（Analytic Visualizations）。因为，可视化分析能够直观地呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
不管是对数据分析专家还是普通用户，数据可视化是数据分析最基本的要求。可视化可以直观的展示数据，让数据自己“说话”，让观众“听到结果”。
5、语义引擎
大数据分析广泛应用于网络数据挖掘。可从用户的搜索关键词、标签关键词、或其它输入语义，分析、判断用户需求，从而实现更好的用户体验和广告匹配。
非结构化数据的多样性带来了数据分析的新的挑战。我们需要一系列的工具去解析、提取、分析数据。语义引擎（Semantic Engines）需要被设计成能够从“文档”中智能提取信息。
以上是大数据分析的的五个基本方法或五个基本方面。当然，若要更加深入地进行大数据分析的话，则还需要利用很多更加有特点、更加深入、更加专业的大数据分析方法。
二、大数据分析的六个最好工具
大数据分析是在研究大量数据的过程中寻模式、相关性和其他有用信息的大数据技术。它可以帮助企业更好地适应变化，并做出更加明智的决策。下面简要介绍大数据分析的六个最好工具。
1、Hadoop（数据分布式处理软件框架）
⑴、Hadoop概述
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。而且，Hadoop 是以一种可靠、高效、可伸缩的方式进行数据分布式处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护了多个工作数据副本，能够确保对Hadoop失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，因为它能够处理PB 级（千万亿字节）数据。此外，由于Hadoop 依赖于社区服务器，因而它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
⑵、Hadoop的主要优点
Hadoop主要有以下几个优点：
①、高可靠性
Hadoop按位存储和处理数据的能力值得人们信赖。
②、高扩展性
Hadoop是在可用的计算机集之间分配数据并完成计算任务的。这些集可以方便地扩展到数以千计的节点中。大数据etl工具有哪些
③、高效性
由于Hadoop能够在节点之间动态地移动数据，并且保证各个节点的动态平衡，因而处理速度非常快。
④、高容错性
Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
此外，Hadoop带有用Java语言编写的框架，因此运行在Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如C++。
2、HPCC（高性能计算与通信）
⑴、HPCC概述
HPCC（High Performance Computing and Communications）是“高性能计算与通信”的英文缩写。它是于1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为“HPCC计划”的报告，属于美国总统科学战略项目。其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而制定的计划。该计划的实施将耗资百亿美元。其主要目标是要达到：开发可扩展的计算系统及相关软件，以支持太字节（TB）级网络传输性能，开发千兆比特网络技术，扩展科研和教育机构与网络的连接能力。
⑵、HPCC项目主要组成
HPCC项目主要由以下五部分组成：
①、高性能计算机系统（HPCS）
其内容有：今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等。
②、先进软件技术与算法（ASTA）
其内容有：巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等。
③、国家科研与教育网格（NREN）
其内容有：中接站及10亿位级传输的研究与开发。
④、基本研究与人类资源（BRHR）
其内容有：基础研究、培训、教育及课程教材，通过奖励调查者（在可升级的高性能计算中开始的、长期的调查）来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练和训练有素的人员的联营，提供必需的基础架构来支持这些调查和研究活动。
⑤、信息基础结构技术和应用（IITA）
其目的在于保证美国在先进信息技术开发方面的领先地位。
3、Storm（开源实时计算系统）
⑴、Storm概述
Storm是一个自由（免费）开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠地处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来。
⑵、Storm的应用领域及优点
Storm有许多应用领域，包括实时分析、在线机器学习、不停顿的计算、分布式RPC（远程调用协议，是一种通过网络从远程计算机程序上请求服务的协议）、ETL（Extraction-Transformation-Loading，数据的抽取、转换和加载）等等。Storm的处理速度惊人；经测试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展和容错的，并且很容易设置和操作。
4、Apache Drill（Apache开源项目）
为了帮助企业用户寻更加有效地加快Hadoop数据查询的方法，Apache 软件基金会推出了一项名为“Drill”的开源项目。通过开发Apache Drill，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。Apache
Drill 实现了Google's Dremel（谷歌的交互式数据分析系统），可以组建规模上千的集，处理PB级数据。据介绍，Drill已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。