大数据分析平台Hadoop的构建与研究
作者：杨帆
来源：《电脑知识与技术》2019年第15thrift期
        摘要：这些年随着大数据时代的到来，企业的数据量在成倍的增长，互联网的普遍性和广泛应用赋予了大数据四大特征，分别为数据量大、数据类型多、处理速度极快以及价值密度低。而传统的单机模式在面对处理具有这些特性的大数据时显得力不从心，不仅存在着运算效率低下的问题，而且并不能很好的容纳不同类型的数据，扩展性较差。针对以上所述问题，采用云计算的技术建立大数据挖掘分析平台，对数据进行广泛的价值挖掘，从而提供科学的企业决策依据，是当今大数据平台构建的主要目的。本文将基于Hadoop对大数据平台构建的关键技术点进行分析，将会从数据的采集、框架计算、结果分析输出以及并行的数据算法等方面对技术的标准化进行调研和分析。
        关键词：大数据分析;Hadoop平台;关键技术;标准化
        中图分类号：TP393 ; ; ; ;文献标识码：A
        文章编号：1009-3044（2019）15-0028-03
        傳统数据的挖掘分析和处理方法在大数据时代遇到不可解决的障碍。目前已有的产业行业发展过程中，当大数据问世之后都对其产生了较大的依赖性，因此在这样的倒逼状态
下大数据分析行业也得到了快速的发展。在各项分析平台当中，Hadoop尤其受到各方面的关注，各大厂商都对该平台进行相对于自身的优化和定制化改造，这样的改造虽然能够为企业创造更大的价值，但是随之而来的还有数据接口标准以及分析数据服务标准的不统一等问题。这些困难也阻碍了目前数据分析技术的深入研究。因此，基于Hadoop平台的标准化工作在该产业发展遇难的过程中引来了专业领域人才们的关注。由于目前的大数据分析行业缺少在国际社会上普遍认可的标准，同时对于分析系统当中的接口以及细节没有产生统一定义，因此本文的主要目的就在于通过对各项数据的研究比对得出有关该行业中各项关键性技术标准化的可行方案，以便进行过标准化工作后的数据能够灵活地运用与各项需求中。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。