通过虚拟化技术在Linux系统下搭建Hadoop集的研究与实现
作者：黄楠
来源：《电脑知识与技术》2016年第25期
        摘要：本文从节约成本和简化搭建过程出发，介绍了通过VMware Workstation和CentOS 6.5在单机环境下，搭建分布式Hadoop集的方法，并给出了详细的搭建步骤，最后对搭建好的平台进行了测试，测试结果表明建立在虚拟机上的Hadoop集已经可以正常运行，可在上面进行实验和应用开发。
        关键词：Hadoop；VMware；虚拟化
        中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）25-0175-06
        1 概述
        目前，大数据已经成为研究的热点，大数据的解决方案种类繁多，其中Hadoop作为 Apache基金会的一个开源项目，已经积累了大量用户，在业界也得到了广泛的认可，一些知名企业如百度、阿里巴巴、 谷歌、腾讯和facebook等，纷纷将 Hadoop应用于商业领域。传统
的Hadoop集是基于物理节点搭建的，虽然理论上组建一个 Hadoop集不需要昂贵的高性能计算机，仅需一些廉价的计算机即可[1，2]，但如采用传统技术搭建Hadoop集，就不得不面对一些问题：①构建集需要大量的物理设备以及足够的实验场地②物理机的性能得不到充分利用；③基于物理机的Hadoop集组建后，如需增加节点，就要增加新的物理机，需要更大的场地，而且集线器、交换机等物理设备也要相应增加，布置起来比较错综复杂。面对这些问题，如何在？本文对这个问题进行探讨，介绍一下在单机环境中，使用VMware Workstation 10和CentOS 6.5搭建Hadoop分布式集并进行简单的测试。
        2 Hadoop简介
hadoop分布式集搭建        Hadoop是一种分析和处理大数据的软件平台，是Apache的一个用Java语言所实现的开源软件框架，在大量计算机组成的集当中实现了对海量数据进行分布式计算。Hadoop的框架最核心的设计就是：HDFS和MapReduce，HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。大数据在Hadoop处理的流程可以参照图1来进行理解：数据是通过Hadoop的集处理后得到的结果。[3]

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。