Hadoop伪分布式实验报告
一、实验目的
本实验旨在通过搭建Hadoop伪分布式集裙环境，对Hadoop的基本概念、安装配置、运行机制以及数据处理能力进行实际操作，进一步加深对Hadoop分布式存储和计算框架的理解，为后续的大数据处理和分析工作打下基础。
二、实验环境
1.操作系统：Ubuntu 18.04 LTS
2.Java版本：OpenJDK 8
3.Hadoop版本：3.2.1
三、实验内容
1.安装配置Hadoop
我们需要在Ubuntu操作系统上安装Java环境和Hadoop软件，并进行相应的配置。
1）安装Java环境
$ sudo apt update
$ sudo apt install openjdk-8-jdk
2）下载Hadoop软件包
$ wget
$ tar -xvzf hadoop-3.2.
$ sudo mv hadoop-3.2.1 /usr/local/hadoop
3）配置Hadoop环境变量hadoop安装与使用实验报告
$ sudo vi ~/.bashrc
在文件末尾添加以下内容：
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存文件后执行以下命令使配置生效：
$ source ~/.bashrc
2.配置Hadoop环境
进入Hadoop安装目录，修改l、l和l等配置文件，配置HDFS存储路径、副本数、日志路径等参数。
l配置示例：
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
l配置示例：
<configuration>
    <property>
        <name&plication</name>
        <value>1</value>
    </property>
</configuration>
l配置示例：
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
3.启动Hadoop集裙
在Hadoop安装目录下执行以下命令启动Hadoop集裙：
$ hdfs namenode -format
$ start-dfs.sh
$ start-yarn.sh
4.测试Hadoop集裙
通过Web浏览器访问查看Hadoop集裙状态，检查各个组件的运行情况。
在终端执行以下命令进行简单的文件操作测试：
$ hdfs dfs -mkdir /test
$ hdfs dfs -put /input_data /test
$ hdfs dfs -ls /test
四、实验结果与分析
经过上述步骤的操作，我们成功搭建了Hadoop伪分布式集裙环境，实现了HDFS的基本文件操作。通过观察Web界面和终端输出，可以验证集裙的各个组件均已正常运行。
在实际操作中，Hadoop的分布式存储和计算能力得到了有效地利用，对大数据处理和分析
起到了重要的支撑作用。Hadoop伪分布式集裙的搭建也为后续的实验和应用开发提供了良好的基础环境。
五、实验总结
通过本次实验，我们深入了解了Hadoop分布式存储和计算框架的基本原理和运行机制，掌握了Hadoop伪分布式集裙的搭建和配置方法，为今后的大数据应用开发和运维工作积累了宝贵的经验和技能。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。