pythonspark环境配置
在配置Hadoop之前，应该先做以下配置
1.更改主机名
⾸先更改主机名，⽬的是为了⽅便管理。
输⼊:hostname
  查看本机的名称
  使⽤ hostname 修改当前主机名。
  hostname test1
  然后输⼊:vim /etc/sysconfig/network
scala python  修改主机名称
  将HOSTNAME 的名称更改为你想要设置的名称
注：主机名称更改之后，要重启(reboot)才会⽣效。
输⼊:vim /etc/hosts
添加主机IP 和对应的主机名称，做映射。
注：在配置⽂件中使⽤主机名的话，这个映射必须做！
2.关闭防⽕墙
查看状态
firewall-cmd --state
  关闭防⽕墙，⽅便外部访问。
  CentOS 7版本以下输⼊:
  #关闭防⽕墙
  service  iptables stop
  CentOS 7 以上的版本输⼊：
  systemctl  stop  firewalld.service
3.时间设置
  输⼊:date
  查看服务器时间是否⼀致，若不⼀致则更改
  更改时间命令
  date -s ‘MMDDhhmmYYYY.ss’
参考：
1.tar -    -C  ~/app
vi ~/.bash_profile
加上
source ~/.bash_profile
echo $JAVA_HOME  #检查
2.tar -    -C  ~/app
vi ~/.bash_profile
加上
source ~/.bash_profile
echo $SCALA_HOME  #检查
3.tar -zxvf hadoop-2.    -C  ~/app
vi ~/.bash_profile
加上
source ~/.bash_profile
echo $HADOOP_HOME #检查
cd /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim hadoop-env.sh
加上
l
将<configurarion></configuration>补充
fs.default.name  这是配置HDFS中节点的URL，在⽂件系统中，每⼀个节点都有⾃⼰的URL，通过URL才能在整个分布式系统中管理和查询到此节点。集⾥⾯的每⼀台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使⽤。独⽴的客户端程序通过这个URI跟DataNode交互，以取得⽂件的块列表。
kvm是主机名，9000是RPC通信端⼝
l
dfs.name.dir 是设置NameNode的数据存放的本地路径
dfs.data.dir 是设置DataNode的数据存放的本地路径
dfs.http.address是设置NameNode的tracker页⾯监听地址和端⼝
l.template  l
l
l
node1为主机名
cd /root/app/hadoop-2.6.0-cdh5.7.0/bin
./hadoop namenode -format
检查下这⾥⾯⾥有没有多了东西了
cd /root/app/hadoop-2.6.0-cdh5.7.0/sbin
./sbin/start-all.sh      或者./sbin/start-dfs.sh          # ./sbin/stop-all.sh(关闭集)
(如果在~/.bash_profile加上HADOOP_HOME/sbin，就可以去掉sbin/)
如下图说明启动成功
免密登录
  启动和停⽌ Hadoop 都会让你输⼊四次当前服务器的密码。因此我们需要配置免密码登录服务器。
  1.ssh-keygen -t rsa 
    ~/.ssh⽂件⾥会⽣成
  2.cd ~/.ssh
      cat id_rsa.pub>>authorized_keys
    就可以了，可以⽤ssh localhost测试下
4.tar -zxvf  apache-maven-3.3.  -C  ~/app
vim ~/.bash_profile
source ~./bash_profile
mkdir ~/app/maven_repository
cd /root/app/apache-maven-3.3.9/conf
l
这⼀步是修改 The path to the local repository maven will use to store artifacts
mvn
就成功了
5.安装python3.
6.5
下载pyton3.6.5 source release
配置python依赖环境
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4_devel libpcap-devel xz-devel    tar -zxvf Python-3.
cd  Python-3.6.5
./configure --prefix=/root/app/python3
make && make install
配置路径
6.安装spark
  #下载source code
  #tar -zxvf spark-2.
  #cd /home/software/spark-2.3.0/dev
  #./make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
  解压：
  tar -zxvf spark-2.3. -C app/
  配置到环境变量： export SPARK_HOME=/root/app/spark-2.3.0-bin-hadoop2.6                 
export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin
  测试：
  运⾏⼀个简单的spark程序
  spark-shell
Processing math: 0%

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。