AmbariHDP集搭建全攻略
世界上最快的捷径，就是脚踏实地，本⽂已收录【】关注这个喜欢分享的地⽅。
最近因为⼯作上需要重新⽤Ambari搭了⼀套Hadoop集，就把搭建的过程记录了下来，也希望给有同样需求的⼩伙伴们⼀个参考，
作者：图头数据
Ambari Ubuntu14.04 最新版本 2.2.1
HDP Ubuntu14.04 最新版本 2.4.3.0
Ambari是什么
Apache Ambari是⼀种基于Web的⼯具，⽀持Apache Hadoop集的供应、管理和监控。
Ambari已⽀持⼤多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Apache Ambari ⽀持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中
管理。也是5个顶级hadoop管理⼯具之⼀。（就是⼀个开源的hadoop⼀键式安装服务）
我们能⽤他⼲什么？我们为什么要⽤它呢？
我们可以使⽤ambari快速的搭建和管理hadoop和经常使⽤的服务组件。
⽐如hdfs、yarn、hive、hbase、oozie、sqoop、flume、zookeeper、kafka等等。（说⽩了就是可以偷好多懒）
再说说我们为什么要⽤它
第⼀是ambari还算是⼀个早期的Hadoop管理集⼯具
第⼆主要是现在Hadoop官⽹也在推荐使⽤Ambari。
通过⼀步⼀步的安装向导简化了集供应。
预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项⽬（如HBase、Hive和HCatalog）是否健康。
⽀持作业与任务执⾏的可视化与分析，能够更好地查看依赖和性能。
通过⼀个完整的RESTful API把监控信息暴露出来，集成了现有的运维⼯具。
⽤户界⾯⾮常直观，⽤户可以轻松有效地查看信息并控制集。
Ambari使⽤收集度量指标，⽤⽀持系统报警，当需要引起管理员的关注时（⽐如，节点停机或磁盘剩余空间不⾜等问题），系统将向其发送邮件。
此外，Ambari能够安装安全的（基于Kerberos）Hadoop集，以此实现了对Hadoop 安全的⽀持，提供了基于⾓⾊的⽤户认证、授权和审计功能，并为⽤户管理集成了LDAP和Active Directory。
集搭建
1、让我们先做⼀些安装前的准备⼯作
## 先告诉服务器们他们都是谁，⼩名都叫啥（修改配置hosts⽂件）
vim /etc/hosts
10.1.10.1 master
10.1.10.2 slave1
10.1.10.3 slave2
## 然后让我们拿着门禁卡⾃由的出⼊他们家哔咔进站（配置免密登录）
ssh-keygen -t rsa ##在所有的机器上执⾏
cat ~/.ssh/id_rsa.pub ## 查看公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ## 将公钥写⼊authorized_keys⽂件中
### ⾸先把所有的公钥都写⼊master服务器
### 其次把master的公钥别写⼊slave1,slave2
### 最后使⽤scp命令把⼝令告诉别⼈（我不会告诉你我的⼝令是“⽼狼⽼狼⼏点了”）
scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys
##更新时区和系统本地化的配置
apt-get install localepurge ## ⼀顿enter不要管（卸载那些不被使⽤的local翻译⽂档）
dpkg-reconfigure localepurge && locale-gen zh_CN.UTF-8 en_US.UTF-8 ## ⼀顿enter不要管
apt-get update && apt-get install -y tzdata
echo "Asia/Shanghai" > /etc/timezone  ## 修改时区为上海
rm /etc/localtime
dpkg-reconfigure -f noninteractive tzdata
vi  /f
server 10.1.10.1
2、然后在做⼀些Ubuntu系统的优化
###1.1 关闭交换分区
swapoff -a
vim /etc/fstab ## 删除注释swap那⼀⾏类似下⾯
# swap was on /dev/sda2 during installation
#UUID=8aba5009-d557-4a4a-8fd6-8e6e8c687714 none swap  sw  0  0
### 1.2 修改⽂件描述符打开数在最后添加 ulimit
vi /etc/profile
ulimit -SHn 512000
vim /etc/f ## 调整⼤⼩都增⼤10倍
* soft nofile 600000
* hard nofile 655350
* soft nproc 600000
* hard nproc 655350
### 1.2 使⽤命令是修改⽣效
source /etc/profile
###1.3 修改内核配置
vi /f
### 贴上去就⾏
fs.file-max = 65535000
vm.swappiness = 0
p_rmem = 4096 87380 16777216
p_wmem = 4096 16384 16777216
p_max_syn_backlog = 8192
p_syncookies = 1
p_tw_reuse = 1
p_tw_recycle = 1
net.ipv4.ip_local_port_range = 1024 65000
f.all.disable_ipv6=1
f.default.disable_ipv6=1
f.lo.disable_ipv6=1
### 执⾏命令让配置⽣效
sysctl -p
###1.4 配置内核关闭THP功能
echo never > /sys/kernel/mm/transparent_hugepage/enabled
##永久关闭。
vi /etc/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
3、安装部署ambari-server (环境：Ubuntu 14.04 + Ambari 2.2.1)
## 更新下载源
wget -O /etc/apt/sources.list.d/ambari.list public-repo-1.hortonworks/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list apt-key adv --recv-keys --keyserver keyserver.ubuntu B9733A7A07513CAD
apt-get update
## 在master节点安装ambari-server
apt-get install ambari-server -y
## 在所有节点安装 ambari-agent
apt-get install ambari-agent -y
4、修改ambari-agent配置指向ambari-server
vi /etc/ambari-agent/conf/ambari-agent.ini
## 修改hostname
[server]
hostname=master
url_port=8440
secured_url_port=8441
## 初始化ambari-server配置ambari 服务 Database, JDK(默认1.7), LDAP ⼀般选默认
ambari-server setup  ## 狂点enter
## 启动ambariubuntu vim命令
ambari-server start
ambari-agent start
5、经过头痛的Shell命令，开始连点⼈间的东西了。
6、给集起⼀个名字
7、这个⾥要注意⼀点确定你的hdp版本不然后⾯会有⿇烦
**8、我在这⾥⾯配置的是HDP2.4.3 **
点击next 会检查数据源是否正常，如果这⾥报错可以点击 "Skip Repository Base URL validation (Advanced) " 进⾏跳过检查
9、填⼊hostname master slave1 slave2 因为在slave安装ambari-agent 所以直接选择不使⽤ssh
10、检查服务器状态--这⾥需要等待⼀下如果等待时间过长可以重启ambari-server
11、选择我们需要的服务 HDFS YARN ZK

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。