超详细!搭建本地⼤数据研发环境(16G内存+CDH)
⼯欲善其事必先利其器,在经过⼤量的理论学习以后,需要有⼀个本地的研发环境来进⾏练⼿。已经⼯作的可以不依赖于公司的环境,在家也可以随意的练习。⽽⾃学⼤数据的同学,也可以进⾏本地练习,⼤数据是⼀门偏实践的学科,在⼯作之前进⾏⼀些实践操作,也更利于对⼤数据知识的理解。
本⽂将从头开始详细的记录整个⼤数据环境的搭建过程,本⽂所使⽤的笔记本电脑内存为16G,将使⽤CDH6.3.2管理整个⼤数据集。
由于cloudera官⽹从2021年2⽉1⽇起全⾯移除的⾮订阅⽤户的下载链接,所以本⽂所有的安装包都已经备份,可以关注 ⼤数据流动 回复CDH16G 获取。
本⽂共四个部分,⼀定要保证每⼀个部分都安装成功以后再向下进⾏。
⾸先要安装好VMwareWorkstation软件,随后新建三台centos系统的虚拟机,在三台虚拟机中搭建CDH⼤数据管理⼯具,最后使⽤CDH 搭建⼤数据集。
⼀、安装VMwareWorkstation虚拟化软件
⾸先我们使⽤VMwareWorkstation来快速的进⾏虚拟机的新建。VMwareWorkstation是⼀款功能强⼤的桌⾯虚拟计算机软件,我们使⽤的版本为VMwareWorkstation 16.1.2。
1、打开安装程序,点击下⼀步。
linux安装jdk rpm安装2、选择接受条款,点击下⼀步。
3、修改安装路径,增强型虚拟键盘主要作⽤是提⾼安全性,这⾥不勾选。点击下⼀步。
4、将检查更新和体验提升都去掉,点击下⼀步。
5、快捷⽅式看⾃⼰的情况选择吧,点击下⼀步。
6、点击安装,开始进⾏虚拟机安装。
7、安装完成后点击 许可证 ⽤注册机⽣成的密钥进⾏产品激活。
8、点击完成,⼤功告成。VMwareWorkstation就成功安装并激活了。
这样,第⼀部分VMwareWorkstation软件已经搭建完成。
⼆、新建三台Centos虚拟机
⾸先准备Centos7的镜像⽂件,CentOS-7-x86_64-DVD-1908.iso。
请注意三台虚拟机的CPU初次设置为1核,内存设置为4G(这样虚拟机占⽤12G,留出⼀些空间),硬盘为20G,这些以后也是可以修改的。
新建虚拟机
1、打开VMwareWorkstation,选择新建虚拟机
2、选择⾃定义安装,点击下⼀步。
3、这⾥不⽤修改,是VMware的版本和⼀些限制说明,点击下⼀步。
4、这⾥先选择稍后安装操作系统,点击下⼀步。
5、选择系统为Linux,版本为Centos7 64位,点击下⼀步。
6、修改虚拟机名称,位置,点击下⼀步。
7、CPU默认为1核,点击下⼀步。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论