Cygwin的安装
1.先在cygwin/install.html上下载安装文件
打开后双击安装。如下图：
2. 直接点击下一步后如下图：
图中有三个选项，意思一看就懂啊。这里直选择下一步
3.直接点击下一步后如下图:
这里是要选择安装路径，设置在哪里都可以。没有特殊要求。
4. 设置好路径后下一步进入下图：
这是设置Cygwin安装文件的目录。先安装的exe只是个引导它需要自己下载安装文件。设置这个目录就是存储这些文件的。
5.设置好后下一步进入下图：
这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。你要根据你自己的情况选择。通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。
6.设置好后下一步进入下图：
选择其中一个url用作下载的站点。我选第一就行挺快的。你的不行可以试试别的。也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。然后选择你自己加入的url即可。如果自己加入可以尝试一下这个url：confwin/pub/。然后点击下一步进行安装文件的下载，需要点时间。如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。就是上一步网络选择的问题或者选择的url不能下载。自己可以尝试改动一下。
正常下载的话也可能出现一个警告窗口如下图：
点击确定即可。随即会进入下图。
7. 来到此图就要开始进行一些配置了。选择一下要安装的包。如下图：
首先：选择其中的Base Default，通常这里的包都已经选择上了。你要确保sed已选择上，这样你可以在eclipse中使用hadoop了。如下图这样即可：
其次：选择Devel Default，将其中的subversion选中第一个即可。如下图：
最后：选择Net default包，将其中的openssh及openssl选上。如下图：
经过上述包选择后点击下一步即可。
8. 来到这个图中如下：
都是些你不用也不能改的东西，包依赖的一些提示信息。直接点一下步。这是将进入下载及安装你刚刚所选择的包的过程。随后不用再说了。设置是否在桌面显示图标之类额。随后结束了。
9. 打开cygwin进行配置，首先输入：ssh-host-config.回车。会让你输入yes/no输入no。回车。见到Have fun！就说明成功了。见下图：
10. 先到计算机管理—服务处开启CYGWIN sshd服务。开启后在cygwin中输入：sshlocalhost进行登录。回车后，会提示是否继续链接选择yes。随后输入系统用户密码登录。注意：如果你当前使用的用户没有密码就设定一个。否则没有密码你即使不输你回车也不好使。如下图：
11. 这是进行ssh的无密码登录。输入ssh-keygen，提示输入的地方直接按回车即可。执行后如下图：
随后执行下图中的命令。
1、cd ~/.ssh/
2、ls
3、cp id_rsa.pub authorized_keys到此步即可。再ls就会看到authorized_keys
如下图：
完成后输入exit退出。可能需要输入几次。没退出就再输一个exit。呵呵。。
12.然后再次打开cygwin。这回直接输入sshlocalhost登录命令就可以直接进入了。不在需要密码了。如下图：
至此cygwin就配置结束了。你可以使用了。
Hadoop的配置
1. 下载hadoop安装包
可以到这个网站上下载/dist//hadoop/core/如果下载不下来自己到网上很多的。选一个版本下载。我用的是hadoop-0.20.2。
2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env.sh、l、l、l。下面逐一说明：
3.hadoop-env.sh
这个文件中主要配置JAVA_HOME路径。需要注意的是：1.jkd是1.6以上版本。2.路径应该是linux风格的。打开后将export前面的#注释符去掉，路径为/cygdrive/你的jdk路径。如果路径中有空格需要将路径用‘’括起来。设置后如下图：
4. l
配置属性很多。到也可以简化自己设置几个属性就可以了。这里我们直接复制src/core下的l到conf下并改名为l替换原来的。修改下列属性如下：<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
<property>
<name&p.dir</name>
<value>/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
设置临时的文件hadoop默认中有了但重启后会被删除所以还得需要格式化所以手动设定一个。避免格式化。
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
5. l
这个也同样到src/hdfs下把l复制到conf下改名替换。修改下列属性：
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
<description></description>
</property>
DFS名节点存放位置
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
<description></description>
</property>
DFS数据节点存放位置
<property>
<name&plication</name>
<value>1</value>
<description></description>
</property>
存放副本数，这是为了安全考虑的在集中要多放几个。咱们是伪分布式的就一个可以了。
6. l
这个也同样到src/mapred中把l复制到conf中改名替换。修改下列属性：
<property>
<name>acker</name>
<value>localhost:9001</value>
<description></description>
</property>
MapReduce的jog tracker运行在所在主机及端口号。
<property>
<name>mapred.local.dir</name>
<value>/hadoop/temp</value>
<description></description>
</property>
MapReduce的运行中间数据文件的存放路径
7. 这就可以了。设置就结束了。下面运行试一试。
使用cygwin进入到hadoop安装路径下的bin文件夹中。查看显示如下：
首先格式化：./hadoopnamenode–format 如果让选择Y/N 选择Y。如下图：
其次运行：./start-sh.all如下图则成功了。总共会启动五个节点。
最后：运行一下自带的wordcount例子。
1.先在本地文件建立一个文件夹(最好建在hadoop的安装文件在同一个目录下)如testin随后在里面建几个文件txt或java的随意。在里面输入以下英文单字。如file1.java 内容Hello world ！file2.java 内容：I love you ！
2.在cygwin中将一个hadoophdfs上的目录如testin。命令如下：
./hadoopdfs–mkdirtestin
3.将本地的两个文件上传到dfs上去。
./hadoopdfs–put /testin/*.java testin
此时运行./hadoopdfs–lstestin就会就会发现已有了这两个文件了。
2、3步执行如下图：
4.执行
./hadoop jar ./../hadoop-0.20.2-examples.jar wordcounttestintestout
如下图则成功了
5.查看结果
./hadoopdfs -lstestout会发现下面有两个文件一个是日志一个是结果文件。
./hadoopdfs -cat testout/part-r-00000 查看统计单字的结果文件
执行如下图：
至此hadoop就安装配置都已结束并经过测试已经可以正常运行了。开始云学习吧。
安装Eclipse插件
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论