1、问题：创建SSH出现问题
解决：
1.改变/home/hadoop目录权限为711
2.改变/home/hadoop/.ssh/authorized_keys权限为600
3.关闭防火墙
4.修改/etc/ssh/sshd_config，打开无密码公钥验证
复制到其他并添加到文件中： cat id_rsa.pub | ssh hadoop@128.64.151.60 'cat ->> ~/.ssh/authorized_keys'
2、Hive安装：
问题： 无法操作SQL语句，总出现错误“ptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1”
解决：
安装hive-0.10.0 或 hive-0.11.0 与 MySql-5.6.12 需要下载 mysql-connector-java-5.1.23-bin.jar 以上版本的连接器
3、Sqoop导入：
问题： 出现:hadoop cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory XXXXXX already exists错误
解决：
查看dfs目录 hadoop fs -ls /user/hadoop/ 看是否存在XXXXX目录，删除之
4、Sqoop导入：
问题： Imported Failed: Attempted to generate class with no columns!错误
解决：
导入脚本：-connect jdbc:oracle:thin:@128.64.151.67:1521:orcl -username username -password pas
sword --table table_name中,
把username、table_name大写，-connect jdbc:oracle:thin:@128.64.151.67:1521:orcl -username USERNAME -password password --table TABLE_NAME
5、phpHiveAdmin
问题： 浏览表，并进行查询，无结果返回false;
mysql下载后安装中出现提示不到安装包
解决：
可能是p.dir对应目录和hive安装目录对应的权限问题，全部修改为rwx，可以进行查询。
6、Hive导入时NULL的处理
解决：
一种并非完美的解决方法就是可以自定义底层用什么字符来表示NULL，例如想用字符'a'来表示NULL：alter table table_name SET SERDEPROPERTIES('serialization.null.format' = 'a');
7、mysql 安装，安装如果冲突，删除原来的：rpm -ev --nodeps Mysql-XXX.x86_64
解决：
密码忘记：1、mysql_safe --skip-grant-tables &
2、mysql -u root -p
3、>use mysql; 
>update user set password=PASSWORD("123456")where user="root";//更新密码
>flush privileges; //更新权限
>exit;
4、service mysqld restart
5、mysql -uroot -p //新密码进入
6、>SET PASSWORD = PASSWORD('123456');//解决"You must SET PASSWORD before executing this statement"错误
用新密码登陆即可
8、xml中使用&符号，在配置文件中直接用&的话，会产生must end with the ';' delimiter.错误
解决： 把&换成&
其他：< 换成 <
> 换成 >
' 换成 '   
" 换成 "
9、提交任务出现“INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 问题
分析： 提交任务时，如果没有注入调度地址，NodeManager会默认为0.0.0.0:8030，如果MR ApplicationMaster在 master机器上启动，0.0.0.0：8030 对应的调度
器地址 恰好在本机；
否则，在slave机器上0.0.0.0：8030 是不到调度器的，因为调度器必须在master机器上。
解决：
原来代码：
Configuration conf = new Configuration(); 
conf.set("fs.defaultFS",hdfsUri); 
conf.set("mapreduce.framework.name", "yarn"); 
conf.set("sourcemanager.address", yarnip+":"+8032);
增加一行代码：
conf.set("sourcemanager.scheduler.address", yarnip+":"+8030)
然后程序运行正常
10、启动Hbase，发现Hmaster启动之后就悄悄挂调了，查看日志，发现：WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script.
分析： 而zk日志显示 client端关闭了session。很多人按照他的提示运行了migrate脚本，实际上这个会
报错：ClassNotFound。这就奇怪了，文件系统居然要求升级，这很不科学。
我看很多网友的做法是先把/hbase清理调，然后重启就好了，但是以前的数据就丢失了，这更不科学。
于是：bin/hadoop -ls /hbase
发现/hbase/hbase.version已经消失了，原来是之前的这个文件可能被损坏了，去/lost+found目录确实能到，但是这个文件似乎出了问题，-ls它也看不到。
解决： 
于是执行以下步骤进行恢复：
bin/hdfs dfs -mv /hbase /hbase.bk
重启HBase，这时就生成了/hbase/hbase.version文件，
然后：bin/hdfs dfs -cp /hbase/hbase.version /hbase.bk/
bin/hdfs fs -rm -r /hbase
bin/hdfs fs -mv /hbase.bk /hbase
这样再次重启HBase，发现Hbase开始splitting hlogs，数据得以恢复。
11、hbase 无法完全启动，集内某几台hbase服务器，用jps能看到HRegionServer，但是无法连接上，查看日志，有提示：keeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/master
分析：可能多种原因导致hbase服务器无法连接到master机器上，zoo.cfg主机配置、防火墙、路径一致性、时间同步等做检查，发现时间不同步
解决：使所有hbase服务器与master机器时间同步
12、zookeeper遇到的问题：Error contactiong service. It is probably not runnin
查看zookeeper状态时出现：Error contactiong service. It is probably not running
先使用jps查看是否有QuorumPeerMain；
再查看2181端口是否开启：  netstat -an | grep 2181
如果这2项都没有问题，原因可能是你只是单机启动，集中其他计算机并没有启动zookeeper，把集中其他的启动后再使用此命令。而且此命令功能太过单一，反馈信息也不准确。
13、Hbase遇到的问题：ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
问题发生在list 查看表时，通过查看 logs/ 下的日子信息：
stopping hbasecat: /tmp/hbase-mango-master.pid: No such file or directory 
发现是HBASE_
PID_DIR 没有配置，使用的是默认配置，但是默认配置会在下次启动后自动清除，所以需要手动配置并创建相应的文件。（参考：hbase-env.sh） 
14、hadoop遇到的问题：All directories in dfs.data.dir are invalid
这个问题以前没有遇到过，而且在之前节点启动正常，但这次不知道是何原因。
通过：hadoop dfsadmin -report 发现一个节点没有启动，通过查看此节点的logs信息，发现是文件权
限引起的：Invalid directory in dfs.data.dir: Incorrect permission for /hadoop/hadoop-data, expected: rwxr-xr-x, while actual: rwxrwxr-x
更改权限，文件解决：chmod g-w /hadoop/hadoop-data/

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。