PHP 教程：hadoop 常见错误以及处理方法

本文主要是为大家分享了 hadoop 常见错误以及处理方法，需要的朋友参考下
1、hadoop-root-datanode-master.log 中有如下错误：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible 
namespaceIDs in
导致 datanode 启动不了。
原因:每次 namenode format 会重新创建一个 namenodeId,而 dfs.data.dir 参数配置的目录中包
含的是上次 format 创建的 id,和 dfs.name.dir 参数配置的目录中的 id 不一致。namenode 
format 清空了 namenode 下的数据,但是没有清空 datanode 下的数据,导致启动时失败,所要
做的就是每次 fotmat 前,清空 dfs.data.dir 参数配置的目录.
格式化 hdfs 的命令
代码如下:
 
hadoop namenode -format 
 
2、如果 datanode 连接不上 namenode，导致 datanode 无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed 
on local exception: java.net.NoRouteToHostException: No route to host

 

关闭防火墙
代码如下:
 
service iptables stop 
 
机器重启后，防火墙还会开启。
3、从本地往 hdfs 文件系统上传文件，出现如下错误：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect 
ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create 

new 

block.
解决方法：
关闭防火墙：
代码如下:
 
service iptables stop