搭建hadoop，遇到的错误，总结一下

LiHangTong LiHangTong 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 271平均单平台 已同步平台 CSDN 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
原创 最新推荐文章于 2025-05-11 17:09:04 发布 271 阅读 AI 写同款· GEO 优化 ›

1、localhost: Error: JAVA_HOME is not set.

    这个很明显是因为环境变量没设置好，分两种情况，第一：没有设置；第二：设置了，没有起作用，我用source了，好像依然陪到了这个问题，最后，重启解决。


2、INFO ipc.Client: Retrying connect to server: localhost/192.168.128.131:9000. Already tried 1time(s)

    一般是namenode没有启动，所以解决的方法如下：先stop-all.sh，然后hadoop namenode -format一下。再启动应该就没问题了。


3、如果在配置的过程中遇到了 not premission等提示，典型的权限问题。


4、在运行wordcount程序的时候，发生错误

    这是因为我先前在hadoop上创建了两个文件，一个是input，一个output，运行程序的时候，提示output文件已经存在，这个很简单，直接把自己创建的那个删除就OK了。


5、Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-mapred-examples-0.21.0.jar

at org.apache.hadoop.util.RunJar.main(RunJar.java:90)

Caused by: java.util.zip.ZipException: error in opening zip file

at java.util.zip.ZipFile.open(Native Method)

at java.util.zip.ZipFile.<init>(ZipFile.java:127)

at java.util.jar.JarFile.<init>(JarFile.java:135)

at java.util.jar.JarFile.<init>(JarFile.java:72)

at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

这是因为Hadoop找不到hadoop-mapred-examples-0.21.0.jar文件，解决方法为到/etc/profile中添加$HADOOP_HOME，或者将当前路径定位到jar包所在文件夹，再运行


6、安装hadoop-1.0.1后，执行命令出现$HADOOP_HOME is deprecated.

　　这不是错误，可以修改bin/hadoop-config.sh，注释掉$HADOOP_HOME is deprecated的内容



总结一下：1、对Linux掌握不熟练；2、应该掌握一门脚本。



加油。呵呵

收录于
Hadoop

当前文章被收录于：

Hadoop
1 篇文章 0 人学习
订阅专栏 查看详情
标签
#大数据 #java #操作系统
本内容遵循 CC 4.0 BY-SA 版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
hadoop搭建中的错误 hadoop搭建中的错误 1 在配置时输入jps的时候缺少SecondaryNameNode 的情况 要先sbin/stop-dfs.sh关闭进程后再次启动sbin/start-dfs.sh 即可 如果没有 NameNode 或 DataNode ，那就是配置不成功，就按照伪分布配置的步骤一步步重新做，问题基本就能解决了。 配置集群/分布式环境时 已经启动了start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver 但是输入j 阅读详情

相关推荐

hadoop-common-2.7.3.jar

hadoop-common-2.7.3.jar 下载　

localhost: Error: JAVA_HOME is not set. [Hadoop] Error: JAVA_HOME is not set

localhost: Error: JAVA_HOME is not set. 在namenode启动脚本%Hadoop_HOME%/bin/start-dfs.sh的时候发现datanode报错： Error: JAVA_HOME is not set 原因是在%HADOOP_HOME%/conf/hadoop-env.sh内...

weixin_34130269的博客 491

hadoop-common-2.7.3-API文档-中文版.zip

赠送jar包：hadoop-common-2.7.3.jar； 赠送原API文档：hadoop-common-2.7.3-javadoc.jar； 赠送源代码：hadoop-common-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-common-2.7.3.pom； 包含翻译后的API文档：hadoop-common-2.7.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.hadoop:hadoop-common:2.7.3； 标签：apache、common、hadoop、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。

Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar

在学习Hadoop的时候遇到如下的问题： Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar         at org.apache.hadoop.util.RunJar.main(RunJar.java:90) Caused by: java.ut

wangxj_2017的博客 3412

hadoop调度程序时出现“Error opening job jar”错误

hadoop调度程序时出现“Error opening job jar”错误

个人技术博客 4846

问题记录：hadoop集群提交job时出现Exception in thread "main" java.io.IOException: Error opening job jar:

在向hadoop集群提交job时提示以下错误： ubuntu@ip-172-31-9-9:~/hadoopfile/feature$ hadoop jar /home/ubuntu/hadoopfile/feature/feature-getpoint7.jar /feature/in feature/out1 Exception in thread "main" java.io.IOExcep

学在途中 4376

1.7)hadoop学习之常见的错误以及解决方案

1）防火墙没关闭、或者没有启动 YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP 地址配置错误 4）ssh 没有配置好 5）root 用户和 atguigu 两个用户启动集群不统一 6）配置文件修改不细心 7）不识别主机名称 java.net.UnknownHostException: hadoop102: hadoop102 at java.n

qq_614617158的博客 874

Hadoop集群搭建格式化出现错误

Hadoop集群搭建出现以下错误: 19/02/06 17:46:22 ERROR conf.Configuration: error parsing conf mapred-site.xml com.ctc.wstx.exc.WstxParsingException: Unexpected close tag &lt;/configuration&gt;; expected &lt;/prope...

紫藤&code的博客 1万+

Hadoop 集群搭建常见错误

编辑---虚拟网络编辑器：查看Vmnet8的子网地址，和本机的ip地址比对前三个数字，必须一致才可以。未知的名称或服务----检查/etc/hosts映射文件写的是否有问题。如果不是已连接---已启用的状态，只需要把如图的复选框勾选。1.所连接的会话Ip地址不正确---修改会话的ip地址。1.对应的Nat服务未开启----开启该服务就可以了。文件中写的有错误---重新检查编辑网卡配置文件。3.未知的名称或服务---DNS配置有问题。2.网络不可达---网关配置有问题。三、ping百度ping不通。

2402_89915462的博客 498

Hadoop平台搭建时遇到的错误

-修改会话的ip地址。

2401_89719654的博客 284

搭建hadoop错误

假设在配置环境变量下输错并已经执行 环境变量路径cd /etc/profile.d/my_env.sh。要进入该目录下将所有内容删除(格式化只在第一台机子上格式化)格式化命令 rm -rf *出现这种错误找at错误所在。有可能是没有启动yarn。进入到错误路径下并修改。

2401_87606255的博客 140

Hadoop平台搭建常见错误

（1）进入网卡配置文件（2）内容检查。

2401_88337518的博客 581

Hadoop搭建常见错误

编辑---虚拟网络编辑器：查看Vmnet8的子网地址，和本机的ip地址比对前三个数字，必须一致才可以。4.虚拟机ip地址所在的网段和NAT连网的Vmnet8网卡网段不一致。3.环境变量中传输文件要保证源文件和目标文件路径正确。6.jdk和Hadoop环境变量要写正确。2.解压文件时-c要写成-C,C大写。#hadoop环境变量。1.每次克隆后要重新生成Mac地址。5.主机名修改——修改后需要重启。

2401_87579861的博客 219

Hadoop搭建错误及解决方法

配置静态IP输入错误。

2401_87606218的博客 206

Hadoop部署中出现的报错和解决方法

仅记录自己在做Hadoop实验部署的时候遇到的报错以及后面怎么解决的 安装java 看见有些安装教程只有yum install java-1.8.0-openjdk.x86_64，这样安装是不完整的，java -version能够查看版本，但是javac和jps命令会报错command not found 解决方法：再安装一个openjdk-devel yum install java-1.8.0-openjdk-devel.x86_64 修改hadoop-env.sh 刚开始修改为export J

weixin_45620104的博客 1900

Hadoop创建input目录报错

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34293141的博客 1187

Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因

在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）

wang_zhenwei的博客 3万+
上一篇： 铁道部新客票系统设计
下一篇： javaee.jar的源代码。呵呵
点赞 0
评论 0
书签 书签 0
LiHangTong
LiHangTong
博客等级 码龄16年 11粉丝 10原创
+ 关注 专栏目录 订阅专栏
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值