AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs

雨轩_wscrf 雨轩_wscrf 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 7.3k累计阅读 7.3k平均单平台 已同步平台 CSDN 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2024-07-15 08:38:29 发布 7.3k 阅读 AI 写同款· GEO 优化 ›
【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题 【异常描述】 Task with the most failures(4):  ----- Task ID:task_1479051658015_121922_r_000000 URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790 阅读详情
1.在用MapReduce 跑Hbase任务是出现这个从错误： AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是：Hbase中某张表每一条都含有照片，并且照片较大。问题原因貌似跟内存有关，可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下property。（系统默认是60s，此处是80s）
<property>
 <name>mapred.task.timeout</name>
 <value>800000</value>
 <final>true</final>
</property>
可以对Map内存使用进行设置，实际我只修改了mapred-site文件，加入这个property
<name>mapreduce.map.memory.mb</name>
<value>800</value>



        

    

  






  




  

    

      
      

        收录于
        

    

      

        
        linux
      

      

        
当前文章被收录于：

        

        

          

            
              
            
            

              
                
linux

              
              

                
                  43
                  篇文章
                
                
                
                  1
                  人学习
                
              

            

          

        

        

            订阅专栏
          查看详情
        

      

    

          

        

      

    

  




        

          本内容遵循 CC 4.0 BY-SA 版权协议
          

              版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
          

        

  


  
    
      PostgreSQL使用 pg_rman物理备份搭建流复制备库（streaming replication standby）
      摘要：使用pg_rman备份搭建PostgreSQL流复制备库 本文详细介绍了利用pg_rman工具快速搭建PostgreSQL流复制备库的完整流程。该方法结合物理备份的高效性和流复制的实时性，特别适合大型数据库环境。主要内容包括：主库上的pg_rman安装配置、全量备份操作；备份文件传输至备库；备库数据目录准备及恢复；流复制参数配置；以及最终的启动验证步骤。文章还提供了架构示意图和关键配置示例，并包含常见问题排查建议，如备库无法启动或复制卡顿情况的处理方法。整个流程强调通过.pgpass文件管理密码的安全
    
    阅读详情
  




    

      

        
相关推荐

        
      

      

          
            
从 Pandas 到 Polars 十八：数据科学 2025，对未来几年内数据科学领域发展的预测或展望

              
Rust 在数据科学家中的普及将受到 Polars 的推动，用户会发现从使用 Python 切换到 Rust API 的门槛相对较低——比从 Pandas 切换到 C 的门槛要低得多！在数据科学蓬勃发展的十年里，我所在领域的日常工作主要由像 Python 这样的动态语言或像 R 和 Julia 这样使用即时编译的语言主导。尽管这两个库的功能有很多重叠，但有些人会想要一个像 DuckDB 这样的工具，它拥有更多关系型数据库的陷阱，而有些人则不会。然而，一位受访者正确地指出，基于GPU的库（如cuDF）更快。

            

                sosogod的博客
                
                  
                    2454
                
            

          
          
            
maptask 超时问题 Timed out after 600 secs

              
Maptask 超时问题（1）

1.Maptask超时问题情况描述

某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs
`

mapred.task.timeout 参数说明
The number of mi...

            

                败八
                
                  
                    1万+
                
            

          
          
            
AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

              
背景
做kylin 的时候，执行了 hive的命令，是hive数据的重新分布
结果在reduce的时候阻塞了。

查看原因为

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs


这个问题出现的背景是：商品表 txt文件 5.4G  一共1亿数据
类别表 17M    100万条数据
临时解决办法是...

            

                九师兄
                
                  
                    3221
                
            

          
          
            
Timeout expired after 60000milliseconds while awaiting InitProducerId

              
将Kafka unclean leader参数设置为true先选举出主分片,后续修改server配置，将最小ISR数量变更为2。Kafka集群有一台节点磁盘坏了,partition无法选主,导致flink任务无法写Kafka。

            

                weixin_59295776的博客
                
                  
                    1241
                
            

          
          
            
Hive 优化-参数设置

              
参考链接：

https://blog.csdn.net/WYpersist/article/details/79797075
	https://blog.csdn.net/baidu_29843359/article/details/46967473
	http://blog.sina.com.cn/s/blog_6ff05a2c010178qd.html map数的计算
	https://bl...

            

                fengzheku的专栏
                
                  
                    6558
                
            

          
          
            
HiveQL中如何排查数据倾斜问题

              
转https://blog.csdn.net/u010010664/article/details/79731044


数据倾斜的现象:

会导致的问题

可能会导致下面2个问题

1）某个reduce task，卡在99.9%半天不动。如下





2）任务超时被杀掉

Reduce处理的数据量巨大，在做full gc的时候，stop the world。导致响应超时，超出默认的600秒，任务被杀掉。报错信息



AttemptID:attempt_1498075186313_242232_r_0.

            

                qq_24271537的博客
                
                  
                    335
                
            

          
          
            
Hive 任务重试导致结果错误的原因分析及处理方法

              
Map 任务中的数据使用随机数作为分区函数时，相同的数据每次执行不固定到相同的 Reduce 处理。导致 Map 任务出错重试，或者推测执行时，两次执行导致部分数据丢失。

            

                houzhizhen的专栏
                
                  
                    1101
                
            

          
          
            
AttemptID:attempt_1525407604376_0006_1_01_000000_2

              
1.Maptask超时问题情况描述某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs`mapred.task.timeout 参数说明The number of milliseconds befo...

            

                weixin_33950035的博客
                
                  
                    974
                
            

          
          
            
大数据下Hadoop及Hbase使用中遇到的若干问题及汇总

              
项目说明首先需要说明的是hadoop集群的情况。一共有5台服务器，其中一台作为namenode，另四台是datenode节点。项目具体什么内容不便透露，但是用hadoop集群跑了12个小时，跑完的结果文件有280G，共几亿条数据，也算和大数据沾点边吧。写这篇博客的目的也是为了记录下期间遇到的问题及解决办法，不至于以后再用的时候仍是一片茫然。hadoophadoop的基本概念这里不做介绍。首先说明的是

            

                qq_22548549的博客
                
                  
                    803
                
            

          
          
            
hive MapReduce Timed out after 600 secs

              
mapred.task.timeout参数说明
	
	该参数默认为 600秒（60000 ms） 。 如果map或reduce方法在600秒内没有返回或，TaskTracker将认为相应的task已经死亡。 并向JobTracker汇报错误。JobTracker会kill 当前task，并在其他节点上重新执行它。如果多次尝试均失败，那整个job就失败返回
可以调节该参数在当前任务中的数值，set mapred.task.timeout=1800000; (60000*30) 300min
...

            

                yisun123456的博客
                
                  
                    2499
                
            

          
          
            
mapreduce在yarn上运行，Container killed by the ApplicationMaster, Exit code is 143

              
mapreduce 程序在yarn上运行时报错，报错信息具体如下：


.....

[2021-03-28 17:38:50.081]Container killed on request. Exit code is 143
[2021-03-28 17:38:50.085]Container exited with a non-zero exit code 143. 

2021-03-28 17:38:57,155 INFO mapreduce.Job: Task Id : attempt_16169

            

                Asa_Prince的博客
                
                  
                    2073
                
            

          
          
            
yarn RM crash问题一例

              
今天收到线上的resource manager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFO...

            

                weixin_34244102的博客
                
                  
                    206
                
            

          
          
            
Hadoop运行mapreduce卡住或者一直停在map 0% reduce 0%的解决方案

              
首先先要说明我的系统的一个配置




主机名
主机IPV4地址
配置




hadoop001
192.168.120.100
RecourceManager、NodeManager、DateNode、NameNode


hadoop002
192.168.120.101
NodeManager、DateNode、SecondaryNameNode


hadoop003
192.168.1...

            

                家里没矿
                
                  
                    2万+
                
            

          
          
            
hadoop报错总结01

              
 

1.进行矩阵计算的时候，由于持续时间长，往往会出现超时的错误，错误内容如下： INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_000000_0, Status : FAILED

AttemptID:attempt_1422500209602_0008_m_000000_0 Timed out after 600 secs...

            

                独立开发，substack顶级编辑
                
                  
                    1835
                
            

          
          
            
Hive 数据倾斜问题定位排查及解决

              
多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决倾斜。通过下面这个非常简单的例子来看下。

            

                eli的博客
                
                  
                    531
                
            

          
          
            
Container killed by the ApplicationMaster, Exit code is 143

              
之前发现在map任务里面经常看到Container killed by the ApplicationMaster，挺奇怪，不过任务最终是成功的，就没怎么管。不过最近测试集群跑的任务报143错误，还是重新看一下这个问题。

分析版本：hadoop cdh5.4

错误日志



2015-12-30 17:31:09,994 INFO [AsyncDispatcher event handler]

            

                houzhizhen的专栏
                
                  
                    1万+
                
            

          
          
            
MapReduce增强09（mapreduce参数优化）

              
文章目录1 资源相关参数(1) mapreduce.map.memory.mb(2) mapreduce.reduce.memory.mb(3) mapred.child.java.opts(4) mapreduce.map.cpu.vcores(5) mapreduce.reduce.cpu.vcores(6)mapreduce.task.io.sort.mb(7)mapreduce.map.s...

            

                bitmao888的博客
                
                  
                    894
                
            

          
          
            
Hadoop集群搭建1Master、3Slaves

              
master.hadoop  10.9.148.193
slave1.hadoop  10.9.148.190
slave2.hadoop  10.9.148.191
slave3.hadoop  10.9.148.192
root 123456   hadoop 123456
1. 重装系统
Centos6
2. 设置固定IP
IPv4：
手动
地址           子网

            

                ITwangnengjie的博客
                
                  
                    5291
                
            

          
          
            
yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀

              




问题：
发现每次reduce阶段跑到98%，相关的container被杀。报出的log大概的意思:container 600s未报告进度超时被杀
解决的方法：
在mapreduce程序里加上
conf.set("mapred.task.timeout", "0");                        //不检查超时

又一次打包执行，最后没有出现错误，可是执...

            

                weixin_33924220的博客
                
                  
                    190
                
            

          
          
            
报错（已解决）Command timed out after no timeout

              
报错（已解决）Command timed out after no timeout
SpringBoot整合Redis时：

提示说我命令在没有超时的情况超时


解决方法：
修改application.properties文件的redis连接超时时间，修改到200或以上：


...

            

                weixin_43538859的博客
                
                  
                    2万+
                
            

          
          
            
SRS 64位带注册机+汉化

              
SRS 64位带注册机+汉化

            

            

          
      

    


  

    

      上一篇：
      
        sqoop 常用命令整理（一）
      
    

    

      下一篇：
      
        个人超全hbase集群搭建过程！！！
      
    

  



            
  



          

          


  

    
    
    
    

      点赞
      
      
            0
      
    

    
      
      评论
      
            0
      
    
    
    

      书签
      书签
      
          2
      
    

    
    
    
    
    
    
  


            

            

              

              

            

            
        

        
          
          








  

    

      
          雨轩_wscrf
      
      

        

          雨轩_wscrf
        

        

            
              博客等级
            
            码龄11年
          41粉丝
          165原创
        

      

    

    

          + 关注
          专栏目录
              订阅专栏
    

  



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值