hbase kerberos认证无法自动续约问题

Ambari集成Kerberos 搭建ambari请参考我的上一篇博客:centos7安装Ambari 2.7.5 + HDP3.1.5 Kerberos搭建 环境: 首先时间一定要同步。 节点 server:hadoop101 client:hadoop102 hadoop103 搭建Kerberos Server kdc服务器包含三个配置文件: # 集群上所有节点都有这个文件而且内容同步 /etc/krb5.conf # 主服务器上的kdc配置 /var/kerberos/krb5kdc/kdc.conf # 能够不直接访问 KDC 阅读详情

一、背景

服务运行一段时间后(大概7天),hbase写入和读取报错,错误描述为:重试次数耗尽,原因是因为正在重新认证且失败了,不能接受请求。之前同事是使用crontab定时重启临时解决,自己刚好有空帮忙看看。

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions:
Tue Feb 23 15:49:17 CST 2021, RpcRetryingCaller{
     
     globalStartTime=1614066557307, pause=100, maxAttempts=2}, javax.security.sasl.SaslException: Call to hadoopxxx8.xxx.com/192.168.xx.xx:16020 failed on local exception: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)] [Caused by javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]]
Tue Feb 23 15:49:17 CST 2021, RpcRetryingCaller{
     
     globalStartTime=1614066557307, pause=100, maxAttempts=2}, java.io.IOException: Call to hadoopxxx.xxx.com/192.168.xx.xx:16020 failed on local exception: java.io.IOException: Can not send request because relogin is in progress.
Hbase 自动续约kerberos认证失败 1.问题情况 日志中存在大量的: org.apache.hadoop.security.UserGroupInformation Not attempting to re-login since the last re-login was attempted less than 600 seconds before Caused by: org.ietf.jgss.GSSExcepti... 阅读详情

相关推荐

使用IDEA操作Hbase API报错:org.apache.hadoop.hbase.client.RetriesExhaustedException的解决方法:

使用IDEA操作Hbase API报错:org.apache.hadoop.hbase.client.RetriesExhaustedException的解决方法: 错误详情: Exception in thread “main” org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, ...

Nahshon的博客 1636

安全集群访问非安全集群问题记录

本文描述安全集群访问非安全集群遇到的问题及分析。 案例 使用Hive映射Phoenix表,其中Hive服务在启用kerberos的集群中,Phoenix在另一个未启用Kerberos的集群中。 报错及分析 HUE返回报错: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Fail

邢为栋 1580

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase

HBase各个节点HBASE_HOME/conf目录下创建zk-jaas.conf文件,写入如下内容,不同的节点设置的principal是对应HBase主机节点。在HBase各个节点创建HBASE_HOME/logs目录,如果该目录不存在需要提前创建,存在即可忽略,该目录为HBase日志目录,需要将该目录权限修改为root:hadoop、访问权限为770,否则hbase用户在启动Hbase集群时没有向该目录写日志权限。java API操作经过Kerberos安全认证HBase按照如下步骤实现即可。

2501_90433746的博客 2309

java kerberos hbase_java-如何续订HBase中即将到期的Kerberos票证?

我有一个小的spring服务,它提供基本功能,例如从hbase表中进行put / delete / get.一切似乎都正常,但是有一个问题.启动tomcat服务器10小时后,我的kerberos票证到期了,因此我应该对其进行续订.我试图将Java api用于hbase,并且在每种方法的代码中都使用它,它连接到hbase,我添加了以下代码:UserGroupInformation.getLoginU...

weixin_39721924的博客 609

解决Hbase 数据库不自动认证认证过期的问题

摘要:为解决HBase认证失效问题,作者在初始化代码中增加了日期判断机制,但每日认证仍出现"Failed to find any kerberos tgt"错误。为此,作者实现了一个定时任务解决方案:通过@Scheduled注解配置每天7点执行Shell脚本,使用kinit命令自动刷新Kerberos认证。该方案根据环境变量区分不同配置,通过ProcessBuilder执行系统命令,并捕获输出和返回码以确保执行成功。这种方法有效解决了HBase权限周期性失效的问题,避免了手动干预的需求。

baidu_29596947的博客 294

Java API连接Kerberos认证HBASE

网上关于 Java 代码连接启用了Kerberos认证HBASE资料很多,但是总感觉不够准确,总是出现各种问题。经过整合网上资料和亲自试验,得出连接成功的最小配置项如下: java.security.krb5.conf hadoop.security.authentication hbase.security.authentication hbase.regionserver.kerberos.principal hbase.zookeeper.quorum hbase.zookeeper.

tonseal的博客 7086

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(1)

HBase各个节点创建HBASE_HOME/logs目录,如果该目录不存在需要提前创建,存在即可忽略,该目录为HBase日志目录,需要将该目录权限修改为root:hadoop、访问权限为770,否则hbase用户在启动Hbase集群时没有向该目录写日志权限。以上命令执行之后,在/root目录下会生成zhangsan.keytab文件,将该文件复制到IDEA项目中的resources资源目录中或者本地window固定的某个目录中,该文件用于编写代码时认证kerberos

2401_84297035的博客 1334

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(2)

本人从事网路安全工作12年,曾在2个大厂工作过,安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过,对这个行业了解比较全面。最近遍览了各种网络安全类的文章,内容参差不齐,其中不伐有大佬倾力教学,也有各种不良机构浑水摸鱼,在收到几条私信,发现大家对一套完整的系统的网络安全从学习路线到学习资料,甚至是工具有着不小的需求。最后,我将这部分内容融会贯通成了一套282G的网络安全资料包,所有类目条理清晰,知识点层层递进,需要的小伙伴可以点击下方小卡片领取哦!

sahtk89452的博客 1315

python连接hbasekerberos_HBase Kerberos连接更新策略

凤凰求蛊Kerberos TGT具有生存期(例如12h)和可更新生存期(例如7天)。只要票证仍然有效且仍可更新,您就可以请求“免费”续签-无需密码-并重置生命周期计数器(例如再次走12小时)。Hadoop身份验证库产生一个特定的Java线程来自动更新当前的TGT。使用kinit -R命令行而不是JAAS库调用是很丑陋的,但是它可以工作-参见HADOOP-6656因此,如果让Slider在启动时创建...

weixin_31423295的博客 675

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 179

JAVA api 远程hbase出错 org.apache.hadoop.hbase.client.RetriesExhaustedException

JAVA api 远程hbase出错 org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Tue Jul 19 16:36:05 CST 2016, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=79721: row 'testtable,,' on table 'h

chen798213337的博客 6万+

client.RpcRetryingCaller (RpcRetryingCaller.java:callWithRetries(118)) - Call exception Hbase 异常

client.RpcRetryingCaller (RpcRetryingCaller.java:callWithRetries(118)) - Call exception, tries=11, retries=31, retryTime=99796ms, msg=row ‘scores,’ on table ‘hbase:meta’ at region=hbase:meta,1.158823...

搬砖的鱼的博客 3337

hbase建表/org.apache.hadoop.hbase.client.RetriesExhaustedException:

调用hbase建表时出错 错误码: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Fri Mar 08 20:27:50 CST 2019, null, java.net.SocketTimeoutException: callTimeout=60000...

Timor的博客 1649

【异常】org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:...

1 Phoenix远程无法连接但是本地可以连接,详细异常 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/zhangjin/developSoftware/mavenRepository/org/slf4j/slf4j-log4j12/1.7....

5289

Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at

使用HBase API连接HBase集群时一直报错 查看报错原因 : 报错原因说是无法不知道hadoop102.hadoop.com这个域名 其实这个信息,并不是Hbase的异常,而是客户端找不到zookeeper的解析地址,由于Hbase是通过hostname解析IP地址的(DNS),Zookeeper只会返回Hbase的域名,需要客户端通过DNS或本地hosts文件进行解析。 本机无法解析hadoop102.hadoop.com这个域名,查看hosts 果然...

阿伟的博客 4262

JAVA API访问Hbase org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=32

Java使用api访问hbase报错 报错: 原因:无法解析主机 我的hbase主节点是spark1   java代码访问hbase的时候写的是ip 结果运行程序报错 不能够识别主机名 这时候就会出现错误,程序会通过spark1连接主机 发现连不上 就出这个错误了 大家可以看一下本机的:hosts文件  (测试把ip跟机器名称对应上就可以了 为了模仿错误,  我加注释了) ...

qq_32736999的博客 2272

org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

报错详情如下: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=32, exceptions: Tue Dec 17 10:21:47 CST 2019, null, java.net.SocketTimeoutException: callTimeout=60000, callDura...

hongchenshijie的博客 7910
上一篇: arthas profiler诊断服务性能
下一篇: 记:arthas watch排查线上接口获取不到数据
学无止境-逆流而上
博客等级 码龄16年 88粉丝 86原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值