Ambari2.7.5+HDP3.1.5集成Kylin4.0.1所遇到的问题

二、Windows+ IDEA 本地调试Apache Kylin3.1.0源码 Streaming Receiver Windows+ IDEA 本地调试Apache Kylin3.1.0源码 Streaming Receiver 前置条件:需要完成Windows+ IDEA 本地调试Apache Kylin3.1.0源码-运行coordinator 这篇文档的相关部署 ------------------------------------------------------------------------------------------------------------------------------ 阅读详情

网上已存在不少集成所遇到的问题,这里记录一下个人所遇到的三个问题。

1. 问题一

KeyError: u'kylin'
Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', '/var/lib/ambari-agent/data/command-604.json', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY', '/var/lib/ambari-agent/data/structured-out-604.json', 'INFO', '/var/lib/ambari-agent/tmp', 'PROTOCOL_TLSv1_2', '']

解决方法:

cd /var/lib/ambari-server/resources/scripts
python configs.py -u username -p password -n clusterName -l hostname -t 8080 -a set -c cluster-env -k ignore_groupsusers_create -v ture

# username:ambari用户名
# password:ambari密码
# clusterName:ambari集群名称
# hostname:ambari-server所在机器名称

2. 问题二

# kylin集成完成后,无法访问Web页面(404),查看日志,定位到异常信息(mysql版本为8.0.26):
Unable to load authentication plugin 'caching_sha2_password'

解决方法:

-- 用户名为kylin配置文件中的mysql用户名
alter user 'root'@'%' identified by '123456' password expire never;
alter user 'root'@'%' identified with mysql_native_password by '123456';
flush privileges;

-- 或者降低到8.0以下版本

3. 问题三

# 同样是kylin集成完成后,无法访问Web页面(404),查看日志,定位到异常信息:
context.ContextLoader:350 : Context initialization failed
Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'diagnosisService': Unsatisfied dependency expressed through field 'aclEvaluate'; nested exception is org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'aclEvaluate': Unsatisfied dependency expressed through field 'aclUtil'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'aclUtil' defined in URL [jar:file:/opt/soft/kylin/tomcat/webapps/kylin/WEB-INF/lib/kylin-server-base-4.0.1.jar!/org/apache/kylin/rest/util/AclUtil.class]: Initialization of bean failed; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'expressionHandler' defined in class path resource [kylinSecurity.xml]: Cannot resolve reference to bean 'permissionEvaluator' while setting bean property 'permissionEvaluator'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'permissionEvaluator' defined in class path resource [kylinSecurity.xml]: Cannot resolve reference to bean 'aclService' while setting constructor argument; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'aclService' defined in URL [jar:file:/opt/soft/kylin/tomcat/webapps/kylin/WEB-INF/lib/kylin-server-base-4.0.1.jar!/org/apache/kylin/rest/service/AclService.class]: Instantiation of bean failed; nested exception is org.springframework.beans.BeanInstantiationException: Failed to instantiate [org.apache.kylin.rest.service.AclService]: Constructor threw exception; nested exception is java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@jdbc,url=jdbc:mysql://hostname:port/kylin,username=root,password=123456,maxActive=10,maxIdle=10

解决方法:

# 查看KYLIN_HOME/ext目录下的mysql驱动包,尽量保证版本一致。
原驱动包:mysql-connector-java.jar
修改为:mysql-connector-java-8.0.26.jar
Ambari】生产集群中组件启动报错JDK找不到 这周成都可算是复工了,上周居家办公的时候,配合其他同事线上对各个集群的Ambari元数据库做了迁移工作,因为这个迁移不涉及组件的变更,所以当时做完没有去做所有集群的服务组件启停的测试,只是做了抽查,毕竟30多个集群,大部分的集群只是观察了一会主机的监控和agent上报就没管了。昨天下午,突然接到同事的会议邀请,说是有个集群服务启停不正常,Spark Worker重启都失败了,于是就上去和他们一起看了下,其实问题也是人为疏忽导致的,这里做了一下记录。 阅读详情

相关推荐

Kylin安装,ambari hadoop平台,操作系统CentOS6.8

前提 Ambari Hadoop平台:Ambari2.4HDP2.5,保证Hive,HBase正常运行。 JDK1.8 下载官网二进制包 Binarydownload: for HBase 1.x (includes HDP 2.3/2.4, EMR 5.0) - apache-kylin-2.0.0-bin-hbase1x.tar.gz   来

vivismilecs的博客 3798

ambari-Kylin:Ambari集成Apache Kylin服务(离线部署、可支持HDP2.6+HDP3.0+

ambari-Kylin Ambari集成Apache Kylin服务 参考 cas-bigdatalab提交的ambari-kylin-service项目 项目地址: 感谢大佬提供了ambari集成Kylin服务的思路。 加群 这个项目开源了一段时间了,有不少人已经在用了,大部分朋友都已经搭建成功。如果您在使用过程中遇到任何问题,可扫描下方二维码关注公众号【大数据实战演练】或者加我好友【create17_】,回复【加群】,群内有不少已经搭建成功的小伙伴。 概述 目前上传至ambari-Kylin上的有两个版本,一个是HDP2.6与Kylin2.5.1集成使用的一版;一个是HDP3.0Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用,如正常启停,超链接Kylin Web UI功能。 但是像服务的启停顺序和服务的自定义告警没有上传至此,需要微信关注公众号大

Kylin-Server-10-SP2-x86_64安装HDP2.7.5.0Ambari【已解决】

ERROR: Unexpected error Ambari repo file path not set for current OS. ERROR: Exiting with exit code 1. REASON: Failed to create user. Exiting.

Danger 2578

Ambari2.75集成flink-1.14.4

ambari集成flink详情可参考:Ambari 2.7.5安装Flink1.13.2_不饿同学的博客-CSDN博客_ambari安装flink 这里说一下安装过程遇到的问题1、安装时报错:Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', ...

NDF923的专栏 5898

Ambari2.7.3+HDP-3.0.1集群集成Kylin3.0.1

文章目录0.环境准备1.Kylin安装包制作1.1 解压1.2 配置spark客户端1.3 修改find-hive-dependency.sh脚本1.4 拷贝jar包1.5 修改service.xml1.6 修改kylin_hive_conf.xml1.7 打包2.集成3.启动3.1 重启ambari3.2 安装Kylin4.测试 0.环境准备 组件 版本 Ambari 2.7.3 HDP 3.0.1.0-187 Kylin apache-kylin-3.0.1-bin-hadoop

TT-Learning 1599

基于Ambari HDP3.1.0.0群下安装KYLIN-2.6.4集群

基于ambari-2.7.3.0HDP-3.1.0.0HDP-UTILS-1.1.0.22HDP-GPL-3.1.0.0集群下手动安装KYLIN集群(hbase为2.0.2)。 1.下载并解压 yum -y install axel axel -n 10 https://archive.apache.org/dist/kylin/apache-kylin-2....

bigdata_player 3456

第一章 HDP 3.1.5 自定义服务之集成Kylin 4.0.1 Spark 3.1.1

Ambari2.7.5 + HDP 3.1.5 自定义集成 Kylin 4.0.1安装后点击链接可以正常跳转至kylin页面:介绍了Kylin服务的集成安装,其中Kylin中使用的stacks文件。

gg1314723的博客 1247

ambari-Kylin

概述 目前上传至ambari-Kylin上的有两个版本,一个是HDP2.6与Kylin2.5.1集成使用的一版;一个是HDP3.0Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用,如正常启停,超链接Kylin Web UI功能。 但是像服务的启停顺序和服务的自定义告警没有上传至此,需要微信关注公众号大数据实战演练,也可扫描底部二维码,回复ambari-k...

mnasd的博客 1224

基于hdp3.0.1安装kylin2.6.5

文章目录环境与说明下载安装包添加kylin的环境变量 环境与说明 本次测试的环境已提前装好ambari2.7.3hdp3.0.1 操作系统为Centos7.4-1708 提前安装好的依赖组件有hadoop系列、ranger权限管理 Spark未进行安装 kerberos安全组件未开启 下载安装包 直接从kylin官网下载二进制包 下载地址:https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.6.5/apache-kylin-2.6.5

我的博客 831

Ambari 集成 Apache Kylin 服务(适配于 2.6.x / 2.7.x 版本)

一、前言 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 如果需要将Kylin服务受控于Ambari管控,那就需要集成服务了。 二、集成服务 关于ambari-Kylin的Python脚本已上传至github,具体...

CREATE_17的博客 1884

【支持Kylin V10—x86_64Ambari3.0.0+Bigtop3.2.0——Step3—安装JDK17与JDK1.8

【摘要】即将发布适配Kylin V10系统的Ambari+Bigtop版本,建议采用JDK 17与JDK 1.8双版本共存方案。华为云镜像提供稳定JDK下载源,配套自动化安装脚本支持批量部署。手动安装需解压至指定目录并配置环境变量,注意Ambari 3.0需强制使用JDK 17。通过软链接和alternatives工具可实现多版本灵活切换,满足新旧组件兼容需求。文档包含详细版本对照表、安装流程说明及验证方法。

TTBIGDATA的博客 1265

Ambari2.7.4集成Hue4.6.0

一、前言 Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。 二、版本信息 Ambari2.7.4 HDP3.1.4

qq_21153619的博客 2480

Kylin 源码编译

1.gitclonehttps://github.com/apache/kylin.git (可以用gitee加速) 2.修改pom.xml中对应的hbase,hive,zookeeper及spark版本信息 3.准备前段工具:nodejs (1)安装bower: npm install -g bower bower --allow-root install (2)安装 grunt: npm in...

templarzq的专栏 426

ES集成ambari中出现的常见问题归总

需要修改ambari-server资源中的一个配置参数,将gnore_groupsusers_create由false改为true,编辑elasticsearch-config.xml,发现其中的discovery.zen.ping.unicast.hosts属性的值是空的。修改/etc/security/limits.conf文件,增加配置(所有master和slave节点)。修改/etc/sysctl.conf文件,增加配置(所有master和slave节点)。查看日志会发现提示这两个错误。

一休求索 1185

maven安装,环境变量,sts配置

1.下载maven 地址 2.配置maven环境变量 (1)m2_home (2)path 打开cmd命令行,输入mvn_version 出现版本号代表配置成功 3.配置maven本地仓库地址 在maven目录下找到settings.xml 加入 <localRepository>D:\javakaifa\maven_repository</localRepository...

qq_38572473的博客 564

kylin 编译kylin-3.0.x-hadoop3.1)解决kylin 404错误

文章目录题外话kylin运行环境kylin 编译过程1.kylin GitHub上下载分支kylin-3.0.x-hadoop3.1源码2.导入idea修改pom.xml3.修改于guava相关框架一些的方法4.kylin build in centos7 题外话 kylin编译过程真的是太苦涩了,塌了无数坑,耗时无数。大概因为我是第一次编译源码。真的是感受深刻,学习颇多。最后还把HBASE编译了一遍,如果你的kylin安装好了运行不报错,就是打开网页报404错误,大概率是HBASE出了问题。我绕了一大圈

u013788252的博客 919

hdp3.1平台安装kylin2.6教程和遇到的问题

hdp3.1平台安装kylin2.6教程和遇到的问题Kylin的软件要求软件下载地址安装过程遇到的问题 Kylin的软件要求 • Hadoop: 2.7+, 3.1+ (since v2.5) • Hive: 0.13 - 1.2.1+ • HBase: 1.1+, 2.0 (since v2.5) • Spark (可选) 2.1.1+ • Kafka (可选) 1.0.0+ (since v2...

weixin_43905406的博客 2404
上一篇: YAML详解
下一篇: Kettle无法访问http://127.0.0.1:9051页面
sjw2020
博客等级 码龄6年 2粉丝 24原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值