0593-CDH5与CDH6对比

本文详细比较了CDH5和CDH6在组件版本、操作系统支持、元数据库、JDK、单用户模式及Cloudera Manager的差异。CDH6引入了新特性,如HDFS纠删码和YARN GPU支持,但不再支持单用户模式,且Cloudera免费版节点数限制为100。建议新集群可选CDH6,已有CDH5集群需谨慎评估升级。

1 文档编写目的

Cloudera于2018年8月30日正式发布CDH6.0.0,至2019年2月19日,最新的迭代版本为CDH6.1.1,可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本,许多用户考虑到未来CDH的版本主要是基于C6,而CDH5会慢慢的停止更新,所以考虑新搭集群使用CDH6,或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别,通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6,兼容性稳定性是否存在问题等。出于这个目的,本文会从各个方面详细比较CDH5和CDH6的差别,从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调,没有最好的技术,也没有最新的技术就是最好的,永远只有最合适的技术。

2 组件版本对比

组件 CDH5.16.1 CDH6.1.1
Cloudera Manager 5.16.1 6.1.1
CDSW 1.5 1.5
Cloudera Navigator 2.15.1 6.1.1
Flume-ng 1.6.0 1.8.0
Hadoop 2.6.0 3.0.0
HBase 1.2.0 2.1.0
Hive 1.1.0 2.1.1
Hue 3.9.0 3.9.0
Impala 2.12.0 3.1.0
Oozie 4.1.0 5.0.0
Pig 0.12.0 0.17.0
Sentry 1.5.1 2.1.0
Solr 4.10.3 7.4.0
Spark 1.6.0/2.3.0 2.4.0
Sqoop 1.4.6 1.4.7
Sqoop2 1.99.5
Zookeeper 3.4.5 3.4.5
Kafka
2020.07.26 生产设备预测性维护平台 建设方案 智能制造生产设备预测性维护平台全文共26页,当前为第1页。 工业IOT平台 Industrial IOT Platform 02 04 健康管理平台 Health Management Qlatform 03 机器学习平台 Machine learning Platform 目录 CONTENTS 系统整体规划 Overall System Planning 01 05 业务场景 Business scenarios 智能制造生产设备预测性维护平台全文共26页,当前为第2页。 系统整体规划 Overall System Planning 01 智能制造生产设备预测性维护平台全文共26页,当前为第3页。 系统整体架构 接入设备 算法&技术 系统&应用 总装车间 IOT设备管理平台 设备健康管理平台 灵雀机器学习平台 涂装车间 工业微服务框架 工业微服务组件 IOT设备接入服务 边缘计算服务 工业大数据平台 边缘计算节点 边缘数据处理 边缘数据采集 边缘协议转换 设备接入 设备管理 设备权限 固件升级 数据采集 数据清洗 数据建模 数据管理 工业设备诊断模型 AI人工智能引擎 数据可视化模板 专家知识库平台 日志查询监控服务 UI组件可视化图表 API接口管理服务 数据挖掘 数据分析 一站式机器学习服务 规则引擎 统计分析 过滤袋系统 工艺变频器 车身吊具 内饰线滑板及转台 机器人手臂 检测开关 智能制造生产设备预测性维护平台全文共26页,当前为第4页。 工业IOT平台 Overall system planning 02 智能制造生产设备预测性维护平台全文共26页,当前为第5页。 工业IOT平台 - 功能架构 设备接入 设备管理 业务对接 接入服务 规则引擎 IOT基础服务 数据存储 机器学习服务 消息队列服务 时序数据库 表格存储 关系型DB NoSQL 设备健康管理 生命周期 IOT应用服务 设备联动 设备分组 设备模型 项目管理 设备日志 统计分析 实时监控 设备影子 固件升级 数据分析 设备状态 虚拟设备 在线调试 IOT设备管理系统提供全托管的工业网关接入平台,帮助设备云端之间建立安全、可靠的双向连接,以支撑海量的数据采集,设备监控,等工业物联网应用场景; 借助IOT设备的统一管理,可部署任何物联网设备,有助于企业减少物联网设备连接的时间成本,让企业安全的开发、配置并管理大规模的连接设备,从而专注于从设备中获取有效数据,实现一次构建,终身受用。 认证鉴权服务 协议适配服务 电机 机器人 风机 风机 HTTP Stream MQTT Modbus OPC-UA 智能制造生产设备预测性维护平台全文共26页,当前为第6页。 工业IOT平台 - Web页面展示 产品是设备的集合,同一个型号的产品,例如驱动电机,驱动轮,齿轮箱等,定义同一类型产品的属性事件,配置数据解析协议模板,Topic类型(数据上报,事件上报) 「产品管理」页面 「时序数据库」页面 Time Series Database,时序数据库,用于保存时间序列(按时间顺序变化)的海量数据,灵活修改设备的存储配置。 智能制造生产设备预测性维护平台全文共26页,当前为第7页。 工业IOT平台 – 监控APP页面展示 电量查询 报警检测 报警详情 运行数据 智能制造生产设备预测性维护平台全文共26页,当前为第8页。 云犀IOT平台功能 设备远程监控 可以通过网页或者手机APP实现设备数据监控,第一 时间了解设备运行状态、修改参数等。 设备报警推送 可以通过短信、微信、语音等多种方式,第一时间推 送设备故障状态,及时掌握设备运行状态。 历史数据查询 可以查询保存设备的历史数据,可通过曲线或表格 形式展示,并且可以导出至本地。 数据存储 可以将采集的信息存储到时序数据库、关系数据库、非关系数据库文件中,便于各类外部系统使用。 规则引擎 配置数据解析协议模板,Topic类型(数据上报,事件上报)当设备满足一个或多个条件是,触发平台自定义事件。 智能制造生产设备预测性维护平台全文共26页,当前为第9页。 机器学习平台 Industrial IOT Platform 03 智能制造生产设备预测性维护平台全文共26页,当前为第10页。 一站式机器学习服务平台可视化建模 数据收集 数据上传 待优化数据提取 数据标注 模型部署 模型训练 模型预测 数据标注 数据上传接入 标注验证 机器学习可视化建模 模型预测评估 通过一站式机器学习服务平台,解决了有数据、有业务场景,但却不懂算法的需求。平台面对不同的工业场景,具备自动建模能力,无需人工调参; 用户可根据业务需要,使用可视化建模工具对数据中的各元素可以进行可视化拖
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值