CDH简介

CDH介绍

1、需求

需要搭建1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
只给你一天时间，完成以上工作？
对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少花费多长时间？
新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

2、Apache Hadoop 不足之处

版本管理混乱
部署过程繁琐、升级过程复杂
兼容性差
安全性低

在商业应用中，对于企业成百上千的机器集群进行安装hadoop一系列组件费时费力，而且hadoop各个开源组件版本混乱，管理升级也比较困难，对于企业日常的管理维护带来极大不方便,现在商用的比较流行国外的是CDH（Cloudera’s Distribution Including Apache Hadoop），国内是星环、华为等公司，他们改造封装了HADOOP生态组件来出售。

3、Hadoop 发行版

Apache Hadoop
Cloudera’ s Distribution Including Apache Hadoop（CDH）
Hortonworks data Platform（HDP）
MapR
EMR
…

4、CDH

Cloudera’s Distribution，including Apache Hadoop
是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面

1）CDH的优点
版本划分清晰
版本更新速度比较快
支持Kerberos安全认证
文档清晰
支持多种安装方式

2）CDH安装方式
Cloudera Manager
Yum
Rpm
Tarball

5、CDH下载地址

CDH5.10
http://archive.cloudera.com/cdh5/parcels/5.10.0/

Cloudera Manager5.10.0
https://www.cloudera.com/downloads/manager/5-10-0.html

6、Cloudera Manager简介

Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
架构

Server
管理控制台服务器和应用程序逻辑
负责软件安装、配置
启动和停止服务
管理服务运行的集群
Agent
安装在每台主机上
负责启动和停止进程，配置，监控主机
Management Service
由一组角色组成的服务，执行各种监控、报警和报告功能
Database
Cloudera Repository
Clients
Admin Console
API
作用：
管理：对集群进行管理，如添加、删除节点等操作。
监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
诊断：对集群出现的问题进行诊断，对出现的问题给出
集成：对hadoop的多组件进行整合