hadoop1.0和hadoop2.0的对比

关注

原创最新推荐文章于 2025-07-16 11:51:11 发布 1.9k 阅读 AI 写同款· GEO 优化 ›

hadoop 1.0 && hadoop 2.0对比 hadoop 1.0 && hadoop 2.0对比 hdfs 1.0 NameNode管理着整个文件系统，负责接收用户的操作请求 NameNode管理着整个文件系统的目录结构，所谓目录结构类似于我们Windows操作系统的体系结构 NameNode管理着整个文件系统的元数据信息，所谓元数据信息指定是除了数据本身之外涉及到文件自身的相关信息 NameNode保管着文件与block块序列之间的对应关系以及block块与DataNode节点之间的对应关系在hadoop.. 阅读详情

Hadoop1.0包含两个核心组件，分别是HDFS和MapReduce。

Hadoop2.0在Hadoop1.0基础之上增加了独立的集群资源管理组件Yarn。Yarn不仅可以为MapReduce提供资源管理服务，也可以为MPI、Storm、Spark和Flink等计算框架提供资源管理服务。

对比项目 MapReduce Yarn
角色
JobTracker

TaskTracker

(执行程序时添加MapTask和ReduceTask）

ResourceManager NodeManager

（执行程序时，会首先启动ApplicationMaster）

分工
1.JobTracker 资源分配、任务调度

2.TaskTracker 节点资源管理、任务进度

1.ResourceManager 资源分配

2.NodeManager 节点资源管理

3.ApplicationMaster 任务调度、进度汇报

资源分配
Slot作业槽

1.分MapSlot和Reduce Slot分别对应Map任务和Reduce任务，无法通用

2.Slot资源大小固定，一经配置，无法改变，每个MapSlot资源大小相等

3.Slot的进程名为ChildJVM

Container容器

1.容器不分类型，Map和Reduce任务通用，AppMaster也在容器中运行

2.Container容器大小可变，可动态申请不同大小的容器

3.Container进程名为YarnJVM

收录于

BigData学习

标签

#hadoop #big data #spark

本内容遵循 CC 4.0 BY-SA 版权协议

数据埋点系列 3｜数据质量保证：验证、清洗与管理数据质量管理是一个持续的过程,需要技术和组织文化的共同支持。通过本文,我们深入探讨了数据质量保证的各个方面,从基本的验证和清洗技术,到高级的监控和自动化策略。主动的而非被动的自动化的而非手动的持续的而非一次性的全面的而非局部的随着数据在决策中的作用越来越重要,确保数据质量将成为每个数据驱动型组织的核心竞争力。通过实施本文中讨论的策略和技术,你将能够建立一个强大的数据质量保证体系,为你的组织带来更可靠、更有价值的数据洞察。阅读详情

对比项目	MapReduce	Yarn
角色	JobTracker TaskTracker (执行程序时添加MapTask和ReduceTask）	ResourceManager NodeManager （执行程序时，会首先启动ApplicationMaster）
分工	1.JobTracker 资源分配、任务调度 2.TaskTracker 节点资源管理、任务进度	1.ResourceManager 资源分配 2.NodeManager 节点资源管理 3.ApplicationMaster 任务调度、进度汇报
资源分配	Slot作业槽 1.分MapSlot和Reduce Slot分别对应Map任务和Reduce任务，无法通用 2.Slot资源大小固定，一经配置，无法改变，每个MapSlot资源大小相等 3.Slot的进程名为ChildJVM	Container容器 1.容器不分类型，Map和Reduce任务通用，AppMaster也在容器中运行 2.Container容器大小可变，可动态申请不同大小的容器 3.Container进程名为YarnJVM

hadoop1.0和hadoop2.0的对比

相关推荐