`
han_zw
  • 浏览: 171966 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

hadoop2.7.2 yarn中文文档——概述

 
阅读更多
下一代MapReduce——Yarn(MRv2)
 
在hadoop-0.23中引入的新框架把JobTracker的两个主要功能:资源管理和job生命周期管理分别拆分成了独立的组件。
新的ResourceManager管理Application所需计算资源的全局分配,每个独立应用的ApplicationMaster管理应用的调度和协调。
一个应用程序可以是类似于经典的MapReduce的独立job,也可以是类似job组成的DAG。
ResourceManager和每个机器上的NodeManager都是后台守护进程。NodeManager管理所在机器的用户进程,与ResourceManager共同构成YARN的计算框架。
每个应用程序的ApplicationMaster实际上是一个框架的中的特定library,它的职责就是与ResourceManager协商资源以及与NodeManager协作队任务进行执行和监管。
 
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics