首页 > 技术,让世界更美好。 > 【hadoop】yarn知识小结【施工中】

【hadoop】yarn知识小结【施工中】

2018年3月5日

yarn是hadoop2以上采用的分布式计算框架,对比hadoop1的分布式计算,yarn拥有更强大的资源管理和扩展性。

1.概况

如图所示,yarn服务从资源角度看,yarn有ResourceManager和NodeManager组成,前者负责管理整个分布式集群的资源,后者作为每个节点的代理。

yarn从应用执行角度看,有ApplicationMaster和container 两部分,前者负责应用的提交和协调运行,后者是具体的任务执行的容器。

整个应用的运行为:

  1. 提交应用
  2. ResourceManager为应用分配第一个容器作为ApplicationMaster
  3. ApplicationMaster根据应用情况向ResourceManager申请和领取资源
  4. 申请到资源的ApplicationMaster与具体的nodeManager通讯,进行任务分配
  5. 每个nodeManager中任务运行完成向ApplicationMaster汇报,ApplicationMaster在整个作业完成后,向ResourceManager申请关闭,释放资源
本文的评论功能被关闭了.