×

Hadoop

大数据Hadoop(二十六):YARN三大组件介绍

Lanson Lanson 发表于2022-02-27 20:00:27 浏览527 评论0

抢沙发发表评论

Yarn三大组件介绍

4a7b58b222.jpg

ResourceManager

  • ResourceManager负责整个集群的资源管理和分配,是一个全局的资源管理系统。

  • NodeManager以心跳的方式向ResourceManager汇报资源使用情况(目前主要是CPU和内存的使用情况)。ResourceManager只接受NodeManager的资源回报信息,对于具体的资源处理则交给NodeManager自己处理。

  • ResourceManager中的YARN Scheduler组件根据application的请求为其分配资源,不负责具体job的监控、追踪、运行状态反馈、启动等工作。



NodeManager

  • NodeManager是每个节点上的资源和任务管理器,它是管理这台机器的代理,负责该节点程序的运行,以及该节点资源的管理和监控。YARN集群每个节点都运行一个NodeManager。

  • NodeManager定时向ResourceManager汇报本节点资源(CPU、内存)的使用情况和Container的运行状态。当ResourceManager宕机时NodeManager自动连接ResourceManager备用节点。

  • NodeManager接收并处理来自ApplicationMaster的Container启动、停止等各种请求。


ApplicationMaster

  • 用户提交的每个应用程序均包含一个ApplicationMaster,它可以运行在ResourceManager以外的机器上。

  • 负责与ResourceManage调度器协商以获取资源(用Container表示)。

  • 将得到的任务进一步分配给内部的任务(资源的二次分配)。

  • 与NodeManager通信以启动/停止任务。

  • 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。


  • 📢博客主页:https://lansonli.blog.csdn.net

  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!

  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉

  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨


欢迎留言

访客