脚本宝典收集整理的这篇文章主要介绍了Spark on Yarn 架构是怎么样的(画图),脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
1、客户端提交一个Application,在客户端启动一个Driver进程。 2、Driver进程会向RS(ResourceManager)发送请求,启动am(ApplicationMaster)的资源。 3、RS收到请求,随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。 4、AM启动后,会向RS请求一批container资源,用于启动Executor.RS会找到一批NM返回给AM,用于启动Executor。 5、AM会向NM发送命令启动Executor。 6、Executor启动后,会反向注册给Driver,Driver发送task到Executor,执行情况和结果返回给Driver端。
以上是脚本宝典为你收集整理的Spark on Yarn 架构是怎么样的(画图)全部内容,希望文章能够帮你解决Spark on Yarn 架构是怎么样的(画图)所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。