Spark on Yarn 架构是怎么样的(画图)

发布时间:2022-06-27 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Spark on Yarn 架构是怎么样的(画图)脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

Spark on Yarn 架构是怎么样的(画图)

 1、客户端提交一个Application,在客户端启动一个Driver进程。 2、Driver进程会向RS(ResourceManager)发送请求,启动am(ApplicationMaster)的资。 3、RS收到请求,随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。 4、AM启动后,会向RS请求一批container资源,用于启动Executor.RS会找到一批NM返回给AM,用于启动Executor。 5、AM会向NM发送命令启动Executor。 6、Executor启动后,会反向注册给Driver,Driver发送task到Executor,执行情况和结果返回给Driver端。

脚本宝典总结

以上是脚本宝典为你收集整理的Spark on Yarn 架构是怎么样的(画图)全部内容,希望文章能够帮你解决Spark on Yarn 架构是怎么样的(画图)所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。