简述一个完整的MapReduce程序在Yarn中的执行过程?
简述一个完整的MapReduce程序在Yarn中的执行过程?
发布时间：2025-05-27 17:46:46
请在 下方输入 要搜索的题目：
推荐参考答案 (
由 快搜搜题库 官方老师解答 )
答案：(1)ResourcManagerJobClient向ResourcManager提交一个job。(2)ResourcManager向Scheduler请求一个供MRAppMaster运行的container,然后启动它。(3)MRAppMaster启动起来后向ResourcManager注册。(4)ResourcManagerJobClient向ResourcManager获取到MRAppMaster相关的信息,然后直接与MRAppMaster进行通信。(5)MRAppMaster算splits并为所有的map构造资源请求。(6)MRAppMaster做一些必要的MROutputCommitter的准备工作。(7)MRAppMaster向RM(Scheduler)发起资源请求,得到一组供map/reducetask运行的container,然后与NodeManager一起对每一个container执行一些必要的任务,包括资源本地化等。(8)MRAppMaster监视运行着的task直到完成,当task失败时,申请新的container运行失败的task。(9)当每个map/reducetask完成后,MRAppMaster运行MROutputCommitter的cleanup代码,也就是进行一些收尾工作。(10)当所有的map/reduce完成后,MRAppMaster运行OutputCommitter的必要的jobcommit或者abortAPIs。(11)MRAppMaster退出。
相关试题
