您的位置:首页>聚焦>数码 >内容

taskscheduler服务(TaskScheduler是什么意思)

2022-07-20 16:06:25来源:
导读想必现在有很多小伙伴对于TaskScheduler是什么意思方面的知识都比较想要了解,那么今天小好小编就为大家收集了一些关于TaskScheduler是什...

想必现在有很多小伙伴对于TaskScheduler是什么意思方面的知识都比较想要了解,那么今天小好小编就为大家收集了一些关于TaskScheduler是什么意思方面的知识分享给大家,希望大家会喜欢哦。

spark的DagScheduler负责将job划分成Stage,Stage的划分依据就是ShuffleDependency。

spark一共两种Stage,一种是ShuffleMapStage,一种ResultStage。

每个job可以有多个或者0个ShuffleMapStage,但是有且只有一个ResultStage。

然后根据Stage的依赖关系生成对应的tasks,再然后通过TaskScheduler对tasks进行调度并通知对应的Executor执行。

本文到此结束,希望对大家有所帮助。

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章