想必现在有很多小伙伴对于TaskScheduler是什么意思方面的知识都比较想要了解,那么今天小好小编就为大家收集了一些关于TaskScheduler是什么意思方面的知识分享给大家,希望大家会喜欢哦。
spark的DagScheduler负责将job划分成Stage,Stage的划分依据就是ShuffleDependency。
spark一共两种Stage,一种是ShuffleMapStage,一种ResultStage。
每个job可以有多个或者0个ShuffleMapStage,但是有且只有一个ResultStage。
然后根据Stage的依赖关系生成对应的tasks,再然后通过TaskScheduler对tasks进行调度并通知对应的Executor执行。
本文到此结束,希望对大家有所帮助。