本文共 473 字,大约阅读时间需要 1 分钟。
简单简述一下
spark有一个主节点master和从节点worker
而spark在运行在集群的时候,由driver来负责job的调度,Exexutor来运行task
因此,spark的部署模式通俗的讲便是driver的运行位置
主要由两个
1、client(本地)
2、cluster(集群)
而由于spark可以交由自带的standalone集群资源管理框架管理,也可以
交由yarn来管理,因此又分为四类
1、standalone的本地模式与集群模式
2、yarn的本地模式和集群模式
spqrk on yarn
-》申请资源
driver>>appmaster>>resourcemanager
driver在运行在本地的时候,driver并不是直接去找resourcemanager去寻找资源,
而是通过Appmaster然后再通过
-》任务调度
appmaster>>driver>>executor>>Task
在任务调度的时候,appmaster并不会直接去通知executor去执行task,而是通过
driver去执行这个任务
转载地址:http://jpahn.baihongyu.com/