博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark运行模式
阅读量:3893 次
发布时间:2019-05-23

本文共 473 字,大约阅读时间需要 1 分钟。

简单简述一下

spark有一个主节点master和从节点worker

而spark在运行在集群的时候,由driver来负责job的调度,Exexutor来运行task

因此,spark的部署模式通俗的讲便是driver的运行位置

主要由两个

1、client(本地)

2、cluster(集群)

而由于spark可以交由自带的standalone集群资源管理框架管理,也可以

交由yarn来管理,因此又分为四类

1、standalone的本地模式与集群模式

2、yarn的本地模式和集群模式

spqrk on yarn

-》申请资源

    driver>>appmaster>>resourcemanager

driver在运行在本地的时候,driver并不是直接去找resourcemanager去寻找资源,

而是通过Appmaster然后再通过 

-》任务调度

    appmaster>>driver>>executor>>Task

在任务调度的时候,appmaster并不会直接去通知executor去执行task,而是通过

driver去执行这个任务

转载地址:http://jpahn.baihongyu.com/

你可能感兴趣的文章
OOD的原则
查看>>
Tool to trace local function calls in Linux
查看>>
Linux 下查询 DNS 服务器信息
查看>>
ulimit 里的 file size 的 block 单位是多少?
查看>>
linux下查看端口对应的进程
查看>>
将 gdb 用作函数跟踪器 (Function Tracer)
查看>>
原 GCC一些有用的技巧
查看>>
yum 变量追加的方法
查看>>
2倍速的下一代Bluetooth,「Bluetooth 5」发布
查看>>
Top 10 “Yum” installables to be productive as a developer on Red Hat Enterprise Linux
查看>>
[小技巧] Vim 如果去除 “existing swap file” 警告
查看>>
如何在linux下检测内存泄漏
查看>>
十年生聚,Vim 8.0 发布了!
查看>>
【演歌】加賀の女 歌词翻译
查看>>
東京音頭 (东京音头) 歌词翻译
查看>>
Windows 7 下登录界面里 Ctrl + Alt + Del 无法使用
查看>>
惠山赏菊 & 梅园赏桂
查看>>
[小技巧] cat /proc/modules 显示的地址为 0
查看>>
[游戏] chrome 的小彩蛋
查看>>
napi
查看>>