Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的类进环境,Standalone模式是类进真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,类进用于实际的类进大数据处理。
StandAlone 是类进完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。
StandAlone集群在进程上主要有3类进程:
Master角色,类进 管理整个集群资源,并托管运行各个任务的类进Driver
Worker角色, 管理每个机器的资源,分配对应的类进资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPU Cores核数。类进
Spark Application运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。
责任编辑:华轩 来源: 今日头条 集群Standalone(责任编辑:热点)
华电国际(600027.SH)公布消息:拟购买蒙东能源45.15%股权及福源热电36.86%股权
NVIDIA RTX 3050转为GA107 GPU 功耗降低15W
法国金融科技公司Bankin’融资700万欧元 提供资金管理服务
视频流媒体平台HOOQ募资2500万美元 对抗竞争对手Netflix
南京银行(601009.SH)拟发行不超400亿元金融债券 一次或分次申报