Spark 性能调优核心原理，你会吗你会吗？

作者：ziwen 2021-12-26 00:03:25开发 架构 Spark 所谓内存计算，性心原不仅仅是优核指数据可以缓存在内存中，更重要的你会吗是，通过计算的性心原融合来大幅提升数据在内存中的转换效率，进而从整体上提升应用的优核执行性能。

[[441977]]

用了这么久spark了，你会吗今天总结下他的性心原一些优化方面的核心原理，今天我们分这么几个方面来谈:

一.RDD

RDD是优核弹性分布式数据集的简称，他是你会吗其他后来者，比如DataFrame,性心原DataSet等的基础。他有四大核心属性，优核如下所示。你会吗

这4 大属性又可以划分为两类，性心原横向属性和纵向属性。优核其中，横向属性锚定数据分片实体，并规定了数据分片在分布式集群中如何分布。

纵向属性用于在纵深方向构建 DAG，通过提供重构 RDD 的容错能力保障内存计算的稳定性。

其实RDD还有个特性:优先位置列表.算上他总共有5大特性。白话文总结就是:3个列表，2个函数。3个列表是分区列表，依赖列表和优先位置列表;2个函数就是：计算函数和分区函数。

二.内存计算

在 Spark 中，内存计算有两层含义：第一层含义就是众所周知的分布式数据缓存，第二层含义是 Stage 内的流水线式计算模式。

流水线计算模式指的是：在同一 Stage 内部，所有算子融合为一个函数，Stage 的输出结果由这个函数一次性作用在输入数据集而产生。

所谓内存计算，不仅仅是指数据可以缓存在内存中，更重要的是，通过计算的融合来大幅提升数据在内存中的转换效率，进而从整体上提升应用的执行性能。

比如这个栗子:

如图所示，在上面的计算流程中，如果你把流水线看作是内存，每一步操作过后都会生成临时数据，如图中的 clean 和 slice，这些临时数据都会缓存在内存里。但在下面的内存计算中，所有操作步骤如 clean、slice、bake，都会被捏合在一起构成一个函数。这个函数一次性地作用在“带泥土豆”上，直接生成“即食薯片”，在内存中不产生任何中间数据形态。

补充下:从程序员的视角出发，DAG 的构建是通过在分布式数据集上不停地调用算子来完成的，DAG 以 Actions 算子为起点，从后向前回溯，以 Shuffle 操作为边界，划分出不同的 Stages。同一 Stage 内所有算子融合为一个函数，Stage 的输出结果由这个函数一次性作用在输入数据集而产生。

 

责任编辑：武晓燕 来源： 记录技术记录我 Spark性能调优

(责任编辑：热点)