Spark调优
视频介绍
Spark是大数据工程师的必备技能之一，本套Spark性能调优教程从多个角度详解Spark调优策略，包括资源配置调优、Spark SQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark 3.0新特性详解等。每个角度都提供了多种解决方案参考，并提出了详细的配置参数，剖析了常见的故障排除手法，可解决工作中遇到的各种Spark疑难杂症。
教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自适应查询执行）、DPP（动态分区裁剪）、Hint增强，新增了谓词下推、列剪裁、常量替换、基于CBO的优化等Spark SQL优化手段。教程内容涉及面广、系统性强，将常用的Spark优化手段综合分类，提供了多种解决方案，在讲解常见问题的前提下，更注重培养解决问题的通用思路，让学习者可以触类旁通举一反三。
视频目录 选集
- 01.尚硅谷_Spark调优-课程简介
- 02.尚硅谷_Spark调优-执行计划-准备测试数据和表
- 03.尚硅谷_Spark调优-执行计划-执行流程&案例实操解读
- 04.尚硅谷_Spark调优-资源规划-资源设定上限估算
- 05.尚硅谷_Spark调优-资源规划-精确内存估算
- 06.尚硅谷_Spark调优-资源规划-精确调整内存各比例
- 07.尚硅谷_Spark调优-缓存调优-RDD-进行cache
- 08.尚硅谷_Spark调优-缓存调优-RDD-cache结合kryo序列化
- 09.尚硅谷_Spark调优-缓存调优-DS-cache和序列化
- 10.尚硅谷_Spark调优-CPU调优-合理利用CPU资源
- 11.尚硅谷_Spark调优-语法优化-RBO-inner join的谓词下推
- 12.尚硅谷_Spark调优-语法优化-RBO-外关联的谓词下推
- 13.尚硅谷_Spark调优-语法优化-RBO-列裁剪&常量替换
- 14.尚硅谷_Spark调优-语法优化-CBO-Statics统计&CBO使用效果
- 15.尚硅谷_Spark调优-语法优化-广播Join
- 16.尚硅谷_Spark调优-语法优化-Join-SMB Join原理
- 17.尚硅谷_Spark调优-语法优化-Join-SMB Join效果演示
- 18.尚硅谷_Spark调优-数据倾斜-现象&原因&抽样定位大key
- 19.尚硅谷_Spark调优-数据倾斜-单表数据倾斜处理
- 20.尚硅谷_Spark调优-数据倾斜-Join-使用广播Join
- 21.尚硅谷_Spark调优-数据倾斜-Join-拆分key 打散大表 扩容小表
- 22.尚硅谷_Spark调优-Map端优化-使用Map端预聚合
- 23.尚硅谷_Spark调优-Map端优化-读取小文件优化
- 24.尚硅谷_Spark调优-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析
- 25.尚硅谷_Spark调优-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区
- 26.尚硅谷_Spark调优-Reduce端优化-动态分区插入小文件优化
- 27.尚硅谷_Spark调优-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔
- 28.尚硅谷_Spark调优-Reduce端优化-合理使用bypass
- 29.尚硅谷_Spark调优-Job优化-调节数据本地化等待时间
- 30.尚硅谷_Spark调优-Job优化-堆外内存的版本区别
- 31.尚硅谷_Spark调优-Job优化-使用堆外缓存
- 32.尚硅谷_Spark调优-Job优化-调整连接等待时长
- 33.尚硅谷_Spark调优-Spark3.0-AQE-动态合并分区&动态申请资源
- 34.尚硅谷_Spark调优-Spark3.0-AQE-动态切换Join策略
- 35.尚硅谷_Spark调优-Spark3.0-AQE-自动优化join倾斜
- 36.尚硅谷_Spark调优-Spark3.0-DPP-动态分区裁剪
- 37.尚硅谷_Spark调优-Spark3.0-Hint增强
- 38.尚硅谷_Spark调优-常见故障思路简析