|
|
IT教程名称：Spark技术茶话会 解密Spark性能优化之道 深度剖析实战案例 打造高性能Spark数据处... itspjc.com IT视频教程 52p
8 Y) i6 K, Z' x# B1 q* M5 b" W2 b# @3 p4 b===============课程介绍===============
( M f- K! | B4 a9 }/ ^- ^' u: X# A' e. X0 z3 o
课程通过实战案例解析和性能调优技巧的讲解，帮助学员提升大数据处理系统的性能和效率。课程内容涵盖了Spark性能调优的各个方面，包括内存管理、并行度设置、数据倾斜处理、Shuffle调优、资源配置等关键技术和策略。学员将通过实际案例的演示和分析，掌握解决Spark应用性能问题的方法和技巧，从而提升数据处理效率，优化应用性能。无论您是初学者还是有一定经验的大数据工程师，本课程都将为您提供宝贵的实战经验和实用技能，助您成为Spark性能调优的专家。
5 K% S- x/ ]2 W- _! n: b: p
) q% g5 `$ H' c===============课程目录===============
; @5 t% c0 ?8 C3 c% o W7 U0 `+ c# Z# T
( A1 P0 V, N+ e d# O1 r7 K
(1)\01-课前必学 (3讲)；目录中文件数:6个2 `, j5 P+ Q) S. o% C" X
├─01丨性能调优的必要性：Spark本身就很快，为啥还需要我调优？.m4a
$ {8 P# N! ?+ }4 Q' ~├─01丨性能调优的必要性：Spark本身就很快，为啥还需要我调优？.pdf/ u! J& X7 N6 A$ \6 ?+ [
├─02丨性能调优的本质：调优的手段五花八门，该从哪里入手？.m4a
0 P& u' J* C4 Y( n" |$ g- v+ U, i8 |├─02丨性能调优的本质：调优的手段五花八门，该从哪里入手？.pdf$ i/ v6 V: l/ p1 e: i ~
├─开篇词丨Spark性能调优，你该掌握这些“套路”.m4a
4 t9 k2 ^ {% B/ g' u├─开篇词丨Spark性能调优，你该掌握这些“套路”.pdf
. F: D$ z% e9 {(2)\02-原理篇 (5讲)；目录中文件数:10个
3 `9 X5 b: n1 F9 N l6 D9 V& p4 q0 W├─03丨RDD：为什么你必须要理解弹性分布式数据集？.m4a
5 G6 i1 z3 K, N6 s7 s# l- P$ a├─03丨RDD：为什么你必须要理解弹性分布式数据集？.pdf
% E4 a! ~. L, a4 q3 V X├─04丨DAG与流水线：到底啥叫“内存计算”？.m4a: A1 H) T3 F+ Q6 q+ h! c
├─04丨DAG与流水线：到底啥叫“内存计算”？.pdf) y* n+ P7 N4 V2 S
├─05丨调度系统：“数据不动代码动”到底是什么意思？.m4a
: l' o/ h' d8 _2 r├─05丨调度系统：“数据不动代码动”到底是什么意思？.pdf, q- {! ~; m% m' R
├─06丨存储系统：空间换时间，还是时间换空间？.m4a: Y% W, B4 w: k) y9 i3 O4 U
├─06丨存储系统：空间换时间，还是时间换空间？.pdf
+ H6 E+ ^3 m* H' M2 U- a2 @├─07丨内存管理基础：Spark如何高效利用有限的内存空间？.m4a) { d. X. o2 i( q/ }1 l* S
├─07丨内存管理基础：Spark如何高效利用有限的内存空间？.pdf3 [7 W: [1 B; {7 j* U# J
(3)\03-通用性能调优篇 (12讲)；目录中文件数:24个
2 e8 d8 s. X4 Z; |1 r; k0 a0 M; G7 s├─08丨应用开发三原则：如何拓展自己的开发边界？.m4a) s! I a& F1 ?, ?+ X1 Q
├─08丨应用开发三原则：如何拓展自己的开发边界？.pdf. j- O+ l$ a4 m5 x
├─09丨调优一筹莫展，配置项速查手册让你事半功倍！（上）.m4a
# A) b, _1 t4 }1 I9 T. s├─09丨调优一筹莫展，配置项速查手册让你事半功倍！（上）.pdf
$ c' h6 ~( f B1 C* A% R├─10丨调优一筹莫展，配置项速查手册让你事半功倍！（下）.m4a- E* {; ?& n/ p+ W
├─10丨调优一筹莫展，配置项速查手册让你事半功倍！（下）.pdf
2 ^- t) G0 o* t0 ` N6 y: f" T, }├─11丨Shuffle的工作原理：为什么说Shuffle是一时无两的性能杀手？.m4a
. k8 E3 V8 ?$ U4 e8 C3 b: c├─11丨Shuffle的工作原理：为什么说Shuffle是一时无两的性能杀手？.pdf) T: Z2 v( X: l5 N( {7 }
├─12丨广播变量（一）：克制Shuffle，如何一招制胜！.m4a, y5 d! m& J* V- Z5 c. h% K3 b" u
├─12丨广播变量（一）：克制Shuffle，如何一招制胜！.pdf
7 C; H7 l* |4 Q# r├─13丨广播变量（二）：有哪些途径让SparkSQL选择BroadcastJoins？.m4a
, J: u- m. O0 ~/ D! a* `; N% c├─13丨广播变量（二）：有哪些途径让SparkSQL选择BroadcastJoins？.pdf
) h$ I' P, L9 A* z! a* J) M" ^├─14丨CPU视角：如何高效地利用CPU？.m4a
' h" ^ t. _& F3 J! L% t2 d! Z# p├─14丨CPU视角：如何高效地利用CPU？.pdf
" t5 O+ J3 j ~, W4 J├─15丨内存视角（一）：如何最大化内存的使用效率？.m4a
7 `4 d$ S( G5 n5 e" j3 i% b├─15丨内存视角（一）：如何最大化内存的使用效率？.pdf
3 l8 L1 V \& v$ D( D├─16丨内存视角（二）：如何有效避免Cache滥用？.m4a
) V* I7 c n7 I* g" G├─16丨内存视角（二）：如何有效避免Cache滥用？.pdf
7 {. T0 G, A! W├─17丨内存视角（三）：OOM都是谁的锅？怎么破？.m4a
' A4 _$ r* c) H; ]5 ^├─17丨内存视角（三）：OOM都是谁的锅？怎么破？.pdf3 X2 k5 t5 i4 N5 a) g8 ?' u j
├─18丨磁盘视角：如果内存无限大，磁盘还有用武之地吗？.m4a
. b( a- K+ U0 D; ^( B├─18丨磁盘视角：如果内存无限大，磁盘还有用武之地吗？.pdf
$ ^( ?. e3 X6 Z├─19丨网络视角：如何有效降低网络开销？.m4a
2 I/ m V4 V- j├─19丨网络视角：如何有效降低网络开销？.pdf
: F6 n: R" V4 `0 t8 p" U(4)\04-Spark SQL 性能调优篇 (4讲)；目录中文件数:24个
9 _. B# D8 ~, i* A├─20丨RDD和DataFrame：既生瑜、何生亮.m4a9 x. M! e+ A$ t4 f# l
├─20丨RDD和DataFrame：既生瑜、何生亮.pdf
: [" C4 N% K" r: u├─21丨Catalyst逻辑计划：你的SQL语句是怎么被优化的？（上）.m4a
; ]/ V7 c M) g/ G3 P& Q* _* v+ Z├─21丨Catalyst逻辑计划：你的SQL语句是怎么被优化的？（上）.pdf5 @) Q ^# P, m8 m; @* @% C
├─22丨Catalyst物理计划：你的SQL语句是怎么被优化的（下）？.m4a
9 r e& b4 d) g1 [├─22丨Catalyst物理计划：你的SQL语句是怎么被优化的（下）？.pdf
5 Z; I. k8 N6 U. _/ B- w1 H) l├─23丨钨丝计划：Tungsten给开发者带来了哪些福报？.m4a1 e6 b3 o- `1 J, u; l
├─23丨钨丝计划：Tungsten给开发者带来了哪些福报？.pdf
! h& w* u0 W( O) }1 G: ]5 W├─24丨Spark3.m4a
" p4 @( w( B6 x8 t├─24丨Spark3.pdf/ a# ?2 d* M; }7 h* C
├─25丨Spark3.m4a
4 T. A( ~' ^9 W8 \ |! P├─25丨Spark3.pdf
8 T- ]( w* A9 h├─26丨JoinHints指南：不同场景下，如何选择Join策略？.m4a' J0 ^: C6 H% z2 T! L2 r: S* `
├─26丨JoinHints指南：不同场景下，如何选择Join策略？.pdf
6 d) U" G: [8 [' G) X% Q; @├─27丨大表Join小表：广播变量容不下小表怎么办？.m4a8 u+ A9 O7 m6 C- [2 F7 s
├─27丨大表Join小表：广播变量容不下小表怎么办？.pdf
P8 r1 T0 m! O├─28丨大表Join大表（一）：什么是“分而治之”的调优思路？.m4a
+ w+ X4 v) M$ C' x4 ]├─28丨大表Join大表（一）：什么是“分而治之”的调优思路？.pdf
0 ^/ @$ k1 Q/ g' c├─29丨大表Join大表（二）：什么是负隅顽抗的调优思路？.m4a( g6 w3 u: g: j2 \" D, ]9 q' i
├─29丨大表Join大表（二）：什么是负隅顽抗的调优思路？.pdf
% M4 T: v' } D├─30丨应用开发：北京市小客车（汽油车）摇号趋势分析.m4a4 i2 M2 r7 ~0 l3 {; ]- d( i
├─30丨应用开发：北京市小客车（汽油车）摇号趋势分析.pdf" K) N3 y( I: Z
├─31丨性能调优：手把手带你提升应用的执行性能.m4a. B) s- p5 t. c' Q
├─31丨性能调优：手把手带你提升应用的执行性能.pdf: |1 c6 a( I3 T7 J
(5)\05-结束语(2讲)；目录中文件数:2个* A- M) ?1 ^- R9 [0 _1 ]
├─结束语丨在时间面前，做一个笃定学习的人.m4a/ }4 @- `% }# w+ Q3 h; w- H0 P7 m
├─结束语丨在时间面前，做一个笃定学习的人.pdf
6 o6 M. w- m1 c+ B$ T( I+ c1 ~; i0 F+ h+ x
3 f8 ^7 S( S% Y- L7 d
资源下载地址（百度云盘）： 百度网盘地址回帖可见 网盘密码：ghdd
: x z" G/ D! V( }! @2 J( ` X
3 Z2 F& X! K4 K( \3 o本资源由IT视频教程网收集整理【www.itspjc.com】 |
|
发表于 2024-7-30 14:23:54
发表于 2024-7-30 14:33:39
