|
1 | 1 | # 为啥要学习Spark? |
2 | 2 |
|
3 | | -## 你将获得 |
| 3 | +## 1 你将获得 |
4 | 4 |
|
5 | 5 | - 快速构建 Spark 核心知识体系 |
6 | 6 | - Spark 三大计算场景案例实操 |
7 | 7 | - 逐句注释的保姆级代码讲解 |
8 | 8 | - 在故事中搞懂 Spark 开发实战技巧 |
9 | 9 |
|
10 | | -## 专栏介绍 |
| 10 | +## 2 专栏介绍 |
11 | 11 |
|
12 | | -说到学习 Spark,如果你对“Spark 还有那么火吗?会不会已经过时了?”这个问题感到困惑,那大可不必。 |
| 12 | +Spark 还有那么火吗?会不会已经过时?若对此感到困惑,大可不必。经十多年发展,Spark 已由当初“大数据新秀”成长为数据应用领域的中流砥柱,早已成为各大头部互联网公司的标配。如字节、美团、Netflix 等公司基于 Spark 构建的应用,在为公司旗下的核心产品提供服务。 |
13 | 13 |
|
14 | | -因为经过十多年的发展,Spark 已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱,早已成为各大头部互联网公司的标配。比如,字节跳动、美团、Netflix 等公司基于 Spark 构建的应用,在为公司旗下的核心产品提供服务。 |
| 14 | +即对于数据应用领域的任何一名工程师,Spark 开发都是必备技能。 |
15 | 15 |
|
16 | | -这也就意味着,**对于数据应用领域的任何一名工程师来说,Spark 开发都是一项必备技能**。 |
| 16 | +虽然 Spark 好用,而且是大数据开发必修课,但入门也面临难题: |
17 | 17 |
|
18 | | -虽然 Spark 好用,而且是大数据从业者的一门必修课,但对于入门这件事儿,却也面临着这样一些难题: |
19 | | - |
20 | | -- 学习资料多且杂,自己根本就梳理不出脉络,更甭提要构建结构化的知识体系了。 |
21 | | -- 学习 Spark,一定要先学 Scala 吗?新学一门编程语言,真不是件容易的事儿。 |
22 | | -- Spark 的开发算子太多,记不住,来了新的业务需求,又不知道该从哪里下手。 |
| 18 | +- 学习资料多杂,自己根本梳理不出脉络,更甭提构建结构化知识体系 |
| 19 | +- 学习 Spark,一定要先学 Scala?新学一门编程语言,真不是件容易的事儿。 |
| 20 | +- Spark 开发算子太多,记不住,来了新业务需求,又不知道从何下手 |
23 | 21 | - …… |
24 | 22 |
|
25 | | -那么,该如何解决这些问题,从而打开 Spark 应用开发的大门呢? |
| 23 | +咋解决这些问题,顺利打开 Spark 应用开发大门呢? |
| 24 | + |
| 25 | +结合多年学习、应用和实战 Spark 的丰富经验,梳理了一套零基础入门 Spark 的“三步走”方法论: |
26 | 26 |
|
27 | | -为此,我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战 Spark 的丰富经验,为你梳理一套零基础入门 Spark 的“三步走”方法论:**熟悉 Spark 开发 API 与常用算子、吃透 Spark 核心原理、玩转 Spark 计算子框架**,从而帮助你零基础上手 Spark 。 |
| 27 | +- **熟悉 Spark 开发 API 与常用算子** |
| 28 | +- **吃透 Spark 核心原理** |
| 29 | +- **玩转 Spark 计算子框架** |
28 | 30 |
|
29 | | -这个“三步走”方法论再配合 4 个不同场景的小项目,吴磊老师会从基本原理到项目落地,带你深入浅出玩转 Spark。 |
| 31 | +助你零基础上手 Spark 。这“三步走”方法论再配合 4 个不同场景的小项目,吴磊老师会从基本原理到项目落地,深入浅出玩转 Spark。 |
30 | 32 |
|
31 | | -### 专栏模块设计 |
| 33 | +### 2.1 专栏模块设计 |
32 | 34 |
|
33 | | -结合 Spark 最常用的计算子框架,这门课设计为 4 个模块,它与“三步走”方法论的对应关系: |
| 35 | +结合 Spark 最常用的计算子框架,专栏设计为 4 个模块,它与“三步走”方法论的对应关系: |
34 | 36 |
|
35 | 37 |  |
36 | 38 |
|
37 | | -**基础知识模块**:从一个叫作“Word Count”的小项目开始,详细地讲解 RDD 常用算子的含义、用法与适用场景,以及 RDD 编程模型、调度系统、Shuffle 管理、内存管理等核心原理,帮你打下坚实的理论基础。 |
| 39 | +**基础知识模块**:从“Word Count”开始,详解 RDD 常用算子的含义、用法与适用场景,以及 RDD 编程模型、调度系统、Shuffle 管理、内存管理等核心原理,帮你打下坚实的理论基础。 |
38 | 40 |
|
39 | | -**Spark SQL 模块**:从“小汽车摇号”项目入手,带你熟悉 Spark SQL 开发 API,为你讲解 Spark SQL 的核心原理与优化过程,以及 Spark SQL 与数据分析有关的部分,如数据的转换、清洗、关联、分组、聚合、排序,等等。 |
| 41 | +**Spark SQL 模块**:从“小汽车摇号”入手,熟悉 Spark SQL 开发 API,为你讲解 Spark SQL 的核心原理与优化过程,以及 Spark SQL 与数据分析有关的部分,如数据的转换、清洗、关联、分组、聚合、排序,等等。 |
40 | 42 |
|
41 | | -**Spark MLlib 模块**:从“房价预测”这个小项目入手,带你了解 Spark 在机器学习中的应用,深入学习 Spark MLlib 丰富的特征处理函数和它支持的模型与算法,并带你了解 Spark + XGBoost 集成是如何帮助开发者应对大多数的回归与分类问题。 |
| 43 | +**Spark MLlib 模块**:从“房价预测”入手,了解 Spark 在机器学习中的应用,深入学习 Spark MLlib 丰富的特征处理函数和它支持的模型与算法,并带你了解 Spark + XGBoost 集成是如何帮助开发者应对大多数的回归与分类问题。 |
42 | 44 |
|
43 | 45 | **Structured Streaming 模块**:重点讲解 Structured Streaming 是怎么同时保证语义一致性与数据一致性的,以及如何应对流处理中的数据关联,并通过 Kafka + Spark 这对“Couple”的系统集成,来演示流处理中的典型计算场景。 |
44 | 46 |
|
45 | | -## 目录 |
46 | | - |
47 | | - |
| 47 | +## 3 大纲 |
48 | 48 |
|
49 | 49 |  |
0 commit comments