Spark大数据处理案例分析与实践培训课程

Spark大数据架构概述及案例简介

1. 1介绍Spark大数据层级架构及各层软件设计要求，包括数据收集，大数据存储，大数据计算框架，大数据应用等
1.2. Hadoop与Spark区别与关系
1.3. Spark生态系统概述以及版本演化，并给出spark版本选择建议
1.4. Spark典型案例简介(简要介绍案例，具体在后面各节会详细介绍)
Spark商品推荐系统、用户标签系统

Spark产生动机与基本概念

2.1 Spark产生背景，与MapReduce对比，其优缺点是什么
2.2 Spark核心概念
（1）RDD
（2）基本操作：transformation与 action
2.2 Spark程序架构
（1）Driver/executor
（2）容错机制

Spark安装部署

3.1 Spark运行模式简介、standlone模式、Spark on yarn模式
3.2 搭建一个spark on yarn集群、搭建yarn集群、运行第一个spark程序

Spark程序设计实例

4.1 Scala语言基础，常用语法以及库函数
4.2 Spark程序设计方法
1.Spark程序基本构成,SparkContext，RDD，transformation/action
2.Spark API介绍
（1） 如何创建RDD（scala集合，HDFS文件，HBase文件等）
（2）如何基于RDD进行数据处理，介绍常见的分布式算子
（3）如何保存处理结果（返回到driver端，写入hdfs等）
（4）广播变量与累加器
4.3 Spark程序设计实例
（1）分布式Pi估算程序
（2）K-means分类算法实现
（3）逻辑回归算法实现

Spark内部原理

5.1 Spark程序运行流程概述
介绍Spark从提交，到调度，到最后执行完成整个过程
5.2 Spark内部执行流程
介绍Spark程序内部的逻辑查询计划，物理查询计划，调度等几个环节
5.3 Spark shuffle实现
介绍Spark shuffle发展史及实现逻辑
5.4 Spark算子的内部机制
以reduce By Key和group By Key为例介绍spark算子的内部实现原理

Spark与外部系统整合

6.1 Spark与Kafka和flume结合
介绍如何使用kafka和flume将数据导入hadoop中，以便使用spark处理
6.2 Spark与Storm结合
介绍如何使用spark实时处理数据
6.3 Spark与HBase和HDFS结合
介绍Spark如何与HBase和HDFS实现数据的读写交互
6.4 Spark与关系型数据库和hive结合
介绍如何使用spark与关系型数据库和hive结合

Spark调优方法

Spark调优思想、方法

Spark案例分析

基于Spark的商品推荐系统，包括：项目背景、项目架构、项目实施

Spark Streaming应用及案例分析

8.1 Spark Streaming产生动机
8.2 Spark Streaming程序设计
（1）创建DStream
（2）基于DStream进行流式处理
8.3 Spark Streaming容错与性能优化
（1）Spark Streaming容错机制
（2）如何对spark Streaming进行优化
8.4 Spark Streaming案例分析
基于Spark Streaming的用户标签系统，内容包括项目背景，项目架构以及实施方法

Spark SQL

9.1 Spark SQL定位
9.2 如何使用SparkSQL处理数据
（1）使用SparkSQL处理HDFS上数据
（2）使用SparkSQL处理Hive中的数据
9.3 Spark SQL与Spark及Spark Streaming结合

MLlib

10. 介绍Spark的数据挖掘库MLlib，重点介绍其内部的几个分类算法，聚类算法和推荐算法，包括逻辑回归，K-Means，协同过滤等

GraphX

11. 介绍Spark内部的图计算框架GraphX，重点介绍它的基本原理及使用方法