大数据架构与数据挖掘培训课程

大数据架构概述

1. 大数据层级结构
介绍大数据系统基本架构与流程
2. Hadoop生态系统概述以及版本演化
概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。
3. Spark生态系统概述
概要介绍Spark生态系统及其特点，并与Hadoop对比

数据收集系统Flume与Sqoop

介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘

大数据存储系统HDFS与HBase

1. 1. HDFS 2.0 原理、特性与基本架构
2. 理论：介绍HDFS 2.0原理与架构，以及使用方式
3.
4. 2. HBase原理，基本架构与案例分析
5. 理论：介绍HBase应用场景、原理和架构，介绍几个HBase典型应用案例，包括互联网应用案例和银行应用案例。

分布式计算技术MapReduce与Hive

1. 介绍计算框架MapReduce基本原理，架构及程序设计方式
2. 动手编写第一个MapReduce程序
3. Hive基本原理及使用方式

分布式计算技术Spark

1. 介绍计算框架Spark基本原理，架构及程序设计方式
2. Spark程序设计

数据挖掘与机器学习

1. 常见的数据挖掘与机器学习算法
2. Hadoop数据挖掘库mahout
3. Spark数据挖掘库mllib

应用案例1：基于Hadoop的构建数据仓库

1. 数据仓库基础介绍
2. 如何利用大数据系统构建数据仓库
使用Flume+HDFS+MapReduce+Hive构建数据仓库
3. 数据仓库基本架构
4. 数据仓库应用
如报表生成

应用案例2：用户画像系统

1. 什么是用户画像系统
2. 如何构建用户画像系统
使用Flume/sqoop+HDFS+HBase+MapReduce/Spark+redis构建用户标签系统
3. 用数据挖掘方式构建用户标签 
应用逻辑回归、聚类、分类等机器学习和数据挖掘算法构建用户标签
4. 用户画像系统应用
用户画像系统在用户信用等级分级、大数据营销中、用户流失预警、潜在用户分析、异常检测与分析等方面的应用

应用案例3：商品推荐系统

1. 什么是商品推荐系统
2. 商品推荐系统基本架构
使用Flume+HDFS +Spark+Redis构建推荐系统
3. 推荐算法
推荐算法详解

应用案例4：数据挖掘系统

1. 什么是数据挖掘系统
2. 数据挖掘算法的使用
以Spark为主，如何设计和实现逻辑回归、聚类、分类等机器学习和数据挖掘算法
3. 数据挖掘的典型应用