大数据处理与优化最佳实践培训

主题

内容见要

第一部分

海量数据处理系统
的架构设计

这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。

Ø  海量数据处理的系统场景

Ø  大数据时代的数据架构解决方案

Ø  海量数据处理的架构汇总

Ø  8种海量数据处理的架构设计比较

Ø  分布式系统架构的海量数据处理设计

Ø  海量数据处理设计

典型案例分析：

NoSQL的实践应用

       NoSQL综述解决的实际问题

       关系数据库暴露的问题

n  High performance并发要求

n  Huge Storage的存取

n  High Scalability的服务器分布要求

n  High Availability的服务器健壮要求

       关系型数据库失效的场景

       NoSQL与关系型数据库设计理念比较

       NoSQL设计模型分析

n  K-V模型的Column设计

n  Document模型的B Tree设计

n  Object模型的基于Object数据访问设计

       NoSQL实例分析

n  Apache Hbase架构解析

n  Facebook Cassandra架构解析

n  Google BigTable架构解析

典型案例分析：

进入Hadoop的精彩世界

       文件存储-HDFS

       HDFS-工作原理

       数据计算MapReduce

       MapReduce工作原理

       SQL分析-Hive

       海量实时读写-HBase

       工作流调度-Ooize

       分布式协调系统—Zookeeper

第二部分

Hadoop部署与编程

       Hadoop版本介绍与选择

       Hadoop部署实践

       Hadoop安装文件构成与配置体系

       机器硬件建议配置

       系统环境配置

       基本参数配置与说明

       进程分布规划与启动

       Hadoop基本使用操作

       HDFS

       权限

       MapReduce

       HDFS编程

       开发环境准备

       读文件

       写文件

       Hadoop系统容灾策略

       Hadoop资源调度策略

       Hadoop安全

       Hadoop系统监控与报警策略

Hive架构及实践案例沙盘演练

       Hive系统部署与搭建

       Hive工作机制

       基于Hive的网站日志分析示例

       Hive的用户自定义函数开发

       Hive底层数据文件与数据压缩选择

n  gzip

n  bz2

n  lzo

n  rcfile

       Hive运行参数调优

       Hive程序编写性能建议

n  MapJoin

n  数据倾斜

n  Join顺序

n  UDF编写注意事项

n  快速获取结果TopN

       通过Explain观察Hive行为

       典型案例分析

第三部分

Hadoop集群架构搭建及实践案例沙盘演练

       Hadoop集群架构搭建方法

       Hadoop集群架构性能管理

       HDFS，NameNode，DataNode的调优和节点扩展最佳实践

       主要调优工具和性能监控工具

       Hadoop集群对于硬件的要求和选型

       Hadoop集群中对硬件、操作系统的调优方法

       实际案例分析

       基于Hadoop的集群解决方案

       典型案例分析：

MapReduce架构及实践案例沙盘演练

       MapReduce剖析

n  MapReduce的原理和运行过程

n  构建MapReduce的开发环境

       MapReduce案例实战

n  使用MapReduce的Java接口实现经典的WordCount

n  wordcount运行过程解析

n  MapReduce实现数据去重操作

n  MapReduce实现数据排序

n  MapReduce实现数据平均数据的计算

       典型案例分析：

HBase架构及实践案例沙盘演练

       为什么实用Hadoop/HBase

       Hadoop的架构体系与HBase的应用关系

       HBase的核心设计机制

       HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值

       关系型数据库与HBase

       HBase的Client端

       HBase架构分析

       基于HBase项目架构设计

       HBase开发环境搭建

       入库和查询的设计与实现

       统计功能的设计与实现

       案例演练HBase的主体特性

n  Features:Scalability实现

n  HBaseFeatures:Column-Oriented实现

n  High Performance Random R/W实现

n  HBase Features: Scan Search实现

n  HBase Features: High�\Availability实现

典型案例分析：