Hadoop性能调优培训课程

模块

课程内容

案例及实验

Hadoop参数调优

l 选择适合Hadoop的硬件配置

l Hadoop配置项优化

l 网络带宽参数调优

l 选择正确的JDK

l Hadoop作业调优

l Linux操作系统优化

l 其他配置和参数调优

l Hadoop硬件优化

l 不是所有的硬件都合适拿来直接使用

l 硬件为什么不做raid？

l 设置网络的注意事项

l 中间结果压缩对磁盘和网络的优化

l 常见异常现象及处理方法

Hive性能优化

l Hive参数优化

l Hive其他优化

l 自有软件Phphiveadmin的介绍及使用

l 对group，join的优化

l 其他参数设计

l 设定并行执行嵌套sql

l 为什么使用外部表和partition

l Phphiveadmin带来的优势和便利

精彩案例解析

案例一：那namenode 被重新格式化，datanode无法连接

案例二：硬盘损坏

案例三：错误用户启动hadoop

案例四：tasktracker重启后假死

案例五：jobtracker无故宕机

HBASE调优

l HBase配置优化综述

l 读优化中需要调整的参数

l 写优化中需要调整的参数

l Hbase-site.xml参数调优

l JVM优化中需要调整的参数

l Split & compact优化相关参数

l 表设计优化相关参数

l Hbase客户端优化相关参数

l 监控工具使用方法及注意事项

l Memstore合并设置的时机选择

l Mslab使用设置

l 合并storefile策略设置技巧

l Memstore  flush 设置时机选择

l Hbase-env.sh、Single、multi-thread、CMS使用及参数调用

l GC回收垃圾时机、GC日志打印设置

l GC阶段，region无法提供服务如何如何处理

l 安装、使用步骤、主要监控参数，如何根据参数进行调优设置

精彩案例解析

案例1：hot  region造成读请求瓶颈

现象：某台机器的某个region读请求非常频繁，大量读请求集中在一台机器的某个region会造成该机器的压力陡增，JVM内存居高不下，load很高，使得client读取数据上达到瓶颈值。

Mapreduce的性能调优

Mapreduce中需要调优的相关参数

Ø Dfs.block.size

Ø Mapreduce

Ø Io.sort.mb

Ø Io.sort.spill.percent

Ø Mapred.local.dir

Ø Mapred.map.tasksmapred.tasktracker.map.tasks.maximum

Ø Mapred.reduce. tasksmapred. Sktracker.reduce.tasks. sktracker

l Map中选择合理的块大小

l Reduce并行复制线程的调优

l Map/reduce内存配置的原则及方法

l 槽位数计算方法

l 调度器的选择集调优

精彩案例解析

案例1：控制map & reduce个数

现象：map个数取决于split个数，如果源文件使用压缩存储，则不可分割，一个文件一个map。非压缩文件使用默认block.size进行切分。对reduce因为是中间数据，可以控制reduce数量。