曙海教学优势
本课程,秉承二十一年积累的教学品质,以项目实现为导向,面向企事业项目实际需要,老师将会与您分享设计的全流程以及工具的综合使用经验、技巧。课程可定制,线上/线下/上门皆可,热线:4008699035。
曙海培训的课程培养了大批受企业欢迎的工程师。大批企业和曙海
建立了良好的合作关系,合作企业30万+。曙海培训的课程在业内有着响亮的知名度。
大数据培训课程1
课程目标:
通过该课程的学习,能够对大数据技术基础、Hadoop、HBase、Hive、Spark、Flink、Kafka、Flume原理及使用有深入的了解,对企业数据平台建设、开发、运维以及集群的稳定运行有很大的帮助。
课程大纲:
主题 |
内容 |
大数据技术基础&分布式文件系统&分布式资源调度系统 |
大数据背景知识、发展历程介绍 大数据平台架构层次设计 HDFS核心概念、应用场景介绍以及体系结构详解 HDFS高可用的原理介绍,共享存储、active/standby详解 HDFS常用命令实战演示,数据文件、数据块监控介绍 NameNode核心元数据fsimage/editlog原理介绍 DataNode职责介绍、数据块物理存储结构介绍 YARN体系结构详解 ResourceManager原理解析 NodeManager原理解析 容量调度器和公平调度器详解 资源两阶段申请详细流程详细 MapReduce代码实例演示 |
Hive&Spark&Flink 计算引擎 |
Hive 数据库/表/分区实战 Hive元数据库介绍、演示 HIve高级函数实战 Spark体系结构原理解析 Spark常用算子程序演示 Spark On YARN运行实践 Flink应用场景介绍,与Spark区别详解 Flink Standalone和ON YARN运行模式与区别详解 Flink常用算子实战 Kafka+Flink代码实战演示 Flink精确一次性语义原理介绍 Flink Checkpoint应用长以及原理介绍 |
HBase体系结构与工作原理 |
HBase多模生态介绍 HBase体系结构详解 HBase高并发原理、读写流程详解 HBase数据模型详解、实战演示 HBase元数据存储详解 HBase读写表/过滤器/计数器代码实战 HBase数据热点产生原因以及预分区实战 |
Flume/Kafka原理以及使用
|
Flume+Kafka在企业数据平台的应用场景 Flume高可用体系结构原理介绍 Flume Source/Channel/Sink组件详解、实战 Flume高可用采集系统设计 Kafka体系结构原理介绍 Kafka生产者、消费者代码实战演示 Kafka消费者组、TOPIC、分区、偏移量offset关系剖析 |