曙海教学优势
本课程面向企事业项目实际需要,秉承二十一年积累的教学品质，腾讯云大数据开发工程师培训课程以项目实现为导向,老师将会与您分享设计的全流程以及工具的综合使用技巧、经验。线上/线下/上门皆可,腾讯云大数据开发工程师培训课程专家,课程可定制,热线:4008699035。
大批企业和曙海
建立了良好的合作关系,合作企业30万+。曙海的课程培养了大批受企业欢迎的工程师。曙海的课程在业内有着响亮的知名度。
腾讯云大数据开发工程师培训课程
培训概述
腾讯云大数据开发工程师培训将通过理论精讲与上机实验相结合的方式，系统性地介绍如何使用大数据技术进行大数据程序开发，以及如何基于腾讯云EMR产品在腾讯云平台上开通、部署和使用Hadoop大数据系统。
培训大纲
腾讯云大数据开发工程师培训课程涵盖以下内容：
|
知识模块 |
简介 |
|
大数据技术与生态圈概述 |
1. 大数据与Hadoop概述 2. 腾讯大数据应用案例 3. 大数据行业现状 4. Hadoop设计思想 5. Hadoop与Spark生态圈 |
|
EMR产品使用与运维 |
1. 腾讯云EMR产品介绍 2. EMR入门操作与使用说明 3. EMR客户案例 4. EMR权限控制 5. EMR监控 6. EMR扩容 7. EMR硬件管理 8. EMR参数配置 9. EMR数据迁移 |
|
HDFS使用 |
1. HDFS概述 2. HDFS架构与组成 3. HDFS操作与API 4. HDFS高可靠保证 5. HDFS与腾讯云COS |
|
MapReduce编程 |
1. MapReduce框架 2. MapReduce编程模型 3. MapReduce工作原理 4. 资源管理框架YARN |
|
Hive基础与操作 |
1. Hive概述与基本架构 2. Hive环境与基础操作 3. DDL与DML操作 4. Hive系统函数与自定义函数 5. Hive与Sqoop工具 |
|
HBase使用 |
1. Hbase基础与架构 2. Hbase数据结构 3. Hbase内置表与读写流程 4. Hbase使用与API |
|
Presto架构与使用 |
1. Presto概述 2. Presto整体架构与运行原理 3. Presto Connector 4. Presto常用函数 |
|
SparkCore基础与开发 |
1. Spark概述 2. Spark程序与RDD操作 3. 普通型RDD Transformation操作 4. 键值型RDD Transformation操作 5. RDD Action操作 6. RDD共享变量、持久化与依赖 7. Spark架构与运行 8. Tez、Spark与MR对比 9. Spark WordCount演示 |
|
SparkSQL开发 |
1. SparkSQL概述与架构 2. DataFrame与DataSet 3. SparkSQL数据源操作 4. SparkSQL自定义函数 |
|
SparkStreaming开发 |
1. SparkStreaming概述 2. SparkStreaming运行流程 3. SparkStreaming基础算子 4. SparkStreaming高级算子 5. SparkStreaming案例 6. Spark与Storm区别 |
|
Kafka基础与开发 |
1. Kafka概述 2. Kafka架构与关键机制 3. Ckafka API与实战 4. SparkStreaming与Kafka整合 |
|
数据挖掘与机器学习基础 |
1. 大数据分析介绍 2. 机器学习概念 3. 机器学习分类 4. 常见分析模型与算法 5. 用户画像应用基础与构建 |
|
课程实验 |
1. 实验1-Hadoop实验环境准备 2. 实验2-HDFS分布式文件系统 3. 实验3-COS存储系统 4. 实验4-MapReduce分布式计算框架 5. 实验5-Hive数据库表创建和数据加载 6. 实验6-分布式列式数据库Hbase 7. 实验7-Presto数据库表创建和数据加载 8. 实验8-离线日志分析 9. 实验9-Spark内存计算框架 10. 实验10-Spark实战 11. 实验11-Ckafka生产者消费者实践 12. 实验12-EMR集群的运维 13. 实验13-互联网电商日志分析系统实战 14. 实验14-基于用户画像的推荐实战 |
