基于Flink搭建流计算平台培训

一、流式处理架构

1.1 流式处理背景及架构介绍
1.2 流式处理行业案例以及Flink的适用场景及应用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架构
2.3 Flink 与 Spark的比较以及为什么选择Flink
2.4 Flink开发环境配置和搭建

三、Flink编程模型

3.1 数据集类型
3.2 Flink编程接口
3.3 Flink程序结构
3.4 Flink数据类型

四、DataStream API介绍与使用

4.1 DataStream编程模型
4.2 Flink Execution 参数
4.3 Transformation
4.4 时间概念与Watermark
4.5 Windows窗口计算
4.6 作业链和资源组
4.7 Asynchronous I/O异步API
4.8 Asynchronous I/O异步原理

五、Flink流式计算基本概念介绍

5.1 时间特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 数据完整性语义
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector数据源

6.1 FlinkKafkaSource序列化、消费模式
6.2 FlinkKafkaSource容错、动态分区及topic
6.3 FlinkKafkaSink序列化、配置、分区与容错
6.4自定义Source和Sink

七、DataSet API介绍与使用

7.1 DataSet API，Transformation
7.2 迭代计算
7.3 广播变量与分布式缓存
7.4 语义注解
7.5 DataSetUtils工具类

八、Table API & SQL介绍与使用

8.1 基本概念

流/表对偶性
Source/Sink Table
数据回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定义函数 UDF/UDTF/UDAF

九、两个完整的Flink实现案例

9.1 Kafka 数据流处理，写入HDFS
9.2多源数据关联与聚合分析

十、Flink有状态的计算、状态管理和容错

10.1 什么是有状态计算
10.2 有状态计算中的数据一致性挑战
10.3 理解state状态
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用与Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用条件及使用步骤
10.9 Checkpoint相关配置及重启策略
10.10 Savepoint的触发、Job恢复及删除

十一、实战项目1：用Flink实现一个通用、配置化的海量数据流、批处理产品

11.1实现配置管理
11.2实现数据源加载
11.3实现主流程控制
11.4实现任务管理

十二、Flink部署与应用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升级
12.5 Flink on Yarn的原理和运行方式
12.6 Flink on Yarn 提交任务与停止任务

十三、Flink监控与性能优化

13.1 监控指标
13.2 Backpressure监控与优化
13.3 Checkpointing监控与优化
13.4 Flink内存优化

十四、Flink组件栈介绍与使用

14.1 Flink复杂事件处理
14.2 Flink Gelly图计算应用
14.3 FlinkML机器学习应用
14.4 Flink Metrics 与监控

十五、Flink源码学习

15.1 Flink源码编译
15.2 如何阅读和学习Flink源码
15.3 Flink源码实现思路以及依赖管理
15.4 Flink核心模块源码带读与分析

十六、Flink在各大互联网公司的典型应用剖析

16.1Flink在阿里的应用
16.2Flink在字节跳动的应用
16.3Flink在腾讯的应用
16.4Flink在微博的应用
16.5Flink在其他互联网公司的应用
16.6Flink 最佳实践

十七、实战项目2：使用Flink实现电商用户支付行为分析和审计风控

17.1电商支付数据模型（订单，流水，账户余额，发现表）
17.2用户行为分析需求与维度指标设计
17.3审计风控的需求与实现思路
17.4Flink代码实现结构与业务逻辑细节拆解