尚硅谷Java培训

Flink1.13(Scala版)

视频介绍

如今的大数据技术应用场景,对实时性的要求越来越高。作为新一代大数据流处理框架,Flink已经成为各大公司实时领域的发力重点。越来越多的公司将实时项目向Flink迁移,国内以阿里为代表的一众大厂贡献了大量源码,Flink社区也在快速发展壮大。

Flink能够提供毫秒级别的延迟,同时保证了数据处理的低延迟、高吞吐和结果的正确性,还提供了丰富的时间类型和窗口计算、Exactly-once语义支持,还可以进行状态管理,并提供了CEP(复杂事件处理)的支持。Flink已被认为是大数据实时处理的方向和未来,掌握Flink的人才炙手可热。

尚硅谷精心打造推出了新版Flink(Scala)教程,基于Flink 1.13版本,各种代码使用Scala语言编写,可读性更强,更易于上手。教程对Flink底层原理和API做了详细梳理和阐述,并基于电商应用场景给出了大量应用案例代码。

教程分为四大篇章:
一、基础篇(1-4章):Flink快速上手
Flink部署提交和运行时架构,初步掌握Flink的原理和用法。

二、核心篇(5-6章):系统学习Flink API
Flink核心层API:DataStream API,包括基本的转换操作和窗口使用,并着重介绍Flink中时间语义和水位线(Watermark)的概念和原理。

三、高阶篇(7-10章):Flink高阶用法
更加底层的API,Flink的处理函数(Process Function)、多流转换操作、状态编程和容错机制等。通过高阶篇学习,可以解决Flink实际应用中大多数问题,并更深刻地理解Flink有状态流处理的本质。

四、扩展篇(11-12章):Flink SQL和CEP
高层级的API,扩展篇的讲解中,面向应用层提供了大量方便的接口用法,在实际项目中有着广泛应用。

视频目录 选集

  • 001.Flink(Scala版)-课程简介
  • 002.Flink(Scala版)-第一章-Flink的起源和发展
  • 003.Flink(Scala版)-第一章-Flink框架处理流程
  • 004.Flink(Scala版)-第一章-Flink应用场景
  • 005.Flink(Scala版)-第一章-为什么要用Flink
  • 006.Flink(Scala版)-第一章-数据处理框架的演变
  • 007.Flink(Scala版)-第一章-Flink的分层API
  • 008.Flink(Scala版)-第一章-Flink和Spark的区别
  • 009.Flink(Scala版)-第二章-Flink环境准备和创建项目
  • 010.Flink(Scala版)-第二章-批处理WordCount
  • 011.Flink(Scala版)-第二章-有界流处理WordCount
  • 012.Flink(Scala版)-第二章-无界流处理WordCount
  • 013.Flink(Scala版)-第三章-Flink基本运行架构
  • 014.Flink(Scala版)-第三章-本地启动Flink集群
  • 015.Flink(Scala版)-第三章-远程集群启动
  • 016.Flink(Scala版)-第三章-Web UI 提交作业
  • 017.Flink(Scala版)-第三章-命令行提交作业
  • 018.Flink(Scala版)-第三章-Flink部署模式
  • 019.Flink(Scala版)-第三章-独立模式的部署
  • 020.Flink(Scala版)-第三章-YARN模式的部署
  • 021.Flink(Scala版)-第四章-Flink系统架构
  • 022.Flink(Scala版)-第四章-Flink运行时架构(二)-作业提交流程
  • 023.Flink(Scala版)-第四章-数据流图
  • 024.Flink(Scala版)-第四章-并行度
  • 025.Flink(Scala版)-第四章-算子链
  • 026.Flink(Scala版)-第四章-执行图
  • 027.Flink(Scala版)-第四章-Task Slots
  • 028.Flink(Scala版)-第四章-Flink的任务调度
  • 029.Flink(Scala版)-第五章-DataStream API整体介绍
  • 030.Flink(Scala版)-第五章-执行环境
  • 031.Flink(Scala版)-第五章-Source(一)-读取有界数据
  • 032.Flink(Scala版)-第五章-Source(二)-读取Kafka
  • 033.Flink(Scala版)-第五章-Source(三)-读取自定义数据源
  • 034.Flink(Scala版)-第五章-Flink支持的类型系统
  • 035.Flink(Scala版)-第五章-Transform(一)-Map
  • 036.Flink(Scala版)-第五章-Transform(二)-Filter
  • 037.Flink(Scala版)-第五章-Transform(三)-FlatMap
  • 038.Flink(Scala版)-第五章-Transform(四)-KeyBy
  • 039.Flink(Scala版)-第五章-Transform(五)-简单聚合
  • 040.Flink(Scala版)-第五章-Transform(六)-归约聚合
  • 041.Flink(Scala版)-第五章-函数类
  • 042.Flink(Scala版)-第五章-富函数类
  • 043.Flink(Scala版)-第五章-物理分区(一)-整体介绍
  • 044.Flink(Scala版)-第五章-物理分区(二)-Shuffle
  • 045.Flink(Scala版)-第五章-物理分区(三)-Rebalance
  • 046.Flink(Scala版)-第五章-物理分区(四)-Rescale
  • 047.Flink(Scala版)-第五章-物理分区(五)-广播和全局分区
  • 048.Flink(Scala版)-第五章-物理分区(六)-自定义分区
  • 049.Flink(Scala版)-第五章-Sink(一)-Flink连接到外部系统
  • 050.Flink(Scala版)-第五章-Sink(二)-写入文件
  • 051.Flink(Scala版)-第五章-Sink(三)-写入Kafka
  • 052.Flink(Scala版)-第五章-Sink(四)-写入Redis
  • 053.Flink(Scala版)-第五章-Sink(五)-写入Es
  • 054.Flink(Scala版)-第五章-Sink(六)-写入MySQL
  • 055.Flink(Scala版)-第五章-Sink(七)-自定义Sink
  • 056.Flink(Scala版)-第六章-时间语义
  • 057.Flink(Scala版)-第六章-事件时间和窗口
  • 058.Flink(Scala版)-第六章-水位线的概念
  • 059.Flink(Scala版)-第六章-水位线的原理和特性
  • 060.Flink(Scala版)-第六章-水位线生成策略
  • 061.Flink(Scala版)-第六章-Flink内置水位线生成策略
  • 062.Flink(Scala版)-第六章-自定义水位线生成
  • 063.Flink(Scala版)-第六章-在自定义数据源中生成水位线
  • 064.Flink(Scala版)-第六章-水位线的传递
  • 065.Flink(Scala版)-第六章-窗口的概念
  • 066.Flink(Scala版)-第六章-窗口的分类
  • 067.Flink(Scala版)-第六章-窗口API概览
  • 068.Flink(Scala版)-第六章-窗口分配器
  • 069.Flink(Scala版)-第六章-窗口函数整体介绍
  • 070.Flink(Scala版)-第六章-增量聚合函数(一)-ReduceFunction
  • 071.Flink(Scala版)-第六章-增量聚合函数(二)-AggregateFunction
  • 072.Flink(Scala版)-第六章-全窗口函数
  • 073.Flink(Scala版)-第六章-增量聚合和全窗口函数结合使用
  • 074.Flink(Scala版)-第六章-测试水位线和窗口
  • 075.Flink(Scala版)-第六章-其它可选窗口API
  • 076.Flink(Scala版)-第六章-处理迟到数据(一)-整体介绍
  • 077.Flink(Scala版)-第六章-处理迟到数据(二)-代码实现
  • 078.Flink(Scala版)-第六章-处理迟到数据(三)-运行测试
  • 079.Flink(Scala版)-第七章-基本处理函数(ProcessFunction)
  • 080.Flink(Scala版)-第七章-处理函数的分类
  • 081.Flink(Scala版)-第七章-KeyedProcessFunction(一)-处理时间定时器
  • 082.Flink(Scala版)-第七章-KeyedProcessFunction(二)-事件时间定时器
  • 083.Flink(Scala版)-第七章-窗口处理函数
  • 084.Flink(Scala版)-第七章-TopN(一)-使用ProcessAllWindowFunction
  • 085.Flink(Scala版)-第七章-TopN(二)-使用KeyedProcessFunction(一)
  • 086.Flink(Scala版)-第七章-TopN(三)-使用KeyedProcessFunction(二)
  • 087.Flink(Scala版)-第八章-使用Filter实现分流
  • 088.Flink(Scala版)-第八章-使用侧输出流实现分流
  • 089.Flink(Scala版)-第八章-联合(Union)
  • 090.Flink(Scala版)-第八章-连接(Connect)
  • 091.Flink(Scala版)-第八章-实时对账(一)-基本框架
  • 092.Flink(Scala版)-第八章-实时对账(二)-具体实现
  • 093.Flink(Scala版)-第八章-广播连接流
  • 094.Flink(Scala版)-第八章-窗口联结
  • 095.Flink(Scala版)-第八章-间隔联结
  • 096.Flink(Scala版)-第八章-窗口同组联结
  • 097.Flink(Scala版)-第九章-状态的概念
  • 098.Flink(Scala版)-第九章-状态的管理
  • 099.Flink(Scala版)-第九章-状态的分类
  • 100.Flink(Scala版)-第九章-Keyed State概念和特点
  • 101.Flink(Scala版)-第九章-KeyedState类型(一)-值状态
  • 102.Flink(Scala版)-第九章-KeyedState类型(二)-列表状态和映射状态
  • 103.Flink(Scala版)-第九章-KeyedState类型(三)-归约状态和聚合状态
  • 104.Flink(Scala版)-第九章-KeyedState应用(一)-值状态
  • 105.Flink(Scala版)-第九章-KeyedState应用(二)-列表状态
  • 106.Flink(Scala版)-第九章-KeyedState应用(三)-映射状态
  • 107.Flink(Scala版)-第九章-KeyedState应用(四)-聚合状态
  • 108.Flink(Scala版)-第九章-状态生存时间(TTL)
  • 109.Flink(Scala版)-第九章-算子状态的概念和类型
  • 110.Flink(Scala版)-第九章-算子状态应用实例
  • 111.Flink(Scala版)-第九章-广播状态的概念和用法
  • 112.Flink(Scala版)-第九章-广播状态应用实例
  • 113.Flink(Scala版)-第九章-状态持久化(一)-检查点
  • 114.Flink(Scala版)-第九章-状态持久化(二)-状态后端
  • 115.Flink(Scala版)-第十章-检查点的保存
  • 116.Flink(Scala版)-第十章-从检查点恢复状态
  • 117.Flink(Scala版)-第十章-检查点分界线
  • 118.Flink(Scala版)-第十章-检查点算法
  • 119.Flink(Scala版)-第十章-检查点的配置
  • 120.Flink(Scala版)-第十章-保存点
  • 121.Flink(Scala版)-第十章-状态一致性
  • 122.Flink(Scala版)-第十章-端到端状态一致性(一)
  • 123.Flink(Scala版)-第十章-端到端状态一致性(二)
  • 124.Flink(Scala版)-第十章-Flink和Kafka连接的精确一次
  • 125.Flink(Scala版)-第十一章-Table API和SQL整体介绍
  • 126.Flink(Scala版)-第十一章-快速上手
  • 127.Flink(Scala版)-第十一章-整体程序架构
  • 128.Flink(Scala版)-第十一章-表环境
  • 129.Flink(Scala版)-第十一章-创建表
  • 130.Flink(Scala版)-第十一章-表的查询
  • 131.Flink(Scala版)-第十一章-输出表
  • 132.Flink(Scala版)-第十一章-表转换成流
  • 133.Flink(Scala版)-第十一章-流转换成表
  • 134.Flink(Scala版)-第十一章-支持的数据类型
  • 135.Flink(Scala版)-第十一章-动态表和持续查询
  • 136.Flink(Scala版)-第十一章-持续查询的过程
  • 137.Flink(Scala版)-第十一章-动态表编码为流
  • 138.Flink(Scala版)-第十一章-时间属性(一)-在DDL中定义
  • 139.Flink(Scala版)-第十一章-时间属性(二)-流转换为表时定义
  • 140.Flink(Scala版)-第十一章-时间属性(三)-处理时间的定义
  • 141.Flink(Scala版)-第十一章-窗口
  • 142.Flink(Scala版)-第十一章-分组聚合
  • 143.Flink(Scala版)-第十一章-窗口聚合
  • 144.Flink(Scala版)-第十一章-开窗(Over)聚合
  • 145.Flink(Scala版)-第十一章-普通TopN
  • 146.Flink(Scala版)-第十一章-窗口TopN
  • 147.Flink(Scala版)-第十一章-常规Join
  • 148.Flink(Scala版)-第十一章-间隔Join
  • 149.Flink(Scala版)-第十一章-系统函数
  • 150.Flink(Scala版)-第十一章-UDF(一)-整体介绍
  • 151.Flink(Scala版)-第十一章-UDF(二)-标量函数
  • 152.Flink(Scala版)-第十一章-UDF(三)-表函数
  • 153.Flink(Scala版)-第十一章-UDF(四)-聚合函数
  • 154.Flink(Scala版)-第十一章-UDF(五)-表聚合函数(一)-整体介绍
  • 155.Flink(Scala版)-第十一章-UDF(五)-表聚合函数(二)-代码实现
  • 156.Flink(Scala版)-第十一章-UDF(五)-表聚合函数(三)-调用和测试
  • 157.Flink(Scala版)-第十一章-SQL客户端
  • 158.Flink(Scala版)-第十一章-连接到常见的外部系统
  • 159.Flink(Scala版)-第十一章-连接到Hive
  • 160.Flink(Scala版)-第十二章-CEP的基本概念和应用场景
  • 161.Flink(Scala版)-第十二章-快速上手(一)-程序架构和定义模式
  • 162.Flink(Scala版)-第十二章-快速上手(二)-检测处理和测试
  • 163.Flink(Scala版)-第十二章-个体模式(一)-整体介绍
  • 164.Flink(Scala版)-第十二章-个体模式(二)-量词
  • 165.Flink(Scala版)-第十二章-个体模式(三)-条件
  • 166.Flink(Scala版)-第十二章-组合模式
  • 167.Flink(Scala版)-第十二章-模式组
  • 168.Flink(Scala版)-第十二章-匹配后跳过策略
  • 169.Flink(Scala版)-第十二章-处理匹配事件
  • 170.Flink(Scala版)-第十二章-处理超时事件(一)-基本流程
  • 171.Flink(Scala版)-第十二章-处理超时事件(二)-应用实例
  • 172.Flink(Scala版)-第十二章-处理迟到数据
  • 173.Flink(Scala版)-第十二章-状态机实现(一)-基本原理
  • 174.Flink(Scala版)-第十二章-状态机实现(二)-代码实现
  • 175.Flink(Scala版)-课程总结