尚硅谷Java培训

Flink1.17

视频介绍

Flink是一个开源的分布式流处理框架,适用于大规模数据的实时处理和批量处理。凭借批流统一、性能优良、规模计算、生态兼容、高容错等特点,Flink已然成为大数据领域的当红炸子鸡,被国内外众多大厂所采用,如今掌握Flink的人才炙手可热。

本套教程基于Flink新版1.17进行讲解,共分四大篇章:基础篇、核心篇、高阶篇、SQL篇,内容详实,由浅入深,层层递进,涵盖Flink基本概念和核心组件的详细介绍,包括流处理、窗口操作、状态管理、容错机制、连接器、SQL等。

还是尚硅谷一贯的风格,保姆式讲解,败家式赠送。教程采用动画讲解重难点,通过大量的实战案例演示,带你掌握如何使用Flink构建可靠、高效的数据处理应用,从而快速解决面对海量数据时的挑战。无论你是从事数据工程、数据分析还是数据科学方向,这套教程都将是你实现数据处理目标的有力助手!
 

视频目录 选集

  • 01.课程介绍
  • 02.Flink概述_Flink是什么
  • 03.Flink概述_Flink发展历史&特点
  • 04.Flink概述_与SparkStreaming的区别&应用场景&分层API
  • 05.Flink快速上手_创建Maven工程&导入依赖
  • 06.Flink快速上手_批处理实现WordCount
  • 07.Flink快速上手_流处理实现WordCount_编码
  • 08.Flink快速上手_流处理实现WordCount_演示&对比
  • 09.Flink快速上手_流处理实现WordCount_无界流_编码
  • 10.Flink快速上手_流处理实现WordCount_无界流_演示&对比
  • 11.Flink部署_集群角色
  • 12.Flink部署_集群搭建_集群启动
  • 13.Flink部署_集群搭建_WebUI提交作业
  • 14.Flink部署_集群搭建_命令行提交作业
  • 15.Flink部署_部署模式介绍
  • 16.Flink部署_Standalone运行模式
  • 17.Flink部署_YARN运行模式_环境准备
  • 18.Flink部署_YARN运行模式_会话模式
  • 19.Flink部署_YARN运行模式_会话模式的停止
  • 20.Flink部署_YARN运行模式_单作业模式
  • 21.Flink部署_YARN运行模式_应用模式
  • 22.Flink部署_历史服务器
  • 23.Flink运行时架构_系统架构
  • 24.Flink运行时架构_核心概念_并行度
  • 25.Flink运行时架构_核心概念_并行度设置&优先级
  • 26.Flink运行时架构_核心概念_算子链
  • 27.Flink运行时架构_核心概念_算子链演示
  • 28.Flink运行时架构_核心概念_任务槽
  • 29.Flink运行时架构_核心概念_任务槽的共享组
  • 30.Flink运行时架构_核心概念_slot与并行度的关系&演示
  • 31.Flink运行时架构_提交流程_Standalone会话模式&四张图
  • 32.Flink运行时架构_提交流程_Yarn应用模式
  • 33.DataStreamAPI_执行环境
  • 34.DataStreamAPI_源算子_准备工作
  • 35.DataStreamAPI_源算子_集合&文件&socket
  • 36.DataStreamAPI_源算子_从Kafka读取
  • 37.DataStreamAPI_源算子_数据生成器
  • 38.DataStreamAPI_Flink支持的数据类型
  • 39.DataStreamAPI_基本转换算子_map
  • 40.DataStreamAPI_基本转换算子_filter&flatmap
  • 41.DataStreamAPI_聚合算子_keyby
  • 42.DataStreamAPI_聚合算子_简单聚合算子
  • 43.DataStreamAPI_聚合算子_规约聚合reduce
  • 44.DataStreamAPI_用户自定义函数
  • 45.DataStreamAPI_分区算子&分区器
  • 46.DataStreamAPI_分区算子_自定义分区
  • 47.DataStreamAPI_分流_使用FIlter简单实现
  • 48.DataStreamAPI_分流_使用侧输出流
  • 49.DataStreamAPI_合流_union
  • 50.DataStreamAPI_合流_connect
  • 51.DataSrreamAPI_合流_connect案例
  • 52.DataStreamAPI_合流_connect案例_编码演示
  • 53.DataStreamAPI_输出算子_支持的外部系统
  • 54.DataStreamAPI_输出算子_File
  • 55.DataStreamAPI_输出算子_写Kafka编码
  • 56.DataStreamAPI_输出算子_精准一次写Kafka演示
  • 57.DataStreamAPI_输出算子_写Kakfa_自定义序列化器
  • 58.DataStreamAPI_输出算子_JDBC连接器的依赖问题
  • 59.DataStreamAPI_输出算子_写入MySQL
  • 60.DataStreamAPI_输出算子_自定义的方式
  • 61.窗口_概念
  • 62.窗口_分类
  • 63.窗口_窗口API概览
  • 64.窗口_窗口分配器
  • 65.窗口_窗口函数_增量聚合Reduce
  • 66.窗口_窗口函数_增量聚合Aggregate
  • 67.窗口_窗口函数_全窗口函数
  • 68.窗口_窗口函数_增量聚合结合全窗口函数使用
  • 69.窗口_时间窗口_三种窗口效果演示
  • 70.窗口_计数窗口_两种窗口效果演示
  • 71.窗口_其他API_触发器和移除器
  • 72.窗口_原理简析_划分&触发时机&生命周期
  • 73.Flink中的时间_时间语义
  • 74.水位线_对水位线的理解
  • 75.水位线_水位线和窗口的工作原理
  • 76.水位线_生成水位线原则&策略
  • 77.水位线_内置水位线_有序流设置水位线演示
  • 78.水位线_内置水位线_乱序流设置水位线演示
  • 79.水位线_内置水位线_生成原理
  • 80.水位线_自定义_周期性水位线生成器
  • 81.水位线_自定义_断点式水位线生成器&从数据源生成watermark
  • 82.水位线_水位线的传递
  • 83.水位线_水位线设置空闲等待
  • 84.水位线_迟到数据处理_窗口允许迟到
  • 85.水位线_迟到数据处理_侧输出流
  • 86.水位线_迟到数据处理_总结
  • 87.基于时间的双流联结_Window Join
  • 88.基于时间的双流联结_Interval Join
  • 89.基于时间的双流联结_Interval Join_迟到数据的处理&总结
  • 90.处理函数_基本处理函数简介
  • 91.处理函数_定时器_API介绍&事件时间演示
  • 92.处理函数_定时器_处理时间演示
  • 93.处理函数_定时器_获取当前watermark&总结
  • 94.处理函数_TopN练习_使用ProcessAllWindowFunction实现
  • 95.处理函数_TopN练习_使用KeyedProcessFunction实现_思路
  • 96.处理函数_TopN练习_使用KeyedProcessFunction实现_编码
  • 97.处理函数_TopN练习_使用KeyedProcessFunction实现_演示&总结
  • 98.处理函数_侧输出流
  • 99.状态管理_Flink中的状态概述和分类
  • 100.状态管理_按键分区状态_值状态
  • 101.状态管理_按键分区状态_列表状态
  • 102.状态管理_按键分区状态_Map状态
  • 103.状态管理_按键分区状态_规约状态
  • 104.状态管理_按键分区状态_聚合状态
  • 105.状态管理_按键分区状态_状态生存时间TTL
  • 106.状态管理_算子状态_列表状态&联合列表状态
  • 107.状态管理_算子状态_广播状态
  • 108.状态管理_状态后端
  • 109.容错机制_检查点_检查点的保存
  • 110.容错机制_检查点_从检查点恢复状态
  • 111.容错机制_检查点_检查点算法_检查点分界线
  • 112.容错机制_检查点_检查点算法_Barrier对齐的精准一次
  • 113.容错机制_检查点_检查点算法_Barrier对齐的至少一次&区别
  • 114.容错机制_检查点_检查点算法_非Barrier对齐的精准一次
  • 115.容错机制_检查点_检查点算法_总结梳理
  • 116.容错机制_检查点_检查点配置_常用配置
  • 117.容错机制_检查点_检查点配置_常用配置演示
  • 118.容错机制_检查点_检查点配置_启用非对齐检查点
  • 119.容错机制_检查点_通用增量检查点(Changelog)&最终检查点
  • 120.容错机制_检查点_保存点介绍
  • 121.容错机制_保存点_打包注意事项&依赖冲突解决
  • 122.容错机制_保存点_触发保存点和恢复作业&切换状态后端
  • 123.容错机制_保存点_从保存的checkpoint恢复作业
  • 124.容错机制_状态一致性
  • 125.容错机制_端到端精确一次_总体要求
  • 126.容错机制_端到端精确一次_输入端保证&输出端保证
  • 127.容错机制_端到端精确一次_输出端保证_事务_两阶段提交
  • 128.容错机制_Flink与kafka的精确一次_全流程总结
  • 129.容错机制_Flink与Kafka的精确一次_编码演示
  • 130.容错机制_Flink与Kafka的精确一次_下游消费者的隔离级别
  • 131.FlinkSQL_sql-client准备
  • 132.FlinkSQL_流处理中的表_动态表和持续查询
  • 133.FlinkSQL_流处理中的表_流转动态表&持续查询类型
  • 134.FlinkSQL_流处理中的表_将动态表转换为流
  • 135.FlinkSQL_时间属性
  • 136.FlinkSQL_DDL_数据库
  • 137.FlinkSQL_DDL_建表语法
  • 138.FlinkSQL_DDL_建表&其他表操作
  • 139.FlinkSQL_查询_准备表&显示模式演示
  • 140.FlinkSQL_查询_简单的查询
  • 141.FlinkSQL_查询_分组聚合案例&watermark写法
  • 142.FlinkSQL_查询_分组聚合_多维分析
  • 143.FlinkSQL_查询_分组窗口聚合
  • 144.FlinkSQL_查询_窗口表值函数(TVF)聚合
  • 145.FlinkSQL_查询_Over聚合
  • 146.FlinkSQL_查询_特殊语法_TopN
  • 147.FlinkSQL_查询_特殊语法_Deduplication去重
  • 148.FlinkSQL_查询_Join查询_regular join
  • 149.FlinkSQL_查询_Join查询_interval join
  • 150.FlinkSQL_查询_Join查询_Lookup Join
  • 151.FlinkSQL_查询_Order By与limit&SQL Hints
  • 152.FlinkSQL_查询_集合操作
  • 153.FlinkSQL_查询_系统函数
  • 154.FlinkSQL_查询_Module操作
  • 155.FlinkSQL_Connector_Kafka_使用介绍
  • 156.FlinkSQL_Connector_Kafka_读写演示
  • 157.FlinkSQL_Connector_Kafka_Upsert演示
  • 158.FlinkSQL_Connector_File_演示&依赖问题解决
  • 159.FlinkSQL_Connector_JDBC_MySQL&jar包版本问题
  • 160.FlinkSQL_sql-client中使用savepoint&reset的bug
  • 161.FlinkSQL_Catalog_简介&类型
  • 162.FlinkSQL_Catalog_JdbcCatalog
  • 163.FlinkSQL_Catalog_HiveCatalog
  • 164.FlinkSQL_代码中使用FlinkSQL和TableAPI
  • 165.FlinkSQL_表和流的转换
  • 166.FlinkSQL_自定义函数_标量函数
  • 167.FlinkSQL_自定义函数_表函数
  • 168.FlinkSQL_自定义函数_聚合函数
  • 169.FlinkSQL_自定义函数_表聚合函数