尚硅谷Java培训

Flink实时数仓3.0

视频介绍

Flink实时数仓项目3.0,依托于真实电商巨头的电商体系和实际业务场景,并参照离线数仓的建模理论全力打造。新版项目重磅升级,在延续实用与硬核的基础上,全面升级了实时数仓的建模理论,建模体系更完善,数据分析更高效。

项目采用Flink作为核心的实时计算引擎,充分利用Flink的优秀特性:状态编程、自定义处理函数、CEP、CDC等,对每一个指标的计算提供了基础API和Flink SQL两种实现方式。使用Maxwell作为业务数据采集框架,实时监控业务数据库变动情况。同时,充分探讨了多种大数据框架工具,如Redis、HBase、ClickHouse等,利用每个框架的特点发挥效用。

通过本套教程的学习,你将掌握企业实际开发过程中实时数仓的全流程搭建,深入理解Flink的高阶应用,掌握开发环节的多种框架技术!Flink实时数仓项目3.0与电商数仓5.0项目(即将发布)无缝对接,采用相同的数据源及数据采集体系,便于系统性学习。

教程内容涵盖:
搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink;采用Maxwell搭建业务数据采集体系;使用Flink CDC结合配置表、HBase完成数仓DIM层的搭建;参照数仓建模理论,分层搭建实时数仓,包括DWD层、DWS层、ADS层;使用SpringBoot编写数据接口,结合Sugar完成实时指标结果数据的可视化展示等。

教程关键技术点:
数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Flink CDC深入案例分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流Join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。

视频目录 选集

  • 001.尚硅谷_Flink实时数仓3.0-实时数仓-课程简介
  • 002.尚硅谷_Flink实时数仓3.0-数仓概念-数仓简介
  • 003.尚硅谷_Flink实时数仓3.0-数仓概念-数据分类
  • 004.尚硅谷_Flink实时数仓3.0-数仓概念-数仓总体介绍
  • 005.尚硅谷_Flink实时数仓3.0-数仓概念-项目需求分析
  • 006.尚硅谷_Flink实时数仓3.0-数仓概念-技术选型
  • 007.尚硅谷_Flink实时数仓3.0-数仓概念-系统数据流程
  • 008.尚硅谷_Flink实时数仓3.0-数仓概念-框架版本的选择
  • 009.尚硅谷_Flink实时数仓3.0-数仓概念-具体版本号选择
  • 010.尚硅谷_Flink实时数仓3.0-数仓概念-服务器选型
  • 011.尚硅谷_Flink实时数仓3.0-数仓概念-集群规模
  • 012.尚硅谷_Flink实时数仓3.0-数仓概念-集群资源规划
  • 013.尚硅谷_Flink实时数仓3.0-同步行为数据模拟-埋点简介
  • 014.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-用户行为日志内容
  • 015.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-埋点日志格式
  • 016.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-克隆三台服务器
  • 017.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-阿里云准备(备选)
  • 018.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-集群同步脚本
  • 019.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-免密登录配置
  • 020.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-安装JDK
  • 021.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-Linux环境变量说明
  • 022.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-模拟数据
  • 023.尚硅谷_Flink实时数仓3.0-用户行为数据采集-hadoop安装
  • 024.尚硅谷_Flink实时数仓3.0-用户行为数据采集-Hadoop项目经验
  • 025.尚硅谷_Flink实时数仓3.0-用户行为数据采集-Zookeeper安装
  • 026.尚硅谷_Flink实时数仓3.0-用户行为数据采集-Kafka安装
  • 027.尚硅谷_Flink实时数仓3.0-用户行为数据采集-Flume安装
  • 028.尚硅谷_Flink实时数仓3.0-用户行为数据采集-Flume的KafkaChannel
  • 029.尚硅谷_Flink实时数仓3.0-用户行为数据采集-采集Flume配置
  • 030.尚硅谷_Flink实时数仓3.0-业务数据采集-电商业务简介
  • 031.尚硅谷_Flink实时数仓3.0-业务数据采集-电商业务表结构
  • 032.尚硅谷_Flink实时数仓3.0-业务数据采集-业务数据模拟
  • 033.尚硅谷_Flink实时数仓3.0-业务数据采集-业务数据通道
  • 034.尚硅谷_Flink实时数仓3.0-业务数据采集-Maxwell简介
  • 035.尚硅谷_Flink实时数仓3.0-业务数据采集-Maxwell配置
  • 036.尚硅谷_Flink实时数仓3.0-业务数据采集-Maxwell使用
  • 037.尚硅谷_Flink实时数仓3.0-业务数据采集-采集通道maxwell配置
  • 038.尚硅谷_Flink实时数仓3.0-实时数仓数据同步-实时数仓同步数据
  • 039.尚硅谷_Flink实时数仓3.0-分层介绍-离线数仓回顾
  • 040.尚硅谷_Flink实时数仓3.0-分层介绍-实时数仓分层-处理&存储框架概述
  • 041.尚硅谷_Flink实时数仓3.0-分层介绍-实时数仓分层-DIM层框架选择
  • 042.尚硅谷_Flink实时数仓3.0-分层介绍-实时数仓分层-DWS&ADS层框架选择
  • 043.尚硅谷_Flink实时数仓3.0-分层介绍-实时数仓分层-架构说明
  • 044.尚硅谷_Flink实时数仓3.0-建模理论-范式理论-关系型数据库
  • 045.尚硅谷_Flink实时数仓3.0-建模理论-维度建模-大数据数仓
  • 046.尚硅谷_Flink实时数仓3.0-建模理论-维度建模-事实表&维度表&构建数仓流程
  • 047.尚硅谷_Flink实时数仓3.0-开发环境-集群环境准备
  • 048.尚硅谷_Flink实时数仓3.0-开发环境-IDEA环境准备
  • 049.尚硅谷_Flink实时数仓3.0-ODS层-日志数据采集-测试
  • 050.尚硅谷_Flink实时数仓3.0-ODS层-业务数据采集-测试
  • 051.尚硅谷_Flink实时数仓3.0-每日回顾
  • 052.尚硅谷_Flink实时数仓3.0-DIM层-需求分析
  • 053.尚硅谷_Flink实时数仓3.0-DIM层-问题&解决思路提出
  • 054.尚硅谷_Flink实时数仓3.0-DIM层-优化1方案讨论
  • 055.尚硅谷_Flink实时数仓3.0-DIM层-优化2方案讨论
  • 056.尚硅谷_Flink实时数仓3.0-DIM层-优化2实施讨论
  • 057.尚硅谷_Flink实时数仓3.0-DIM层-思路整理
  • 058.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-流程梳理&获取执行环境
  • 059.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-Kafka消费者工具类封装
  • 060.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-过滤脏数据
  • 061.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-配置信息表-字段讨论&说明
  • 062.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-配置信息表-准备工作
  • 063.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-使用FlinkCDC读取配置信息表创建流
  • 064.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-构建配置信息广播流&与主流连接
  • 065.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-连接流处理逻辑分析
  • 066.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-处理广播流数据
  • 067.尚硅谷_Flink实时数仓3.0-DIM层-代码编写-处理主流数据
  • 068.尚硅谷_Flink实时数仓3.0-DIM层-代码测试
  • 069.尚硅谷_Flink实时数仓3.0-每日回顾
  • 070.尚硅谷_Flink实时数仓3.0-DIM层-将数据写出-JdbcSink分析
  • 071.尚硅谷_Flink实时数仓3.0-DIM层-将数据写出-自定义Sink-创建连接池
  • 072.尚硅谷_Flink实时数仓3.0-DIM层-将数据写出-自定义Sink-拼接SQL&执行
  • 073.尚硅谷_Flink实时数仓3.0-DIM层-将数据写出-代码测试
  • 074.尚硅谷_Flink实时数仓3.0-DWD层-整体介绍&方案说明
  • 075.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-需求分析
  • 076.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-思路分析
  • 077.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-代码编写-时间工具类
  • 078.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-代码编写-消费&过滤&分组数据
  • 079.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-代码编写-新老访客标记校验
  • 080.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-代码编写-分流
  • 081.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-写出数据&测试
  • 082.尚硅谷_Flink实时数仓3.0-每日回顾
  • 083.尚硅谷_Flink实时数仓3.0-DWD层-流量域-未加工事实表-整体测试
  • 084.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-需求分析
  • 085.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-思路分析
  • 086.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-代码编写-获取&过滤&转换数据
  • 087.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-代码编写-按照Mid去重&写出到Kafka
  • 088.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-代码编写-添加状态TTL
  • 089.尚硅谷_Flink实时数仓3.0-DWD层-流量域-独立访客明细表-代码测试
  • 090.尚硅谷_Flink实时数仓3.0-DWD层-流量域-跳出明细表-需求分析&思路一
  • 091.尚硅谷_Flink实时数仓3.0-DWD层-流量域-跳出明细表-思路二
  • 092.尚硅谷_Flink实时数仓3.0-DWD层-流量域-跳出明细表-思路三
  • 093.尚硅谷_Flink实时数仓3.0-DWD层-流量域-跳出明细表-代码编写
  • 094.尚硅谷_Flink实时数仓3.0-DWD层-流量域-跳出明细表-代码测试
  • 095.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-说明
  • 096.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-WindowJoin-介绍
  • 097.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-IntervalJoin
  • 098.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-FlinkSQLJoin-官网说明&InnerJoin编码测试
  • 099.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-FlinkSQLJoin-外连接测试
  • 100.尚硅谷_Flink实时数仓3.0-Flink基础知识扩展-FlinkSQLJoin-LookUpJoin说明&构建维表
  • 101.尚硅谷_Flink实时数仓3.0-FlinkSQLJoin-LookUpJoin编码-构建事实表&关联测试
  • 102.尚硅谷_Flink实时数仓3.0-每日回顾
  • 103.尚硅谷_Flink实时数仓3.0-DWD层-加购事实表-需求分析&思路整理
  • 104.尚硅谷_Flink实时数仓3.0-DWD层-加购事实表-DDL构建topci-db表
  • 105.尚硅谷_Flink实时数仓3.0-DWD层-加购事实表-过滤出加购数据
  • 106.尚硅谷_Flink实时数仓3.0-DWD层-加购事实表-编码完成&测试
  • 107.尚硅谷_Flink实时数仓3.0-DWD层-订单事实预处理表-需求分析&获取原始表和LookUp表
  • 108.尚硅谷_Flink实时数仓3.0-DWD层-订单事实预处理表-过滤出4张表&测试
  • 109.尚硅谷_Flink实时数仓3.0-DWD层-订单事实预处理表-关联5张表&测试
  • 110.尚硅谷_Flink实时数仓3.0-DWD层-订单事实预处理表-将数据写出&测试
  • 111.尚硅谷_Flink实时数仓3.0-每日回顾
  • 112.尚硅谷_Flink实时数仓3.0-DWD层-下单事实表
  • 113.尚硅谷_Flink实时数仓3.0-DWD层-取消订单事实表
  • 114.尚硅谷_Flink实时数仓3.0-DWD层-支付成功需求
  • 115.尚硅谷_Flink实时数仓3.0-DWD层-退单需求
  • 116.尚硅谷_Flink实时数仓3.0-DWD层-退款成功需求
  • 117.尚硅谷_Flink实时数仓3.0-DWD层-优惠券相关需求
  • 118.尚硅谷_Flink实时数仓3.0-DWD层-收藏商品、评价、用户注册需求
  • 119.尚硅谷_Flink实时数仓3.0-DWS层-整体介绍
  • 120.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-需求分析&工具类封装
  • 121.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码编写2
  • 122.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码编写-开窗聚合&ClickHouse表引擎选择
  • 123.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-编码完成&测试
  • 124.尚硅谷_Flink实时数仓3.0-每日回顾
  • 125.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码编写-ClickHouse建表&工具类封装-1
  • 126.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码编写-ClickHouse工具类封装-2
  • 127.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码编写-ClickHouse工具类封装-3
  • 128.尚硅谷_Flink实时数仓3.0-DWS层-关键词需求-代码最终测试
  • 129.尚硅谷_Flink实时数仓3.0-DWS层-版本渠道地区访客类别粒度页面浏览需求-需求分析&编码开始
  • 130.尚硅谷_Flink实时数仓3.0-DWS层-版本渠道地区访客类别粒度页面浏览需求-代码编写2
  • 131.尚硅谷_Flink实时数仓3.0-DWS层-版本渠道地区访客类别粒度页面浏览需求-代码测试
  • 132.尚硅谷_Flink实时数仓3.0-每日回顾
  • 133.尚硅谷_Flink实时数仓3.0-DWS层-页面浏览需求-需求分析&思路整理
  • 134.尚硅谷_Flink实时数仓3.0-DWS层-页面浏览需求-消费&转换&过滤数据
  • 135.尚硅谷_Flink实时数仓3.0-DWS层-页面浏览需求-编码完成&测试
  • 136.尚硅谷_Flink实时数仓3.0-DWS层-用户登录需求-需求分析&思路整理
  • 137.尚硅谷_Flink实时数仓3.0-DWS层-用户登录需求-编码&测试
  • 138.尚硅谷_Flink实时数仓3.0-DWS层-用户注册需求
  • 139.尚硅谷_Flink实时数仓3.0-DWS层-加购需求
  • 140.尚硅谷_Flink实时数仓3.0-每日回顾
  • 141.尚硅谷_Flink实时数仓3.0-DWS层-支付成功需求-需求分析
  • 142.尚硅谷_Flink实时数仓3.0-DWS层-支付成功需求-去重思路
  • 143.尚硅谷_Flink实时数仓3.0-DWS层-支付成功需求-思路整理&编码开始
  • 144.尚硅谷_Flink实时数仓3.0-DWS层-支付成功需求-编码完成&测试
  • 145.尚硅谷_Flink实时数仓3.0-DWS层-下单需求-需求分析&代码编写
  • 146.尚硅谷_Flink实时数仓3.0-DWS层-下单需求-编码完成&测试
  • 147.尚硅谷_Flink实时数仓3.0-每日回顾
  • 148.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-需求分析-1关联维表
  • 149.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-需求分析-2订单ID去重
  • 150.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-需求分析-3订单ID去重
  • 151.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-思路整理&代码编写
  • 152.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-JDBCUtil封装开始
  • 153.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-JDBCUtil封装完成&测试
  • 154.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-DimUtil封装&测试
  • 155.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-关联维表优化1-旁路缓存-说明
  • 156.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-关联维表优化1-旁路缓存-编码&测试
  • 157.尚硅谷_Flink实时数仓3.0-每日回顾
  • 158.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-说明
  • 159.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-编码介绍
  • 160.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-异步函数准备工作
  • 161.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-获取维表信息参数讨论
  • 162.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-函数完成
  • 163.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-优化方案2-异步IO-函数测试
  • 164.尚硅谷_Flink实时数仓3.0-DWS层-用户SPU粒度下单需求-后续&测试
  • 165.尚硅谷_Flink实时数仓3.0-DWS层-省份粒度下单需求
  • 166.尚硅谷_Flink实时数仓3.0-DWS层-品牌品类用户粒度退单需求
  • 167.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-课程介绍
  • 168.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-构建
  • 169.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-GMV需求-编码完成)
  • 170.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-GMV需求-测试
  • 171.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-渠道日活需求-需求分析
  • 172.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-渠道日活需求-代码完成
  • 173.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层-数据接口模块-渠道日活需求-测试完成
  • 174.尚硅谷_Flink实时数仓3.0-ADS&数据可视化层(数据接口模块 测试已完成&其他需求接口)
  • 175.尚硅谷_Flink实时数仓3.0-Flink优化-课程介绍
  • 176.尚硅谷_Flink实时数仓3.0-Flink优化-资源优化
  • 177.尚硅谷_Flink实时数仓3.0-Flink优化-反压处理
  • 178.尚硅谷_Flink实时数仓3.0-Flink优化-数据倾斜-现象介绍&KeyBy前数据倾斜
  • 179.尚硅谷_Flink实时数仓3.0-Flink优化-数据倾斜-KeyBy后直接聚合
  • 180.尚硅谷_Flink实时数仓3.0-Flink优化-数据倾斜-KeyBy后开窗聚合
  • 181.尚硅谷_Flink实时数仓3.0-Flink优化-KafkaSource
  • 182.尚硅谷_Flink实时数仓3.0-Flink优化-FlinkSQL
  • 183.尚硅谷_Flink实时数仓3.0-实时数仓总结-分层
  • 184.尚硅谷_Flink实时数仓3.0-实时数仓总结-ODS&DWD层
  • 185.尚硅谷_Flink实时数仓3.0-实时数仓总结-DIM层
  • 186.尚硅谷_Flink实时数仓3.0-实时数仓总结-DWS&ADS层