Flink实时数仓4.0

视频目录 选集

• 001_教程简介
• 002.实时数仓和离线数仓的概述区别
• 003.实时数仓的完整架构
• 004.实时数仓选型-Doris简介
• 005.实时数仓框架选型-ODS DWD和DIM
• 006.实时数仓框架选型-DWS和ADS及最终步骤
• 007.实时数仓和实时计算及离线计算的比较
• 008.数仓建模回顾
• 009.数仓设计回顾
• 010.实时数仓最新代码结构介绍
• 011.Git分支流程介绍
• 012.IDEA中的代码结构部署
• 013.Gitlab的安装部署
• 014.Gitlab用户创建和管理
• 015.Gitlab兼容IDEA实现提交推送项目
• 016.实时数仓架构搭建-Flink和hBase的安装部署
• 017.实时数仓架构搭建-Redis的安装部署
• 018.ODS_确保数据源时间有序的方法介绍
• 019.ODS_数据生成同步方法介绍
• 020.DIM_Flink处理数据的固定流程
• 021.DIM_BaseAPP使用演示
• 022.DIM_基类添加webUI页面介绍
• 023.DIM_Common模块封装常量类和source方法
• 024.DIM_动态拆分维度表功能实现的选择介绍
• 025.DIM_FlinkCDC使用介绍及数据展示
• 026.DIM_核心业务逻辑介绍
• 027.DIM_对主流数据进行清洗过滤
• 028.DIM_读取配置表数据
• 029.DIM_HBase创建关闭连接
• 030.DIM_HBase创建表格
• 031.DIM_HBase删除表格API编写
• 032.DIM_使用配置流信息创建HBase表格
• 033.DIM_动态拆分维度表基础功能实现
• 034.DIM_使用JDBC工具预加载配置表信息避免主流数据丢失
• 035.DIM_预加载配置表信息避免数据丢失功能实现
• 036.DIM_HBase写入数据和删除数据的方法编写
• 037.DIM_写出数据到HBase的代码编写
• 038.DIM_写出数据到HBase的演示
• 039.DIM_代码与功能回顾
• 040.DWD_数据源分析
• 041.DWD_日志拆分需求代码结构介绍
• 042.DWD_日志拆分需求分析
• 043.DWD_日志拆分需求数据清洗ETL处理
• 044.DWD_日志拆分需求新旧访客修改代码实现
• 045.DWD_日志拆分需求新旧访客修复代码测试
• 046.DWD_日志拆分需求完成拆分
• 047.DWD_日志拆分业务实现
• 048.DWD_FlinkSQL的使用架构
• 049.DWD_FlinkSQL读取不同的数据源数据
• 050.DWD_FlinkSQL完成两种表格的Join操作
• 051.DWD_FlinkSQL的基础原理介绍
• 052.DWD_LookUp Join使用场景介绍
• 053.DWD_LookUp Join具体使用演示
• 054.DWD_BaseSQLApp封装读取Topicdb方法
• 055.DWD_BaseSQLAPP封装实现及使用方法
• 056.DWD_评论事实表完成HBase的LookUp_Join
• 057.DWD_评论事实表完成数据写出
• 058.DWD_筛选加购事务表明细数据
• 059.DWD_加购事务事实表编写完成
• 060.DWD_下单事务事实表需求分析
• 061.DWD_下单事务事实表内连接关联订单表和订单详情表
• 062.DWD_下单明细表完成四个表格的Join操作
• 063.DWD_下单明细表写出到kafka实现
• 064.DWD_取消订单事实表需求分析
• 065.DWD_支付成功事实表需求分析
• 066.DWD_支付成功需求筛选支付成功数据
• 067.DWD_支付成功需求三张表格数据准备
• 068.DWD_支付成功需求使用Interval Join完成表格关联
• 069.DWD_支付成功需求使用LookUp Join完成维度退化
• 070.DWD_支付成功需求写出数据
• 071.DWD_Base_db表格处理需求分析
• 072.DWD_Base_db需求读取主流和配置表数据
• 073.DWD_Base_db合并处理事实表数据
• 074.DWD_Base_db数据写出
• 075.DWS_Doris简介
• 076.DWS_Doris部署上传解压操作
• 077.DWS_Doris部署前端
• 078.DWS_Doris单台后端的安装部署
• 079.DWS_Doris的be扩容
• 080.DWS_Doris的be缩容
• 081.DWS_Doris的fe扩容
• 082.DWS_Doris的fe缩容及群起脚本
• 083.DWS_Doris的数据模型agg模型介绍
• 084.DWS_Doris的数据模型唯一与可重复模型介绍
• 085.DWS_Doris的分区分桶
• 086.DWS_Doris的复合分区和多列分区介绍
• 087.DWS_Doris的动态分区原理介绍
• 088.DWS_Doris的动态分区使用介绍
• 089.DWS_Doris的rollup介绍
• 090.DWS_Doris的物化视图
• 091.DWS_热词开窗统计需求分析及IK分词器介绍
• 092.DWS_热词开窗统计筛选关键字
• 093.DWS_自定义UDTF函数方法介绍
• 094.DWS_完成关键词的拆分工作
• 095.DWS_关键字分组开窗聚合统计
• 096.DWS_关键词开窗统计数据写出到Doris
• 097.DWS_流量域各粒度用户页面访问窗口聚合需求分析
• 098.DWS_流量域各粒度用户页面访问窗口聚合得到独立访客和会话数
• 099.DWS_流量域各粒度用户访问分组开窗聚合代码实现
• 100.DWS_流量域各粒度用户访问数据写出到Doris
• 101.DWS_流量域各粒度用户访问数据添加状态存活时间
• 102.DWS_首页详情页独立访客统计需求分析
• 103.DWS_首页详情页独立访客判断代码实现
• 104.DWS_首页详情页独立访客数据写出到Doris
• 105.DWS_用户登录统计需求分析
• 106.DWS_用户登录统计需求过滤数据
• 107.DWS_用户登录统计判断独立用户和回流用户
• 108.DWS_用户登录统计数据聚合写出到Doris
• 109.DWS_用户注册统计需求分析
• 110.DWS_用户注册需求实现
• 111.DWS_用户加购需求分析和结构搭建
• 112.DWS_用户加购需求实现数据写出
• 113.Common模块回顾
• 114.DIM和DWD模块代码回顾
• 115.DWS模块回顾
• 116.DWS_sku商品下单需求分析
• 117.DWS_sku商品粒度过滤添加水位线
• 118.DWS_sku商品粒度度量值修复
• 119.DWS_商品粒度聚合统计
• 120.DWS_维度关联补全sku_info信息
• 121.DWS_完整维度信息关联编写
• 122.DWS_补全维度信息写出到Doris
• 123.DWS_旁路缓存原理介绍
• 124.DWS_添加Redis作为旁路缓存
• 125.DWS_修改变更维度数据的一致性
• 126.DWS_度量值去重回顾
• 127.DWS_旁路缓存回顾
• 128.DWS_异步IO介绍
• 129.DWS_异步连接的获取
• 130.DWS_Flink异步算子使用编写
• 131.DWS_Flink异步算子实现维度关联
• 132.DWS_模板方法初步封装
• 133.DWS_完整封装模板方法实现维度关联
• 134.DWS_各省份下单需求数据获取清洗
• 135.DWS_各省份下单需求聚合统计
• 136.DWS_各省份窗口下单聚合统计
• 137.项目部署上线介绍
• 138.StreamPark概述介绍
• 139.StreamPark的解压部署
• 140.StreamPark的安装部署
• 141.StreamPark使用设置
• 142.StreamPark编译部署项目
• 143.StreamPark上线任务演示
• 144.StreamPark使用检查点重启任务
• 145.合并Gitlab代码请求
• 146.可视化展示总体介绍
• 147.可视化展示Sugar使用方法介绍
• 148.spring-Boot数据接口上手
• 149.内网穿透访问本机
• 150.可视化实现省份订单数展示
• 151.Flink实时数仓整体回顾
• 152.Flink实时数仓代码结构设计回顾
• 153.GitFlow工作流回顾
• 154.ODS层回顾
• 155.DIM和DWD回顾
• 156.DWS回顾
• 157.部署及可视化回顾