Flink实时数仓

视频目录 选集

• 001.尚硅谷_Flink实时数仓-课程介绍
• 002.尚硅谷_Flink实时数仓-项目介绍
• 003.尚硅谷_Flink实时数仓-采集模块-课程介绍
• 004.尚硅谷_Flink实时数仓-采集模块-数仓分层之为什么分层
• 005.尚硅谷_Flink实时数仓-采集模块-数仓分层之分层明细
• 006.尚硅谷_Flink实时数仓-采集模块-整体需求介绍
• 007.尚硅谷_Flink实时数仓-采集模块-离线架构分析之Sqoop&Flume
• 008.尚硅谷_Flink实时数仓-采集模块-离线架构分析之FlumeTairDirSource问题提出&解决
• 009.尚硅谷_Flink实时数仓-采集模块-离线架构分析之Kafka
• 010.尚硅谷_Flink实时数仓-采集模块-离线架构分析之其他
• 011.尚硅谷_Flink实时数仓-采集模块-实时架构分析
• 012.尚硅谷_Flink实时数仓-采集模块-架构对比
• 013.尚硅谷_Flink实时数仓-采集模块-日志数据采集之需求分析
• 014.尚硅谷_Flink实时数仓-采集模块-日志数据采集之MockJar包测试
• 015.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot简单介绍
• 016.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot创建项目&简单测试
• 017.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot创建项目&加参数测试
• 018.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 编码
• 019.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 本地测试
• 020.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 单机测试
• 021.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 介绍
• 022.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 安装&启动
• 023.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 配置负载均衡&测试
• 024.尚硅谷_Flink实时数仓-采集模块-日志数据采集之集群测试
• 025.尚硅谷_Flink实时数仓-采集模块-业务数据采集之建库&建表
• 026.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC 什么是CDC&对比
• 027.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC 介绍
• 028.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStream方式 编码
• 029.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStream方式 测试
• 030.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 设置CK&打包&开启集群
• 031.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 打包进行断点续传测试
• 032.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC FlinkSQLAPI 编码&测试
• 033.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 格式说明
• 034.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 编码完成
• 035.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 代码测试
• 036.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI&FlinkSQL对比
• 037.尚硅谷_Flink实时数仓-采集模块-业务数据采集之Maxwell 安装说明&测试
• 038.尚硅谷_Flink实时数仓-采集模块-业务数据采集之Canal 安装说明&测试
• 039.尚硅谷_Flink实时数仓-采集模块-业务数据采集之CDC对比
• 040.尚硅谷_Flink实时数仓-采集模块-业务数据采集之读取MySQL数据并写入Kafka 编码
• 041.尚硅谷_Flink实时数仓-采集模块-业务数据采集之读取MySQL数据并写入Kafka 测试
• 042.尚硅谷_Flink实时数仓-DWD&DIM-课程介绍
• 043.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 需求分析
• 044.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 思路整理&消费Kafka数据
• 045.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 将数据转换为JSON对象
• 046.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 新老用户校验
• 047.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 侧输出流&写入Kafka
• 048.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 测试
• 049.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之需求分析
• 050.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码逻辑梳理
• 051.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 消费数据并过滤
• 052.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 读取配置表创建广播流
• 053.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 配置表字段分析&建表&JavaBean
• 054.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 开启配置表Binlog并测试
• 055.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 连接主流&广播流并分析业务逻辑
• 056.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 创建TableProcessFunction并初始化相关参数
• 057.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理广播流数据 解析数据&建表
• 058.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理广播流数据 写入状态
• 059.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理主流数据 读取状态&过滤字段
• 060.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理主流数据 补充SinkTable&分流
• 061.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 检查代码
• 062.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 测试准备
• 063.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 测试
• 064.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 将数据写入HBase 编码
• 065.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 将数据写入Kafka 编码
• 066.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之整体测试 环境准备
• 067.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之整体测试 测试完成
• 068.尚硅谷_Flink实时数仓-ODS&DWD&DIM-小总结
• 069.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 需求说明&建表&导数据
• 070.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 方案一
• 071.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 方案二
• 072.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 HiveOnSpark Bug说明
• 073.尚硅谷_Flink实时数仓-DWM层-需求分析
• 074.尚硅谷_Flink实时数仓-DWM层-访客UV 需求分析
• 075.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 消费数据并转换为JSON对象
• 076.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 过滤数据
• 077.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 设置状态超时时间防止状态过大
• 078.尚硅谷_Flink实时数仓-DWM层-访客UV 代码测试
• 079.尚硅谷_Flink实时数仓-DWM层-跳出明细 需求分析
• 080.尚硅谷_Flink实时数仓-DWM层-跳出明细 代码编写
• 081.尚硅谷_Flink实时数仓-DWM层-跳出明细 代码测试
• 082.尚硅谷_Flink实时数仓-DWM层-跳出明细 测试
• 083.尚硅谷_Flink实时数仓-DWM层-跳出明细 CEP 循环模式
• 084.尚硅谷_Flink实时数仓-DWM层-订单宽表 需求分析
• 085.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 官方文档说明
• 086.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 代码编写
• 087.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 代码测试
• 088.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码编写 消费Kafka数据&转换JavaBean&提取事件时间
• 089.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码编写 订单与订单明细表双流JOIN
• 090.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码测试 准备工作
• 091.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码测试 测试完成
• 092.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 思路梳理
• 093.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 返回值&参数说明
• 094.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 查询&封装泛型对象
• 095.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 测试
• 096.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 DimUtil封装&优化的必要性
• 097.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 思路分析
• 098.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 Redis工具类&Key的设计
• 099.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 代码编写
• 100.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 代码测试
• 101.尚硅谷_Flink实时数仓-DWM层-订单宽表 回顾
• 102.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO说明
• 103.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码步骤
• 104.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 初始化函数
• 105.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 异步函数完成
• 106.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 测试准备
• 107.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 测试完成
• 108.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 补充其他维度信息
• 109.尚硅谷_Flink实时数仓-DWM层-订单宽表 最终测试
• 110.尚硅谷_Flink实时数仓-DWM层-订单宽表 不丢维度数据说明
• 111.尚硅谷_Flink实时数仓-DWM层-支付宽表 需求分析
• 112.尚硅谷_Flink实时数仓-DWM层-支付宽表 代码编写
• 113.尚硅谷_Flink实时数仓-DWM层-支付宽表 代码测试
• 114.尚硅谷_Flink实时数仓-DWM层-支付宽表 时间工具类说明
• 115.尚硅谷_Flink实时数仓-DWS层-课程介绍
• 116.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 需求分析
• 117.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 思路整理&读取Kafka数据
• 118.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 处理输出流&union&提取时间戳分组
• 119.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 开窗&聚合
• 120.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 打印测试
• 121.尚硅谷_Flink实时数仓-DWS层-ClickHouse 课程介绍
• 122.尚硅谷_Flink实时数仓-DWS层-ClickHouse 概述&特点
• 123.尚硅谷_Flink实时数仓-DWS层-ClickHouse 安装准备工作
• 124.尚硅谷_Flink实时数仓-DWS层-ClickHouse 安装&启动
• 125.尚硅谷_Flink实时数仓-DWS层-ClickHouse 数据类型
• 126.尚硅谷_Flink实时数仓-DWS层-ClickHouse 简单引擎介绍
• 127.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree
• 128.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Partition By
• 129.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Primary Key
• 130.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Order By
• 131.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之TTL
• 132.尚硅谷_Flink实时数仓-DWS层-ClickHouse ReplacingMergeTree
• 133.尚硅谷_Flink实时数仓-DWS层-ClickHouse SummingMergeTree
• 134.尚硅谷_Flink实时数仓-DWS层-ClickHouse 引擎选择分析
• 135.尚硅谷_Flink实时数仓-DWS层-ClickHouse SQL操作 一
• 136.尚硅谷_Flink实时数仓-DWS层-ClickHouse SQL操作 二
• 137.尚硅谷_Flink实时数仓-DWS层-ClickHouse 副本机制
• 138.尚硅谷_Flink实时数仓-DWS层-ClickHouse 分片机制 说明
• 139.尚硅谷_Flink实时数仓-DWS层-ClickHouse 分片机制 实操
• 140.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 创建
• 141.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 封装
• 142.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 封装完成
• 143.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 测试完成
• 144.尚硅谷_Flink实时数仓-DWS层-商品主题 需求分析
• 145.尚硅谷_Flink实时数仓-DWS层-商品主题 JavaBean说明
• 146.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 思路整理&消费数据创建流
• 147.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理页面日志&收藏数据&购物车数据
• 148.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理订单&支付数据
• 149.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理退单&评价数据
• 150.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 分组开窗&聚合
• 151.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 关联维度&将数据写入ClickHouse
• 152.尚硅谷_Flink实时数仓-DWS层-商品主题-整体测试
• 153.尚硅谷_Flink实时数仓-DWS层-商品主题-需求分析
• 154.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 创建环境&使用DDL方式读取Kafka数据
• 155.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 分组开窗聚合
• 156.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 将动态表转换为流并打印
• 157.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 将数据写入ClickHouse&测试
• 158.尚硅谷_Flink实时数仓-DWS层-关键词主题 需求分析
• 159.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词工具类封装
• 160.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词UDTF
• 161.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 思路分析&读取数据&建表
• 162.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词&开窗聚合
• 163.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 动态表转换为流&写入ClickHouse
• 164.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码测试
• 165.尚硅谷_Flink实时数仓-数据可视化-课程介绍
• 166.尚硅谷_Flink实时数仓-数据可视化-Sugar 创建大屏
• 167.尚硅谷_Flink实时数仓-数据可视化-Sugar 使用步骤介绍
• 168.尚硅谷_Flink实时数仓-数据可视化-数据接口 项目构建
• 169.尚硅谷_Flink实时数仓-数据可视化-数据接口 依赖导入&分层说明
• 170.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 Mapper完成
• 171.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 Service&Controller完成
• 172.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 测试
• 173.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 对接Sugar
• 174.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Mapper完成
• 175.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Service完成
• 176.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Controller完成
• 177.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 测试完成
• 178.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 对接Sugar
• 179.尚硅谷_Flink实时数仓-数据可视化-数据接口 导入代码&品类GMV&SPU GMV
• 180.尚硅谷_Flink实时数仓-数据可视化-数据接口 其他需求图表
• 181.尚硅谷_Flink实时数仓-数据可视化-最终测试
• 182.尚硅谷_Flink优化-课程介绍
• 183.尚硅谷_Flink优化-资源优化之内存设置
• 184.尚硅谷_Flink优化-资源优化之并行度设置
• 185.尚硅谷_Flink优化-资源优化之RockDB配置
• 186.尚硅谷_Flink优化-资源优化之CheckPoint配置
• 187.尚硅谷_Flink优化-资源优化之ParameterTool的介绍
• 188.尚硅谷_Flink优化-反压处理之反压介绍&定位
• 189.尚硅谷_Flink优化-反压处理之反压问题解决
• 190.尚硅谷_Flink优化-数据倾斜之定位问题
• 191.尚硅谷_Flink优化-数据倾斜之KeyBy之前的数据倾斜
• 192.尚硅谷_Flink优化-数据倾斜之KeyBy之后直接聚合
• 193.尚硅谷_Flink优化-数据倾斜之KeyBy之后开窗聚合
• 194.尚硅谷_Flink优化-KafkaSource
• 195.尚硅谷_Flink优化-FlinkSQL优化之MiniBatch
• 196.尚硅谷_Flink优化-FlinkSQL优化之LocalGlobal
• 197.尚硅谷_Flink优化-FlinkSQL优化之SplitDistinct
• 198.尚硅谷_Flink优化-FlinkSQL优化之Agg With Filter
• 199.尚硅谷_Flink优化-FlinkSQL优化之TopN优化
• 200.尚硅谷_Flink优化-FlinkSQL优化之去重方案&其他