尚硅谷Java培训

金融审批实时数仓

视频介绍

金融审批实时数仓项目共分三大部分:实时数仓架构介绍、数仓模型搭建、Sugar可视化大屏展示。金融审批实时数仓项目延续了离线数仓的业务逻辑,以金融租赁业务线为主题,从审批流程一直到设备租赁,完整地对金融租赁业务进行了各个流程的实时数据分析。

项目以金融审批采集项目为前置基础,使用采集项目中搭建的虚拟机环境,读取采集项目实时监控的业务数据,对数据进行实时的分析计算,得到指标需求结果,写出到Doris之后,使用Sugar进行可视化展示。

项目使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通过精炼的业务体系逻辑,帮助学习者快速掌握实时数仓所使用的技术手段。

视频目录 选集

  • 01.金融审批实时数仓课程介绍
  • 02.采集平台内容回顾
  • 03.金融审批实时数仓搭建概念介绍
  • 04.金融审批实时数仓基础架构介绍
  • 05.金融审批实时数仓具体开发层级介绍
  • 06.数仓建模ER模型介绍
  • 07.数仓建模ER模型三范式介绍
  • 08.数仓建模维度模型介绍
  • 09.维度建模事实表简单概述
  • 10.维度建模事务型事实表介绍
  • 11.维度建模周期快照事实表
  • 12.维度建模累积快照事实表
  • 13.维度建模维度表设计流程
  • 14.维度表设计规范化和反规范化
  • 15.维度表设计维度变化的选择
  • 16.维度表设计多值维度和多值属性
  • 17.数仓分层规划介绍
  • 18.数仓构建流程简单介绍
  • 19.数仓构建数据调研
  • 20.数仓构建明确数据域
  • 21.数仓构建业务总线矩阵和维度模型设计
  • 22.数仓构建指标分析和汇总模型设计
  • 23.idEA环境准备
  • 24.Flink的环境准备
  • 25.HBase的环境部署
  • 26.Redis的环境部署
  • 27.Doris的FE部署
  • 28.Doris的BE集群安装部署
  • 29.Doris的BE集群bug解决
  • 30.实时数仓ODS层开发
  • 31.DIM_动态拆分维度表原理介绍
  • 32.DIM_动态拆分维度表整体流程介绍
  • 33.DIM_FlinkCDC的基础介绍
  • 34.DIM_FlinkCDC的使用演示
  • 35.DIM_Flink读取Kafka数据
  • 36.DIM_整体流程介绍及封装创建环境方法
  • 37.DIM_工具类读取Topic_db原始数据
  • 38.DIM_读取MySQL配置表数据
  • 39.DIM_HBase创建关闭连接方法封装
  • 40.DIM_HBase创建表格的代码实现
  • 41.DIM_完成HBase创建表格的流程
  • 42.DIM_合并两条流的数据确定处理方法
  • 43.DIM_处理合并流数据的核心方法编写
  • 44.DIM_初始化配置数据解决主流数据过早到的问题
  • 45.DIM_写出数据函数结构编写
  • 46.DIM_HBase删除写入数据方法编写
  • 47.DIM_数据写出演示
  • 48.DWD_整体流程介绍
  • 49.DWD_读取业务数据筛选业务表格
  • 50.DWD_按照授信id进行分组
  • 51.DWD_动态分流数据状态介绍
  • 52.DWD_完成数据分流的结构介绍
  • 53.DWD_审批三种状态的数据处理
  • 54.DWD_添加批复状态补全审批通过的信息
  • 55.DWD_审批通过与新增授信合同制作数据先后问题
  • 56.DWD_审批拒绝和审批取消的数据处理方式
  • 57.DWD_批复数据后到的处理方式
  • 58.DWD_授信表数据后到的处理编写
  • 59.DWD_审批域数据写出到对应的Kafka主题
  • 60.DWD_授信域数据分流写出到对应的Kafka主题
  • 61.DWD_合并合同制作及合同表数据流
  • 62.DWD_分流处理租赁域数据架构
  • 63.DWD_完成租赁域数据分流
  • 64.DWD_租赁域数据写出
  • 65.DWD_数据测试及bug解决
  • 66.DWS_审批通过各行业各方向各信审经办窗口统计结构介绍
  • 67.DWS_审批通过聚合读取数据及类型转换
  • 68.DWS_审批通过数据分组开窗聚合
  • 69.DWS_使用泛型异步读取DIM层数据介绍
  • 70.DWS_HBase的异步连接及读取数据架构介绍
  • 71.DWS_实现三级行业名称和二级行业id的维度关联
  • 72.DWS_使用Redis实现旁路缓存优化
  • 73.DWS_完成全部的维度关联
  • 74.DWS_自定义工具将Bean转JsonString
  • 75.DWS_自定义注解过滤不需要的属性
  • 76.DWS_将窗口聚合数据写出到Doris中
  • 77.DWS_审批取消各维度窗口聚合代码编写
  • 78.DWS_审批取消业务关联维度数据及写出到Doris
  • 79.DWS_审批拒绝窗口汇总聚合
  • 80.DWS_信审经办审批通过的窗口聚合数据
  • 81.DWS_信审经办业务员审批通过数据写出
  • 82.DWS_信审经办粒度审批取消窗口汇总
  • 83.DWS_信审经办粒度拒绝窗口汇总
  • 84.DWS_授信新增窗口汇总
  • 85.DWS_授信占用窗口汇总
  • 86.DWS_合同制作窗口汇总
  • 87.DWS_合同签约各窗口汇总
  • 88.DWS_合同起租各窗口汇总
  • 89.可视化_Sugar使用方式介绍
  • 90.可视化_数据接口的结构介绍
  • 91.可视化_内网穿透介绍
  • 92.可视化_渐变色各方向审批通过图形可视化展示