尚硅谷Java培训

金融审批离线数仓

视频介绍

金融审批数仓项目共分三大部分:数仓采集环境搭建、数仓分层计算、SuperSet可视化大屏展示。项目的核心内容为金融审批业务的连续阶段性分析,采用了特殊的事实表建模完成里程碑生命周期业务的便捷统计。

教程带你从0到1完成数仓框架环境搭建、数仓建模分析,以及数据的可视化展示。帮助学习者深入了解数仓建模理论体系及实际应用,对金融系统中特殊的阶段性业务分析,提供了有效的解决方法。

还是尚硅谷一贯的风格,保姆式讲解,败家式赠送,一站式学习,学习者参照视频及教辅资料即可实现全部项目流程!

视频目录 选集

  • 001.金融审批数仓课程介绍
  • 002.数据仓库概述
  • 003.数据仓库项目需求介绍
  • 004.数据仓库技术选型
  • 005.数据仓库整体流程设计
  • 006.框架版本选择介绍
  • 007.服务器选型介绍
  • 008.集群资源规划设计
  • 009.金融租赁业务简单介绍
  • 010.金融租赁业务流程简单介绍
  • 011.金融租赁业务流程细节内容介绍
  • 012.金融审批表结构介绍
  • 013.环境准备_使用模板机创建3台虚拟机
  • 014.环境准备_使用阿里云简介
  • 015.环境准备_集群分发脚本配置及使用
  • 016.SSH免密登录的配置
  • 017.SSH免密登录的使用
  • 018.JDK的安装部署
  • 019.环境变量配置的介绍
  • 020.集群查看脚本编写
  • 021.Hadoop部署_基础配置文件编写
  • 022.Hadoop的安装部署及启动
  • 023.Hadoop的群起群停脚本介绍
  • 024.Hadoop的参数调优
  • 025.MySQL的安装部署
  • 026.数据生成脚本介绍
  • 027.使用EZDML梳理业务表格关系
  • 028.ZooKeeper的安装部署介绍
  • 029.ZooKeeper的客户端使用
  • 030.Kafka的安装部署
  • 031.Kafka的启动停止以及群起群停脚本编写
  • 032.Kafka的基础命令行操作演示
  • 033.Flume的安装部署
  • 034.Flume的内存调优经验介绍
  • 035.Maxwell的简单介绍
  • 036.Maxwell的原理介绍
  • 037.Maxwell的安装部署
  • 038.Maxwell的启动和使用展示
  • 039.Maxwell的停止和脚本介绍
  • 040.Maxwell的Bootstrap功能
  • 041.数据同步策略介绍
  • 042.数据同步工具选择
  • 043.DataX的基础介绍
  • 044.DataX架构原理
  • 045.DataX运行流程
  • 046.DataX的安装部署及使用方法介绍
  • 047.DataX同步MySQL数据到HDFS
  • 048.DataX解决同步Null不同步的问题
  • 049.DataX的QuerySQL模式和配置文件传参
  • 050.使用DataX完成HDFS数据导出到MySQL
  • 051.DataX的优化及内存调节
  • 052.同步全量表数据演示
  • 053.DataX自动生成配置文件演示
  • 054.DataX全量导入数据脚本单表导入方法编写
  • 055.DataX全量导入数据多表导入及功能完善
  • 056.增量数据采集的Flume配置文件编写
  • 057.增量数据采集Flume拦截器功能介绍
  • 058.增量数据采集Flume拦截器代码编写
  • 059.业务数据Flume拦截器的使用
  • 060.增量业务数据采集的Flume启停脚本
  • 061.增量业务数据首日全量同步脚本运行
  • 062.Hive的安装部署
  • 063.离线数仓的概述及核心架构
  • 064.数仓建模ER模型介绍
  • 065.数仓建模ER模型三范式介绍
  • 066.数仓建模维度模型介绍
  • 067.维度建模事实表简单概述
  • 068.维度建模事务型事实表介绍
  • 069.维度建模周期快照事实表和累积性快照事实表
  • 070.维度建模维度表设计流程
  • 071.维度表设计规范化和反规范化
  • 072.维度表设计维度变化的选择
  • 073.维度表设计多值维度和多值属性
  • 074.数仓设计分层规划
  • 075.数仓设计之数据调研
  • 076.数仓设计之明确数据域
  • 077.数仓设计之构建业务总线矩阵
  • 078.数仓设计之指标体系分析
  • 079.Hive的执行引擎介绍
  • 080.Hive替换Spark引擎的完整展示
  • 081.AM资源比例参数介绍
  • 082.数仓开发工具DataGrip介绍
  • 083.模拟数据的采集同步
  • 084.Hive常见问题的解决
  • 085.ODS设计总体原则
  • 086.ODS_全量客户表数据装载
  • 087.ODS_使用get_json_object方法来解析Json
  • 088.ODS_使用JsonSerde解析增量表数据
  • 089.ODS_创建所有的表格修复已有的分区
  • 090.ODS_脚本数据装载的编写和使用
  • 091.DIM_部门维度表装载
  • 092.DIM_员工和行业维度表装载
  • 093.DIM_脚本数据装载
  • 094.DWD_整体需求介绍
  • 095.DWD_累积快照事实表分区设计
  • 096.DWD_数据装载情况介绍
  • 097.DWD_累积快照事实表基础表格数据聚合
  • 098.DWD_累积快照事实表的首日装载
  • 099.DWD_累积快照事实表初始数据的聚合
  • 100.DWD_累积快照事实表每日装载
  • 101.DWD_脚本数据装载
  • 102.ADS_待审主题综合统计
  • 103.ADS_待审数据各业务方向统计和各部门统计
  • 104.ADS_业务经办和信审经办的审核数据统计
  • 105.ADS_各行业审核数据统计
  • 106.ADS_审批结束数据综合统计
  • 107.ADS_审批结束数据各业务方向和各部门聚合统计
  • 108.ADS_审批结束数据各业务经办和信审经办聚合统计
  • 109.ADS_审批结束各行业统计
  • 110.ADS_转换数据统计数据计算
  • 111.ADS_转换数据统计导入及ADS需求总结
  • 112.脚本数据装载
  • 113.导出数据样例演示
  • 114.使用脚本完成DataX的数据导出
  • 115.DolphinSchedule基础概述
  • 116.DolphinScheduler架构介绍
  • 117.DolphinSchedule的安装部署
  • 118.DolphinSchedule简单任务的执行演示
  • 119.DolphinSchedule的定时和传参功能
  • 120.DolphinSchedule的依赖资源和告警功能介绍
  • 121.新数据生成及单机DolphinSchedule启动
  • 122.DolphinSchedule完成全流程调度
  • 123.可视化_虚拟环境安装部署
  • 124.SuperSet的安装部署
  • 125.SuperSet的可视化展示演示
  • 126.金融审批项目采集总结
  • 127.金融审批项目数仓总结