车险离线数仓

视频目录 选集

• 001.数据采集课程内容介绍
• 002.数据仓库概念
• 003.项目需求分析
• 004.技术选型
• 005.系统流程设计
• 006.框架版本选择
• 007.服务器选型
• 008.集群规模设计
• 009.资源规划
• 010.业务流程说明
• 011.表结构说明
• 012.安装虚拟机
• 013.分发脚本
• 014.安装JDK
• 015.环境变量配置说明
• 016.进程查看脚本
• 017.安装Zookeeper
• 018.Zookeeper启动脚本
• 019.Zookeeper客户端常用指令
• 020.安装Hadoop
• 021.Hadoop群起脚本
• 022.项目经验之存储多目录
• 023.项目经验之集群数据均衡
• 024.项目经验之参数调优
• 025.安装Kafka
• 026.Kafka群起脚本
• 027.Kafka常用指令之Topic相关
• 028.Kafka常用指令之生产者和消费者
• 029.Flume安装与项目经验
• 030.安装MySQL
• 031.模拟生成数据
• 032.同步策略介绍
• 033.数据同步工具介绍
• 034.Datax简介和框架设计
• 035.Datax的运行与调度
• 036.Datax的安装
• 037.MySQL数据导入HDFS之TableModel模式
• 038.MySQL数据导入HDFS之Querysql模式
• 039.Datax传参
• 040.HDFS数据导入到MySQL
• 041.Datax优化
• 042.Maxwell概述和输出数据格式
• 043.MySQL原理
• 044.安装Maxwell
• 045.Maxwell启动脚本
• 046.Maxwell使用
• 047.生成Datax配置文件
• 048.全量数据导入脚本
• 049.增量数据同步-Maxwell配置
• 050.增量数据同步-Flume配置
• 051.增量数据同步-拦截器与采集
• 052.Maxwell时间戳问题
• 053.Flume启动脚本
• 054.增量首日全量同步
• 055.安装Hive
• 056.Hive中文乱码问题
• 057.车险离线数仓课程内容简介
• 058.数仓的概念
• 059.数仓架构
• 060.数仓建模的意义
• 061.ER模型
• 062.维度模型
• 063.事实表概述
• 064.事务型事实表概述
• 065.事务型事实表的设计
• 066.事务型事实表的不足-存量型指标
• 067.事务型事实表的不足-多事务关联指标
• 068.周期型快照事实表的概念
• 069.周期型快照事实表设计与事实类型
• 070.累积型快照事实表
• 071.维度表设计
• 072.规范化与反规范化
• 073.全量快照维度表
• 074.拉链表
• 075.多值维度
• 076.多值属性
• 077.数据仓库的分层
• 078.数仓的构建流程
• 079.据调研
• 080.明确数据域
• 081.业务总线矩阵
• 082.明确统计指标
• 083.维度模型与汇总模型设计
• 084.Hive引擎简介
• 085.Hive on Spark兼容性说明
• 086.Hive on Spark搭建
• 087.AM资源比例调整
• 088.Datagrip使用
• 089.模拟生成数据
• 090.Hive常见问题和解决方案
• 091.ODS层设计要点
• 092.数据格式说明
• 093.全量数据建表
• 094.复杂数据类型回顾
• 095.增量数据建表
• 096.ODS数据加载
• 097.DOS层部分表字段显示问题
• 098.ODS层数据加载脚本
• 099.DIM层设计要点
• 100.地区维度表
• 101.保险产品维度表
• 102.保险经理人维度表
• 103.投保人维度表首日数据加载
• 104.投保人维度表每日数据加载
• 105.车辆维度表首日数据加载
• 106.车辆维度表每日数据加载
• 107.DIM层首日数据加载脚本
• 108.DIM层每日数据加载脚本
• 109.DWD层设计要点
• 110.交易域投保事务事实表首日数据加载
• 111.交易域投保事务事实表每日数据加载
• 112.缴费成功事实表首日数据加载
• 113.缴费成功事实表每日数据加载
• 114.理赔域报案事务事实表数据加载
• 115.理赔流程累积快照事实表建表
• 116.理赔流程累积快照事实表首日数据加载
• 117.理赔流程累积快照事实表每日数据加载
• 118.DWD层首日数据加载脚本
• 119.DWD层每日数据加载脚本
• 120.DWD表设计要点
• 121.交易域城市车型粒度投保1日汇总表建表
• 122.交易域城市车型粒度投保1日汇总表数据加载
• 123.理赔域城市车型粒度出险1日汇总表建表
• 124.理赔域城市车型粒度出险1日汇总表数据加载
• 125.DWS1d表首日数据加载脚本
• 126.DWS1d表每日数据加载脚本
• 127.交易域城市车型粒度投保n日汇总表
• 128.理赔域城市车型粒度出险n日汇总表
• 129.Dwsnd表数据加载脚本
• 130.ADS层设计要点
• 131.交易综合统计
• 132.续保统计
• 133.产品交易统计
• 134.城市交易统计
• 135.理赔综合统计
• 136.城市理赔统计
• 137.省份理赔统计
• 138.车型理赔统计
• 139.ADS数据加载脚本
• 140.MySQL建库建表
• 141.HDFS数据同步到MySQL案例演示
• 142.ADS同步数据到MySQL脚本
• 143.Dolphinscheduler简介
• 144.Dolphinscheduler部署说明
• 145.安装Dolphinscheduler
• 146.Dolphinscheduler启动停止命令
• 147.安全中心配置
• 148.创建工作流与运行工作流
• 149.定时
• 150.局部参数
• 151.全局参数
• 152.传递参数
• 153.参数优先级
• 154.内置参数
• 155.依赖资源
• 156.告警
• 157.失败重试
• 158.模拟生成新数据
• 159.工作流调度
• 160.Superset简介
• 161.安装Superset
• 162.Superset启动脚本
• 163.Superset可视化